WO2022186539A1

WO2022186539A1 - 이미지 분류 기반 유명인 식별 방법 및 장치

Info

Publication number: WO2022186539A1
Application number: PCT/KR2022/002632
Authority: WO
Inventors: 송철환
Original assignee: 오드컨셉 주식회사
Priority date: 2021-03-05
Filing date: 2022-02-23
Publication date: 2022-09-09
Also published as: KR20220125422A

Abstract

본 발명은 이미지 분류 기반 유명인 식별 방법 및 장치에 관한 것으로, 유명인의 이미지를 크롤링하여 자동 수집한 후 이를 기반으로 구축된 트레이닝 데이터 세트로 신경망 모델을 학습시킴으로써 유명인을 식별하고, 트레이닝 데이터 세트를 기반으로 유명인의 선호 패션 취향 및 패션 추천 서비스를 제공하는 것을 일 목적으로 한다. 이러한 목적을 달성하기 위한 본 발명은 제1 신경망 모델을 기반으로 제1 쿼리 이미지에 포함된 유명인을 식별하는 유명인 식별 모듈 및 제1 신경망 모델의 학습을 위한 트레이닝 데이터 세트에 포함된 이미지 데이터를 이용하여 패션 추천 서비스를 제공하는 패션 추천 모듈을 포함하는 것을 특징으로 한다.

Description

이미지 분류 기반 유명인 식별 방법 및 장치

본 발명은 이미지 분류 기반 유명인 식별 방법 및 장치에 관한 것으로, 보다 자세하게는 유명인 얼굴을 인식하는 기술을 제공함에 있어서 크롤링 및 클러스터링을 기반으로 트레이닝 데이터 세트를 자동 생성하여 인식 모델을 강화하는 유명인 식별 방법 및 장치에 관한 것이다.

생체인식 분야 중의 하나인 얼굴 인식 기술은 사람마다 얼굴에 담겨있는 고유한 특징 정보를 이용하여 컴퓨터 프로세서가 자동으로 사람을 식별하는 기술이다. 얼굴 인식 기술은 사람이 누구인 지를 식별하기 위해 신경망 모델을 학습시켜야 할 필요가 있는데, 이 때 신경망 모델을 학습시키기 위한 기초 데이터를 수집하는 데 있어서 어려움이 있는 실정이다.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 유명인의 이미지를 크롤링하여 자동 수집한 후 이를 기반으로 구축된 트레이닝 데이터 세트로 신경망 모델을 학습시킴으로써 유명인을 식별하는 것을 일 목적으로 한다.

또한 본 발명은 유명인을 식별함에 있어서 동명이인이 존재하는 경우 유사도 기반의 클러스터링을 통해 동명이인을 구분하는 것을 일 목적으로 한다.

또한 본 발명은 트레이닝 데이터 세트를 기반으로 유명인의 선호 패션 취향 및 패션 추천 서비스를 제공하는 것을 일 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 제1 신경망 모델을 기반으로 제1 쿼리 이미지에 포함된 유명인을 식별하는 유명인 식별 모듈 및 제1 신경망 모델의 학습을 위한 트레이닝 데이터 세트에 포함된 이미지 데이터를 이용하여 패션 추천 서비스를 제공하는 패션 추천 모듈을 포함하는 것을 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 유명인의 이미지를 크롤링하여 자동 수집한 후 이를 기반으로 구축된 트레이닝 데이터 세트로 신경망 모델을 학습시킴으로써 유명인을 식별할 수 있다.

또한 본 발명은 유명인을 식별함에 있어서 동명이인이 존재하는 경우 유사도 기반의 클러스터링을 통해 동명이인을 구분할 수 있다.

또한 본 발명은 트레이닝 데이터 세트를 기반으로 유명인의 선호 패션 취향 및 패션 추천 서비스를 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 의한 유명인 식별 모듈의 구성을 나타낸 도면,

도 2는 본 발명의 일 실시 예에 의한 패션 추천 모듈을 설명하기 위한 구성도,

도 3은 본 발명의 일 실시 예에 의한 이미지 분류 기반의 유명인 식별 방법을 설명하기 위한 순서도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

본 발명의 일 실시 예에 의한 이미지 분류 기반 유명인 식별 방법은 유명인에 대한 제1 쿼리 이미지를 수신하면, 제1 쿼리 이미지에서 얼굴 특징 벡터를 추출한 후 이를 기반으로 제1 쿼리 이미지의 레이블을 식별함으로써 제1 쿼리 이미지에 포함된 유명인의 이름을 사용자에게 제공할 수 있다.

유명인 식별 방법은 크게 제1 쿼리 이미지의 레이블을 식별하기 위한 제1 신경망 모델을 생성하는 단계, 제1 신경망 모델을 기반으로 제1 쿼리 이미지에 속한 유명인의 이름을 판단하는 단계, 제1 신경망 모델의 학습을 위한 트레이닝 데이터 세트에 포함된 이미지 데이터를 이용하여 패션 추천 서비스를 더 제공하는 단계로 구성된다. 이에 따라 유명인 식별 장치는 크게 유명인 식별 모듈(1)과 패션 추천 모듈(2)으로 구분될 수 있으며, 이하에서는 이에 대하여 각각 설명한다.

유명인 식별 모듈(1)

도 1은 본 발명의 일 실시 예에 의한 유명인 식별 모듈(1)의 구성을 나타낸 도면으로, 도 1을 참조하면 유명인 식별 모듈(1)은 제1 쿼리 이미지 입력 모듈(10), 이미지 분석 모듈(13), 제1 모델 생성 모듈(20), 데이터베이스(30)을 포함할 수 있다.

제1 쿼리 이미지 입력 모듈(10)은 사용자 단말로부터 적어도 하나의 제1 쿼리 이미지를 수신할 수 있다. 본 발명의 일 실시 예에 의한 제1 쿼리 이미지는 유명인에 대한 이미지일 것이다.

본 발명의 일 실시 예에 따르면, 유명인은 배우, 가수, 정치인, 운동선수, 아나운서, 유튜버와 같이 대중으로부터 주목을 받고 그에 영향을 끼치는 사람을 의미한다. 본 발명의 일 실시 예에 의한 이미지 분류 모델은 일반 사용자에 대한 얼굴 이미지 데이터 세트가 충분히 확보될 경우, 일반 사용자에게도 확장 적용될 수 있다.

이미지 분석 모듈(13)은 수신한 제1 쿼리 이미지에 대응하는 레이블, 즉 유명인의 이름을 식별할 수 있다. 이미지 분석 모듈(13)은 제1 쿼리 이미지에서 제1 임베딩 벡터를 추출하여 이를 기반으로 레이블을 식별할 것이다.

본 발명의 일 실시 예에 의한 이미지 분석 모듈(13)은 제1 쿼리 이미지에 대응하는 레이블을 식별하기 위하여, 이미지 분류를 수행하는 제1 신경망 모델을 이용할 수 있다. 제1 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 함에 따라, 인코더(14) 및 디코더(15)를 포함할 수 있다.

합성곱 신경망은 하나 또는 여러 개의 합성곱 계층(convolutional layer)과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 이미지 데이터와 같은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다.

인코더(14)는 수신한 제1 쿼리 이미지에 대한 얼굴 특징 벡터, 즉 제1 임베딩 벡터(Embedding vector)를 생성할 것이다. 인코더(14)는 신경망으로 구성될 수 있으며, 제1 임베딩 벡터를 생성하기 위해 학습된 신경망 모델일 수 있다.

디코더(15)는 제1 쿼리 이미지에서 추출된 제1 임베딩 벡터를 기반으로 제1 쿼리 이미지에 대응하는 레이블을 식별할 수 있다.

구체적으로, 디코더(15)는 제1 임베딩 벡터에 소프트맥스(Softmax) 함수를 적용하여 제1 임베딩 벡터를 정규화 할 수 있다. 디코더(15)는 제1 임베딩 벡터에 소프트맥스 함수를 적용한 결과를 이용하여 제1 쿼리 이미지에 대응하는 레이블을 식별할 수 있다.

예를 들어 현빈의 얼굴이 포함된 제1 쿼리 이미지가 입력되는 경우, 디코더(15)는 인코더(14)에서 생성된 제1 쿼리 이미지에 대응하는 제1 임베딩 벡터에 소프트맥스 함수를 적용하여 {(원빈, 6%), (현빈, 68%), (장동건, 2%), (성동일, 13%), (김상경, 7%), (서강준, 4%)}와 같은 결과 값을 생성할 수 있다. 이 때, 결과 값의 확률 값은 해당 레이블이 참일 확률을 나타내는 것이다.

디코더(15)는 가장 높은 확률을 갖는 레이블을 제1 쿼리 이미지에 대응하는 레이블로 선택할 것이다.

한편 디코더(15)는 제1 쿼리 이미지의 레이블을 식별함에 있어서, 소프트맥스 함수를 활용하는 것이 아닌, 제1 임베딩 벡터와 데이터베이스(30)에 저장된 얼굴 특징 벡터 간의 거리를 기반으로 할 수도 있다. 이 때, 디코더(15)는 제1 임베딩 벡터와 얼굴 특징 벡터 간 거리를 연산하고, 그 중 가장 거리 값이 작은 얼굴 특징 벡터의 레이블을 제1 쿼리 이미지의 레이블로 설정할 수 있다.

제1 모델 생성 모듈(20)은 본 발명의 일 실시 예에 의한 유명인 식별에 사용되는 제1 신경망 모델을 생성할 수 있다. 구체적으로, 제1 모델 생성 모듈(20)은 키워드 수신 모듈(21), 데이터 수집 모듈(23), 데이터 처리 모듈(25)을 더 포함할 수 있다.

키워드 수신 모듈(21)은 사용자 단말로부터 제1 신경망 모델의 학습을 위한 트레이닝 데이터 세트를 생성하기 위해 제1 키워드를 수신할 수 있다. 본 발명의 일 실시 예에 의한 제1 키워드는 유명인의 이름을 의미할 것이다.

키워드 수신 모듈(21)은 사용자 단말로부터 제1 키워드를 수신할 뿐 아니라, 자동으로 제1 키워드를 웹 사이트에서 크롤링 할 수 있다. 예를 들어, 키워드 수신 모듈(21)은 특정 웹 사이트에서 이슈가 되는 검색 순위 리스트에 사람의 이름이 포함될 경우 유명인으로 판단하고, 해당 이름을 제1 키워드로 설정할 수도 있다.

데이터 수집 모듈(23)은 키워드 수신 모듈(21)에서 수신한 제1 키워드를 기반으로 웹 사이트 크롤링(Crawling)을 수행하여 제1 키워드에 대응하는 적어도 하나의 제1 이미지 데이터를 수집할 수 있다. 데이터 수집 모듈(23)은 크롤러를 포함하여 웹 페이지에서 제1 키워드에 대응하는 제1 이미지 데이터를 추출할 수 있다.

데이터 수집 모듈(23)은 수집된 제1 이미지 데이터에 제1 키워드를 레이블링 할 수 있다. 이하에서는 제1 이미지 데이터의 레이블을 제1 레이블로 명명한다.

데이터 처리 모듈(25)은 제1 이미지 데이터 및 제1 레이블을 기반으로 제1 트레이닝 데이터 세트를 구축할 수 있다. 이를 위해 먼저, 데이터 처리 모듈(25)은 제1 이미지 데이터에서 얼굴 특징 벡터를 추출할 수 있다. 얼굴 특징 벡터는 눈썹, 눈, 코, 입, 얼굴 윤곽 등을 포함할 수 있다.

데이터 처리 모듈(25)은 제1 이미지 데이터에 얼굴 특징 벡터와 유사한 영역이 존재하면 제1 이미지 데이터에 얼굴이 포함되어 있다고 판단할 것이다. 데이터 처리 모듈(25)은 하나의 제1 이미지 데이터에 복수 개의 얼굴이 포함되어 있다고 판단하면, 복수 개의 얼굴 각각이 따로 포함될 수 있게 제1 이미지 데이터를 분할할 수 있다. 구체적으로 데이터 처리 모듈(25)은 제1 이미지 데이터에 n개의 얼굴이 포함된 경우, n개의 얼굴이 각각 따로 포함되도록 제1 이미지 데이터를 분할할 것이다. 이 후, 데이터 처리 모듈(25)은 분할 이전의 제1 이미지 데이터를 삭제하여 동일 얼굴에 대한 제1 이미지 데이터의 중복 저장을 방지할 것이다.

예를 들어, 제1 이미지 데이터 a에 얼굴 1와 얼굴 2가 포함되어 있으면 데이터 처리 모듈(25)은 제1 이미지 데이터 a를 얼굴 1이 포함된 제1 이미지 데이터 a1, 얼굴 2가 포함된 제1 이미지 데이터 a2로 분할하고, 제1 이미지 데이터 a를 삭제할 것이다.

데이터 처리 모듈(25)은 복수 개의 얼굴을 포함하는 제1 이미지 데이터를 분할함에 있어서, 제1 이미지 데이터에 레이블링 된 제1 레이블은 그대로 유지할 것이다. 예를 들어 3개의 얼굴을 포함하는 제1 이미지 데이터의 제1 레이블이 현빈일 경우, 제1 이미지 데이터에서 분리된 3개의 제1 이미지 데이터는 현빈으로 레이블링 될 것이다.

데이터 처리 모듈(25)은 상기 과정이 완료되면, 제1 이미지 데이터를 기반으로 제1 트레이닝 데이터 세트를 구축할 수 있다. 데이터 처리부(300)는 (제1 이미지 데이터, 제1 레이블, 얼굴 특징 벡터)와 같은 형태를 갖는 제1 트레이닝 데이터 세트를 구축할 수 있다.

데이터 처리 모듈(25)은 제1 트레이닝 데이터 세트에 포함된 제1 이미지 데이터를 클러스터링 할 수 있다. 클러스터링은 비지도 학습의 일종으로, 데이터의 특성을 기반으로 데이터 집단을 정의하고 데이터를 데이터 집단에 따라 나누는 것이며 계층적 클러스터링, k-means 클러스터링 등이 그 대표 알고리즘이다.

데이터 처리 모듈(25)은 병합 계층 클러스터링(Agglomerative hierarchical clustering)을 기반으로 제1 이미지 데이터를 클러스터링 할 것이다. 병합 계층 클러스터링은 하나의 데이터를 포함하는 복수 개의 클러스터에서 출발해 반복적으로 두 개의 가까운 클러스터를 찾아 병합하는 것을 의미한다.

클러스터링 과정을 구체적으로 설명하면, 데이터 처리 모듈(25)은 제1 이미지 데이터에 대응하는 얼굴 특징 벡터의 유사도를 기반으로 클러스터를 병합할 수 있다. 나아가 데이터 처리 모듈(25)은 클러스터의 병합 과정에 있어서, 두 클러스터 사이의 유사도 거리가 기 설정된 임계 값 이하일 때만 클러스터를 병합할 수 있다. 예를 들어, 임계 값이 10이고 6개의 클러스터 간 유사도 거리가 1, 15, 3, 2, 39, 7일 경우, 데이터 처리 모듈(25)은 유사도 거리가 거리가 1, 3, 2, 7인 클러스터만을 병합할 것이다.

데이터 처리 모듈(25)은 더 이상 클러스터를 병합할 수 없을 때까지 클러스터링을 수행하고, 그 어떤 클러스터에도 포함되지 않은 제1 이미지 데이터를 제1 트레이닝 데이터 세트에서 삭제할 수 있다.

데이터 처리 모듈(25)은 클러스터 내 포함된 제1 이미지 데이터의 제1 레이블을 클러스터의 제2 레이블로 하여 레이블링 할 수 있다. 데이터 처리 모듈(25)은 클러스터 내 포함된 제1 이미지 데이터에 대한 제1 레이블의 비율이 가장 높은 제1 레이블을 해당 클러스터의 제2 레이블로 설정할 것이다.

예를 들어 클러스터 내 포함된 제1 이미지 데이터에 대한 제1 레이블의 분포가 현빈 82%, 원빈 13%, 강동원 5%일 경우, 데이터 처리 모듈(25)은 해당 클러스터의 제2 레이블을 현빈으로 설정할 것이다.

나아가 데이터 처리 모듈(25)은 서로 다른 클러스터의 제2 레이블이 동일한 지 중복 여부 검사를 더 수행할 수 있다. 데이터 처리 모듈(25)은 일 클러스터의 제2 레이블과 다른 클러스터의 제2 레이블이 동일한 경우, 동명이인이라고 판단하여 제2 레이블에 추가 식별 정보를 더 추가할 수 있다.

예를 들어 일 클러스터의 제2 레이블이 한혜진(모델)이고, 다른 클러스터의 제2 레이블이 한혜진(배우)인 경우, 데이터 처리 모듈(25)은 일 클러스터의 제2 레이블을 한혜진1, 다른 클러스터의 제2 레이블을 한혜진2로 설정할 수 있다.

나아가 클러스터의 제2 레이블과 클러스터 내 속한 제1 이미지 데이터의 제1 레이블이 서로 상이할 경우, 데이터 처리 모듈(25)은 해당 제1 이미지 데이터의 제1 레이블로 제2 레이블을 사용할 수 있다.

데이터 처리 모듈(25)은 상기 과정을 거친 제1 이미지 데이터 및 제1 레이블, 그에 따른 얼굴 특징 정보를 기반으로 제2 트레이닝 데이터 세트를 생성할 수 있다. 제2 트레이닝 데이터 세트는 추후 생성될, 혹은 이미 생성된 제1 신경망 모델을 학습하는 과정에서 사용될 수 있다.

데이터 처리 모듈(25)은 새로운 제1 쿼리 이미지가 수신될 때마다 상기 과정을 순환 반복하여 제2 트레이닝 데이터 세트를 업데이트 할 수 있다.

데이터 처리 모듈(25)은 생성된 제2 트레이닝 데이터 세트를 데이터베이스(30)에 저장할 수 있다.

이하에서는 일 예시를 통해 상기 과정을 구체적으로 설명한다. 키워드 수신 모듈(21)이 사용자 단말로부터 제1 키워드인 현빈을 수신하면, 데이터 수집 모듈(23)은 현빈을 검색어로 하여 웹 사이트 크롤링을 수행하여 복수 개의 제1 이미지 데이터를 수집할 수 있다.

수집된 제1 이미지 데이터 중 하나인 제1 이미지 데이터 b에 현빈, 강동원, 원빈, 장동건의 얼굴이 포함되어 있으면, 데이터 처리 모듈(25)은 제1 이미지 데이터 b를 현빈의 얼굴을 포함하는 제1 이미지 데이터 b1, 강동원의 얼굴을 포함하는 제1 이미지 데이터 b2, 원빈의 얼굴을 포함하는 제1 이미지 데이터 b3, 장동건의 얼굴을 포함하는 제1 이미지 데이터 b4로 분할할 수 있다. 데이터 처리 모듈(25)은 제1 이미지 데이터 b1 내지 제1 이미지 데이터 b4의 레이블을 모두 현빈으로 설정할 것이다.

이 후, 데이터 처리 모듈(25)은 제1 이미지 데이터, 제1 이미지 데이터의 제1 레이블, 얼굴 특징 벡터를 기반으로 제1 트레이닝 데이터 세트를 생성하고, 얼굴 특징 정보 사이의 유사도를 기반으로 제1 이미지 데이터를 클러스터링 할 수 있다. 데이터 처리 모듈(25)은 얼굴 특징 벡터를 기반으로 클러스터링을 수행함에 따라, 다른 레이블을 가졌으나 서로 유사한 얼굴 특징 벡터를 가진 제1 이미지 데이터도 하나의 클러스터로 묶을 수 있다. 예를 들어, 제1 이미지 데이터 b1 내지 제1 이미지 데이터 b4는 모두 현빈이라고 동일하게 레이블링 되어 있을 것이나 제1 이미지 데이터 b3는 원빈의 얼굴을 포함하고 있기 때문에 원빈을 제2 레이블로 하는 클러스터에 속해 있을 것이다.

데이터 처리 모듈(25)은 클러스터링을 수행한 후, 일 클러스터에 포함된 제1 이미지 데이터에 대응하는 제1 레이블 중 가장 비중이 큰 제1 레이블을 제2 키워드로 설정할 수 있는데, 이는 상기와 같은 클러스터 내에 위치하나 다른 레이블이 제1 레이블로 설정되어 있는 경우, 제1 레이블을 정정하기 위함이다.

상기 설명한 바와 같이 제1 이미지 데이터에 복수 개의 얼굴이 포함되어 있는 경우 제1 이미지 데이터를 분할함에 따라, 원빈을 제2 레이블로 하는 클러스터에 현빈을 제1 레이블로 하는 제1 이미지 데이터가 포함되어 있을 수 있다. 이에 따라 클러스터에 포함된 제1 이미지 데이터의 제1 레이블이 모두 동일하지 않은 경우가 있을 수 있어, 데이터 처리 모듈(25)은 가장 비중이 높은 제1 레이블을 제2 레이블로 설정할 수 있다.

다시 데이터 처리 모듈(25)에 대한 설명으로 복귀하여, 데이터 처리 모듈(25)은 제2 트레이닝 데이터 세트를 기반으로 제1 신경망 모델을 생성할 수 있다. 데이터 처리 모듈(25)은 유명인에 대한 이미지 데이터를 입력 데이터로 하고 상기 이미지 데이터에 대응하는 키워드를 추출하는, 머신 러닝 기반의 제1 신경망 모델을 생성할 수 있다.

데이터 처리 모듈(25)은 생성한 제1 신경망 모델을 데이터베이스(30)에 저장할 수 있다.

패션 추천 모듈(2)

도 2는 본 발명의 일 실시 예에 의한 패션 추천 모듈(2)을 설명하기 위한 구성도이다. 본 발명의 패션 추천 모듈(2)은 제1 신경망 모델을 학습함에 있어서 사용한 제2 트레이닝 데이터 세트를 기반으로 패션 데이터베이스(40)를 더 생성하여 사용자가 원하는 패션 아이템에 적합한 다른 패션 아이템을 추천할 수 있다. 구체적으로 패션 추천 모듈(2)은 제2 쿼리 이미지 수신 모듈(31), 이미지 처리 모듈(33), 제2 모델 생성 모듈(35), 그리고 패션 데이터베이스(40)를 포함할 것이다.

제2 쿼리 이미지 수신 모듈(31)은 사용자 단말로부터 패션 아이템에 대한 제2 쿼리 이미지를 수신할 수 있다. 제2 쿼리 이미지 수신 모듈(31)은 사용자 단말로부터 직접 제2 쿼리 이미지를 수신할 수 있으며, 나아가 사용자 단말이 접속한 온라인 쇼핑몰에서 수집한 상품 이미지를 수집할 수도 있다.

제2 쿼리 이미지 수신 모듈(31)은 수집된 제2 쿼리 이미지를 패션 데이터베이스(40)에 추가할 수 있다.

이미지 처리 모듈(33)은 제2 쿼리 이미지에 포함된 제1 패션 아이템과 어울리는 제2 패션 아이템을 추천할 수 있다. 이미지 처리 모듈(33)은 제2 쿼리 이미지에서 임베딩 벡터를 추출하여 이와 어울리는 제2 패션 아이템을 추천할 것이다. 예를 들어, 제1 패션 아이템이 상의이면 제2 패션 아이템은 하의, 신발, 가방 등일 것이다.

본 발명의 일 실시 예에 의한 이미지 처리 모듈(33)은 제2 쿼리 이미지에 포함된 제1 패션 아이템과 어울리는 제2 패션 아이템을 식별하기 위하여, 메트릭 러닝(Metric Learning)을 기반으로 하는 제2 신경망 모델을 사용할 것이다.

메트릭 러닝(Metric Learning)은 두 대상이 갖는 특성이 다름에 포커스를 두고, 학습 과정에서 분류가 아닌 같다 혹은 다르다를 나타내는 거리를 계산하는 메트릭을 사용해 문제를 해결하는 알고리즘으로, 트리플렛 로스(Triplet Loss)를 그 기반으로 함에 따라 제1 네트워크(앵커, anchor)를 기준으로 제2 네트워크(positive sample)와 제3 네트워크(negative sample)를 이용해 3개의 값에 따라 로스 값을 연산한다. 메트릭 러닝에 대한 보다 구체적인 설명은 제2 신경망 모델을 학습하는 과정에 대한 설명에서 후술한다.

이미지 처리 모듈(33)은 제2 신경망 모델을 통해 제2 쿼리 이미지의 제2 임베딩 벡터를 추출하여, 제2 쿼리 이미지에 속한 제1 패션 아이템을 식별할 수 있다.

이미지 처리 모듈(33)은 패션 데이터베이스(40)에서 제2 임베딩 벡터와 기 설정된 거리 임계 값 이내에 위치한 제3 임베딩 벡터에 대응하는 제2 패션 아이템을 추출할 수 있다. 본 발명의 일 실시 예에 의한 패션 아이템의 임베딩 벡터는 텍스쳐, 패션 아이템의 종류, 색상, 형태, 길이 등을 포함할 것이다.

이미지 처리 모듈(33)은 제1 패션 아이템의 제2 임베딩 벡터와 제3 임베딩 벡터의 거리 값을 기반으로, 제1 패션 아이템과 제2 패션 아이템이 서로 얼마나 어울리는 지를 판단(거리 값이 적을수록 제1 패션 아이템과 제2 패션 아이템이 어울림)하여, 결과 값을 사용자 단말에 전송할 것이다.

본 발명의 다른 실시 예에 의한 이미지 처리 모듈(33)은 제2 쿼리 이미지 수신 모듈(31)에서 복수 개의 제2 쿼리 이미지가 수신되는 경우, 제2 쿼리 이미지 각각에 대하여 제2 임베딩 벡터를 추출하고, 이를 기반으로 제2 쿼리 이미지 각각에 대한 제1 패션 아이템을 식별할 수 있다. 그 후, 이미지 처리 모듈(33)은 각 제2 임베딩 벡터 사이의 거리를 연산하여 제2 쿼리 이미지 각각에 속한 제1 패션 아이템이 얼마나 서로 어울리는 지를 판단할 수 있다.

본 발명의 다른 실시 예에 의한 이미지 처리 모듈(33)은 제1 패션 아이템의 제2 임베딩 벡터를 분석하여, 제1 이미지 데이터에 대응하는 유명인이 어떤 패션을 선호하는 지를 더 식별할 수 있다. 이미지 처리 모듈(33)은 특정 유명인을 라벨로 갖는 제1 이미지 데이터를 분석하여 선호 패션 종류를 파악하고, 선호 패션 종류의 비율에 따라 가장 높은 비율을 갖는 선호 패션 종류를 사용자에게 더 제공할 수 있다. 선호 패션 종류에는 정장, 세미 정장, 빈티지, 캐쥬얼 등이 포함될 수 있다.

이하에서는 본 발명의 일 실시 예에 의한 제2 모델 생성 모듈(35)이 제2 신경망 모델을 학습하는 과정을 설명한다.

제2 모델 생성 모듈(35)은 제2 트레이닝 데이터 세트에 포함된 제1 쿼리 이미지를 불러와 제1 쿼리 이미지에서 제3 패션 아이템을 추출하여, 제3 패션 아이템을 기반으로 메트릭 학습을 수행할 것이다.

제2 모델 생성 모듈(35)은 제1 쿼리 이미지 및 제3 패션 아이템을 패션 데이터베이스(40)에 저장할 수 있다.

제2 모델 생성 모듈(35)은 메트릭 러닝 및 트리플렛 로스를 이용함에 따라, 1) 제3 패션 아이템을 제1 네트워크(anchor)의 입력 값으로 하여 제3 패션 아이템의 임베딩 벡터를 추출하고, 2) 제3 패션 아이템과 어울린다고 판단되는 제4 패션 아이템을 제2 네트워크(positive)의 입력 값으로 하여 제4 패션 아이템의 임베딩 벡터를 추출하고, 3) 제3 패션 아이템과 어울리지 않다고 판단되는 제5 패션 아이템을 제3 네트워크(negative)의 입력 값으로 하여 제5 패션 아이템의 임베딩 벡터를 먼저 추출할 수 있다. 이 때 패션 아이템 간 어울리는 지의 여부는 미리 설정된 값일 것이다.

제2 모델 생성 모듈(35)은 제3 패션 아이템의 임베딩 벡터와 제4 패션 아이템의 임베딩 벡터 간 거리를 가깝게 하고, 제3 패션 아이템의 임베딩 벡터와 제5 패션 아이템의 임베딩 벡터 간 거리를 멀게 하는 거리 함수를 생성할 수 있다.

이 때, 제2 모델 생성 모듈(35)은 트리플렛 로스를 적용하여 제3 패션 아이템의 임베딩 벡터와 제4 패션 아이템의 임베딩 벡터 간 거리가 가까울수록 손실이 적고, 제3 패션 아이템의 임베딩 벡터와 제5 패션 아이템의 임베딩 벡터 간 거리가 멀수록 손실이 적도록 손실 값을 제어할 수 있다.

도 3은 본 발명의 일 실시 예에 의한 이미지 분류 기반의 유명인 식별 방법을 설명하기 위한 순서도이다. 이하에서는 도 3을 참조하여 유명인 식별 방법을 설명한다. 유명인 식별 방법에 대한 설명에 있어서, 앞서 설명한 유명인 식별 장치와 중복되는 세부 실시 예는 생략될 수 있다.

전자 장치는, 사용자 단말로부터 제1 키워드를 수신(S100)할 수 있다. 제1 키워드는 제1 신경망 모델을 학습하기 위한 트레이닝 데이터 세트를 구축하기 위한 기초 키워드이다. 전자 장치는 사용자 단말로부터 직접 제1 키워드를 수신할 뿐 아니라, 웹 사이트의 인기 검색어와 같은 검색 순위 리스트에서 사람의 이름이 포함된 경우 이를 제1 키워드로 수집할 수도 있다.

전자 장치는, 제1 키워드를 기반으로 웹 사이트 크롤링 하여 제1 키워드에 대응하는 적어도 하나의 제1 이미지 데이터를 수집(S110)할 수 있다. 전자 장치는 제1 이미지 데이터를 수집하면, 제1 이미지 데이터에 제1 키워드를 레이블링 할 것이다(제1 레이블).

전자 장치는 제1 이미지 데이터에서 눈썹, 눈, 코, 입, 얼굴 윤곽 등을 포함하는 얼굴 특징 벡터를 추출하여 제1 이미지 데이터에 얼굴이 포함되어 있는 지의 여부를 판단(S120)할 수 있다.

전자 장치는 하나의 제1 이미지 데이터에 복수 개의 얼굴이 포함되어 있을 경우 각 얼굴이 따로 포함되도록 제1 이미지 데이터를 분할하고 분할된 제1 이미지 데이터에 제1 레이블을 레이블링(S130) 할 수 있다.

전자 장치는 단계 100 내지 단계 130을 반복 수행한 후, 제1 이미지 데이터 및 제1 레이블을 기반으로 제1 트레이닝 데이터 세트를 구축(S140)할 수 있다. 본 발명의 일 실시 예에 의한 제1 트레이닝 데이터 세트는 (제1 이미지 데이터, 제1 레이블, 얼굴 특징 벡터)와 같은 형태를 가질 수 있다.

전자 장치는 제1 트레이닝 데이터 세트에 포함된 제1 이미지 데이터를 클러스터링(S150) 할 수 있다. 전자 장치는 제1 이미지 데이터에 대응하는 얼굴 특징 벡터 간의 유사도를 기반으로 클러스터를 병합하고, 그 어떤 클러스터에도 포함되지 않은 제1 이미지 데이터를 제1 트레이닝 데이터 세트에서 삭제할 것이다.

전자 장치는 클러스터 내 포함된 제1 이미지 데이터의 제1 키워드를 클러스터의 제2 레이블로 설정할 수 있다. 구체적으로, 전자 장치는 클러스터 내 포함된 제1 이미지 데이터에 대한 제1 레이블의 비율이 가장 높은 것을 선택하여 해당 클러스터의 제2 레이블로 설정하고, 클러스터에 포함된 제1 이미지 데이터의 제1 레이블과 제2 레이블이 상이할 경우 제1 키워드를 제2 레이블로 설정할 것이다.

전자 장치는 일 클러스터의 제2 레이블과 다른 클러스터의 제2 레이블이 동일할 경우, 동명이인으로 판단하여 클러스터의 제2 레이블에 추가 식별 정보를 더 포함할 수 있다.

전자 장치는 상기 과정을 모두 거친 제1 이미지 데이터, 제1 레이블, 그에 따른 얼굴 특징 벡터를 기반으로 제2 트레이닝 데이터 세트를 생성(S160)할 수 있다. 전자 장치는 상기 과정을 주기적 혹은 비주기적으로 순환 반복하여 제2 트레이닝 데이터 세트를 업데이트 할 수 있다.

전자 장치는 제2 트레이닝 데이터 세트를 기반으로 제1 신경망 모델을 생성 및 학습(S170)할 수 있다. 단계 160을 구체적으로 설명하면, 전자 장치는 제1 임베딩 벡터에 소프트맥스 함수를 적용하여 제1 임베딩 벡터를 정규화 할 수 있다. 전자 장치는 제1 임베딩 벡터에 소프트맥스 함수를 적용한 결과 값에서, 가장 높은 확률을 갖는 레이블을 제1 쿼리 이미지에 대응하는 제1 레이블로 선택할 수 있도록 제1 신경망 모델을 학습할 것이다.

전자 장치는, 사용자 단말로부터 적어도 하나의 제1 쿼리 이미지를 수신(S200)할 수 있다. 본 발명의 일 실시 예에 의한 제1 쿼리 이미지는 유명인에 대한 이미지일 것이다.

전자 장치는 제1 신경망 모델에 제1 쿼리 이미지를 입력 데이터로 하여, 쿼리 이미지에 대응하는 제1 임베딩 벡터를 추출(S210)하여 제1 쿼리 이미지에 대응하는 레이블을 식별(S220)할 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims

제1 신경망 모델을 기반으로 제1 쿼리 이미지에 포함된 유명인을 식별하는 유명인 식별 모듈; 및

제1 신경망 모델의 학습을 위한 트레이닝 데이터 세트에 포함된 이미지 데이터를 이용하여 패션 추천 서비스를 제공하는 패션 추천 모듈을 포함하는 유명인 식별 장치.
제1항에 있어서, 상기 유명인 식별 모듈은,

사용자 단말로부터 적어도 하나의 제1 쿼리 이미지를 수신하는 제1 쿼리 이미지 입력 모듈;

제1 신경망 모델을 기반으로, 제1 쿼리 이미지에 대응하는 레이블을 식별하는 이미지 분석 모듈; 및

제1 신경망 모델을 생성 및 학습하는 제1 모델 생성 모듈을 포함하는 유명인 식별 장치.
제2항에 있어서,

제1 쿼리 이미지는 유명인에 대한 이미지를 포함하는 것을 특징으로 하는 유명인 식별 장치.
제2항에 있어서, 상기 이미지 분석 모듈은,

제1 쿼리 이미지에서 제1 임베딩 벡터를 추출하는 인코더; 및

제1 임베딩 벡터를 기반으로 제1 쿼리 이미지에 대응하는 레이블을 식별하는 디코더를 포함하는 유명인 식별 장치.
제2항에 있어서, 상기 제1 모델 생성 모듈은,

사용자 단말로부터 제1 키워드를 수신하는 키워드 수신 모듈;

제1 키워드를 크롤링 하여 제1 키워드에 대응하는 적어도 하나의 제1 이미지 데이터를 수집하고, 제1 이미지 데이터에 제1 키워드를 레이블링(제1 레이블)하는 데이터 수집 모듈;

제1 이미지 데이터 및 제1 레이블을 기반으로 제1 트레이닝 데이터 세트를 구축하고, 제1 트레이닝 데이터 세트에 포함된 제1 이미지 데이터를 클러스터링 하여 제2 트레이닝 데이터 세트를 생성하고, 제2 트레이닝 데이터 세트를 기반으로 제1 신경망 모델을 생성 및 학습하는 데이터 처리 모듈을 더 포함하는 유명인 식별 장치.
제5항에 있어서, 상기 데이터 처리 모듈은,

제1 이미지 데이터에서 얼굴 특징 벡터를 추출하여 얼굴의 포함 유무를 판단하고, 제1 이미지 데이터에 복수 개의 얼굴이 포함되어 있다고 판단되면 제1 이미지 데이터에 포함된 복수 개의 얼굴 각각을 분할하고,

제1 이미지 데이터를 기반으로 제1 트레이닝 데이터 세트를 구축하는 유명인 식별 장치.
제6항에 있어서,

제1 트레이닝 데이터 세트에 포함된 제1 이미지 데이터에 대응하는 얼굴 특징 벡터의 유사도를 기반으로 클러스터링 하여, 클러스터 내 포함된 제1 이미지 데이터의 제1 레이블을 상기 클러스터의 제2 레이블로 설정하고,

서로 다른 클러스터의 제2 레이블이 동일한 지 판단하여, 일 클러스터의 제2 레이블과 다른 클러스터의 제2 레이블이 동일한 경우, 클러스터의 제2 레이블에 추가 식별 정보를 더 추가하고,

상기 클러스터 내 포함된 제1 이미지 데이터의 제1 레이블을 제2 레이블로 설정한 후, 제1 이미지 데이터 및 제1 레이블을 기반으로 제2 트레이닝 데이터 세트를 생성하는 유명인 식별 장치.
제1항에 있어서, 상기 패션 추천 모듈은,

사용자 단말로부터 패션 아이템에 대한 제2 쿼리 이미지를 수신하는 제2 쿼리 이미지 수신 모듈; 및

제2 쿼리 이미지에 포함된 제1 패션 아이템과 어울리는 제2 패션 아이템을 추출하여 상기 사용자 단말에 제공하는 이미지 처리 모듈을 포함하는 유명인 식별 장치.
제8항에 있어서, 상기 이미지 처리 모듈은,

메트릭 러닝 기반의 제2 신경망 모델을 사용하여,

제2 쿼리 이미지에서 제2 임베딩 벡터를 추출하여 제1 패션 아이템을 식별하고, 제2 임베딩 벡터와 기 설정된 거리 임계 값 이내에 위치한 제3 임베딩 벡터에 대응하는 제2 패션 아이템을 추출하는 유명인 식별 장치.
제8항에 있어서, 상기 이미지 처리 모듈은,

복수 개의 제2 쿼리 이미지가 수신되는 경우, 제2 쿼리 이미지 각각에 대응하는 제2 임베딩 벡터를 추출하여 복수 개의 제1 패션 아이템을 식별하고,

각 제2 임베딩 벡터 사이의 거리를 연산하여 제2 쿼리 이미지 각각에 속한 제1 패션 아이템이 얼마나 서로 어울리는 지를 판단하는 유명인 식별 장치.