KR20210139119A - 딥러닝 기반 대상체 감성 인식 방법, 장치 및 프로그램 - Google Patents

Abstract

딥러닝 기반 대상체 감성 인식 방법이 제공된다. 본 발명의 일 면에 따른 딥러닝 기반 대상체 감성 인식 방법은 서버가 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 서버가 상기 개별외형특성에 기초하여 설정된 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링하는 단계; 서버가 상기 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 각각 매칭되는 적어도 하나의 시각적 특성에 대응하는 영상데이터를 수집하고, 상기 수집한 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 학습데이터셋을 구축하는 단계; 서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및 서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 감성특성 인식모델을 통해 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함할 수 있다.

Description

딥러닝 기반 대상체 감성 인식 방법, 장치 및 프로그램{SYSTEM, METHOD AND PROGRAM FOR RECOBNIZING EMOTION OF THE OBJECT BASEN ON DEEP-LEARNING}

본 발명은 딥러닝 기반 대상체 감성 인식 방법, 장치 및 프로그램에 관한 것으로, 보다 자세하게는 대상체의 외형 특성과 시각적 특성을 이용하여 대상체의 감성적 특성을 산출하는 방법, 장치 및 프로그램에 관한 것이다.

최근 인터넷의 발달로 소셜 미디어 네트워크 서비스가 급격히 성장하고 있다. 그 결과, 멀티미디어의 양이 폭발적으로 증가하면서 효과적인 이미지 검색 시스템이 요구되며, 이미지 어노테이션은 폭발적으로 증가하는 웹이미지에 따른 효율적인 이미지 검색의 필요성으로 인해 그 중요도가 점점 높아지고 있다.

대부분의 이미지 검색 연구는 주로 이미지의 내용을 분석하는 내용 기반 이미지 검색(CBIR: Content-based Image Retrieval) 방법이 많이 진행되어 왔다. 내용 기반 이미지 검색은 색상, 텍스처 및 형태와 같은 시각적 특징을 이용하여 이미지의 내용을 분석한다. 이러한 방법은 정의하는 태그의 개수가 적을 경우에는 잘 작동하지만, 데이터셋이 커지고 태그의 종류가 다양해짐에 따라 성능이 떨어지게 된다.

특히, 최근 이미지의 형상, 텍스트 등 시각적인 특징 이외에도 이미지가 가지고 있는 감성 등 부가적인 특징들을 활용하여 이미지를 검색하고자 하는 수요가 늘어나고 있어 이미지에 포함된 감성 등 부가적인 특징을 인식하는 방법의 필요성이 높아지고 있다.

KR10-2108460 US2020-0184282 KR10-2020-0046924

본 발명이 해결하고자 하는 과제는 영상데이터에 포함된 대상체의 감성을 손쉽게 인식하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 딥러닝 기반 대상체 감성 인식 방법은 서버가 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 서버가 상기 개별외형특성에 기초하여 설정된 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링하는 단계; 서버가 상기 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 각각 매칭되는 적어도 하나의 시각적 특성에 대응하는 영상데이터를 수집하고, 상기 수집한 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 학습데이터셋을 구축하는 단계; 서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및 서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 감성특성 인식모델을 통해 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

본 발명에 따르면, 영상데이터에 포함된 대상체의 감성을 손쉽게 확인할 수 있다.

또한, 본 발명에 따르면, 외형 특성 인식모듈, 시각적 특성 인식모듈 및 감성 인식 모듈을 활용하여 대상체의 감성을 자동으로 정확하게 추출할 수 있다.

또한, 본 발명에 따르면, 서로 유사한 외형특성을 가진 대상체들을 클러스터링함으로써 대상체의 분류를 손쉽게 할 수 있다.

또한, 본 발명에 따르면, 대상체를 여러 피스(piece)로 분할하여 감성적 특성을 인식함으로써 여러 피스간 느낌이 상반될 때 각각의 감성적 특성이 도출될 수 있다.

또한, 본 발명에 따르면, 시각적 특성에 따라서 대상체의 감성적 특성을 분류함에 따라 대상체에 대한 전문적인 지식이 없어도 객관적으로 감성적 특성을 분류할 수 있다.

또한, 본 발명에 따르면, 대상체가 포함된 이미지의 구도가 달라져도 시각적 특성을 기준으로 동일한 감성으로 판단할 수 있으며 이를 통해 감성적 특성 판단의 신뢰성을 높일 수 있다.

또한, 본 발명에 따르면, 각국 특성/언어를 기반으로 감성적 특성을 국가별로 다르게 적용할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 발명의 일 실시 예에 따른 대상체 감성 인식 서버를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 외형특성 인식모델을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 시각적 특성 인식모델을 나타낸 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 감성특성 인식모델을 나타낸 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 대상체 감성 인식 방법을 설명하기 위한 흐름도이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 대상체 감성 인식 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 복수의 유형 기반 대상체 감성 인식 방법을 설명하기 위한 흐름도이다.
도 9 내지 도 11은 본 발명의 일 실시 예에 따른 복수의 유형 기반 대상체 감성 인식 방법을 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 복수의 유형 조합 기반 대상체 감성 인식 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 복수의 유형 조합 기반 대상체 감성 인식 방법을 설명하기 위한 예시도이다.
도 14은 본 발명의 일 실시 예에 따른 시각적 특성 인식모델과 감성 인식 모델을 활용한 대상체 감성 인식 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 일 실시 예에 따른 복수의 클러스터를 활용한 대상체 감성 인식 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른 복수의 클러스터에 포함된 확률에 따라 대상체의 클러스터 포함 여부를 판단하는 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 일 실시 예에 따른 복수의 클러스터 및 감성특성 인식모델을 활용한 대상체 감성 인식 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 '대상체'는 검색을 수행하는 특정한 분류 또는 카테고리의 물품을 의미한다. 예를 들어, 쇼핑몰에서 원하는 물품의 이미지를 검색하고자 할 때, 사용자가 물품 카테고리 중에서 의류 검색을 수행하는 경우, 대상체는 의류일 수 있다.

본 명세서에서, '영상데이터'는 특정한 대상체를 포함하는 2차원 또는 3차원의 정적 또는 동적 이미지를 의미한다. 즉, '영상데이터'는 하나의 프레임인 정적 영상데이터일 수도 있고, 복수의 프레임이 연속되는 동적 영상데이터(즉, 동영상데이터)일 수도 있다.

본 명세서에서, '학습용 영상데이터'는 학습모델의 트레이닝에 이용되는 영상데이터를 의미한다.

본 명세서에서, '입력영상데이터'는 학습모델에 입력되어 학습결과를 획득하고자 하는 영상데이터이다.

본 명세서에서 '외형분류기준'은 특정한 대상체의 외형을 서술(description)하거나 주석 삽입(annotation)을 위해 필요한 외형 표현의 분류기준을 의미한다. 즉, '외형분류기준'은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함할 수 있다.

예를 들어, 대상체가 의류인 경우, 외형분류기준은 의류의 외형에 대한 분류기준으로, 패턴(Pattern), 색상(Color), 핏(fit), 기장(Length) 등이 해당될 수 있다. 즉, 특정한 대상체에 대해 외형분류기준이 많아지면, 대상체에 속하는 특정한 물품의 외형을 상세히 기술할 수 있다.

본 명세서에서 '개별외형특성'은 특정한 외형분류기준 내에 포함되는 다양한 특성을 의미한다. 예를 들어, 외형분류기준이 색상인 경우, 개별외형특성은 다양한 개별 색상을 의미한다.

본 명세서에서 '시각적 특성'은 개별외형특성들에서 일부를 선택, 조합 또는 추가 한정 등을 통해 정의되어 대상체의 시각적 속성을 대표할 수 있는 다양한 특성을 의미한다. 즉, 개별외형특성은 대상체의 외형에 관한 모든 특성을 포함하고, 시각적 특성은 후술할 감성적 특성을 부여하기 위한 중간 매개가 되는 개념으로서 개별외형특성을 이용하여 재정의되는 개념이다. 예를 들어, 개별외형특성에 다양한 패턴들이 포함될 경우, 시각적 특성은 체크 패턴만을 포함할 수 있다. 결국, 시각적 특성은 매우 다양한 특성들을 포함하는 개별외형특성들을 모두 활용하기 보다는 일부만을 활용하기 위한 중간 매개가 되는 개념으로써 감성적 특성와 매핑되는 특성이다.

본 명세서에서 '감성 또는 감성적 특성'은 특정한 대상체에 대해 부여되는 감성적인 특성을 의미한다. 예를 들어, 의류인 경우, 빈티지와 같은 감성적 또는 유행적 표현일 수 있다.

도 1 은 본 발명의 일 실시 예에 따른 대상체 감성 인식 서버를 나타낸 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 외형특성 인식모델을 나타낸 블록도이다. 도 3은 본 발명의 일 실시 예에 따른 시각적 특성 인식모델을 나타낸 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 감성특성 인식모델을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 대상체 감성 인식 방법을 실행하는 서버(10)는 대상체유형 인식모델(100), 외형특성 인식모델(200), 시각적 특성 인식모델(300), 감성특성 인식모델(400), 제어부(500) 및 데이터베이스(600)를 포함하며, 대상체 감성 인식 방법을 수행할 수 있다.

일 실시 예에서, 대상체유형 인식모델(100), 외형특성 인식모델(200), 시각적 특성 인식모델(300) 및 감성특성 인식모델(400)은 딥러닝 알고리즘과 학습 데이터셋을 통해 미리 기계학습되어 특정 결과 값을 산출할 수 있는 모델일 수 있다.

일 실시 예에서, 제어부(500)는 대상체유형 인식모델(100), 외형특성 인식모델(200), 시각적 특성 인식모델(400), 감성특성 인식모델(300) 및 데이터베이스(600)를 제어하며 각 구성들을 연결하고 각 모델의 결과 값들을 이용하여 특정 내용을 판단할 수 있다. 보다 자세한 내용은 후술한다.

도 2를 참조하면, 외형특성 인식모델(200)은, 대상체 유형별로 상이한 개별특성인식모듈(110)의 조합을 포함한다. 예를 들어, 동일한 대분류 내에 속하는 패션잡화 유형(예를 들어, 신발, 지갑, 가방)은 상이한 외형분류기준을 가지므로, 서버(10)는 대상체 유형별로 개별특성인식모듈(110)의 조합을 생성하여 특정한 대상체 외형 인식을 위한 특화 외형특성인식모델을 생성한다. 물론 이와 달리 개별특성인식모듈 없이 외형특성인식모델 내에 모듈이 하나로 통합될 수도 있다.

도 3을 참조하면, 시각적 특성 인식모델(400)은 복수의 개별외형특성들에서 일부를 선택, 조합 또는 추가 한정 등을 통해 정의되어 대상체의 시각적 속성을 대표할 수 있는 시각적 특성을 결과값으로 산출할 수 있는 모델이다. 즉, 개별외형특성은 대상체의 외형에 관한 모든 특성을 포함하고, 시각적 특성은 후술할 감성적 특성을 부여하기 위한 중간 매개가 되는 개념으로서 개별외형특성을 이용하여 재정의되는 개념이다. 예를 들어, 개별외형특성에 다양한 패턴들이 포함될 경우, 시각적 특성은 체크 패턴만을 포함할 수 있다. 결국, 시각적 특성은 매우 다양한 특성들을 포함하는 개별외형특성들을 모두 활용하기 보다는 일부만을 활용하기 위한 중간 매개가 되는 개념으로써 감성적 특성와 매핑되는 특성이다.

일 실시 예에서, 시각적 특성은 사전에 미리 개별외형특성을 활용하여 설정되거나 백터를 활용한 클러스터링을 통해 설정될 수 있다. 이에 대한 자세한 내용은 후술한다.

일 실시 예에서, 시각적 특성 인식모델(400)은 대상체 유형별로 상이한 개별특성인식모듈(110)의 조합을 포함한다. 예를 들어, 동일한 대분류 내에 속하는 패션잡화 유형(예를 들어, 신발, 지갑, 가방)은 상이한 외형분류기준을 가지므로, 서버(10)는 대상체 유형별로 개별특성인식모듈(110)의 조합을 생성하여 특정한 대상체 시각적 특성 인식을 위한 특화 시각적 특성 인식모델을 생성한다. 물론 이와 달리 개별특성인식모듈 없이 시각적특성 인식모델 내에 모듈이 하나로 통합될 수도 있다.

도 4를 참조하면, 감성특성 인식모델(300)은, 개별외형특성을 입력 받아 제1감성특성을 산출하는 제1감성특성 인식모델(310) 및 제2감성특성을 산출하는 제2감성특성 인식모델(320)을 포함할 수 있다. 예를 들어, 제1감성특성 인식모델(310)은, 시각적 특성에 미리 매핑된 감성적 특성을 기계학습하여 제1 감성특성을 산출하는 모델일 수 있으며, 제2감성특성 인식모델(320)도 동일하게 제2 감성특성을 산출하는 모델일 수 있다. 각 모델의 개수를 2개로 기재한 것은 예시적인 것에 불과하고 필요한 감성적 특성만큼 모델 개수가 추가될 수 있다. 또한, 제1 감성특성 인식모델과 같이 개별 모듈 없이 모델이 구현될 수도 있고, 제2감성특성 인식모델과 같이 개별 모듈들이 포함될 수 있다.

도 5는 본 발명의 일 실시 예에 따른 대상체 감성 인식 방법을 설명하기 위한 흐름도이다. 도 6 및 도 7은 본 발명의 일 실시 예에 따른 대상체 감성 인식 방법을 설명하기 위한 예시도이다. 도 5의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다.

도 5 내지 도 7을 참조하면, 일 실시 예에서, 서버(10)는 동작 51에서, 영상데이터를 외형특성 인식모델(200)에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출할 수 있다. 예를 들어, 서버(10)는 외형 특성 분석이 진행되지 않은 신규 입력영상데이터를 외형특성 인식모델(100)에 제공하여, 특정한 대상체의 외형분류기준별로 개별외형특성을 산출할 수 있다.

일 실시예에서, 개별외형특성 산출단계는, 외형특성 인식모델(200) 내의 각각의 개별특성 인식모듈(110)에 입력영상데이터를 입력하여, 상기 입력영상데이터에 대한 복수의 개별외형특성을 산출한다. 이를 통해, 서버(10)는 입력영상데이터에 대한 각 외형분류기준의 개별외형특성을 모두 획득한다.

또한, 일 실시예에서, 개별특성인식모듈(110)은, 복수의 학습용 영상데이터에 대해 특정한 외형분류기준의 개별외형특성을 매칭하여 딥러닝 학습모델을 통해 트레이닝이 된 것이다. 즉, 개별특성인식모듈(110)은 특정한 딥러닝 알고리즘으로 구축되는 것으로, 복수의 외형분류기준 중에서 특정한 하나와 학습용 영상데이터를 매칭하여 학습을 수행한 것이다.

이를 위해, 서버(10)는 다음과 같이 각각의 개별특성인식모듈(110)을 트레이닝하는 과정을 수행할 수 있다.

먼저, 서버(10)는 특정한 대상체에 대한 복수의 학습용 영상데이터를 획득한다. 예를 들어, 대상체가 특정한 의류 유형(예를 들어, 셔츠)인 경우, 서버(10)는 여러 셔츠의 이미지를 획득한다. 서버(10)는 기존에 저장되어 있는 영상데이터 중에서 전문가에 의해 선별될 수도 있고, 학습에 용이한 대상체 이미지를 신규로 획득할 수도 있다.

서버(10)는 각각의 외형분류기준 정의 및 각 외형분류기준에 대한 복수의 개별외형특성을 획득한다. 즉, 서버(10)는 복수의 외형분류기준을 설정함에 따라 개별특성인식모듈(110)의 초기 개수를 설정한다. 그리고, 서버(10)는 각 외형분류기준 내의 복수의 개별외형특성을 설정함에 따라, 각 외형분류기준에 대해 학습용 영상데이터를 레이블링할 특징(feature) 종류를 설정한다.

일 실시예에서 서버(10)는 특정한 대상체 외형 분석에 대한 전문가 클라이언트로부터 특정한 대상체 외형을 분석하기 위한 복수의 외형분류기준 및 각 외형분류기준 내의 복수의 개별외형특성을 설정받을 수 있다. 예를 들어, 의류에 대한 외형특성 인식모델(200)을 구축하는 경우, 서버(10)는 의류 전문가인 디자이너의 클라이언트로부터 외형분류기준 및 이에 포함되는 개별외형특성을 입력받을 수 있다.

그 후, 서버(10)는 학습용 영상데이터를 각 외형분류기준의 복수의 개별외형특성으로 레이블링한다. 즉, 서버(10)는 각각의 학습용 영상데이터에 대해 복수의 외형분류기준별로 적어도 하나의 개별외형특성을 입력받아서 매칭한다. 예를 들어, 특정한 대상체에 대해 10개의 외형분류기준을 설정한 경우, 서버(10)는 해당 대상체를 포함한 각각의 학습용 영상데이터에 대해 10개의 외형분류기준별로 하나의 개별외형특성을 입력받고, 학습용 영상데이터와 10개의 개별유형특성을 매칭한 학습데이터셋을 형성한다.

그 후, 서버(10)는 학습용 영상데이터와 이에 대해 레이블링된 특정한 외형분류기준의 개별외형특성을 매칭하여 트레이닝(Training)을 수행한다. 즉, 서버(10)가, A 외형분류기준에 대한 개별특성인식모듈(110)을 트레이닝하는 경우, 학습데이터셋에서 학습용 영상데이터와 이에 매칭된 A 외형분류기준의 개별외형특성만을 추출하여 딥러닝 학습모델에 입력한다. 이를 통해, 서버(10)는 각각의 외형분류기준의 개별외형특성을 인식할 수 있는 각각의 개별특성인식모듈(110)을 구축한다.

또한, 일 실시예에서, 외형특성 인식모델(200)은, 도 2에 도시된 바와 같이 대상체 유형별로 상이한 개별특성인식모듈(110)의 조합을 포함한다. 예를 들어, 동일한 대분류 내에 속하는 패션잡화 유형(예를 들어, 신발, 지갑, 가방)은 상이한 외형분류기준을 가지므로, 서버(10)는 대상체 유형별로 개별특성인식모듈(110)의 조합을 생성하여 특정한 대상체 외형 인식을 위한 특화 외형특성인식모델을 생성한다.

또한, 일 실시예에서, 복수의 대상체에 대한 각 외형특성 인식모델(100)은 특정한 개별특성인식모듈(110)을 공유하여 사용할 수 있다. 예를 들어, 개별특성인식모듈(110)이 색상 인식을 수행하는 경우, 대상체 유형에 무관하게 동일하게 색상인식모듈은 범용적으로 사용될 수 있으므로, 서버(10)는 대상체별로 구별되는 복수의 외형특성 인식모델(100)에서 범용 색상인식모듈을 사용할 수 있다.

일 실시 예에서, 서버(10)는 동작 52에서, 개별외형특성에 기초하여 설정된 복수의 시각적 특성을 복수의 감성적 특성으로 클러스터링할 수 있다. 예를 들어, 복수의 시각적 특성은 미리 정의될 수 있고, 복수의 감성적 특성도 미리 정의될 수 있으며, 복수의 시각적 특성과 복수의 감성적 특성이 미리 매핑된 테이블이 저장될 수 있으며, 이러한 테이블에 따라 복수의 시각적 특성이 복수의 감성적 특성으로 클러스터링될 수 있다. 예컨대, 개별외형특성이 다양한 패턴들일 경우에 dot 패턴이 시각적 특성으로 정의될 수 있으며, dot 패턴은 감성적 특성 중 러블리에 매핑될 수 있으며, 이러한 매핑 테이블에 따라 산출된 시각적 특성을 특정 감성적 특성 중 어느 하나로 클러스터링할 수 있다.

구체적으로 예를 들어, 복수의 감성적 특성은 내추럴(Natural), 러블리(Lovely), 섹시(Sexy), 빈티지(Vintage), 에스닉(Ethnic), 클래식(Classic), 엘레강스(Elegance), 액티브(Active), 와일드(Wild) 및 시크(Chic)를 포함할 수 있다. 여기서, 감성적 특성은 패션으로 표현된 분위기를 이미지화하고 구체화시킨 개념일 수 있다.

예를 들어, 액티브(Active)는 Sports wear의 기능성과 활동성을 가미한 패션이미지로 건강과 기능성을 중시하며 활동적인 운동감을 표현한 개념일 수 있으며, Poly 소재의 anorak, 기능성 소재의 slim fit, zip-up & hoodie zip-up, 기능성 소재의 slim fit, long T-shirt, Track jacket & sideline colorblock, zipper opening, Solid leggings, Side line colorblock & track pants, Side line color block & banding skirt 등의 시각적 특성이 액티브로 클러스터링될 수 있다.

예를 들어, 시크(Chic)는 도시적인 세련미를 가진 이미지이며 개성 있는 연출과 모던함을 표현하기 위해 심플함을 추구하는 개념일 수 있다. 또한, 상의 Top, Leather & mustang, 팬츠 pants, Leather, 스커트 skirt, Leather 등의 시각적 특성이 시크로 클러스터링될 수 있다.

예를 들어, 클래식(Classic)은 유행의 흐름에 따라 변하지 않고 오랫동안 지속되는 전통적인 느낌의 패션이미지로, 베이직하면서 성숙하고 안정된 느낌일 수 있으며, Check pattern (except gingham check), Double button trench coat, Solid coat & jacket, Solid & pin stripe shirt, 팬츠 pants, Check pattern (except gingham check), Slacks, ankle exposure, 스커트 skirt, Check long skirt (except gingham check), Solid long H-line skirt 등의 시각적 특성이 클래식으로 클러스터링될 수 있다.

예를 들어, 엘레강스(Elegance)는 우아하고 품위있는 이미지를 지향하는 감성의 스타일이며, 드레이프성이 있는 고급스러운 소재를 사용하며, 인체의 곡선미를 강조하여 성숙한 여성미를 표현한 개념일 수 있다. 또한, Silk, No collar, solid wrap blouse, Tweed & pearl, gold deco, No collar, solid chiffon blouse, Silk sukajan jumper, All collar blouse (except shirt collar), 팬츠 pants, Silk slacks, Silk, horts, Tweed, Wide long & maxi slacks, Silk skirt, Lace skirt, Tweed & pearl, gold deco, Mermaid line skirt, See-through skirt, Solid long flare skirt 등의 시각적 특성이 액티브로 클러스터링될 수 있다.

예를 들어, 에스닉(Ethnic)은 각국에서 전해 내려온 민속의상이나 고유한 염색방법, 직물, 자수 등에서 영감을 얻어 현대적인 감각으로 디자인한 스타일이며, 색상톤이 다양하며 깊고 풍부할 수 있다. 또한, Tropical pattern, Bohemian blouse, Ethnic & paisley pattern, Tropical pattern, Ethnic & paisley pattern, Tropical pattern, Ethnic & paisley pattern 등의 시각적 특성이 에스닉으로 클러스터링될 수 있다.

예를 들어, 러블리(Lovely)는 패션이미지 romantic과 유사하지만 조금 더 귀엽고 소녀스러운 이미지이며, 플라워, 도트, 프릴 등 장식적 요소가 강할 수 있다. 또한, Dot pattern, Lace, Flower pattern, Solid teddy bear outer, Gingham check pattern, Solid ruffle sleeve, Solid smocking blouse, Flare short length pants, Check flare short length skirt, Solid flare short length skirt 등의 시각적 특성이 러블리로 클러스터링될 수 있다.

예를 들어, 내추럴(Natural)은 자연의 꾸밈없는 이미지를 말하며, 데님이나 면을 사용해 무난하고 편안한 느낌을 주는 스타일일 수 있다. 또한, Denim, Colorblock pocket, zipper opening fleece jacket, Loose fit, cotton T-shirt, Short & mid length field jacket, Loose fit, cotton hoodie, Solid padding, Baseball jacket & blouson, Knit & cardigan, Cotton, shorts, Knit, Cotton, wide pants, boots cut pants, Jogger pants (no patch pocket), Cotton, long skinny pants, Cotton, single button, Cotton, inner pocket skirt 등의 시각적 특성이 내추럴로 클러스터링될 수 있다.

예를 들어, 섹시(Sexy)는 패션이미지는 아니지만, 빼놓을 수 없는 감성 중 하나. 어깨와 가슴, 배 등을 노출해 성적인 이미지를 주며 타이트한 실루엣으로 이를 극대화시킨 감성일 수 있다. 또한, Crop slim fit, one shoulder & off shoulder, Bra & bikini, Crop slim fit, sleeveless top, Tube top, Stocking, Extra-short length pants, Solid short H-line skirt, Solid short A-line skirt 등의 시각적 특성이 섹시로 클러스터링될 수 있다.

예를 들어, 빈티지(Vintage)는 벼룩시장이나 구제가게에서 고른 오래된 듯한 낡은 스타일이며 ‘country’와 비슷한 이미지일 수 있다. 또한, Knit stripe & fair isle pattern, Tie-dye pattern 등의 시각적 특성이 빈티지로 클러스터링될 수 있다.

예를 들어, 와일드(Wild)는 격식과 전통에 영향을 받지 않아 대중성은 크지 않으나, 포인트로 매치하기 좋은 감성이며, Military나 Avant-garde한 느낌을 일부 포함할 수 있다. 또한, Long fur, Camouflage pattern, Animal pattern (except spotted pattern), Animal pattern (except spotted pattern), Camouflage pattern, Side out pocket & cargo pants, Side out pocket & cargo skirt 등의 시각적 특성이 와일드로 클러스터링될 수 있다.

일 실시 예에서, 서버(10)는 동작 53에서, 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 각각 매칭되는 적어도 하나의 시각적 특성에 대응하는 영상데이터를 수집하고, 수집한 영상데이터에 대응하는 출력 값(ground truth)에 복수의 감성적 특성을 매칭하여 학습데이터셋을 구축할 수 있다. 예를 들어, 학습데이터셋에는 결과 값으로 러블리에 매칭되며 dot 패턴에 대응하는 영상데이터가 포함될 수 있으며, 이와 동일하게 여러 시각적 특성에 대응하며 결과 값으로 감성적 특성이 매칭된 영상데이터가 학습데이터셋에 포함될 수 있다.

일 실시 예에서, 서버(10)는 동작 54에서, 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝할 수 있다. 감성인식모델을 트레이닝하는 방법은 앞서 설명한 외형특성 인식모델을 트레이닝하는 방법과 동일하므로 자세한 설명은 생략한다.

일 실시 예에서, 서버(10)는 동작 55에서, 입력영상데이터를 감성특성 인식모델에 입력하여, 감성특성 인식모델을 통해 입력영상데이터에 포함된 대상체의 감성적 특성을 산출할 수 있다. 여기서 감성적 특성은 확률 값으로 산출될 수 있으며 확률 값의 분포에 따라 적어도 하나 이상의 감성적 특성이 결정될 수 있다. 예를 들어, 입력영상데이터가 도 6에 도시된 이미지일 경우, 대상체는 사진 속 인물이 입고 있는 의류가 될 수 있으며, 대상체의 감성적 특성은 확률 값 분포에 따라 내추럴이 가장 우세하며 빈티지와 액티브도 포함된 것으로 판단할 수 있으며, 다른 감성적 특성들(섹시, 순수, 큐트, 클래식)은 확률 값이 낮으므로 배제될 수 있다. 또한, 예를 들어, 입력영상데이터가 도 7에 도시된 이미지일 경우, 대상체는 사진 속 인물이 입고 있는 의류가 될 수 있으며, 대상체의 감성적 특성은 확률 값 분포에 따라 빈티지가 가장 우세하며 클래식과 큐트도 포함된 것으로 판단할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 복수의 유형 기반 대상체 감성 인식 방법을 설명하기 위한 흐름도이다. 도 9 내지 도 11은 본 발명의 일 실시 예에 따른 복수의 유형 기반 대상체 감성 인식 방법을 설명하기 위한 예시도이다. 도 8의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다.

도 8 내지 도 11을 참조하면, 일 실시 예에서, 서버(10)는 동작 81에서, 대상체를 분류기준에 따라 복수의 유형으로 분류할 수 있다. 예를 들어, 대상체가 의류일 경우, 분류기준은 상의(Top), 팬츠(Pants), 스커트(Skirt) 및 드레스(Dress)일 수 있다.

일 실시 예에서, 서버(10)는 동작 82에서, 학습데이터셋 및 복수의 유형에 기반하여 복수의 유형 각각에 대응하는 유형별 감성특성 인식모델을 트레이닝할 수 있다. 유형별 감성특성 인식모델을 트레이닝하는 방법은 외형특성 인식모델을 트레이닝하는 방법과 동일한 방식으로 수행되므로 자세한 설명은 생략한다.

예를 들어, 학습데이터셋에서 각각의 감성적 특성들은 복수의 유형별로 시각적 특성이 매핑될 수 있다.

예를 들어, 액티브(Active)는 상의에서 Poly 소재의 anorak, 기능성 소재의 slim fit, zip-up & hoodie zip-up, 기능성 소재의 slim fit, long T-shirt, Track jacket & sideline colorblock, zipper opening 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Solid leggings, Side line colorblock & track pants 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Side line color block & banding skirt 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 시크는 상의에서 Leather & mustang 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Leather 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Leather 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 클래식은 상의에서 Check pattern (except gingham check), Double button trench coat, Solid coat & jacket, Solid & pin stripe shirt 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Check pattern (except gingham check), Slacks, ankle exposure 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Check long skirt (except gingham check), Solid long H-line skirt 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 엘레강스는 상의에서 Silk, No collar, solid wrap blouse, Tweed & pearl, gold deco, No collar, solid chiffon blouse, Silk sukajan jumper, All collar blouse (except shirt collar) 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Silk slacks, Silk shorts, Tweed, Wide long & maxi slacks 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Silk skirt, Lace skirt, Tweed & pearl, gold deco, Mermaid line skirt, See-through skirt, Solid long flare skirt 등의 시각적 특성과 매핑될 수 있다.

예를 들어 에스닉은 상의에서 Tropical pattern, Bohemian blouse, Ethnic & paisley pattern 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Tropical pattern, Ethnic & paisley pattern 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Tropical pattern, Ethnic & paisley pattern 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 러블리는 상의에서 Dot pattern, Lace, Flower pattern, Solid teddy bear outer, Gingham check pattern, Solid ruffle sleeve, Solid smocking blouse 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Dot pattern, Gingham check pattern, Flower pattern, Flare short length pants 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Dot pattern, Check flare short length skirt, Flower pattern, Solid flare short length skirt, Gingham check pattern 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 내추럴은 상의에서 Denim, Colorblock pocket, zipper opening fleece jacket, Loose fit, cotton T-shirt, Short & mid length field jacket, Loose fit, cotton hoodie, Solid padding, Baseball jacket & blouson, Knit & cardigan 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Denim, Cotton, shorts, Knit, Cotton, wide pants, Cotton, boots cut pants, Jogger pants (no patch pocket), Cotton, long skinny pants 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Denim, Cotton, single button, Knit, Cotton, inner pocket skirt 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 섹시는 상의에서 Crop slim fit, one shoulder & off shoulder, Bra & bikini, Crop slim fit, sleeveless top, Tube top 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Stocking, Extra-short length pants 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Solid short H-line skirt, Solid short A-line skirt 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 빈티지는 상의에서 Knit stripe & fair isle pattern, Tie-dye pattern 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Tie-dye pattern 등의 시각적 특성과 매핑될 수 있으며, 스커트에서 Tie-dye pattern 등의 시각적 특성과 매핑될 수 있다.

예를 들어, 와일드는 상의에서 Long fur, Camouflage pattern, Animal pattern (except spotted pattern) 등의 시각적 특성과 매핑될 수 있으며, 팬츠에서 Animal pattern (except spotted pattern), Camouflage pattern, Side out pocket & cargo pants 등의 시각적 특성과 매핑될 수 있다, 스커트에서 Animal pattern (except spotted pattern, Camouflage pattern, Side out pocket & cargo skirt 등의 시각적 특성과 매핑될 수 있다.

일 실시 예에서, 서버(10)는 동작 83에서, 입력영상데이터에 포함된 대상체를 분류기준에 따라 복수의 유형으로 분류할 수 있다. 예를 들어, 서버(10)는 이미지에서 의류를 분할(segmentation)할 수 있으며, 분할한 의류에서 상의와 스커트로 크롭핑(cropping)할 수 있다. 예컨대, 도 9에 도시된 바와 같이 의류를 이미지에서 분할한 뒤 상의와 스커트로 크롭핑할 수 있다. 여기서 분할과 크롭핑은 기 공지된 방식을 이용하여 수행될 수 있다.

일 실시 예에서, 서버(10)는 동작 84에서, 분류 결과에 기반하여 입력영상데이터를 유형별 감성 인식 모델 중 대응하는 감성특성 인식모델에 입력하여, 대응하는 감성특성 인식모델을 통해 입력영상데이터에 포함된 대상체의 감성적 특성을 산출할 수 있다. 예를 들어, 도 9에 도시된 바와 같이 상의의 자켓은 내추럴과 와일드라는 감성적 특성으로 결정될 수 있으며, 스커트는 와일드라는 감성적 특성으로 결정될 수 있다. 또한, 예를 들어, 도 10은 도 6과 달리 의류 전체가 아니라 상의와 팬츠로 분류된 이후에 상의는 클래식이란 감성적 특성을 산출할 수 있고, 팬츠는 내추럴이란 감성적 특성을 산출할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 복수의 유형 조합 기반 대상체 감성 인식 방법을 설명하기 위한 흐름도이다. 도 13은 본 발명의 일 실시 예에 따른 복수의 유형 조합 기반 대상체 감성 인식 방법을 설명하기 위한 예시도이다. 도 12의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다.

도 12 및 도 13을 참조하면, 일 실시 예에서, 서버(10)는 동작 121에서, 복수의 유형별로 대상체에서 복수의 감성적 특성을 산출할 수 있으며, 동작 122에서, 복수의 감성적 특성 중 적어도 2개 이상을 조합하여 새로운 감성적 특성을 산출할 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 상의는 섹시로 감성적 특성이 분류될 수 있으며, 팬츠는 액티브로 감성적 특성이 분류될 수 있으며, 이에 기반하여 섹시티브(sexytive)라는 새로운 감성적 특성을 도출할 수 있다. 여기서, 섹시티브를 도출하는 내용은 감성적 특성 인식모델을 통해 수행되거나 제어부(500)라는 별도의 모듈을 통해 수행될 수 있다.

도 14은 본 발명의 일 실시 예에 따른 시각적 특성 인식모델과 감성 인식 모델을 활용한 대상체 감성 인식 방법을 설명하기 위한 흐름도이다. 도 14의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다.

도 14의 실시 예는 도 5의 실시 예와 다르게 시각적 특성을 인식하는 별도의 학습모델을 도입한 경우이다.

도 14를 참조하면, 일 실시 예에서, 서버(10)는 동작 141에서, 복수의 외형분류기준에 대한 개별외형특성에 기초하여 설정된 복수의 시각적 특성에 대응하는 제1 영상데이터를 수집하고, 상기 수집한 제1 영상데이터에 대응하는 출력 값(ground truth)에 복수의 시각적 특성을 매칭하여 제1 학습데이터셋을 구축할 수 있다. 예를 들어, 제1 학습데이터셋은 dot 패턴이 포함된 의류에서 시각적 특성을 dot 패턴을 출력 값으로 설정한 학습데이터 등을 포함할 수 있다.

일 실시 예에서, 서버(10)는 동작 142에서, 제1 학습데이터셋을 기반으로 시각적 특성 인식모델을 트레이닝할 수 있다. 시각적 특성 인식 모델을 트레이닝하는 방법은 외형특성 인식모델을 트레이닝하는 방법과 동일한 방식으로 수행되므로 자세한 설명은 생략한다.

일 실시 예에서, 서버(10)는 동작 143에서, 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링할 수 있다. 동작 143은 동작 52와 동일하므로 자세한 설명은 생략한다.

일 실시 예에서, 서버(10)는 동작 144에서, 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 매칭되는 적어도 하나의 시각적 특성에 대응하는 제2 영상데이터를 수집하고, 상기 수집한 제2 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 제2 학습데이터셋을 구축할 수 있다.

일 실시 예에서, 서버(10)는 동작 145에서, 제2 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝할 수 있다.

일 실시 예에서, 서버(10)는 동작 146에서, 입력영상데이터를 시각적 특성 인식모델에 입력하여, 시각적 특성을 산출할 수 있다. 예를 들어, dot 패턴이 포함된 의류에서 dot 패턴을 시각적 특성으로 산출할 수 있다.

일 실시 예에서, 서버(10)는 동작 147에서, 산출한 시각적 특성을 상기 감성특성 인식모델에 입력하여, 입력영상데이터에 포함된 대상체의 감성적 특성을 산출할 수 있다. 예를 들어, dot 패턴을 러블리라는 감성적 특성으로 매칭할 수 있다.

도 15는 본 발명의 일 실시 예에 따른 복수의 클러스터를 활용한 대상체 감성 인식 방법을 설명하기 위한 흐름도이다. 도 15의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다.

도 15를 참조하면, 일 실시 예에서, 서버(10)는 동작 151에서, 복수의 영상데이터 각각에 대응하는 적어도 하나의 개별외형특성을 벡터화하여 복수의 N차원 벡터를 산출할 수 있다. 예를 들어, 개별외형특성은 팔 길이, 카라 형태 등 대상체를 특정할 수 있는 모든 특성을 포함할 수 있으며, 이러한 특성들이 총 N개라고 할 때 각각의 영상데이터에 포함된 대상체 별로 N차원 벡터가 산출될 수 있다.

일 실시 예에서, 서버(10)는 동작 152에서, 복수의 N차원 벡터를 N차원 공간에 배치할 수 있으며, 동작 153에서, 배치 결과에 기반하여 복수의 클러스터를 결정할 수 있다. 예를 들어, N차원 공간 상의 각 지점에 대상체들의 N차원 벡터들을 배치한 결과를 토대로 군집을 나눌 수 있고, 각 군집에 식별 정보를 부여할 수 있다. 여기서 식별 정보는 감성적 특성 또는 군집을 구별하기 위한 식별 값을 포함할 수 있다.

일 실시 예에서, 서버(10)는 동작 154에서, 복수의 클러스터 각각에 포함된 적어도 하나의 영상데이터를 대응하는 클러스터의 식별 정보에 매핑하여 학습데이터셋을 구축할 수 있으며, 동작 155에서, 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝할 수 있다.

일 실시 예에서, 서버(10)는 동작 156에서, 입력영상데이터를 감성특성 인식모델에 입력하여, 복수의 클러스터 각각에 포함될 확률을 산출할 수 있다. 예를 들어, 클러스터의 식별 정보가 감성적 특성일 경우에 복수의 클러스터 각각에 포함될 확률은 감성적 특성일 확률과 동일할 수 있다. 또한, 복수의 클러스터는 감성적 특성으로만 한정되지는 않으므로 복수의 클러스터 각각이 외형특성에 따른 특정 이미지 군을 대표할 수 있다. 즉, 특정 클러스터가 N차원 공간에서 터틀넥이 구비된 의류를 포함하는 이미지들이 대부분 포함될 경우, 입력영상데이터에 터틀넥이 구비된 의류가 포함될 경우에 상기 특정 클러스터에 포함될 수 있다.

일 실시 예에서, 서버(10)는 동작 157에서, 복수의 클러스터를 복수의 감성적 특성에 각각 매핑할 수 있다. 예를 들어, 동작 157은 복수의 클러스터의 식별정보가 감성적 특성에 매칭되는 것이 아니라 단지 식별값만 포함할 경우에 별도로 서버(10)가 복수의 클러스터를 복수의 감성적 특성에 매핑할 수 있다. 따라서, 동작 157은 이미 식별정보에 감성적 특성이 포함될 경우에 생략될 수도 있다.

일 실시 예에서, 서버(10)는 동작 158에서, 매핑 결과 및 복수의 클러스터 각각에 포함될 확률에 기반하여 입력영상데이터의 감성적 특성을 판단할 수 있다. 예를 들어, 특정 클러스터를 액티브로 매핑할 경우에 특정 클러스터로 입력영상데이터가 포함될 경우, 감성적 특성을 액티브로 판단할 수 있다.

한편, 도면에는 도시되지 않았지만, 서버(10)는 각국 특성과 언어를 추가로 고려하여 감성적 특성을 산출할 수 있다. 즉, 서버(10)는 각각의 클러스터의 식별정보와 감성적 특성간 매핑 테이블을 각 국가 또는 지역별로 다르게 설정할 수 있으며, 이러한 설정을 통해 국가 별로 동일한 대상체에 대해 인식하는 감성을 다르게 적용할 수 있다. 따라서, 상기 식별정보와 감성적 특성간 매핑 테이블에 국가/지역별 코드를 추가하여 매핑 테이블을 변경할 수 있다.

도 16은 본 발명의 일 실시 예에 따른 복수의 클러스터에 포함된 확률에 따라 대상체의 클러스터 포함 여부를 판단하는 방법을 설명하기 위한 흐름도이다. 도 16의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다.

도 16을 참조하면, 일 실시 예에서, 서버(10)는 동작 161에서, 복수의 클러스터 각각에 포함될 확률을 비교할 수 있다. 예를 들어, 특정 영상은 하나의 클러스터에만 포함되지 않고 여러 개의 클러스터에 중복될 수 있다.

일 실시 예에서, 서버(10)는 동작 162에서, 비교 결과, 특정 클러스터에 포함될 확률이 제1 임계 값보다 높거나 복수의 클러스터 중 다른 하나에 포함될 확률에 비하여 제2 임계 값보다 높을 경우에 서버가 입력영상데이터를 특정 클러스터에 포함하는 것으로 판단할 수 있다. 예를 들어, 특정 영상은 여러 개의 클러스터에 포함될 수 있으며, 이러할 경우 모든 클러스터가 상기 특정 영상에 매핑하는 것은 데이터의 관리측면에서 비효율적이므로 제1 임계값이라는 절대적인 수치를 설정하거나 제2 임계값이라는 상대적인 수치를 설정할 수 있다. 예를 들어, 확률 값이 제1 임계 값인 0.5 이상일 경우에는 영상데이터는 해당 클러스터에 포함되는 것으로 판단할 수 있으며, 또한 이와 달리 복수의 클러스터에 포함될 경우에 어느 한 클러스터가 다른 클러스터에 비하여 확률값이 제2 임계값인 0.3 이상 차이날 경우에는 영상데이터는 어느 한 클러스터에 포함된 것으로 판단할 수 있다.

일 실시 예에서, 서버(10)는 동작 163에서, 비교 결과, 어느 한 클러스터에 포함될 확률과 다른 하나의 클러스터에 포함될 확률간 차이가 제3 임계값보다 작을 경우에 서버가 제4 임계 값보다 높은 확률에 대응하는 적어도 하나의 클러스터에 입력영상데이터가 포함된다고 판단할 수 있다. 예를 들어, 입력 영상이 제1 클러스터와 제2 클러스터에 포함될 확률이 각각 0.6과 0.65이고 제3 임계 값은 0.1이고 제4 임계 값은 0.3일 경우에 해당 입력 영상은 제1 클러스터와 제2 클러스터 모두에 포함된다고 판단할 수 있다. 제3 임계 값은 서로 상대적인 차이에 따라 각 클러스터에 모두 포함될 지 아니면 어느 한 클러스터에만 포함될 지를 판단하는 기준이 될 수 있으며, 제4 임계 값은 확률 값이 너무 낮은 경우를 배제하는 기준이 될 수 있다. 즉, 어느 한 입력 영상이 제3 클러스터와 제4 클러스터에 각각 포함될 확률이 2.3과 2.7이어서 제3 임계 값은 만족하더라도 제4 임계 값을 만족하지 못하므로 어느 한 입력 영상은 제3 클러스터와 제4 클러스터에 포함되지 않는 것으로 판단할 수 있다. 즉, 확률 값이 매우 낮을 경우에는 해당 클러스터에 포함되지 않는 것으로 봄이 합리적이기 때문이다.

일 실시 예에서, 서버(10)는 동작 164에서, 비교 결과, 상기 복수의 클러스터 각각에 포함될 확률이 모두 제4 임계 값보다 작을 경우에 서버가 상기 입력영상데이터는 상기 복수의 클러스터에 포함되지 않고 신규 클러스터로 분류할 수 있다. 앞서 설명한 바와 같이 제4 임계 값보다 낮을 경우에는 해당 클러스터로 분류하는 것이 적절하지 않으므로 신규 클러스터로 분류할 수 있다.

도 17은 본 발명의 일 실시 예에 따른 복수의 클러스터 및 감성특성 인식모델을 활용한 대상체 감성 인식 방법을 설명하기 위한 흐름도이다. 도 17의 동작들은 도 1의 서버(10)를 통해 수행될 수 있다. 도 17은 도 15의 복수의 클러스터 결정하는 방식과 감성적 특성 인식모델을 결합한 실시 예일 수 있다.

도 17을 참조하면, 일 실시 예에서, 서버(10)는 동작 171에서, 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출할 수 있다.

일 실시 예에서, 서버(10)는 동작 172에서, 개별외형특성에 기초하여 설정된 복수의 시각적 특성들에 기반하여 상기 영상데이터를 클러스터링할 수 있다. 여기서 클러스터링은 도 15의 N차원 벡터와 공간을 활용하여 클러스터들을 결정하는 방식과 유사하게 수행될 수 있다. 예를 들어, 시각적 특성 중 dot 패턴의 경우, dot 패턴을 동일하게 가지는 의류들을 하나의 클러스터로 클러스터링할 수 있다.

일 실시 예에서, 서버(10)는 동작 173에서, 클러스터링에 기반하여 복수의 클러스터를 결정할 수 있다. 예를 들어, dot 패턴을 동일하게 가지는 의류들을 하나의 클러스터로 결정할 수 있으며, 해당 클러스터의 식별 값을 dot 패턴으로 결정할 수 있다.

일 실시 예에서, 서버(10)는 동작 174에서, 복수의 클러스터 각각에 포함된 적어도 하나의 영상데이터를 대응하는 클러스터의 식별 정보에 매핑하여 학습데이터셋을 구축할 수 있으며, 동작 175에서, 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝할 수 있다. 즉, 시각적 특성에 기초하여 클러스터링된 복수의 클러스터를 활용하여 감성 특성 인식모델을 트레이닝할 수 있다.

일 실시 예에서, 서버(10)는 동작 176에서, 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 복수의 클러스터 각각에 포함될 확률을 산출할 수 있다. 산출 결과는 앞서 설명한 바와 같이 확률 값으로 여러 감성적 특성들이 산출될 수 있다.

본 발명의 일 면에 따른 딥러닝 기반 대상체 감성 인식 방법은 서버가 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 서버가 상기 개별외형특성에 기초하여 설정된 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링하는 단계; 서버가 상기 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 각각 매칭되는 적어도 하나의 시각적 특성에 대응하는 영상데이터를 수집하고, 상기 수집한 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 학습데이터셋을 구축하는 단계; 서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및 서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 감성특성 인식모델을 통해 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 서버가 상기 대상체를 분류기준에 따라 복수의 유형으로 분류하는 단계; 서버가 상기 학습데이터셋 및 상기 복수의 유형에 기반하여 상기 복수의 유형 각각에 대응하는 유형별 감성특성 인식모델을 트레이닝하는 단계; 서버가 입력영상데이터에 포함된 대상체를 상기 분류기준에 따라 복수의 유형으로 분류하는 단계; 서버가 상기 분류 결과에 기반하여 상기 입력영상데이터를 상기 유형별 감성 인식 모델 중 대응하는 감성특성 인식모델에 입력하여, 상기 대응하는 감성특성 인식모델을 통해 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 서버가 상기 복수의 유형별로 상기 대상체에서 복수의 감성적 특성을 산출하는 단계; 및 서버가 상기 복수의 감성적 특성 중 적어도 2개 이상을 조합하여 새로운 감성적 특성을 산출하는 단계;를 포함할 수 있다.

본 발명의 일 면에 따른 딥러닝 기반 대상체 감성 인식 방법은 서버가 복수의 외형분류기준에 대한 개별외형특성에 기초하여 설정된 복수의 시각적 특성에 대응하는 제1 영상데이터를 수집하고, 상기 수집한 제1 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 시각적 특성을 매칭하여 제1 학습데이터셋을 구축하는 단계; 서버가 상기 제1 학습데이터셋을 기반으로 시각적 특성 인식모델을 트레이닝하는 단계; 서버가 상기 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링하는 단계; 서버가 상기 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 매칭되는 적어도 하나의 시각적 특성에 대응하는 제2 영상데이터를 수집하고, 상기 수집한 제2 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 제2 학습데이터셋을 구축하는 단계; 서버가 상기 제2 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 서버가 입력영상데이터를 상기 시각적 특성 인식모델에 입력하여, 시각적 특성을 산출하는 단계; 및 서버가 상기 산출한 시각적 특성을 상기 감성특성 인식모델에 입력하여, 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함할 수 있다.

본 발명의 일 면에 따른 딥러닝 기반 대상체 감성 인식 방법은 서버가 복수의 영상데이터 각각에 대응하는 적어도 하나의 개별외형특성을 벡터화하여 복수의 N차원 벡터를 산출하는 단계; 서버가 상기 복수의 N차원 벡터를 N차원 공간에 배치하는 단계; 서버가 상기 배치 결과에 기반하여 복수의 클러스터를 결정하는 단계; 서버가 상기 복수의 클러스터 각각에 포함된 적어도 하나의 영상데이터를 대응하는 클러스터의 식별 정보에 매핑하여 학습데이터셋을 구축하는 단계; 서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및 서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 복수의 클러스터 각각에 포함될 확률을 산출하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 서버가 상기 복수의 클러스터를 복수의 감성적 특성에 각각 매핑하는 단계; 및 서버가 상기 매핑 결과 및 상기 복수의 클러스터 각각에 포함될 확률에 기반하여 상기 입력영상데이터의 감성적 특성을 판단하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 서버가 상기 복수의 클러스터 각각에 포함될 확률을 비교하는 단계; 상기 비교 결과, 특정 클러스터에 포함될 확률이 제1 임계 값보다 높거나 상기 복수의 클러스터 중 다른 하나에 포함될 확률에 비하여 제2 임계 값보다 높을 경우에 서버가 상기 입력영상데이터를 상기 특정 클러스터에 포함하는 것으로 판단하는 단계; 및 상기 비교 결과, 어느 한 클러스터에 포함될 확률과 다른 하나의 클러스터에 포함될 확률간 차이가 제3 임계값보다 작을 경우에 서버가 제4 임계 값보다 높은 확률에 대응하는 적어도 하나의 클러스터에 상기 입력영상데이터가 포함된다고 판단하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 비교 결과, 상기 복수의 클러스터 각각에 포함될 확률이 모두 제4 임계 값보다 작을 경우에 서버가 상기 입력영상데이터는 상기 복수의 클러스터에 포함되지 않고 신규 클러스터로 분류하는 단계;를 포함할 수 있다.

본 발명의 일 면에 따른 딥러닝 기반 대상체 감성 인식 방법은 서버가 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 서버가 상기 개별외형특성에 기초하여 설정된 복수의 시각적 특성들에 기반하여 상기 영상데이터를 클러스터링하는 단계; 서버가 상기 클러스터링에 기반하여 복수의 클러스터를 결정하는 단계; 서버가 상기 복수의 클러스터 각각에 포함된 적어도 하나의 영상데이터를 대응하는 클러스터의 식별 정보에 매핑하여 학습데이터셋을 구축하는 단계; 서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및 서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 복수의 클러스터 각각에 포함될 확률을 산출하는 단계;를 포함할 수 있다.

딥러닝 기반 대상체 감성 인식 프로그램은 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10 : 서버
100 : 대상체유형 인식모델
200 : 외형특성 인식모델
300 : 감성특성 인식모델
400 : 시각적특성 인식모델
500 : 제어부
600 : 데이터베이스

Claims (10)

1. 서버가 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계;
   서버가 상기 개별외형특성에 기초하여 설정된 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링하는 단계;
   서버가 상기 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 각각 매칭되는 적어도 하나의 시각적 특성에 대응하는 영상데이터를 수집하고, 상기 수집한 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 학습데이터셋을 구축하는 단계;
   서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및
   서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 감성특성 인식모델을 통해 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
2. 제1 항에 있어서,
   서버가 상기 대상체를 분류기준에 따라 복수의 유형으로 분류하는 단계;
   서버가 상기 학습데이터셋 및 상기 복수의 유형에 기반하여 상기 복수의 유형 각각에 대응하는 유형별 감성특성 인식모델을 트레이닝하는 단계;
   서버가 입력영상데이터에 포함된 대상체를 상기 분류기준에 따라 복수의 유형으로 분류하는 단계;
   서버가 상기 분류 결과에 기반하여 상기 입력영상데이터를 상기 유형별 감성 인식 모델 중 대응하는 감성특성 인식모델에 입력하여, 상기 대응하는 감성특성 인식모델을 통해 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
3. 제2 항에 있어서,
   서버가 상기 복수의 유형별로 상기 대상체에서 복수의 감성적 특성을 산출하는 단계; 및
   서버가 상기 복수의 감성적 특성 중 적어도 2개 이상을 조합하여 새로운 감성적 특성을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
4. 서버가 복수의 외형분류기준에 대한 개별외형특성에 기초하여 설정된 복수의 시각적 특성에 대응하는 제1 영상데이터를 수집하고, 상기 수집한 제1 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 시각적 특성을 매칭하여 제1 학습데이터셋을 구축하는 단계;
   서버가 상기 제1 학습데이터셋을 기반으로 시각적 특성 인식모델을 트레이닝하는 단계;
   서버가 상기 복수의 시각적 특성들을 복수의 감성적 특성으로 클러스터링하는 단계;
   서버가 상기 클러스터링 결과에 기반하여 상기 복수의 감성적 특성에 매칭되는 적어도 하나의 시각적 특성에 대응하는 제2 영상데이터를 수집하고, 상기 수집한 제2 영상데이터에 대응하는 출력 값(ground truth)에 상기 복수의 감성적 특성을 매칭하여 제2 학습데이터셋을 구축하는 단계;
   서버가 상기 제2 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계;
   서버가 입력영상데이터를 상기 시각적 특성 인식모델에 입력하여, 시각적 특성을 산출하는 단계; 및
   서버가 상기 산출한 시각적 특성을 상기 감성특성 인식모델에 입력하여, 상기 입력영상데이터에 포함된 대상체의 감성적 특성을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
5. 서버가 복수의 영상데이터 각각에 대응하는 적어도 하나의 개별외형특성을 벡터화하여 복수의 N차원 벡터를 산출하는 단계;
   서버가 상기 복수의 N차원 벡터를 N차원 공간에 배치하는 단계;
   서버가 상기 배치 결과에 기반하여 복수의 클러스터를 결정하는 단계;
   서버가 상기 복수의 클러스터 각각에 포함된 적어도 하나의 영상데이터를 대응하는 클러스터의 식별 정보에 매핑하여 학습데이터셋을 구축하는 단계;
   서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및
   서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 복수의 클러스터 각각에 포함될 확률을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
6. 제4 항에 있어서,
   서버가 상기 복수의 클러스터를 복수의 감성적 특성에 각각 매핑하는 단계; 및
   서버가 상기 매핑 결과 및 상기 복수의 클러스터 각각에 포함될 확률에 기반하여 상기 입력영상데이터의 감성적 특성을 판단하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
7. 제4 항에 있어서,
   서버가 상기 복수의 클러스터 각각에 포함될 확률을 비교하는 단계;
   상기 비교 결과, 특정 클러스터에 포함될 확률이 제1 임계 값보다 높거나 상기 복수의 클러스터 중 다른 하나에 포함될 확률에 비하여 제2 임계 값보다 높을 경우에 서버가 상기 입력영상데이터를 상기 특정 클러스터에 포함하는 것으로 판단하는 단계; 및
   상기 비교 결과, 어느 한 클러스터에 포함될 확률과 다른 하나의 클러스터에 포함될 확률간 차이가 제3 임계값보다 작을 경우에 서버가 제4 임계 값보다 높은 확률에 대응하는 적어도 하나의 클러스터에 상기 입력영상데이터가 포함된다고 판단하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
8. 제7 항에 있어서,
   상기 비교 결과, 상기 복수의 클러스터 각각에 포함될 확률이 모두 제4 임계 값보다 작을 경우에 서버가 상기 입력영상데이터는 상기 복수의 클러스터에 포함되지 않고 신규 클러스터로 분류하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
9. 서버가 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계;
   서버가 상기 개별외형특성에 기초하여 설정된 복수의 시각적 특성들에 기반하여 상기 영상데이터를 클러스터링하는 단계;
   서버가 상기 클러스터링에 기반하여 복수의 클러스터를 결정하는 단계;
   서버가 상기 복수의 클러스터 각각에 포함된 적어도 하나의 영상데이터를 대응하는 클러스터의 식별 정보에 매핑하여 학습데이터셋을 구축하는 단계;
   서버가 상기 학습데이터셋을 기반으로 감성특성 인식모델을 트레이닝하는 단계; 및
   서버가 입력영상데이터를 상기 감성특성 인식모델에 입력하여, 상기 복수의 클러스터 각각에 포함될 확률을 산출하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 대상체 감성 인식 방법.
10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 딥러닝 기반 대상체 감성 인식 프로그램.
    

Images