KR102115573B1

KR102115573B1 - 입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램

Info

Publication number: KR102115573B1
Application number: KR1020200009600A
Authority: KR
Inventors: 이종혁
Original assignee: (주)사맛디
Priority date: 2019-06-10
Filing date: 2020-01-28
Publication date: 2020-05-26
Also published as: KR102227896B1; KR102366580B1; KR20210002410A; KR20200141384A; WO2020251233A1; KR102119253B1; KR20200141388A; KR102115574B1; KR20200141375A; KR20200141929A; WO2020251238A1; KR20200141373A; KR102355702B1

Abstract

본 발명은 입력영상데이터 기반 사용자 관심정보 획득 방법, 장치 및 프로그램에 관한 것이다.
본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법은, 서버가 제1입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계(S1200); 서버가 상기 제1입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제1외형서술데이터를 생성하는 단계(S1400); 및 서버가 상기 제1외형서술데이터를 기초로 제1출력영상데이터를 생성하여 출력하는 단계(S1600);를 포함한다.

Description

입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램{SYSTEM, METHOD AND PROGRAM FOR ACQUIRING USER INTEREST BASED ON INPUT IMAGE DATA}

본 발명은 입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램에 관한 것이다.

최근 인터넷의 발달로 소셜 미디어 네트워크 서비스가 급격히 성장하고 있다. 그 결과, 멀티미디어의 양이 폭발 적으로 증가하면서 효과적인 이미지 검색 시스템이 요구되며, 이미지 어노테이션은 폭발적으로 증가하는 웹이미지에 따른 효율적인 이미지 검색의 필요성으로 인해 그 중요도가 점점 높아지고 있다.

대부분의 이미지 검색 연구는 주로 이미지의 내용을 분석하는 내용 기반 이미지 검색(CBIR: Content-based Image Retrieval) 방법이 많이 진행되어 왔다. 내용 기반 이미지 검색은 색상, 텍스처 및 형태와 같은 시각적 특징을 이용하여 이미지의 내용을 분석한다. 이러한 방법은 정의하는 태그의 개수가 적을 경우에는 잘 작동하지만, 데이터셋이 커지고 태그의 종류가 다양해짐에 따라 성능이 떨어지게 된다.

텍스트 기반 이미지 검색(TBIR: Text-based Image Retrieval)은 텍스트를 쿼리로 하여 텍스트에 대응되는 이미지를 검색하는 방식이다. 이 방식은 이미지의 시각적 내용이 수동으로 태깅된 텍스트 디스크립터에 의해 표현되며, 데이터베이스 관리 시스템에서 이미지 검색을 수행하는데 사용된다. 즉, 기존의 이미지 또는 영상 검색 방식은 사용자가 직접 태깅한 정보를 기반으로 검색이 이루어진다. 또한, 이미지를 통한 사용자 관심정보 획득 방식도 사용자가 직접 태깅한 정보를 기반으로 획득이 이루어져, 사용자가 영상에 키워드를 잘못 태깅하면 획득 결과가 부정확해지는 문제점이 존재하였다. 또한, 사용자마다 정의하는 키워드에 차이가 존재할 수 있어서, 이미지를 입력하는 사용자가 선택한 키워드에 따라 제공되는 결과가 상이한 문제가 존재하였다.

공개특허공보 제10-2018-0133200호, 2018.12.13

본 발명은, 특정한 대상체의 외형을 나타내는 추상적 용어를 기반으로 사용자가 원하는 영상데이터를 정확하게 추출하는, 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램을 기초로, 사용자가 입력한 영상데이터를 분석하여 사용자의 관심정보를 획득하고, 사용자에게 출력한 영상데이터에 대한 사용자의 수정을 통해 더욱 정확하게 관심정보를 획득하는, 입력영상데이터 기반 사용자 관심정보 획득 방법, 장치 및 프로그램을 제공하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법은, 서버가 제1입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 서버가 상기 제1입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제1외형서술데이터를 생성하는 단계; 및 서버가 상기 제1외형서술데이터를 기초로 제1출력영상데이터를 생성하여 출력하는 단계;를 포함하고, 상기 제1입력영상데이터는 특정한 사용자로부터 입력받은 영상데이터이고, 상기 외형분류기준은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함하는 것이다.

또한, 다른 일실시예로, 상기 제1입력영상데이터는 상기 사용자로부터 입력받은 특정 대상체의 특정 물품에 대한 영상데이터이고, 상기 제1출력영상데이터는 상기 제1외형서술데이터를 기초로 생성된 상기 특정 대상체의 가상의 물품에 대한 영상데이터인 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 외형서술데이터 생성단계는 입력영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 추출하는 단계; 및 상기 복수의 코드값을 조합하여, 코드열 형태의 외형서술데이터를 생성하는 단계;를 포함하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 제1출력영상데이터는, 상기 제1외형서술데이터와 동일한 코드열에 포함된 복수의 코드값에 대응하는 개별외형특성을 포함하는 가상의 물품에 대한 영상데이터인 것을 특징으로 한다.

또한, 다른 일실시예로, 서버가 제2입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 및 서버가 상기 제2입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제2외형서술데이터를 생성하는 단계;를 더 포함하고, 상기 제2입력영상데이터는 상기 사용자에 의해 상기 제1출력영상데이터가 수정된 영상데이터인 것을 특징으로 한다.

또한, 다른 일실시예로, 서버가 상기 제1외형서술데이터 또는 상기 제2외형서술데이터를 포함하는 외형서술데이터를 상기 사용자의 관심정보로 저장하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 제1출력영상데이터 또는 제2입력영상데이터를 포함하는 영상데이터를 가상공간에 디스플레이하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 상기 개별외형특성 산출단계는, 상기 동영상 데이터 내의 각각의 프레임에 대해 수행되는 것을 특징으로 하고, 상기 외형서술데이터 생성단계는, 각 프레임에 대한 복수의 개별외형특성을 순차적으로 나열하여 생성되는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 사용자 관심정보 획득 방법을 수행한다.

본 발명의 또 다른 일실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 프로그램은, 하드웨어와 결합되어 상기 언급된 사용자 관심정보 획득 방법을 실행하며, 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기 본 발명에 의하면, 사용자가 입력한 영상데이터 및 사용자의 수정을 거친 영상데이터를 분석하여 사용자의 관심정보를 정확하게 획득할 수 있다.

또한, 상기 본 발명에 의하면, 사용자의 관심정보를 영상데이터를 분석한 텍스트 기반의 외형서술데이터의 형태로 저장함으로써, 효율적인 사용자의 관심정보의 획득 및 저장이 가능하다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 대상체별 외형특성 인식모델을 포함하는 서버의 예시도면이다.
도 4는 본 발명의 일 실시예에 따른 외형서술데이터 생성 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 제2입력영상데이터를 입력받는 단계를 포함하는 입력영상데이터 기반 사용자 관심정보 획득 방법의 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 '컴퓨터'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버(10)가 해당될 수 있다.

본 명세서에서 '클라이언트'는 사용자들이 프로그램(또는 어플리케이션)을 설치하여 사용할 수 있는 통신 기능을 포함한 모든 장치를 말한다. 즉, 클라이언트 장치는 스마트폰, 태블릿, PDA, 랩톱, 스마트워치, 스마트카메라 등과 같은 전기 통신 장치, 리모트 콘트롤러 중 하나 이상을 포함할 수 있으나, 이에 제한되는 것은 아니다.

본 명세서에서 '대상체'는 검색을 수행하는 특정한 분류 또는 카테고리의 물품을 의미한다. 예를 들어, 쇼핑몰에서 원하는 물품의 이미지를 검색하고자 할 때, 사용자가 물품 카테고리 중에서 의류 검색을 수행하는 경우, 대상체는 의류일 수 있다.

본 명세서에서, '영상데이터'는 특정한 대상체를 포함하는 2차원 또는 3차원의 정적 또는 동적 이미지를 의미한다. 즉, '영상데이터'는 하나의 프레임인 정적 영상데이터일 수도 있고, 복수의 프레임이 연속되는 동적 영상데이터(즉, 동영상데이터)일 수도 있다.

본 명세서에서, '학습용 영상데이터'는 학습모델의 트레이닝에 이용되는 영상데이터를 의미한다.

본 명세서에서 '외형분류기준'은 특정한 대상체의 외형을 서술(description)하거나 주석 삽입(annotation)을 위해 필요한 외형 표현의 분류기준을 의미한다. 즉, '외형분류기준'은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함한다. 예를 들어, 대상체가 의류인 경우, 외형분류기준은 의류의 외형에 대한 분류기준으로, 패턴(Pattern), 색상(Color), 핏(fit), 기장(Length) 등이 해당될 수 있다. 즉, 특정한 대상체에 대해 외형분류기준이 많아지면, 대상체에 속하는 특정한 물품의 외형을 상세히 기술할 수 있다.

본 명세서에서 '개별외형특성'은 특정한 외형분류기준 내에 포함되는 다양한 특성을 의미한다. 예를 들어, 외형분류기준이 색상인 경우, 개별외형특성은 다양한 개별 색상을 의미한다.

본 명세서에서 '전문가 클라이언트(30)'는 학습용 영상데이터에 개별외형특성을 부여(즉, 학습용 영상데이터의 레이블링(Lableing))하거나, 입력영상데이터에 미학습 외형분류기준 내의 개별외형특성을 부여하는 역할을 수행하는 전문가의 클라이언트를 의미한다.

본 명세서에서 '추상적 특성'은 특정한 대상체에 대해 부여되는 추상적인 특성을 의미한다. 예를 들어, '추상적 특성'은 특정한 대상체에 대한 감성적 특성(예를 들어, 의류인 경우, 빈티지와 같은 감성적 또는 유행적 표현)일 수 있다. 또한, 예를 들어, '추상적 특성'은, 영상데이터가 동영상인 경우, 형상변화 또는 동작의 의미일 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법의 순서도이고, 도 2는 상기 관심정보 획득 방법의 구성도이다.

도 1 및 2를 참조하면, 본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법은, 서버(10)가 제1입력영상데이터를 외형특성 인식모델(100)에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계(S1200); 서버(10)가 상기 제1입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제1외형서술데이터를 생성하는 단계(S1400); 및 서버(10)가 상기 제1외형서술데이터를 기초로 제1출력영상데이터를 생성하여 출력하는 단계(S1600);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.

서버(10)가 제1입력영상데이터를 외형특성 인식모델(100)에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출한다(S1200). 상기 제1입력영상데이터는, 관심정보를 획득하고자 하는 특정한 사용자로부터 입력받은 영상데이터를 의미한다. 상기 제1입력영상데이터는 현실의 객체 또는 가상의 객체에 대한 영상데이터를 포함한다.

일실시예로, 상기 외형특성 인식모델(100)은, 도 2에서와 같이, 상이한 외형 분류기준을 판단하는 복수의 개별특성인식모듈(110)을 포함한다. 즉, 상기 외형특성 인식모델(100)은 각각의 외형분류기준을 인식하는 것으로 특화된 복수의 개별특성인식모듈(110)을 포함한다. 특정한 대상체의 외형분류기준이 많을 수록, 서버(10)는 다수의 개별특성인식모듈(110)을 외형특성 인식모델(100) 내에 포함한다. 상기 개별특성인식모듈(110)은 영상데이터의 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것이다.

일실시예로, 상기 개별외형특성 산출단계(S1200)는, 상기 외형특성 인식모델(100) 내의 각각의 개별특성인식모듈(110)에 입력영상데이터를 입력하여, 상기 입력영상데이터에 대한 복수의 개별외형특성을 산출한다. 이를 통해, 서버(10)는 입력영상데이터에 대한 각 외형분류기준의 개별외형특성을 모두 획득한다.

또한, 일실시예로, 상기 개별특성인식모듈(110)은, 복수의 학습용 영상데이터에 대해 특정한 외형분류기준의 개별외형특성을 매칭하여 딥러닝 학습모델을 통해 트레이닝이 된 것이다. 즉, 개별특성인식모듈(110)은 특정한 딥러닝 알고리즘으로 구축되는 것으로, 복수의 외형분류기준 중에서 특정한 하나와 학습용 영상데이터를 매칭하여 학습을 수행한 것이다.

또한, 일실시예로, 상기 외형특성 인식모델(100)은, 도 3에서와 같이, 대상체 유형별로 상이한 개별특성인식모듈(110)의 조합을 포함한다. 예를 들어, 동일한 대분류 내에 속하는 패션잡화 유형(예를 들어, 신발, 지갑, 가방)은 상이한 외형분류기준을 가지므로, 서버(10)는 대상체 유형별로 개별특성인식모듈(110)의 조합을 생성하여 특정한 대상체 외형 인식을 위한 특화 외형특성인식모델을 생성한다.

또한, 일실시예로, 복수의 대상체에 대한 각 외형특성 인식모델(100)은 특정한 개별특성인식모듈(110)을 공유하여 사용할 수 있다. 예를 들어, 개별특성인식모듈(110)이 색상 인식을 수행하는 경우, 대상체 유형에 무관하게 동일하게 색상인식모듈은 범용적으로 사용될 수 있으므로, 서버(10)는 대상체별로 구별되는 복수의 외형특성 인식모델(100)에서 범용 색상인식모듈을 사용할 수 있다.

또한, 일실시예로, 개별특성인식모듈(110)이 구축되지 않은, 특정한 대상체의 미학습 외형분류기준이 존재하는 경우(예를 들어, 대상체의 외형분류기준 중에서 딥러닝 학습모델을 통해 인식하기 어려운 것이 존재하거나 새로운 외형분류기준이 생성됨에 따라 아직 개별특성인식모듈(110)이 구축되지 못한 경우), 서버(10)는 해당 미학습 외형분류기준에 대해 입력영상데이터의 개별외형특성을 입력받아 개별특성인식모듈, 외형특성 인식모델에 대한 업데이트를 수행할 수 있다.

일 실시예로, 상기 제1입력영상데이터의 입력은 특정 사용자의 가상공간 인테리어를 위한 입력을 포함할 수 있다. 예를 들어, 사용자는 본인의 커뮤니티 플랫폼을 꾸미기 위하여, 선호하는 특정 객체에 대한 영상데이터를 입력할 수 있다.

또한, 일 실시예로, 상기 제1입력영상데이터는 특정 대상체의 특정 물품에 대한 현실의 영상데이터를 포함한다. 예를 들어, 사용자는 본인의 가상공간에 배치하고자 하는 의류(특정 대상체)에 속하는 'A브랜드의 B셔츠'(특정 물품)에 대한 사진(제1입력영상데이터)을 입력할 수 있다. 이 경우, 서버는 상기 사진을 외형특성 인식모델(100)에 입력하여, '셔츠, 밝은 분홍색, 꽃무늬, 슬림, V넥, 민소매'의 개별외형특성(복수의 외형분류기준인 '색상, 패턴, Top silhouette, 목모양, 소매 길이'에 대한 복수의 개별외형특성)을 산출할 수 있다.

다른 실시예로, 상기 제1입력영상데이터는 사용자가 커스터마이징(Customizing)한 가상의 영상데이터를 포함한다. 일 실시예에서, 사용자가 특정 대상체에 대하여 자유롭게 커스터마이징하여 제1입력영상데이터를 입력한 경우, 서버는 상기 제1입력영상데이터로부터 복수의 개별외형특성을 산출한다.

이와 달리, 다른 실시예에서, 사용자가 서버가 제공하는 개별외형특성 목록에서 복수의 개별외형특성(예를 들어, 셔츠, 밝은 분홍색, 꽃무늬, 슬림, V넥, 민소매)을 선택하여 선택된 개별외형특성을 갖는 제1입력영상데이터가 입력(커스터마이징)된 경우, 서버는 별도의 개별외형특성을 산출할 필요 없이 사용자가 선택한 개별외형특성을 획득할 수 있다.

그리고, 서버(10)가 제1입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제1외형서술데이터를 생성한다(S1400). 전술한 바와 같이, 특정한 대상체에 대해 외형분류기준이 세부적으로 나누어져 있으면, 상기 제1외형서술데이터는 해당 대상체의 외형을 개별외형특성을 통해 구체적으로 서술할 수 있다. 예를 들어, 제1외형서술데이터는 {셔츠, 밝은 분홍색, 꽃무늬, 슬림, V넥, 민소매}의 형태로 생성 가능하다.

또한, 도 4를 참조하면, 일 실시예로, 상기 제1외형서술데이터 생성단계(S1400)는, 상기 제1입력영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 추출하는 단계(S1410); 및 상기 복수의 코드값을 조합하여, 코드열 형태의 제1외형서술데이터를 생성하는 단계(S1420);를 포함할 수 있다. 즉, 서버(10)가 개별외형특성을 코드화함에 따라 외형서술데이터를 코드열로 생성할 수 있고, 이를 통해 외형서술데이터의 처리가 효율적으로 될 수 있다.

예를 들어, 개별외형특성에 대응하는 코드값이 ''셔츠-Zb01, 밝은 분홍색-Ob01, 꽃무늬-Ie01, 슬림-Ba01, V넥-Bb02, 민소매-Bg01"인 경우, 제1외형서술데이터는 "Ba01, Bb02, Bg01, Ie01, Ob01, Zb01"의 코드열로 생성될 수 있다.

그리고, 서버(10)가 제1외형서술데이터를 기초로 제1출력영상데이터를 생성하여 출력한다(S1600). 일 실시예에서, 상기 제1출력영상데이터는 상기 제1외형서술데이터를 기초로 생성된 특정 대상체의 가상의 물품에 대한 영상데이터를 의미할 수 있다.

예를 들어, 제1외형서술데이터가 "Ba01, Bb02, Bg01, Ie01, Ob01, Zb01"의 코드열인 경우, 각각의 코드값에 대응하는 개별외형특성(셔츠, 밝은 분홍색, 꽃무늬, 슬림, V넥, 민소매)을 포함하는 가상의 셔츠에 대한 영상데이터를 생성하여 출력할 수 있다. 즉, 일 실시예에서, 제1출력영상데이터는 제1입력영상데이터의 개별외형특성과 동일한 복수의 개별외형특성을 포함하는 가상의 영상데이터를 포함한다. 이 경우, 가상의 영상데이터를 제공함으로써, 현실의 특정 물품에 대한 영상데이터를 출력하는 경우 발생할 수 있는 문제(예를 들어, 저작권 분쟁)를 최소화할 수 있는 효과가 있다.

또한, 도 13을 참조하면, 본 발명의 일 실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득 방법은, 서버가 제2입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계(S1240); 서버가 제2입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제2외형서술데이터를 생성하는 단계(S1440); 및 서버가 제1외형서술데이터 또는 제2외형서술데이터를 포함하는 외형서술데이터를 사용자의 관심정보로 저장하는 단계(S1800);를 더 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.

서버가 제2입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출한다(S1240). 일 실시예에서, 상기 제2입력영상데이터는 제1입력영상데이터를 입력한 사용자에 의해 제1출력영상데이터가 수정된 영상데이터를 의미할 수 있다.

예를 들어, 사용자가 본인의 가상공간에 'A브랜드의 B셔츠'와 유사한 이미지를 배치하고자 'A브랜드의 B셔츠'에 관한 사진을 제1입력영상데이터로 입력하였으나, 서버가 이를 기초로 생성하여 출력한 가상의 셔츠에 대한 이미지(제1출력영상데이터)가 사용자가 배치하려던 이미지의 특성과 상이한 경우, 사용자는 제1출력영상데이터를 수정하여 배치하고자 하는 제2입력영상데이터를 입력할 수 있다.

일 실시예에서, 제1출력영상데이터의 수정이 필요한 경우는, 서버의 제1입력영상데이터에 대한 개별외형특성 산출이 잘못된 경우 또는 제1출력영상데이터에 포함되어 있는 개별외형특성 중 제1입력영상데이터로부터 산출된 개별외형특성 이외의 개별외형특성에 대해 수정이 필요한 경우를 포함할 수 있다.

예를 들어, V넥 셔츠의 제1입력영상데이터에 대해 서버가 U넥의 개별외형특성을 잘못 산출한 결과 제1출력영상데이터가 U넥인 경우 또는 전술한 코트의 개별외형특성(셔츠, 밝은 분홍색, 꽃무늬, 슬림, V넥, 민소매)을 모두 포함하지만 사용자가 선호하지 않는 개별외형특성인 크롭(외형분류기준인 Top Length에 대한 개별외형특성)을 포함하는 경우, 사용자는 제1출력영상데이터를 수정하여 제2입력영상데이터로 입력할 수 있다.

또한, 제1출력영상데이터의 수정은, 제1출력영상데이터를 프로그램 또는 서버를 이용하여 사용자가 직접 수정하거나, 수정 방향에 대한 키워드를 입력하여 수정할 수 있으나, 이에 제한되지 않고 영상데이터에 대한 모든 수정 방법을 포함한다. 예를 들어, 사용자가 U넥에 대해 V넥으로 수정하려는 경우, 제1출력영상데이터의 코트를 사용자가 직접 V넥으로 수정하거나, 'V넥'의 키워드 입력을 통해 수정 방향을 입력할 수 있다.

또한, 일 실시예에서, 제1출력영상데이터의 수정은, 서버가 제1출력영상데이터에 포함된 특징 외에 다른 특징들로 조합된 다수의 영상데이터를 사용자에게 추천하고, 사용자가 추천된 제품에서 추가하고자 하는 특징을 선택하여 추가함으로써, 수정된 제2입력영상데이터를 입력할 수 있다. 이 경우, 서버는 추가된 특징에 대한 외형서술데이터를 통하여 사용자의 선호도를 간편하게 획득할 수 있다.

서버가 제2입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제2외형서술데이터를 생성한다(S1440). 예를 들어, 사용자가 제1출력영상데이터의 상의 길이(Top Length)를 크롭(crop)에서 미디엄(Medium)으로 수정한 제2입력영상데이터의 제2외형서술데이터는 {셔츠, 밝은 분홍색, 꽃무늬, 슬림, V넥, 민소매}의 형태 또는 "Ba01, Bb02, Bg01, Bi03, Ie01, Ob01, Zb01"(미디엄에 대응하는 코드값이 Bi03인 경우)로 생성 가능하다.

또한, 일 실시예에서, 도면에 도시되지는 않았으나, 서버가 사용자에게 출력영상데이터에 대한 승인 요청을 전송하는 단계를 더 포함할 수 있다. 예를 들어, 서버가 제1출력영상데이터를 출력하고 사용자에게 제1출력영상데이터에 대한 승인 요청을 전송하고, 사용자가 승인한 경우에는 제2입력영상데이터를 입력받지 않고, 사용자가 승인하지 않은 경우 제1출력영상데이터가 수정된 제2입력영상데이터를 입력받을 수 있다.

또한, 일 실시예에서, 전술한 입력영상데이터의 개별외형특성을 산출하고 외형데이터를 생성하고 출력영상데이터를 생성하여 출력하는 단계는, 한 번 이상 수행될 수 있다. 예를 들어, 서버가 제2입력영상데이터를 기초로 제2출력영상데이터를 출력하거나, 사용자가 제2출력영상데이터를 기초로 제3입력영상데이터를 입력할 수 있다.

또한, 일 실시예에서, 서버가 제1외형서술데이터 또는 제2외형서술데이터를 포함하는 외형서술데이터를 사용자의 관심정보로 저장하는 단계(S1800)를 더 포함할 수 있다. 서버는 제1입력영상데이터에 관한 제1외형서술데이터, 제2입력영상데이터에 관한 제2외형서술데이터 또는 제1외형서술데이터와 제2외형서술데이터의 차이(예를 들어, 사용자가 수정한 특징에 대한 외형서술데이터)를 포함하는 외형서술데이터 정보를 저장할 수 있고, 이를 통해 사용자의 관심정보에 대해 획득할 수 있다. 즉, 서버는 사용자가 입력한 제1입력영상데이터 또는 제2입력영상데이터를 포함하는 영상데이터뿐만 아니라, 이를 기초로 산출한 외형서술데이터를 저장하고 분석함으로써 간편하게 사용자의 관심정보를 획득할 수 있다.

또한, 일 실시예에서, 서버는 제1입력영상데이터 또는 제2입력영상데이터를 포함하는 입력영상데이터로부터 개별외형특성, 외형서술데이터뿐만 아니라 추상적특성(예를 들어, 빈티지)을 더 고려하여 출력영상데이터를 생성 및 출력하거나, 외형서술데이터를 저장할 수 있다.

또한, 일 실시예에서, 도면에 도시되지는 않았으나, 서버가 제1출력영상데이터 또는 제2입력영상데이터를 포함하는 영상데이터를 가상공간에 디스플레이하는 단계를 더 포함할 수 있다. 즉, 서버는 사용자의 요청에 따라 사용자가 배치하고자 하는 영상데이터를 사용자의 가상공간에 디스플레이할 수 있다.

이를 통해, 전술한 예에서 사용자는 본인이 원하는 스타일의 코트에 대한 이미지를 디스플레이하여 자신의 가상공간을 취향에 따라 인테리어할 수 있고, 서버는 사용자가 입력하는 입력영상데이터를 기반으로, 개별외형특성을 산출하고 외형서술데이터를 생성하고 사용자의 수정을 통한 보완으로 사용자의 관심정보를 용이하게 획득할 수 있고, 획득한 사용자의 관심정보를 의류 마켓에 제공하는 등 다양하게 활용할 수 있는 효과가 있다.

또한, 본 발명의 일 실시예에서, 제1입력영상데이터, 제1출력영상데이터 또는 제2입력영상데이터를 포함하는 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 개별외형특성 산출은 동영상 데이터 내의 각각의 프레임에 대해 수행되는 것을 특징으로 할 수 있고, 외형서술데이터 생성은 각 프레임에 대한 복수의 개별외형특성을 순차적으로 나열하여 생성되는 것을 특징으로 할 수 있다.

본 발명의 또 다른 일실시예에 따른 입력영상데이터 기반 사용자 관심정보 획득장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 입력영상데이터 기반 사용자 관심정보 획득 방법을 수행한다.

이상에서 전술한 본 발명의 입력영상데이터 기반 사용자 관심정보 획득방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버(10) 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

서버가 제1입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계;
서버가 상기 제1입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제1외형서술데이터를 생성하는 단계; 및
서버가 상기 제1외형서술데이터를 기초로 제1출력영상데이터를 생성하여 출력하는 단계를 포함하고
상기 제1입력영상데이터는 특정한 사용자로부터 입력받은 영상데이터이고,
상기 외형분류기준은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함하고,
상기 제1입력영상데이터는 상기 사용자로부터 입력받은 특정 대상체의 특정 물품에 대한 영상데이터이고,
상기 제1출력영상데이터는 상기 제1외형서술데이터를 기초로 생성된 상기 특정 대상체의 가상의 물품에 대한 영상데이터인, 입력영상데이터 기반 사용자 관심정보 획득 방법.
삭제
제1항에 있어서,
외형서술데이터 생성단계는,
입력영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 추출하는 단계; 및
상기 복수의 코드값을 조합하여, 코드열 형태의 외형서술데이터를 생성하는 단계;를 포함하는, 입력영상데이터 기반 사용자 관심정보 획득 방법.
제3항에 있어서,
상기 제1출력영상데이터는, 상기 제1외형서술데이터와 동일한 코드열에 포함된 복수의 코드값에 대응하는 개별외형특성을 포함하는 가상의 물품에 대한 영상데이터인, 입력영상데이터 기반 사용자 관심정보 획득 방법.
제1항에 있어서,
서버가 제2입력영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 및
서버가 상기 제2입력영상데이터에 대한 복수의 개별외형특성을 조합하여 제2외형서술데이터를 생성하는 단계;를 더 포함하고,
상기 제2입력영상데이터는 상기 사용자에 의해 상기 제1출력영상데이터가 수정된 영상데이터인, 입력영상데이터 기반 사용자 관심정보 획득 방법.
제5항에 있어서,
서버가 상기 제1외형서술데이터 또는 상기 제2외형서술데이터를 포함하는 외형서술데이터를 상기 사용자의 관심정보로 저장하는 단계;를 더 포함하는, 입력영상데이터 기반 사용자 관심정보 획득 방법.
제5항에 있어서,
상기 제1출력영상데이터 또는 제2입력영상데이터를 포함하는 영상데이터를 가상공간에 디스플레이하는 단계;를 더 포함하는, 입력영상데이터 기반 사용자 관심정보 획득 방법.
제1항에 있어서,
상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우,
상기 개별외형특성 산출단계는,
상기 동영상 데이터 내의 각각의 프레임에 대해 수행되는 것을 특징으로 하고,
상기 제1외형서술데이터를 생성하는 단계는,
각 프레임에 대한 복수의 개별외형특성을 순차적으로 나열하여 생성되는 것을 특징으로 하는, 입력영상데이터 기반 사용자 관심정보 획득 방법.
하나 이상의 컴퓨터를 포함하며, 제1항, 제3항 내지 제8항 중 어느 한 항의 방법을 실행하는, 입력영상데이터 기반 사용자 관심정보 획득 서버장치.
하드웨어인 컴퓨터와 결합되어, 제1항, 제3항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 입력영상데이터 기반 사용자 관심정보 획득 프로그램.