KR20210031876A - 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램 - Google Patents

Abstract

본 발명은 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램에 관한 것이다.
본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 서버가 영상데이터를 대상체유형 인식모델에 입력하여, 대상체 유형정보를 산출하는 단계(S3100); 상기 서버가 상기 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계(S3200); 및 상기 서버가 상기 영상데이터에 대하여 산출된 대상체 유형정보 및 복수의 개별외형특성을 조합하여 외형서술데이터를 생성하는 단계(S3300);를 포함한다.

Description

영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램{SYSTEM, METHOD AND PROGRAM FOR OBTAINING APPEARANCE DESCRIPTIVE DATA FROM IMAGE DATA}

본 발명은 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램에 관한 것이다.

최근 인터넷의 발달로 소셜 미디어 네트워크 서비스가 급격히 성장하고 있다. 그 결과, 멀티미디어의 양이 폭발 적으로 증가하면서 효과적인 이미지 검색 시스템이 요구되며, 이미지 어노테이션은 폭발적으로 증가하는 웹이미지에 따른 효율적인 이미지 검색의 필요성으로 인해 그 중요도가 점점 높아지고 있다.

대부분의 이미지 검색 연구는 주로 이미지의 내용을 분석하는 내용 기반 이미지 검색(CBIR: Content-based Image Retrieval) 방법이 많이 진행되어 왔다. 내용 기반 이미지 검색은 색상, 텍스처 및 형태와 같은 시각적 특징을 이용하여 이미지의 내용을 분석한다. 이러한 방법은 정의하는 태그의 개수가 적을 경우에는 잘 작동하지만, 데이터셋이 커지고 태그의 종류가 다양해짐에 따라 성능이 떨어지게 된다.

텍스트 기반 이미지 검색(TBIR: Text-based Image Retrieval)은 텍스트를 쿼리로 하여 텍스트에 대응되는 이미지를 검색하는 방식이다. 이 방식은 이미지의 시각적 내용이 수동으로 태깅된 텍스트 디스크립터에 의해 표현되며, 데이터셋 관리 시스템에서 이미지 검색을 수행하는데 사용된다. 즉, 기존의 이미지 또는 영상 검색 방식은 사용자가 직접 태깅한 정보를 기반으로 검색이 이루어진다. 또한, 이미지를 통한 사용자 관심정보 획득 방식도 사용자가 직접 태깅한 정보를 기반으로 획득이 이루어져, 사용자가 영상에 키워드를 잘못 태깅하면 획득 결과가 부정확해지는 문제점이 존재하였다. 또한, 사용자마다 정의하는 키워드에 차이가 존재할 수 있어서, 이미지를 입력하는 사용자가 선택한 키워드에 따라 제공되는 결과가 상이한 문제가 존재하였다.

공개특허공보 제10-2018-0133200호, 2018.12.13

본 발명은, 영상데이터로부터 특정한 대상체의 유형정보, 상기 대상체의 외형을 표현하는 외형특성 또는 상기 대상체에 대하여 인지할 수 있는 추상적특성을 획득하여 코드열 형태의 외형서술데이터로 생성하는, 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램을 제공하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 서버가 영상데이터를 대상체유형 인식모델에 입력하여, 대상체 유형정보를 산출하는 단계; 상기 서버가 상기 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 및 상기 서버가 상기 영상데이터에 대하여 산출된 대상체 유형정보 및 복수의 개별외형특성을 조합하여 외형서술데이터를 생성하는 단계;를 포함하고, 상기 외형분류기준은, 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함하는 것이다.

또한, 다른 일실시예로, 상기 외형특성 인식모델은, 상이한 외형분류기준을 판단하는 복수의 개별특성인식모듈을 포함하고, 상기 개별특성인식모듈은, 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것이고, 상기 개별외형특성 산출단계는, 산출된 대상체 유형정보에 대응되는 특화 외형특성 인식모델에 상기 영상데이터를 입력하여, 복수의 개별외형특성을 산출하는 것을 특징으로 하고, 상기 특화 외형특성 인식모델은, 특정 대상체 유형정보에 따라 적용하도록 미리 설정된 복수의 외형분류기준의 개별특성인식모듈을 포함하는 외형특성 인식모델인 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 특화 외형특성 인식모델의 외형분류기준에 대하여 개별외형특성을 산출할 수 없는 경우, 상기 서버가 상기 영상데이터를 상기 대상체유형 인식모델에 다시 입력하여, 이전과 상이한 대상체 유형정보를 산출하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 상기 대상체 유형정보 산출단계는, 상기 서버가 제1확률을 획득하여 상기 제1확률이 임계값 이상인 유형정보를 산출하되, 상기 제1확률이 임계값 이상인 유형정보가 복수개인 경우, 복수의 후보유형정보를 모두 산출하는 것을 특징으로 하고, 상기 제1확률은, 상기 대상체가 특정한 유형정보 각각에 해당할 확률이고, 상기 개별외형특성 산출단계는, 상기 영상데이터에 대하여 복수의 후보유형정보가 산출된 경우, 상기 후보유형정보 각각에 대응되는 특화 외형특성 인식모델에 상기 영상데이터를 각각 입력하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 서버가 상기 복수의 후보유형정보 각각에 대응되는 특화 외형특성 인식모델 중 개별외형특성을 산출할 수 없는 외형분류기준이 가장 적은 후보유형정보를 최종유형정보로 설정하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 상기 서버가 산출된 복수의 개별외형특성을 기초로 추상적특성을 산출하는 단계;를 더 포함하고, 상기 외형서술데이터는, 상기 영상데이터에 대하여 산출된 상기 추상적특성을 더 포함하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 추상적특성 산출단계는, 각각의 개별외형특성마다 복수의 추상적특성 각각에 대한 점수가 설정되어 있고, 상기 서버가 상기 영상데이터에 대하여 산출된 복수의 개별외형특성에 설정된 각각의 추상적특성에 대한 점수를 합산하여 산출하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 서버가 상기 영상데이터의 외형서술데이터를 세부유형 인식모델에 입력하여, 대상체 세부유형정보를 산출하는 단계;를 더 포함하고, 상기 세부유형정보는, 산출된 상기 대상체 유형정보의 하위개념인 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 세부유형 인식모델은, 하나 이상의 개별외형특성 조합이 하나 이상의 세부유형정보와 매칭됨에 따라, 입력된 외형서술데이터의 개별외형특성 조합에 대한 세부유형정보를 산출하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 서버가 사용자 클라이언트로부터 검색키워드를 수신하는 단계; 및 상기 서버가 상기 검색키워드에 대응되는 외형서술데이터를 포함하는 영상데이터를 추출하여 상기 사용자 클라이언트에 전송하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 상기 외형서술데이터 생성단계는, 상기 영상데이터에 대한 대상체 유형정보 및 복수의 개별외형특성 각각에 대응하는 코드값을 추출하는 단계; 및 상기 복수의 코드값을 조합하여, 코드열 형태의 외형서술데이터를 생성하는 단계;를 포함한다.

또한, 다른 일실시예로, 상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 상기 대상체 유형정보 산출단계 및 개별외형특성 산출단계는, 상기 동영상데이터 내의 각각의 프레임에 대해 수행되는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따른 영상데이터의 외형서술데이터 획득 서버장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 외형서술데이터 획득 방법을 수행한다.

본 발명의 또 다른 일실시예에 따른 영상데이터의 외형서술데이터 획득 프로그램은, 하드웨어와 결합되어 상기 언급된 외형서술데이터 획득 방법을 실행하며, 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기 본 발명에 의하면, 복수의 영상데이터에 대해 동일한 기준에 따라 대상체의 유형정보, 개별외형특성 또는 추상적특성을 획득하여 이를 기초로 외형서술데이터를 생성할 수 있다.

또한, 상기 본 발명에 의하면, 특정한 영상데이터의 대상체 유형정보를 산출하고 이에 대응되는 특화 외형특성 인식모델에 상기 영상데이터를 입력함으로써, 유형정보에 따라 적용되는 외형분류기준의 조합을 달리하여 보다 효율적으로 개별외형특성을 획득할 수 있다.

또한, 상기 본 발명에 의하면, 특정 영상데이터에 대하여, 외형서술데이터(획득한 대상체 유형정보 또는 개별외형특성)를 기초로 추상적특성을 산출하고, 산출한 추상적특성을 외형서술데이터에 추가함으로써 간단하게 영상데이터의 추상적특성을 획득하고 외형서술데이터를 업데이트할 수 있다.

또한, 상기 본 발명에 의하면, 외형특성 인식모델을 재학습 또는 추가 학습시켜야 하는 상황을 최소화할 수 있다. 예를 들어, 특정한 대상체에 대해 새로운 외형분류기준이 추가되는 경우에, 신규 개별특성인식모듈만 학습시키면 되고 기존 개별특성인식모듈은 그대로 활용할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 외형특성 인식모델의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 코드시스템을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 추상적특성 산출 단계를 더 포함하는 외형서술데이터 획득 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 추상적특성 인식모델의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 개별외형특성에 대한 제1개별감성특성 점수 설정을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 세부유형정보 산출 단계를 더 포함하는 외형서술데이터 획득 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따른 사용자 검색 단계를 더 포함하는 외형서술데이터 획득 방법의 순서도이다.
도 9는 본 발명의 일 실시예에 따른 외형서술데이터 획득 서버의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 '컴퓨터'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버(10)가 해당될 수 있다.

본 명세서에서 '클라이언트'는 사용자들이 프로그램(또는 어플리케이션)을 설치하여 사용할 수 있는 통신 기능을 포함한 모든 장치를 말한다. 즉, 클라이언트 장치는 스마트폰, 태블릿, PDA, 랩톱, 스마트워치, 스마트카메라 등과 같은 전기 통신 장치, 리모트 콘트롤러 중 하나 이상을 포함할 수 있으나, 이에 제한되는 것은 아니다.

본 명세서에서 '대상체'는 영상데이터에 포함된 특정한 분류 또는 카테고리의 물품을 의미한다.

본 명세서에서, '영상데이터'는 특정한 대상체를 포함하는 2차원 또는 3차원의 정적 또는 동적 이미지를 의미한다. 즉, '영상데이터'는 하나의 프레임인 정적 영상데이터일 수도 있고, 복수의 프레임이 연속되는 동적 영상데이터(즉, 동영상데이터)일 수도 있다.

본 명세서에서 '외형분류기준'은 특정한 대상체의 외형을 서술(description)하거나 주석 삽입(annotation)을 위해 필요한 외형 표현의 분류기준을 의미한다. 즉, '외형분류기준'은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함한다. 예를 들어, 대상체가 의류인 경우, 외형분류기준은 의류의 외형에 대한 분류기준으로, 패턴(Pattern), 색상(Color), 핏(fit), 기장(Length) 등이 해당될 수 있다. 즉, 특정한 대상체에 대해 외형분류기준이 많아지면, 대상체에 속하는 특정한 물품의 외형을 상세히 기술할 수 있다.

본 명세서에서 '개별외형특성'은 특정한 외형분류기준 내에 포함되는 다양한 특성을 의미한다. 예를 들어, 외형분류기준이 색상인 경우, 개별외형특성은 다양한 개별 색상을 의미한다.

본 명세서에서 '추상적 특성'은 특정한 대상체에 대하여 인지되는 추상적인 특성으로서, 제1감성특성 또는 제2감성특성을 포함한다.

본 명세서에서 '제1감성특성'은 특정한 대상체의 외형을 기반으로 인지되는 감성적 특성을 의미한다. 예를 들어, 특정한 대상체의 외형에 대한 '귀여운' 또는 '빈티지'와 같은 감성적 또는 유행적 표현일 수 있다.

본 명세서에서 '제2감성특성'은 특정한 대상체의 상품에 부여되는 정보를 기반으로 인지되는 감성적 특성을 의미한다. 예를 들어, 특정한 대상체의 상품 정보 중 가격에 대하여 인지되는 '저렴한', '비싼'과 같은 감성적 표현일 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법의 순서도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 서버가 영상데이터를 대상체유형 인식모델에 입력하여, 대상체 유형정보를 산출하는 단계(S3100); 상기 서버가 상기 영상데이터를 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계(S3200); 및 상기 서버가 상기 영상데이터에 대하여 산출된 대상체 유형정보 및 복수의 개별외형특성을 조합하여 외형서술데이터를 생성하는 단계(S3300);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.

서버(10)가 영상데이터를 대상체유형 인식모델(100)에 입력하여, 대상체 유형정보를 산출한다(S3100). 즉, 영상데이터에 포함된 대상체의 특정한 분류 또는 카테고리인 대상체 유형정보를 산출한다.

일 실시예에서, 상기 대상체 유형정보는, 미리 설정된 대상체 유형 분류에 기초하여 산출될 수 있다. 예를 들어, 상위유형 분류가 의류, 액세서리, 신발, 인테리어 등으로 설정되고, 상위유형 중 의류에 대한 하위유형 분류가 '셔츠&블라우스', '자켓', '코트', '바지', '치마', '레깅스&스타킹', '원피스'의 7개로 설정된 경우, 의류에 대한 영상데이터가 입력되면 상기 대상체유형 인식모델은 의류에 대한 7개의 하위유형 중에서 대상체 유형정보를 산출할 수 있다.

또한, 일 실시예에서, 상기 대상체 유형정보 산출 단계(S3100)는, 복수의 유형정보를 산출할 수 있다. 즉, 입력된 영상데이터에 대하여 특정한 하나의 대상체 유형정보 산출이 어려운 경우, 확률이 높은 복수의 유형정보를 산출할 수 있다.

일 실시예에서 상기 대상체 유형정보 산출 단계(S3100)는, 특정한 영상데이터의 대상체가 특정한 유형정보 각각에 해당할 제1확률을 획득하여, 상기 제1확률이 임계값 이상인 유형정보를 산출하는 것일 수 있다.

예를 들어, 상기 임계값이 0.4이고, 입력된 영상데이터의 대상체가 '셔츠&블라우스'에 해당할 제1확률이 0.8, '자켓'이 0.1, '코트'가 0.1인 경우, '셔츠&블라우스'를 대상체 유형정보로 산출할 수 있다.

또한, 일 실시예에서, 상기 제1확률이 임계값 이상인 유형정보가 복수개인 경우, 복수의 유형정보를 후보유형정보로 산출할 수 있다.

예를 들어, 마찬가지로 상기 임계값이 0.4이고, '셔츠&블라우스'에 해당할 제1확률이 0.5, '자켓'이 0.4, '코트'가 0.1인 경우, '셔츠&블라우스' 및 '자켓'을 후보유형정보로 산출할 수 있다. 상기 후보유형정보에 대한 최종유형정보 설정에 대하여는 후술한다.

이어서, 상기 서버(10)가 상기 영상데이터를 외형특성 인식모델(200)에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출한다(S3200).

일 실시예에서, 상기 외형특성 인식모델(200)은, 상이한 외형분류기준을 판단하는 복수의 개별특성인식모듈(210)을 포함한다. 즉, 상기 외형특성 인식모델은 각각의 외형분류기준을 인식하는 것으로 특화된 복수의 개별특성인식모듈을 포함한다. 특정한 대상체의 외형분류기준이 많을수록, 서버는 다수의 개별특성인식모듈을 외형특성 인식모델 내에 포함한다. 상기 개별특성인식모듈은 영상데이터의 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것이다.

또한, 일 실시예에서, 상기 개별특성인식모듈(210)은, 복수의 학습용 영상데이터에 대해 특정한 외형분류기준의 개별외형특성을 매칭하여 딥러닝 학습모델을 통해 트레이닝이 된 것이다. 즉, 개별특성인식모듈은 특정한 딥러닝 알고리즘으로 구축되는 것으로, 복수의 외형분류기준 중에서 특정한 하나와 학습용 영상데이터를 매칭하여 학습을 수행한 것이다.

이를 위해, 서버(10)는 다음과 같이 각각의 개별특성인식모듈(210)을 트레이닝하는 과정을 수행할 수 있다.

먼저, 서버는 특정한 대상체에 대한 복수의 학습용 영상데이터를 획득한다. 예를 들어, 대상체가 특정한 의류 유형(예를 들어, 셔츠)인 경우, 서버는 여러 셔츠의 이미지를 획득한다.

서버는 각각의 외형분류기준 정의 및 각 외형분류기준에 대한 복수의 개별외형특성을 획득한다. 즉, 서버는 복수의 외형분류기준을 설정함에 따라 개별특성인식모듈의 초기 개수를 설정한다. 그리고, 서버는 각 외형분류기준 내의 복수의 개별외형특성을 설정함에 따라, 각 외형분류기준에 대해 학습용 영상데이터를 레이블링할 특징(feature) 종류를 설정한다.

일 실시예에서, 서버는 특정한 대상체 외형 분석에 대한 전문가 클라이언트로부터 특정한 대상체 외형을 분석하기 위한 복수의 외형분류기준 및 각 외형분류기준 내의 복수의 개별외형특성을 설정 받을 수 있다. 예를 들어, 의류에 대한 외형특성 인식모델을 구축하는 경우, 서버는 의류 전문가인 디자이너의 클라이언트로부터 외형분류기준 및 이에 포함되는 개별외형특성을 입력 받을 수 있다.

그 후, 서버는 학습용 영상데이터를 각 외형분류기준의 복수의 개별외형특성으로 레이블링한다. 즉, 서버는 각각의 학습용 영상데이터에 대해 복수의 외형분류기준별로 적어도 하나의 개별외형특성을 입력 받아서 매칭한다.

그 후, 서버는 학습용 영상데이터와 이에 대해 레이블링된 특정한 외형분류기준의 개별외형특성을 매칭한 학습데이터셋을 기초로 트레이닝(Training)을 수행한다. 즉, 서버가, A 외형분류기준에 대한 개별특성인식모듈을 트레이닝하는 경우, 학습데이터셋에서 학습용 영상데이터와 이에 매칭된 A 외형분류기준의 개별외형특성만을 추출하여 딥러닝 학습모델에 입력한다. 이를 통해, 서버(10)는 각각의 외형분류기준의 개별외형특성을 인식할 수 있는 각각의 개별특성인식모듈(210)을 구축한다.

또한, 일 실시예에서, 상기 개별외형특성 산출단계(S3200)는, 상기 외형특성 인식모델 내의 각각의 개별특성인식모듈에 영상데이터를 입력하여, 상기 영상데이터에 대한 복수의 개별외형특성을 산출하는 것이다. 이를 통해, 서버는 영상데이터에 대한 각 외형분류기준의 개별외형특성을 모두 획득한다.

또한, 일 실시예에서, 상기 개별외형특성 산출단계(S3200)는, 산출된 대상체 유형정보에 대응되는 특화 외형특성 인식모델에 상기 영상데이터를 입력하여, 복수의 개별외형특성을 산출하는 것일 수 있다.

일 실시예에서, 상기 특화 외형특성 인식모델은, 특정 대상체 유형정보에 따라 적용하도록 미리 설정된 복수의 외형분류기준의 개별특성인식모듈을 포함한다. 즉, 특정 영상데이터에 대하여 산출되는 대상체 유형정보에 따라 적용되는 외형분류기준의 종류가 결정될 수 있다.

구체적으로, 도 2를 참조하면, 특정한 대상체 유형정보(대상체1, 대상체2, 대상체3)에 따라 각각 상이한 외형분류기준의 조합(즉, 개별특성인식모듈의 조합)이 설정되어 있는 특화 외형특성 인식모델을 생성할 수 있고, 특정한 영상데이터에 대하여 산출된 대상체 유형정보에 따라 상기 영상데이터를 해당하는 유형정보의 특화 외형특성 인식모델 내의 복수의 개별특성인식모듈 각각에 입력하여, 개별외형특성을 산출할 수 있다. 또한, 상이한 대상체 유형정보의 특화 외형특성 인식모델 내의 개별특성인식모듈의 조합이 동일할 수 있음은 물론이다.

예를 들어, '자켓' 유형정보의 특화 외형특성 인식모델이 '목모양(neckline)', '소매(sleeve)', '상의길이(top length)' 및 '색상(color)' 개별특성인식모듈을 포함하고, '바지' 유형정보의 특화 외형특성 인식모델이 '웨이스트라인(waist)', '하의길이(bottom length)' 및 '색상(color)' 개별특성인식모듈을 포함하는 경우, 외형특성 인식모델에 입력되는 영상데이터의 대상체 유형정보(자켓/바지)에 따라 상기 영상데이터가 입력되는 특화 외형특성 인식모델(즉, 적용되는 외형분류기준의 조합)이 상이할 수 있다.

또한, 일 실시예에서, 도 2와 같이 복수의 대상체 유형정보에 대한 각 특화 외형특성 인식모델은 범용 개별특성인식모듈을 공유하여 사용할 수 있다. 상기 범용 개별특성인식모듈은 대상체 유형에 무관하게 적용 가능한 범용 외형분류기준에 대한 개별특성인식모듈을 의미한다.

예를 들어, '색상(color)', '패턴(pattern)', '질감(texture)'등의 외형분류기준은 대상체 유형에 무관하게 적용이(개별외형특성 산출) 가능하므로, 범용 외형분류기준에 해당할 수 있다.

또한, 일 실시예에서, S3100단계에서 복수의 후보유형정보가 산출된 경우, 상기 후보유형정보 각각에 대응되는 특화 외형특성 인식모델 모두에 상기 영상데이터를 각각 입력할 수 있다. 이를 토대로 수행되는 최종유형정보 설정에 대하여는 후술한다.

예를 들어, 특정한 영상데이터에 대하여 '자켓' 및 '바지'가 후보유형정보로 산출된 경우, 상기 영상데이터를 '자켓' 특화 외형특성 인식모델 및 '바지' 특화 외형특성 인식모델 각각에 입력하여 개별외형특성을 산출할 수 있다.

또한, 도면에 도시되지는 않았으나, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 상기 특화 외형특성 인식모델의 외형분류기준에 대하여 개별외형특성을 산출할 수 없는 경우, 상기 서버가 상기 영상데이터를 상기 대상체유형 인식모델에 다시 입력하여, 이전과 상이한 대상체 유형정보를 산출하는 단계;를 더 포함한다.

즉, 일 실시예에서 전술한 바와 같이 산출된 대상체 유형정보에 따라 적용되는 외형분류기준의 조합이 상이한데, 만약 산출된 유형정보의 특화 외형특성 인식모델에 대하여 특정 비율 이상으로 오류가 발생하는 경우(예를 들어, 개별외형특성을 산출할 수 없는 개별특성인식모듈의 개수가 소정의 임계값 이상인 경우) 서버가 대상체 유형정보 산출이 잘못된 것으로 판단하고, 영상데이터를 대상체유형 인식모델에 다시 입력하여 새로운 유형정보를 다시 산출하는 것이다.

예를 들어, '바지'에 관한 영상데이터에 대하여 S3100단계에서 서버가 대상체 유형정보를 '자켓'으로 잘못 산출하여, S3200단계에서 '자켓' 특화 외형특성 인식모델(예를 들면, '목모양(neckline)', '소매길이(sleeve length)', '상의길이(top length)' 및 '색상(color)' 개별특성인식모듈 포함)의 개별특성인식모듈에 상기 영상데이터를 입력하였으나, 목모양, 소매, 상의길이에 대한 개별외형특성을 산출할 수 없는 경우, 서버가 대상체 유형정보 산출이 잘못된 것으로 판단하고, 상기 영상데이터를 대상체유형 인식모델에 다시 입력하여 새로운 유형정보(예를 들면, '바지')를 다시 산출할 수 있다.

또한, 다른 일 실시예에서, S3100단계에서 복수의 후보유형정보가 산출되어 상기 후보유형정보 각각에 대응되는 특화 외형특성 인식모델의 개별특성인식모듈에 영상데이터를 각각 입력한 경우, 개별외형특성을 산출할 수 없는 외형분류기준이 가장 적은 후보유형정보를 최종유형정보로 설정하는 단계;를 더 포함한다.

즉, 전술한 실시예와 같이 입력된 영상데이터에 대하여 특정한 하나의 대상체 유형정보 산출이 어려워 확률이 높은 복수의 후보유형정보를 산출하고, 상기 영상데이터를 각각의 후보유형정보의 특화 외형특성 인식모델에 입력한 경우, 인식률이 높은(개별외형특성을 산출할 수 없는 개별특성인식모듈의 개수가 적은) 후보유형정보를 최종유형정보로 설정할 수 있다.

예를 들어, 자켓에 관한 영상데이터에 대해 S3100단계에서 '자켓' 및 '바지'의 후보유형정보가 산출되어 해당 영상데이터를 '자켓' 특화 외형특성 인식모델 및 '바지' 특화 외형특성 인식모델에 각각 입력한 경우, 특별한 사정이 없는 한 각각의 특화 외형특성 인식모델의 인식률이 '바지'보다 '자켓'에서 높을 것이므로(개별외형특성을 산출할 수 없는 개별특성인식모듈의 개수가 '바지' 특화 외형특성 인식모델에서 더 많을 것이므로), '자켓'을 최종유형정보(즉, 대상체 유형정보)로 설정할 수 있다.

이어서, 상기 서버가 상기 영상데이터에 대하여 산출된 대상체 유형정보 및 복수의 개별외형특성을 조합하여 외형서술데이터를 생성한다(S3300). 즉, 특정한 대상체에 대해 외형분류기준이 세부적으로 나누어져 있으면, 상기 외형서술데이터는 해당 대상체의 외형을 개별외형특성을 통해 구체적으로 서술한다.

예를 들어, 셔츠에 관한 특정 영상데이터에 대하여, S3100단계에서 산출된 대상체 유형정보가 '셔츠&블라우스'이고, S3200단계에서 산출된 복수의 외형분류기준에(목모양, 소매, 상의길이, 색상 및 패턴) 대한 개별외형특성이 '라운드넥(Round Neckline)', '짧은 소매(short sleeve)', '크롭탑(crop)', '밝은 빨간색(red right)' 및 '물방울 무늬(polka dot)' 인 경우, 상기 영상데이터에 대한 외형서술데이터는 "셔츠&블라우스, 라운드넥, 짧은 소매, 크롭탑, 밝은 빨간색, 물방울 무늬"로 생성될 수 있다.

또한, 일 실시예에서, 상기 외형서술데이터 생성단계(S3300)는, 상기 영상데이터에 대한 대상체 유형정보 및 복수의 개별외형특성 각각에 대응하는 코드값을 추출하는 단계; 및 상기 복수의 코드값을 조합하여, 코드열 형태의 외형서술데이터를 생성하는 단계;를 포함한다. 즉, 서버가 개별외형특성을 코드화 함에 따라 외형서술데이터를 코드열로 생성할 수 있고, 이를 통해 외형서술데이터의 처리가 효율적으로 될 수 있다.

예를 들면, 대상체 유형정보(셔츠&블라우스) 및 복수의 개별외형특성에(라운드넥, 짧은 소매, 크롭탑, 밝은 빨간색, 물방울 무늬) 대응하는 코드값이 각각 'Zb01', 'Bb01', 'Bg03', Bi01', 'Oa01', 'Id00'인 경우, 상기 영상데이터에 대한 외형서술데이터는 상기 코드값을 조합한 "Bb01, Bg03, Bi01, Id00, Oa01, Zb01"로 생성될 수 있다.

또한, 본 발명의 일 실시예에 따른 외형서술데이터의 코드시스템(code system)의 구조는, 각각의 대상체 유형 분류기준, 외형분류기준, 추상적특성 분류기준에 따라 다양하게 구축될 수 있다.

예를 들어, 본 발명의 일 실시예에 따른 코드시스템은, 도 3과 같이 구축될 수 있다. 도 3을 참조하면, 대문자는 상위 카테고리에 대한 정보를 의미한다. 즉, 대상체 유형정보에 대응되는 코드는 Z를, 추상적특성에 대응되는 코드는 A를 포함하며, 복수의 외형분류기준에 대응되는 코드는 B~Y를 포함할 수 있다.

또한, 대상체 유형정보 대응되는 코드(Z)의 경우, 이어서 상위유형(예를 들어, 의류, 액세서리, 신발, 인테리어 등)에 따라 소문자(a~y)가 부여되고, 하위유형에 해당하는 각각의 대상체 유형정보에 따라 숫자(00~99)가 부여될 수 있다. 예를 들어, Zb는 '의류', Zc는 '액세서리'를 뜻하고, Zb01은 '셔츠&블라우스', Zb02는 '자켓'의 대상체 유형정보에 대응되는 코드값일 수 있다.

또한, 복수의 외형분류기준에 대응되는 코드는(B~Y), 대상체 유형에 무관하게 적용 가능한 범용 외형분류기준(E, I, O, U) 및 특정 대상체 유형에 적용되는 특화 외형분류기준(B, C, D 등)으로 구분되고, 상기 특화 외형분류기준의 코드는 전술한 상위유형의 코드(Za, Zb, Zc 등)에 대응될 수 있다.

예를 들어, '의류'에 대한 복수의 특화 외형분류기준은 B를 포함하고, 각각의 외형분류기준에 따라 소문자(a~y)가 부여되며, 해당 외형분류기준에 대한 개별외형특성에 따라 숫자(00~99)가 부여될 수 있다. 구체적으로, Ba는 '상의 실루엣(Top Silhouette)', Bb는 '목모양(Neckline)', Bi는 '바지 실루엣(Pants Silhouette)'의 외형분류기준을 의미하고, Bb01은 '라운드넥(Round Neckline)', Bb02는 '브이넥(V Neckline)'의 목모양(Bb) 외형분류기준에 대한 각각의 개별외형특성에 대응되는 코드값일 수 있다. 추상적특성에 대응되는 코드값의 예시는 후술한다.

이상으로, 본 발명의 일 실시예에 따른 코드시스템 구조의 예시를 기술하였으나, 본 발명의 코드시스템은 이에 제한되지 않고 다양한 방식으로 구축될 수 있다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 상기 서버가 산출된 복수의 개별외형특성을 기초로 추상적특성을 산출하는 단계(S3400);를 더 포함한다.

일 실시예에서, 상기 추상적특성 산출 단계(S3400)는, 서버가 상기 외형서술데이터를 추상적특성 인식모델(300)에 입력하여 추상적특성을 산출하는 것을 포함한다.

즉, 본 발명에 따르면 이미지와 같은 영상데이터 자체가 아닌, 영상데이터로부터 산출된 외형서술데이터(대상체 유형정보 및 개별외형특성)를 기초로 추상적특성을 산출함에 따라, 데이터의 효율적인 처리 및 객관적인 추상적특성 산출이 가능하다.

또한, 일 실시예에서, 대상체 유형정보 및 개별외형특성이 조합된 외형서술데이터를 추상적특성 인식모델에 입력하여 추상적특성을 산출한 경우, 상기 추상적특성을 상기 외형서술데이터에 추가하여 외형서술데이터를 업데이트하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 추상적특성은, 제1감성특성을 포함한다. 상기 제1감성특성은, 특정한 대상체의 외형을 기반으로 인지되는 감성적 특성으로, 특정한 감성적 특성인 복수의 제1개별감성특성을 포함한다.

일 실시예에서, 제1감성특성에 포함된 각각의 제1개별감성특성의 정의 및 개수는 서버에 의하여 설정될 수 있으며, 추가 또는 변경될 수 있다. 대상체의 외형에 대한 감성적 특성인 제1감성특성은, 시대 또는 지역에 따라 상이하게 정의될 수 있으므로, 이에 맞추어 다양하게 변경 가능하도록 하기 위함이다.

예를 들어, 각각의 제1개별감성특성은 '귀여운(Cute)', '부드러운(soft)', '현대적인(Modern)' 등으로 설정될 수 있으며, 또한, 각각의 제1개별감성특성에 대조되는 제1개별감성특성인 '우아한(Elegant)', '거친(Wild)', '고전적인(Classic)' 등을 더 포함하도록 설정될 수도 있다. 그러나, 본 발명의 제1개별감성특성은 이에 제한되지 않고 다양하게 설정될 수 있다.

도 5를 참조하면, 일 실시예에서, 상기 추상적특성 인식모델(300)은, 개별외형특성을 입력 받아 제1감성특성을 산출하는 제1감성특성 인식모델(310)을 포함한다.

일 실시예에서, 상기 제1감성특성 인식모델은, 각 개별외형특성마다 복수의 제1개별감성특성 각각에 대한 점수가 설정됨에 따라, 입력된 복수의 개별외형특성에 설정된 각각의 제1개별감성특성에 대한 점수를 합산하여 제1감성특성을 산출하는 것일 수 있다.

예를 들어, 도 6과 같이 각 외형분류기준에 포함된 복수의 개별외형특성마다 제1개별감성특성 각각에 대한 점수가 설정될 수 있다. 도 6에서는 각 점수가 0 또는 1로 표시되었으나, 이에 제한되지 않고 0~1 사이의 수 또는 음수 등 다양한 방식으로 점수가 설정될 수 있다.

일 실시예에서, 각각의 개별외형특성에 제1개별감성특성별 점수가 설정된 점수표는, 하나의 점수표뿐만 아니라, 상이한 복수의 점수표가 생성될 수 있다. 예를 들어, 국가별 또는 지역별로 점수표가 상이하거나, 사용자별 개인화된 점수표가 생성될 수 있으며, 상기 점수표는 서버에 의하여 자유롭게 변경될 수 있음은 물론이다.

이어서, 입력된 복수의 개별외형특성 및 개별외형특성에 설정된 각각의 제1개별감성특성 점수를 기반으로, 각각의 제1개별감성특성 점수를 합산하여 제1감성특성을 산출한다.

예를 들어, 도 6의 예시에 있어서 특정 영상데이터로부터 산출된 '브이넥' 및 '빨간색'의 개별외형특성이 입력된 경우, 각각의 제1개별감성특성별 합산된 점수는, '귀여운: 1', '우아한: 2', '부드러운: 0', '거친: 1', '현대적인: 0', '고전적인: 1'이고, 이를 기초로 제1감성특성을 산출할 수 있다.

일 실시예에서, 상기 제1감성특성은 각 제1개별감성특성 점수의 전체 점수에 대한 비율을 포함하여 산출될 수 있다. 예를 들어, 전술한 예시의 경우 전체 점수가 5이므로, 제1감성특성은 각 제1개별감성특성 점수의 비율을 포함하도록 "귀여운: 0.2, 우아한: 0.4, 부드러운: 0, 거친: 0.2, 현대적인: 0, 고전적인: 0.2"으로 산출될 수 있다.

다른 실시예에서, 상기 제1감성특성은 각 제1개별감성특성 점수를 포함하여 산출될 수 있다. 예를 들어, 전술한 예시의 경우 제1감성특성은 각 제1개별감성특성 점수를 포함하도록 "귀여운: 1, 우아한: 2, 부드러운: 0, 거친: 1, 현대적인: 0, 고전적인: 1"으로 산출될 수 있다.

다른 실시예에서, 상기 제1감성특성은 각 제1개별감성특성 점수가 미리 설정된 임계값 이상인 제1개별감성특성만 산출하는 것일 수 있다. 예를 들어, 전술한 예시에서 임계값이 2(혹은 비율 0.4)인 경우, 제1감성특성은 '우아한'의 제1개별감성특성만 산출될 수 있다. 그러나, 제1감성특성의 산출은 전술한 예시에 제한되지 않고 다양한 방식으로 산출될 수 있다.

또한, 일 실시예에서, 상기 제1감성특성에 대응하는 코드값은, 상기 제1개별감성특성 각각에 대하여 합산된 점수에 대한 정보를 포함할 수 있다.

구체적으로, 전술한 예시에서 "귀여운: 0.2, 우아한: 0.4, 부드러운: 0, 거친: 0.2, 현대적인: 0, 고전적인: 0.2"로 제1감성특성이 산출되고, 각각의 제1개별감성특성에 대응하는 코드값이 "귀여운: Aa, 우아한: Ac, 부드러운: Ad, 거친: Af, 현대적인: Ai, 고전적인: Ap"인 경우, 제1감성특성에 대한 코드열 형태의 외형서술데이터는 "Aa20, Ac40, Ad00, Af20, Ai00, Ap20"으로 생성될 수 있다. 또한, 개별외형특성인 '빨간색', '브이넥'에 대응되는 코드값이 'Oa02, 'Bb02'라면, 상기 영상데이터의 외형서술데이터는 이를 조합한 "Aa20, Ac40, Ad00, Af20, Ai00, Ap20, Bb02, Oa02"로 생성될 수 있다. 그러나, 전술한 바와 같이, 본 발명의 코드시스템은 이에 제한되지 않고 다양한 방식으로 구축될 수 있다.

일 실시예에서, 상기 추상적특성은, 제2감성특성을 포함한다. 상기 제2감성특성은, 특정한 대상체의 상품에 부여되는 정보를 기반으로 인지되는 감성적 특성으로, 상이한 종류의 상품정보에 대하여 느껴지는 다양한 감성적 특성인 제2개별감성특성을 포함한다.

예를 들어, '가격'의 상품정보에 대하여 느껴지는 '저렴한', '비싼'의 제2개별감성특성 또는 '배송 시간'의 상품정보에 대하여 느껴지는 '빠른', '느린'의 제2개별감성특성을 포함할 수 있다.

도 5를 참조하면, 일 실시예에서, 상기 추상적특성 인식모델(300)은, 영상데이터의 대상체에 대한 상품정보를 입력 받아 제2감성특성을 산출하는 제2감성특성 인식모델(320)을 포함한다.

또한, 일 실시예에서, 상기 제2감성특성 인식모델(320)은, 상이한 상품정보에 대한 감성적 특성을 판단하는 복수의 제2개별감성특성 인식모듈을 포함한다. 상기 제2개별감성특성 인식모듈은 영상데이터의 대상체의 특정한 상품정보에 대한 각각의 제2개별감성특성을 산출하는 것이다.

또한, 일 실시예에서, 상기 제2감성특성은, 상기 상품정보뿐만 아니라 개별외형특성, 대상체 유형정보, 또는 사용자 정보 등 다양한 정보를 고려하여 산출될 수 있다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 상기 서버(10)가 상기 영상데이터의 외형서술데이터를 세부유형 인식모델(400)에 입력하여, 대상체 세부유형정보를 산출하는 단계(S3500);를 더 포함한다.

일 실시예에서, 상기 세부유형정보는, S3100단계에서 산출된 대상체 유형정보의 하위개념일 수 있다. 예를 들어, 특정 영상데이터에 대하여 S3100단계에서 '바지(pants)' 대상체 유형정보가 산출된 경우, 세부유형정보는 '스키니 팬츠', '슬랙스 팬츠', '배기 팬츠' 등이 될 수 있다.

상기 세부유형 인식모델은, 특정 영상데이터에 대하여 생성된 외형서술데이터(대상체 유형정보, 개별외형특성)가 입력되면, 상기 영상데이터의 대상체 세부유형정보를 산출하는 모델일 수 있다.

일 실시예에서, 상기 세부유형 인식모델은, 하나 이상의 개별외형특성 조합 각각에 하나 이상의 세부유형정보가 매칭됨에 따라, 입력된 외형서술데이터의 개별외형특성 조합에 대한 세부유형정보를 산출하는 것일 수 있다. 또한, 일 실시예에서, 복수개의 세부유형정보를 산출하는 것도 가능하다.

예를 들어, 특정 개별외형특성 조합(a, b, c)에 대하여 세부유형정보(대상체 유형정보가 A인 경우 하위개념인 a2, 대상체 유형정보가 B인 경우 하위개념인 b1 등)가 매칭되어 있고, 입력된 외형서술데이터(대상체 유형정보 B, 개별외형특성 a, b, c)에 따라 대응되는 세부유형정보를(b1) 산출할 수 있다.

또한, 일 실시예에서, 상기 세부유형정보가 산출된 경우, 상기 외형서술데이터는 상기 대상체 세부유형정보를 더 포함할 수 있다. 즉, 일 실시예에서, 상기 산출된 세부유형정보에 대응되는 코드값을 추출하여 기존의 외형서술데이터에 추가할 수 있다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 상기 서버가 사용자 클라이언트로부터 검색키워드를 수신하는 단계(S3600); 및 상기 서버가 상기 검색키워드에 대응되는 외형서술데이터를 포함하는 영상데이터를 추출하여 상기 사용자 클라이언트에 전송하는 단계(S3700);를 더 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.

즉, 사용자가 영상데이터의 검색을 위하여 특정한 검색키워드를 입력한 경우, 서버는 상기 검색키워드에 대응되는 대상체 유형정보, 개별외형특성 또는 추상적특성을 추출하고, 추출된 유형정보, 개별외형특성 또는 추상적특성의 외형서술데이터를 포함하는 영상데이터를 검색 결과로 사용자에게 제공한다.

예를 들어, 사용자가 '귀여운 빨간색 라운드 티셔츠'를 검색키워드로 입력한 경우, 상기 검색키워드로부터 대상체 유형정보로 '셔츠&블라우스'를, 개별외형특성으로 '빨간색', '라운드넥', '카라(collar)없음'을, 추상적특성으로 '귀여운(cute)'을 추출하고, "빨간색, 라운드넥, 카라없음, 귀여운"의 외형서술데이터를 포함하는 영상데이터를 사용자에게 제공할 수 있다.

또한, 일 실시예에서, 상기 검색키워드에 대응되는 영상데이터의 추출 시, 상기 사용자의 개별외형특성, 제1개별감성특성 또는 제2개별감성특성 각각에 대한 선호정보를 더 고려하여 추출할 수 있다. 이 경우, 동일한 검색키워드가 입력되는 경우라도, 검색키워드를 입력하는 사용자에 따라 검색결과가 상이할 수 있다.

또한, 도면에 도시되지는 않았으나, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 특정한 대상체에 대한 신규 외형분류기준이 추가되는 경우, 서버가 학습용 영상데이터에 대한 신규 외형분류기준의 개별외형특성을 획득하여, 신규 학습데이터셋을 구축하는 단계; 및 서버가 상기 신규 학습데이터셋을 기반으로 신규 개별특성인식모듈을 트레이닝하여, 상기 외형특성 인식모델에 추가하는 단계;를 더 포함할 수 있다.

즉, 특정한 대상체에 대한 새로운 외형분류기준이 추가되는 경우(예를 들어, 의류의 외형특성을 나누는 새로운 기준이 추가된 경우), 서버는 기존의 개별특성인식모듈을 변경하지 않고 새로운 외형분류기준에 대한 개별특성인식모듈만 추가 구축하여 외형특성 인식모델을 새로운 외형분류기준이 추가된 상황에 맞게 변경할 수 있다.

먼저, 서버가 학습용 영상데이터에 대한 신규 외형분류기준의 개별외형특성을 획득하여, 신규 학습데이터셋을 구축한다. 일 실시예에서, 기존에 다른 개별특성인식모듈을 트레이닝하기 위해 이용된 영상데이터를 동일하게 활용하여 신규 개별특성인식모듈을 구축하는 경우, 서버는 전문가 클라이언트로부터 학습용 영상데이터 각각에 대해 신규 외형분류기준의 개별외형특성을 입력 받는다. 또한, 다른 일실시예로, 서버는 신규 외형분류기준에 대한 개별특성인식모듈을 트레이닝하기 위한 신규 영상데이터를 획득하고, 이에 대해 신규 외형분류기준의 개별외형특성을 각각 입력 받아서 신규 학습데이터셋을 구축한다.

그 후, 서버가 상기 신규 학습데이터셋을 기반으로 신규 개별특성인식모듈을 트레이닝하여, 상기 외형특성 인식모델에 추가한다. 이를 통해, 서버는 기존의 외형특성 인식모델에(복수의 특화 외형특성 인식모델) 복수의 기존 개별특성인식모듈과 함께 신규 개별특성인식모듈을 추가한다.

또한, 일 실시예에서, 서버가 이미 구축된 개별특성인식모듈에 의해 외형서술데이터가 획득된 영상데이터를 신규 개별특성인식모듈에 입력하여 신규 외형분류기준에 대해 개별외형특성을 추가하는 단계;를 더 포함할 수 있다. 즉, 서버는 기존에 획득된 영상데이터의 외형서술데이터를 신규 외형분류기준을 반영하도록 업데이트하는 과정을 수행한다. 이를 위해, 서버는 신규 개별특성인식모듈에 모든 영상데이터를 삽입하여 개별외형특성을 산출하는 과정을 수행한다.

또한, 본 발명의 일 실시예에서, 상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 상기 대상체 유형정보 산출단계(S3100) 및 개별외형특성 산출단계(S3200)는, 상기 동영상데이터 내의 각각의 프레임에 대해 수행되는 것을 특징으로 할 수 있고, 외형서술데이터 생성단계(S3300)는 각 프레임에 대한 대상체 유형정보 및 복수의 개별외형특성을 순차적으로 나열하여 생성하는 것을 특징으로 할 수 있다.

본 발명의 다른 일실시예에 따른 영상데이터의 외형서술데이터 획득 서버장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 외형서술데이터 획득 방법을 수행한다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 서버장치(10)는, 대상체유형 인식모델(100), 외형특성 인식모델(200), 외형서술데이터 생성부(600) 및 데이터베이스(800)를 포함하며, 전술한 외형서술데이터 획득 방법을 수행한다.

또한, 다른 실시예에서, 상기 서버장치(10)는 추상적특성 인식모델(300), 세부유형 인식모델(400), 스타일 인식모델(500) 또는 추천영상데이터 생성부(700) 중 하나 이상을 더 포함할 수 있다.

또한, 전술한 본 발명의 일 실시예에 따른 영상데이터의 외형서술데이터 획득 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버(10) 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

1. 서버에 의해 수행되는, 영상데이터의 외형서술데이터를 생성하는 방법에 있어서,
   영상데이터를 대상체유형 인식모델에 입력하여, 제1 대상체의 유형에 대한 유형정보를 산출하는 단계;
   상기 영상데이터를 상기 제1 대상체 유형에 관한 외형특성 인식모델에 입력하여, 복수의 외형분류기준에 대한 복수의 개별외형특성을 산출하는 단계;
   상기 개별외형특성이 산출되는 결과에 기반하여, 상기 제1 대상체 유형정보를 검증하는 단계; 및
   상기 제1 대상체 유형정보 및 상기 복수의 개별외형특성을 조합한 외형서술데이터를 생성하는 단계;를 포함하고,
   상기 외형분류기준은, 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함하는,
   영상데이터의 외형서술데이터 생성 방법.
2. 제1항에 있어서,
   상기 외형특성 인식모델은, 특정한 대상체 유형정보에 적용하도록 설정된 복수의 외형분류기준에 대응되는 복수의 개별특성인식모듈을 포함하고,
   상기 검증 단계는,
   상기 복수의 개별특성인식모듈 중 개별외형특성이 산출되지 않은 개별특성인식모듈의 개수 또는 비율이 임계값 이상일 경우, 상기 외형특성 인식모델이 상기 복수의 개별외형특성을 산출할 수 없는 것으로 판단하는,
   영상데이터의 외형서술데이터 생성 방법.
3. 제2항에 있어서,
   상기 검증 단계는,
   상기 개별외형특성을 산출할 수 없는 것으로 판단된 경우, 상기 영상데이터를 상기 대상체유형 인식모델에 입력하여, 제1 대상체와 상이한 제2 대상체의 유형에 대한 유형정보를 산출하고,
   상기 영상 데이터를 상기 제2 대상체 유형에 관한 외형특성 인식모델에 입력하여, 복수의 외형분류 기준에 대한 복수의 개별외형특성을 산출하는,
   영상데이터의 외형서술데이터 생성 방법.
4. 제1항에 있어서,
   상기 복수의 개별외형특성을 기초로 추상적특성을 산출하는 단계를 더 포함하고,
   상기 외형서술데이터는, 상기 산출된 추상적특성을 더 포함하는,
   영상데이터의 외형서술데이터 생성 방법.
5. 제4항에 있어서,
   상기 추상적특성의 산출 단계는,
   상기 외형서술데이터를 추상적특성 인식모델에 입력하여 추상적 특성을 산출하고,
   상기 외형서술데이터의 산출 단계는,
   상기 산출된 추상적 특성에 기반하여, 외형서술데이터를 갱신하는,
   영상데이터의 외형서술데이터 생성 방법.
6. 제5항에 있어서,
   상기 추상적특성의 산출 단계는,
   각각의 개별외형특성마다 복수의 추상적특성 각각에 대한 점수가 설정되어 있고, 상기 복수의 개별외형특성에 설정된 각각의 추상적특성에 대한 점수를 합산하여 산출하는,
   영상데이터의 외형서술데이터 생성 방법.
7. 제1항에 있어서,
   상기 제1 대상체가 특정한 유형정보 각각에 해당할 제1 확률을 산출하는 단계; 및
   상기 제1 확률에 기초하여, 상기 제1 대상체에 대한 복수의 후보유형정보를 모두 산출하는 단계;를 더 포함하고,
   상기 개별외형특성의 산출 단계는,
   상기 복수의 후보유형정보 각각에 대응되는 특화 외형특성 인식모델에 상기 영상데이터를 입력하여, 각각의 복수의 후보유형정보에 대한 개별외형특성을 산출하고,
   상기 검증 단계는,
   상기 복수의 후보유형정보에 대한 개별외형특성 결과에 기초하여, 상기 복수의 후보유형정보 중 적어도 하나의 최종유형정보를 설정하는,
   영상데이터의 외형서술데이터 생성 방법.
8. 제7항에 있어서,
   상기 외형특성 인식모델은, 특정한 대상체 유형정보에 적용하도록 설정된 복수의 외형분류기준에 대응되는 복수의 개별특성인식모듈을 포함하고,
   상기 최종유형정보의 설정 단계는,
   개별외형특성이 산출되지 않은 개별특성인식모듈의 개수 또는 비율이 가장 적은 후보 외형특성 인식모델에 대응되는 후보유형정보를 상기 최종유형정보로 설정하는,
   영상데이터의 외형서술데이터 생성 방법.
9. 제7항에 있어서,
   상기 복수의 후보유형정보를 모두 산출하는 단계는,
   상기 제1 확률이 임계값 이상인 유형정보를 산출하되, 상기 제1 확률이 임계값 이상인 유형정보가 복수개인 경우, 복수의 후보유형정보를 모두 산출하는,
   영상데이터의 외형서술데이터 생성 방법.
10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 영상데이터의 외형서술데이터 생성 프로그램.

Images