KR20200141373A - 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램 - Google Patents

외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램 Download PDF

Info

Publication number
KR20200141373A
KR20200141373A KR1020200009164A KR20200009164A KR20200141373A KR 20200141373 A KR20200141373 A KR 20200141373A KR 1020200009164 A KR1020200009164 A KR 1020200009164A KR 20200009164 A KR20200009164 A KR 20200009164A KR 20200141373 A KR20200141373 A KR 20200141373A
Authority
KR
South Korea
Prior art keywords
appearance
image data
learning
server
individual
Prior art date
Application number
KR1020200009164A
Other languages
English (en)
Inventor
이종혁
Original Assignee
(주)사맛디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)사맛디 filed Critical (주)사맛디
Priority to PCT/KR2020/007439 priority Critical patent/WO2020251236A1/ko
Priority to EP20822980.7A priority patent/EP3982277A4/en
Publication of KR20200141373A publication Critical patent/KR20200141373A/ko
Priority to US17/546,709 priority patent/US20220100792A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램이 제공된다. 상기 외형인식모델 학습용 데이터셋 구축 방법은, 서버가 복수의 학습용 영상데이터를 획득하되, 상기 학습용 영상데이터는 디자인 물품을 포함하는 대상체의 영상데이터인, 학습용 영상데이터 획득단계(S2200); 서버가 전문가 클라이언트에 복수의 학습용 영상데이터를 제공하되, 상기 전문가 클라이언트는 각 외형분류기준을 담당하여 분류하는 전문가의 클라이언트인, 학습용 영상데이터 제공단계(S2400); 서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 세부 외형분류기준에 대한 세부 개별외형특성을 입력받되, 상기 세부 외형분류기준은 각 외형분류기준에 속하는 최하위의 외형분류기준인, 세부 개별외형특성 획득단계(S2600); 및 서버가 각 학습용 영상데이터에 대해 복수의 전문가클라이언트로부터 수신한 복수의 세부 개별외형특성을 기초로 각 학습용 영상데이터에 대한 외형서술데이터를 생성하여, 학습용 데이터셋을 구축하는 단계(S2800);를 포함한다.

Description

외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램{SYSTEM, METHOD AND PROGRAM OF CONSTRUCTING DATASET FOR TRAINING APPEARANCE RECOGNITION MODEL}
본 발명은 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램에 관한 것이다.
최근 인터넷의 발달로 소셜 미디어 네트워크 서비스가 급격히 성장하고 있다. 그 결과, 멀티미디어의 양이 폭발 적으로 증가하면서 효과적인 이미지 검색 시스템이 요구되며, 이미지 어노테이션은 폭발적으로 증가하는 웹이미지에 따른 효율적인 이미지 검색의 필요성으로 인해 그 중요도가 점점 높아지고 있다.
대부분의 이미지 검색 연구는 주로 이미지의 내용을 분석하는 내용 기반 이미지 검색(CBIR: Content-based Image Retrieval) 방법이 많이 진행되어 왔다. 내용 기반 이미지 검색은 색상, 텍스처 및 형태와 같은 시각적 특징을 이용하여 이미지의 내용을 분석한다. 이러한 방법은 정의하는 태그의 개수가 적을 경우에는 잘 작동하지만, 데이터셋이 커지고 태그의 종류가 다양해짐에 따라 성능이 떨어지게 된다.
텍스트 기반 이미지 검색(TBIR: Text-based Image Retrieval)은 텍스트를 쿼리로 하여 텍스트에 대응되는 이미지를 검색하는 방식이다. 이 방식은 이미지의 시각적 내용이 수동으로 태깅된 텍스트 디스크립터에 의해 표현되며, 데이터셋 관리 시스템에서 이미지 검색을 수행하는데 사용된다. 즉, 기존의 이미지 또는 영상 검색 방식은 사용자가 직접 태깅한 정보를 기반으로 검색이 이루어진다. 또한, 이미지를 통한 사용자 관심정보 획득 방식도 사용자가 직접 태깅한 정보를 기반으로 획득이 이루어져, 사용자가 영상에 키워드를 잘못 태깅하면 획득 결과가 부정확해지는 문제점이 존재하였다. 또한, 사용자마다 정의하는 키워드에 차이가 존재할 수 있어서, 이미지를 입력하는 사용자가 선택한 키워드에 따라 제공되는 결과가 상이한 문제가 존재하였다.
공개특허공보 제10-2018-0133200호, 2018.12.13
본 발명은, 특정한 대상체의 외형을 나타내는 추상적 용어을 기반으로 사용자가 원하는 영상데이터를 정확하게 추출하기 위한 영상데이터 검색 시스템의 외형인식모델을 학습하기 위한 학습용 데이터셋 구축 방법, 장치 및 프로그램을 제공하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 외형인식모델 학습용 데이터셋 구축 방법은, 서버가 복수의 학습용 영상데이터를 획득하되, 상기 학습용 영상데이터는 디자인 물품을 포함하는 대상체의 영상데이터인, 학습용 영상데이터 획득단계; 서버가 전문가 클라이언트에 복수의 학습용 영상데이터를 제공하되, 상기 전문가 클라이언트는 각 외형분류기준을 담당하여 분류하는 전문가의 클라이언트인, 학습용 영상데이터 제공단계; 서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 세부 외형분류기준에 대한 세부 개별외형특성을 입력받되, 상기 세부 외형분류기준은 각 외형분류기준에 속하는 최하위의 외형분류기준인, 세부 개별외형특성 획득단계; 및 서버가 각 학습용 영상데이터에 대해 복수의 전문가클라이언트로부터 수신한 복수의 세부 개별외형특성을 기초로 각 학습용 영상데이터에 대한 외형서술데이터를 생성하여, 학습용 데이터셋을 구축하는 단계;를 포함하고, 상기 외형분류기준은, 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함하는 것이고, 상기 학습용 데이터셋은 하나 이상의 외형특성 인식모델의 학습에 이용되는 것이고, 상기 외형특성 인식모델은, 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터와 이에 대응되는 상기 외형서술데이터에서 추출된 하나 이상의 세부 개별외형특성을 이용하여 트레이닝되는 것이다.
또한, 다른 일 실시예로, 상기 외형서술데이터는, 상기 학습용 영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 추출하여 조합한 코드열 형태의 외형서술데이터인 것이다.
또한, 다른 일 실시예로, 상기 세부 개별외형특성에 대응하는 코드값은, 상기 세부 외형분류기준의 하나 이상의 상위 외형분류기준에 대한 개별외형특성 정보를 포함한다.
또한, 다른 일 실시예로, 상기 외형분류기준은, 특정 유형의 대상체에만 적용되는 특화 외형분류기준 및 모든 유형의 대상체에 적용되는 범용 외형분류기준을 포함한다.
또한, 다른 일 실시예로, 서버가 획득한 학습용 영상데이터의 대상체 유형정보를 획득하는 단계;를 더 포함하고, 상기 학습용 영상데이터 제공단계는, 서버가 상기 범용 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 획득한 모든 학습용 영상데이터를 제공하되, 상기 특화 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 해당 특화 외형분류기준이 적용되는 유형의 대상체의 학습용 영상데이터만 제공하는 것이다.
또한, 다른 일 실시예로, 신규 외형분류기준이 추가되는 경우, 서버가 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터를 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공하는 학습용 영상데이터 추가 제공단계; 서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 신규 외형분류기준에 대한 신규 개별외형특성을 입력받는 단계; 및 서버가 수신한 복수의 신규 개별외형특성에 대응하는 코드값을 추출하여 각 학습용 영상데이터의 외형서술데이터에 추가하는 단계;를 더 포함한다.
또한, 다른 일 실시예로, 추가된 신규 외형분류기준이 하위 외형분류기준인 경우, 상기 학습용 영상데이터 추가 제공단계는, 서버가 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터 중, 상기 추가된 신규 외형분류기준의 상위 외형분류기준의 개별외형특성에 대응하는 코드값을 포함하는 학습용 영상데이터에 대해서만 상기 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공하는 것이다.
또한, 다른 일 실시예로, 상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 상기 학습데이터셋 구축 단계는, 상기 동영상 데이터 내의 각각의 프레임에 대해 개별외형특성을 획득하여 구축되는 것을 특징으로 하는 것이다.
본 발명의 다른 일실시예에 따른 외형인식모델 학습용 데이터셋 구축 장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 데이터셋 구축 방법을 수행한다.
본 발명의 또 다른 일실시예에 따른 외형인식모델 학습용 데이터셋 구축 프로그램은, 하드웨어와 결합되어 상기 언급된 데이터셋 구축 방법을 실행하며, 매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기 본 발명에 의하면, 복수의 학습용 영상데이터에 대한 특정 외형분류기준을 동일한 전문가가 판단하도록 함으로써 통일된 기준의 학습용 데이터셋을 구축하여 외형인식모델을 보다 정확하게 학습할 수 있다.
또한, 상기 본 발명에 의하면, 세부 외형분류기준 담당 전문가 클라이언트에만 학습용 영상데이터를 제공하여 개별외형특성을 입력받음으로써, 학습용 데이터셋 구축 효율을 높일 수 있는 효과가 있다.
또한, 상기 본 발명에 의하면, 신규 외형분류기준이 추가되는 경우, 기 구축된 학습용 데이터셋에 포함된 복수의 학습용 영상데이터의 외형서술데이터에 대해 신규 개별외형특성에 대응하는 코드값을 추가하여 간단하게 학습용 데이터셋을 업데이트할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 데이터셋 구축 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 데이터셋 구축 방법의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 외형특성 인식모델의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 신규 외형분류기준이 추가된 경우의 데이터셋 구축 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 '컴퓨터'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버(10)가 해당될 수 있다.
본 명세서에서 '클라이언트'는 사용자들이 프로그램(또는 어플리케이션)을 설치하여 사용할 수 있는 통신 기능을 포함한 모든 장치를 말한다. 즉, 클라이언트 장치는 스마트폰, 태블릿, PDA, 랩톱, 스마트워치, 스마트카메라 등과 같은 전기 통신 장치, 리모트 콘트롤러 중 하나 이상을 포함할 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 '대상체'는 검색을 수행하는 특정한 분류 또는 카테고리의 물품을 의미한다. 예를 들어, 쇼핑몰에서 원하는 물품의 이미지를 검색하고자 할 때, 사용자가 물품 카테고리 중에서 의류 검색을 수행하는 경우, 대상체는 의류일 수 있다.
본 명세서에서 '영상데이터'는 특정한 대상체를 포함하는 2차원 또는 3차원의 정적 또는 동적 이미지를 의미한다. 즉, '영상데이터'는 하나의 프레임인 정적 영상데이터일 수도 있고, 복수의 프레임이 연속되는 동적 영상데이터(즉, 동영상데이터)일 수도 있다.
본 명세서에서 '학습용 영상데이터'는 학습모델(외형특성 인식모델)의 트레이닝에 이용되는 영상데이터를 의미한다.
본 명세서에서 '입력영상데이터'는 학습모델에 입력되어 학습결과를 획득하고자 하는 영상데이터이다.
본 명세서에서 '외형분류기준'은 특정한 대상체의 외형을 서술(description)하거나 주석 삽입(annotation)을 위해 필요한 외형 표현의 분류기준을 의미한다. 즉, '외형분류기준'은 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함한다. 예를 들어, 대상체가 의류인 경우, 외형분류기준은 의류의 외형에 대한 분류기준으로, 패턴(Pattern), 색상(Color), 핏(fit), 기장(Length) 등이 해당될 수 있다. 즉, 특정한 대상체에 대해 외형분류기준이 많아지면, 대상체에 속하는 특정한 물품의 외형을 상세히 기술할 수 있다.
본 명세서에서 '세부 외형분류기준'은 각 외형분류기준에 속하는 최하위의 외형분류기준을 의미한다.
본 명세서에서 '개별외형특성'은 특정한 외형분류기준 내에 포함되는 다양한 특성을 의미한다. 예를 들어, 외형분류기준이 색상인 경우, 개별외형특성은 다양한 개별 색상을 의미한다.
본 명세서에서 '세부 개별외형특성'은 특정한 세부 외형분류기준 내에 포함되는 다양한 특성을 의미한다.
본 명세서에서 '영상제공자 클라이언트(40)'는 특정한 영상데이터를 서버(10)에 업로드하는 영상제공자의 클라이언트를 의미한다.
본 명세서에서 '전문가 클라이언트(30)'는 학습용 영상데이터에 개별외형특성을 부여(즉, 학습용 영상데이터의 레이블링(Lableing))하는 역할을 수행하는 전문가의 클라이언트를 의미한다.
본 명세서에서 '추상적 특성'은 특정한 대상체에 대해 부여되는 추상적인 특성을 의미한다. 예를 들어, '추상적 특성'은 특정한 대상체에 대한 감성적 특성(예를 들어, 의류인 경우, 빈티지와 같은 감성적 또는 유행적 표현)일 수 있다. 또한, 예를 들어, '추상적 특성'은, 영상데이터가 동영상인 경우, 형상변화 또는 동작의 의미일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 데이터셋 구축 방법의 순서도이고, 도 2는 본 발명의 일 실시예에 따른 데이터셋 구축 방법의 구성도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 외형인식모델 학습용 데이터셋 구축 방법은, 서버가 복수의 학습용 영상데이터를 획득하되, 상기 학습용 영상데이터는 디자인 물품을 포함하는 대상체의 영상데이터인, 학습용 영상데이터 획득단계(S2200); 서버가 전문가 클라이언트에 복수의 학습용 영상데이터를 제공하되, 상기 전문가 클라이언트는 각 외형분류기준을 담당하여 분류하는 전문가의 클라이언트인, 학습용 영상데이터 제공단계(S2400); 서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 세부 외형분류기준에 대한 세부 개별외형특성을 입력받되, 상기 세부 외형분류기준은 각 외형분류기준에 속하는 최하위의 외형분류기준인, 세부 개별외형특성 획득단계(S2600); 및 서버가 각 학습용 영상데이터에 대해 복수의 전문가클라이언트로부터 수신한 복수의 세부 개별외형특성을 기초로 각 학습용 영상데이터에 대한 외형서술데이터를 생성하여, 학습용 데이터셋을 구축하는 단계(S2800);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기술한다.
서버(10)가 복수의 학습용 영상데이터를 획득한다(S2200). 상기 학습용 영상데이터는 학습모델을 학습하기 위한 디자인 물품을 포함하는 대상체의 영상데이터를 의미한다. 일 실시예에서, 상기 학습모델은 외형특성 인식모델(100)을 의미한다.
도 2 및 도 3을 참조하면, 일 실시예에서, 상기 학습모델인 외형특성 인식모델(100)은, 상이한 외형분류기준을 판단하는 복수의 개별특성인식모듈(110)을 포함한다. 즉, 상기 외형특성 인식모델(100)은 각각의 외형분류기준을 인식하는 것으로 특화된 복수의 개별특성인식모듈(110)을 포함한다. 특정한 대상체의 외형분류기준이 많을 수록, 서버(10)는 다수의 개별특성인식모듈(110)을 외형특성 인식모델(100) 내에 포함한다. 상기 개별특성인식모듈(110)은 영상데이터의 특정한 외형분류기준에 포함된 개별외형특성을 산출하는 것이다.
일 실시예에서, 상기 외형분류기준 및 각 외형분류기준에 대한 복수의 개별외형특성은 서버에 의하여 설정된다. 즉, 서버는 학습용 영상데이터의 외형특성을 판단하는 기준인 외형분류기준 및 각 외형분류기준에 대해 학습용 영상데이터를 레이블링할 특징(feature) 종류인 개별외형특성을 설정한다.
일 실시예에서, 서버는 특정 대상체의 외형 분석에 대한 전문가 클라이언트로부터 특정 대상체 외형을 분석하기 위한 복수의 외형분류기준 및 각 외형분류기준 내의 복수의 개별외형특성을 설정받을 수 있다. 예를 들어, 의류에 대한 외형특성 인식모델(100)을 구축하는 경우, 서버(10)는 의류 전문가인 디자이너의 클라이언트로부터 적절한 외형분류기준 및 이에 포함되는 개별외형특성을 입력받아 설정하여, 각 외형분류기준에 대한 개별특성인식모듈(110) 및 복수의 개별특성인식모듈을 포함하는 의류에 대한 외형특성 인식모델(100)을 구축할 수 있다.
일 실시예에서, 상기 학습용 영상데이터의 획득은 서버가 영상제공자 클라이언트(40)로부터 학습용 영상데이터를 획득하는 것을 포함한다. 또한, 일 실시예예서, 상기 학습용 영상데이터의 획득은 특정한 영상데이터가 서버에 업로드 되는 것을 포함한다. 예를 들어, 쇼핑몰에 판매물품의 이미지를 업로드하는 경우, 영상제공자 클라이언트(40)는 쇼핑몰에 이미지를 업로드하는 자의 클라이언트이고, 판매물품의 이미지가 학습용 영상데이터가 될 수 있다.
서버가 전문가 클라이언트에 복수의 학습용 영상데이터를 제공한다(S2400). 상기 전문가 클라이언트는 각 외형분류기준을 담당하여 분류하는 전문가의 클라이언트를 의미한다. 일 실시예에서, 복수의 학습용 영상데이터의 특정 외형분류기준에 따른 개별외형특성 획득은, 동일한 전문가에 의해 수행될 수 있다.
예를 들어, '색상' 외형분류기준에 대한 복수의 학습용 영상데이터의 개별외형특성 획득은, '색상' 담당 전문가에 의해 수행될 수 있다. 일부 외형분류기준의 판단은 다소 주관적일 수 있기 때문에, 복수의 학습용 영상데이터에 대한 특정 외형분류기준을 동일한 전문가가 판단하도록 함으로써 통일된 기준의 학습용 데이터셋을 구축하여 외형인식모델을 보다 정확하게 학습할 수 있다.
일 실시예에서, 상기 외형분류기준은, 특정 유형의 대상체에만 적용되는 특화 외형분류기준 및 모든 유형의 대상체에 적용되는 범용 외형분류기준을 포함한다. 예를 들어, '색상' 또는 '질감'과 같은 외형분류기준은, 대상체 유형과 무관하게 모든 대상체에 대하여 적용(개별외형특성 산출)할 수 있으므로 범용 외형분류기준이다. 이와 달리, '목모양' 외형분류기준은 '의류 중 상의' 유형의 대상체에 대하여만 적용할 수 있으므로 '상의'에 대한 특화 외형분류기준이다.
일 실시예에서, 상기 학습용 영상데이터 제공단계는, 서버가 획득한 모든 학습용 영상데이터를 모든 전문가 클라이언트에 제공하는 것을 포함한다. 즉, 일 실시예에서, 대상체 유형에 무관하게 획득한 모든 학습용 영상데이터를 특정 외형분류기준을 담당하는 전문가 클라이언트에 제공할 수 있다.
이 경우, 특정 대상체 유형에 적용되지 않는 특화 외형분류기준 담당 전문가 클라이언트는 해당 정보를 서버에 제공할 수 있다. 예를 들어, '바지, 치마(Pants, Skirt)' 유형의 대상체에 대한 학습용 영상데이터가 '목모양(Neckline)' 외형분류기준 담당 전문가 클라이언트에 제공된 경우, “해당 외형분류기준을 적용할 수 없음(개별외형특성을 판단할 수 없음)”에 대한 정보를 상기 서버에 제공할 수 있다.
일 실시예에서, 도면에 도시되지는 않았으나, 서버가 획득한 학습용 영상데이터의 대상체 유형정보를 획득하는 단계;를 더 포함하고, 상기 학습용 영상데이터 제공단계(S2400)는, 서버가 범용 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 획득한 모든 학습용 영상데이터를 제공하되, 특화 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 해당 특화 외형분류기준이 적용되는 유형의 대상체의 학습용 영상데이터만 제공하는 것을 포함한다.
서버가 학습용 영상데이터의 대상체 유형정보를 획득한다. 일 실시예에서, 상기 대상체 유형정보는 특정 대상체의 상위 유형정보 또는 하위 유형정보를 포함한다. 예를 들어, '셔츠'에 대한 유형정보의 경우, '의류-상의-셔츠' 또는 '셔츠'일 수 있다. 또한, 이 경우, 하위 유형정보인 '셔츠'는 상위 유형정보인 '의류-상의'에 대한 정보를 포함할 수 있다.
일 실시예에서, 특정 외형분류기준이 '대상체 유형' 또는 '의류 유형'과 같이 대상체의 유형에 관한 것인 경우, 즉, 대상체의 유형을 구분하는 유형분류기준이 외형분류기준의 하위 개념에 속하는 분류기준인 경우 대상체 유형정보의 획득은 해당 외형분류기준(유형분류기준)에 대한 개별외형특성의 획득일 수 있다.
다른 실시예에서, 상기 대상체 유형정보의 획득은, 서버가 유형분류 담당 전문가 클라이언트로부터 획득하거나 별도의 유형인식모델을 통해 획득하는 것을 포함한다. 단, 대상체 유형정보 획득 방법은 전술한 실시예에 제한되지 않는다.
즉, 대상체의 유형을 구분하는 유형분류기준은, 외형분류기준의 하위 개념에 속하는 분류 기준이거나, 외형분류기준과 독립한 별도의 분류 기준일 수 있다.
또한, 일 실시예에서, 유형분류기준을 통하여 획득한 대상체 유형정보는 이에 대응하는 코드열 형태일 수 있다. 예를 들어, 대상체 유형 중 '의류'에 대응하는 코드열이 “Zb”이고, '의류' 중 하위 유형으로 '셔츠'에 대응하는 코드열이 “Zb01”일 수 있다.
일 실시예에서, 상기 학습용 영상데이터 제공단계는, 서버가 범용 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 획득한 모든 학습용 영상데이터를 제공하되, 특화 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 해당 특화 외형분류기준이 적용되는 유형의 대상체의 학습용 영상데이터만 제공한다.
즉, 일 실시예에서, 획득한 대상체 유형정보를 기초로 특화 외형분류기준 담당 전문가 클라이언트에는, 해당 특화 외형분류기준이 적용될 수 있는 유형의 대상체의 학습용 영상데이터만 제공하여 불필요한 데이터 제공을 최소화함으로써 학습용 데이터셋 구축의 효율을 향상시킬 수 있다.
예를 들어, 일 실시예에서, '색상'과 같이 대상체 유형에 무관하게 적용되는 범용 외형분류기준의 경우, 서버가 획득한 모든 학습용 영상데이터를 '색상' 담당 전문가 클라이언트에 제공한다. 이와 달리, '목모양(Neckline)'은 '상의' 유형의 대상체에만 적용되는 특화 외형분류기준이므로, 서버는 획득한 유형정보를 기초로 '상의' 유형의 학습용 영상데이터만 '목모양' 담당 전문가 클라이언트에 제공함으로써, 불필요한 학습용 영상데이터의 제공을 줄여 학습용 데이터셋 구축의 효율을 향상시킬 수 있다.
일 실시예에서, 특정 유형의 대상체에 대한 외형특성인식모델에 속하는 복수의 개별특성인식모듈의 조합을 설정하는 단계;를 더 포함한다. 즉, 서버는 특정 유형의 대상체에 대하여, 도 3에서와 같이 범용 외형분류기준 및 해당 유형에 대한 특화 외형분류기준의 조합 및 이에 대응되는 개별특성인식모듈의 조합을 설정할 수 있다.
예를 들어, '바지, 치마(Pants, Skirt)' 유형의 대상체에 대하여 적용 가능한 특화 외형분류기준인 'Pants Silhouette', 'Skirt Silhouette', 'Bottom Length', 'Waist'과, 범용 외형분류기준인 '색상(Color)', '질감(Texture)', '패턴(Pattern)', '디테일(Detail)'의 개별특성인식모듈의 조합을 설정하여 '바지, 치마 외형특성인식모델'을 구축할 수 있다. 이 경우, '바지, 치마' 유형의 대상체에 대한 학습용 영상데이터를 입력받은 경우 상기 '바지, 치마 외형특성인식모델'에 속하는 개별특성인식모듈의 외형분류기준 담당 전문가 클라이언트에만 전송함으로써 효율적으로 학습용 데이터셋을 구축할 수 있다.
서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 세부 외형분류기준에 대한 세부 개별외형특성을 입력받는다(S2600).
일 실시예에서, 서버가 특정 외형분류기준 담당 전문가 클라이언트로부터 해당 외형분류기준에 대한 학습용 영상데이터의 개별외형특성을 입력받는다. 예를 들어, 서버가 상의에 대한 특정 학습용 영상데이터를 복수의 전문가 클라이언트에 제공한 경우, '대상체 유형' 담당 전문가 클라이언트로부터 '의류' 개별외형특성을, '의류 유형' 담당 전문가 클라이언트로부터 '셔츠' 개별외형특성을, '소매 길이' 담당 전문가 클라이언트로부터 '민소매' 개별외형특성을 각각 입력받을 수 있다.
일 실시예에서, 서버는 상기 전문가 클라이언트로부터 외형분류기준에 대한 개별외형특성에 대응하는 코드값을 입력받을 수 있다. 이에 대하여는 후술한다.
일 실시예에서, 서버가 세부 외형분류기준 담당 전문가 클라이언트로부터 해당 세부 외형분류기준에 대한 학습용 영상데이터의 세부 개별외형특성을 입력받는다. 상기 세부 외형분류기준은, 각 외형분류기준에 속하는 최하위의 외형분류기준을 의미한다. 예를 들어, '의류(대상체 유형)-셔츠(의류 유형)-민소매(소매 길이)'의 경우 '소매 길이'가 세부 외형분류기준이고, '민소매'가 세부 개별외형특성이 될 수 있다.
하위 외형분류기준은 상위 외형분류기준과의 관계에서 상대적으로 하위 외형분류기준인 것이다. 일 실시예에서, 상기 외형분류기준 간의 관계는 서버에 의해 설정되거나 변경될 수 있다. 또한, 하나의 상위 외형분류기준에 대하여 하나 이상의 하위 외형분류기준이 존재할 수 있다.
일 실시예에서, 세부 개별외형특성은 상기 세부 개별외형특성이 속한 세부 외형분류기준의 하나 이상의 상위 외형분류기준에 대한 개별외형특성 정보를 포함한다. 일 실시예에서, 특정한 세부 개별외형특성에 포함된 상위 외형분류기준에 대한 개별외형특성 정보는, 서버에 의하여 설정 및 저장될 수 있다.
예를 들어, 세부 개별외형특성인 '민소매'는, 세부 외형분류기준인 '소매 길이'의 상위 외형분류기준의 개별외형특성인 '의류' 또는 '상의'에 대한 정보를 포함할 수 있다. 즉, 일 실시예에서, 서버가 세부 개별외형특성인 '민소매'만 입력받는다 하더라도 상위 외형분류기준에 대한 개별외형특성인 '의류' 또는 '상의'의 정보를 획득할 수 있다.
일 실시예에서, 세부 외형분류기준은 상기 세부 외형분류기준의 하위 외형분류기준이 추가됨에 따라 변경될 수 있다. 예를 들어, '의류 유형' 외형분류기준의 하위 외형분류기준으로 '목모양'이 추가 설정된 경우('대상체 유형(의류)-의류 유형(셔츠)-{목모양(V넥), 소매 길이(민소매)}'), '목모양' 및 '소매 길이'가 세부 외형분류기준이 될 수 있다. 일 실시예에서, 세부외형분류기준을 포함하는 상기 외형분류기준은 전술한바와 같이 서버에 의하여 자유롭게 설정 및 변경될 수 있다.
일 실시예에서, 서버가 상위 외형분류기준을 제외한 복수의 세부 외형분류기준 담당 전문가 클라이언트에만 학습용 영상데이터를 제공하여 개별외형특성을 입력받을 수 있다. 이 경우, 최소한의 전문가 클라이언트에 학습용 영상데이터를 제공함으로써, 학습용 데이터셋 구축 효율을 높일 수 있는 효과가 있다.
예를 들어, 특정 학습용 영상데이터를 세부 외형분류기준인 '목모양' 및 '소매길이' 담당 전문가 클라이언트에만 제공하여 세부 개별외형특성으로 'V넥' 및 '민소매'를 입력받는 경우, 상기 세부 개별외형특성은 상위 외형분류기준의 개별외형특성인 '의류' 및 '상의'에 대한 정보를 포함하므로, 충분한 외형특성의 수집이 가능하다.
서버가 각 학습용 영상데이터에 대해 복수의 전문가클라이언트로부터 수신한 복수의 세부 개별외형특성을 기초로 각 학습용 영상데이터에 대한 외형서술데이터를 생성하여, 학습용 데이터셋을 구축한다(S2800).
일 실시예에서, 상기 외형서술데이터는, 상기 학습용 영상데이터에 대한 복수의 개별외형특성을 조합한 것을 포함한다. 예를 들어, “셔츠(의류 유형), 밝은 분홍색(색상), 꽃무늬(패턴), 슬림(Top Silhouette), V넥(목모양), 민소매(소매 길이)”와 같이 조합될 수 있다. 그러나, 상기 외형서술데이터의 형태는 이에 제한되지 않고 획득한 개별외형특성을 조합한 모든 형태를 포함한다.
일 실시예에서, 상기 외형서술데이터는, 상기 학습용 영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 추출하여 조합한 코드열 형태의 외형서술데이터를 포함한다. 즉, 개별외형특성을 코드화함에 따라 외형서술데이터를 코드열 형태로 생성할 수 있고, 이를 통해 외형서술데이터의 처리가 효율적으로 될 수 있다.
예를 들어, 획득한 개별외형특성에 대응하는 코드값이 ''셔츠-Zb01, 밝은 분홍색-Ob01, 꽃무늬-Ie01, 슬림-Ba01, V넥-Bb02, 민소매-Bg01”인 경우, 코드열 형태의 외형서술데이터는 “Ba01, Bb02, Bg01, Ie01, Ob01, Zb01”일 수 있다.
도 2를 참조하면, 일 실시예에서, 서버가 전문가 클라이언트로부터 특정 학습용 영상데이터에 대한 복수의 개별외형특성을 입력받고, 상기 개별외형특성에 대응하는 코드값을 추출하여 조합함으로써 코드열 형태의 외형서술데이터를 생성할 수 있다.
다른 실시예에서, 서버가 전문가 클라이언트로부터 특정 학습용 영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 입력받고, 상기 복수의 코드값을 조합함으로써 코드열 형태의 외형서술데이터를 생성할 수 있다.
또한, 일 실시예에서, 하위 개별외형특성에 대응하는 코드값은, 상기 하위 개별외형특성이 속한 하위 외형분류기준의 하나 이상의 상위 외형분류기준에 대한 상위 개별외형특성 정보를 포함한다.
예를 들어, 'V넥'에 대응하는 코드값 'Bb02'에서, “B”는 상위 외형분류기준(대상체 유형)의 개별외형특성인 “의류”에 대한 정보를 포함할 수 있다.
일 실시예에서, 서버가 전문가 클라이언트에 제공된 복수의 학습용 영상데이터 및 상기 학습용 영상데이터에 대한 외형서술데이터를 기초로 학습용 데이터셋을 구축한다. 구축된 학습용 데이터셋은 하나 이상의 외형특성 인식모델의 학습에 이용된다.
일 실시예에서, 상기 외형특성 인식모델은, 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터와 이에 대응되는 외형서술데이터에서 추출된 하나 이상의 세부 개별외형특성을 이용하여 트레이닝되는 것이다. 즉, 구축된 학습용 데이터셋을 이용하여 특정 외형분류기준에 대한 개별특성인식모듈(110)을 트레이닝함으로써 복수의 개별특성인식모듈을 포함하는 외형특성 인식모델(100)에 대해 학습할 수 있다.
일 실시예에서, 외형특성 인식모델을 트레이닝하기 위해, 서버(10)는 다음과 같이 각각의 개별특성인식모듈(110)을 트레이닝하는 과정을 수행할 수 있다.
서버(10)는 학습용 영상데이터와 이에 대해 레이블링된 특정한 외형분류기준의 개별외형특성을 매칭하여 트레이닝(Training)을 수행한다. 즉, 서버(10)가, A 외형분류기준에 대한 개별특성인식모듈(110)을 트레이닝하는 경우, 구축한 학습용 데이터셋에서 복수의 학습용 영상데이터와 각 학습용 영상데이터에 매칭된 A 외형분류기준의 개별외형특성만을 추출하여 딥러닝 학습모델에 입력한다. 이를 통해, 서버(10)는 각각의 외형분류기준의 개별외형특성을 인식할 수 있는 각각의 개별특성인식모듈(110)을 트레이닝하여 구축한다.
도 4는 본 발명의 일 실시예에 따른 신규 외형분류기준이 추가된 경우의 데이터셋 구축 방법의 순서도이다. 도 4를 참조하면, 일 실시예에서, 신규 외형분류기준이 추가되는 경우, 서버가 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터를 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공하는 학습용 영상데이터 추가 제공단계(S2420); 서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 신규 외형분류기준에 대한 신규 개별외형특성을 입력받는 단계(S2620); 및 서버가 수신한 복수의 신규 개별외형특성에 대응하는 코드값을 추출하여 각 학습용 영상데이터의 외형서술데이터에 추가하는 단계(S2820);를 더 포함한다.
서버가 학습용 데이터셋에 포함된 복수의 학습용 영상데이터를 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공한다(S2420). 즉, 일 실시예에서, 신규 외형분류기준이 추가 설정되어 신규 개별특성인식모듈 트레이닝을 위한 학습용 데이터셋이 필요한 경우, 기 구축된 학습용 데이터셋에 포함된 학습용 영상데이터를 신규 외형분류기준 담당 전문가 클라이언트에 제공할 수 있다. 이와 달리, 새롭게 획득한 학습용 영상데이터를 제공하는 것도 가능하다.
일 실시예에서, 추가된 신규 외형분류기준이 하위 외형분류기준인 경우, 상기 학습용 영상데이터 추가 제공단계는, 서버가 학습용 데이터셋에 포함된 복수의 학습용 영상데이터 중, 추가된 신규 외형분류기준의 상위 외형분류기준의 개별외형특성에 대응하는 코드값을 포함하는 학습용 영상데이터에 대해서만 상기 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공하는 것을 포함한다.
예를 들어, 추가된 신규 외형분류기준이 '어깨 모양(Shoulder)'이고, 이는 상위 외형분류기준의 상위 개별외형특성인 상의(의류 유형)에 대한 하위 외형분류기준이며, '상의' 유형의 대상체에만 적용 가능한 특화 외형분류기준인 경우, 기 구축된 학습용 데이터셋에 포함된 복수의 학습용 영상데이터 중에서, 상위 개별외형특성인 '상의'에 대응하는 코드값인 'Zb01~Zb03'을 포함하는 외형서술데이터를 갖는 학습용 영상데이터를 추출하고, 이에 대해서만 '어깨 모양' 담당 전문가 클라이언트에 제공함으로써 불필요한 데이터 제공을 최소화할 수 있다.
서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 신규 외형분류기준에 대한 신규 개별외형특성을 입력받고(S2620), 서버가 수신한 복수의 신규 개별외형특성에 대응하는 코드값을 추출하여 각 학습용 영상데이터의 외형서술데이터에 추가한다(S2820). 일 실시예에서, 기 구축된 학습용 데이터셋에 포함된 복수의 학습용 영상데이터의 각 외형서술데이터에 대해, 신규 개별외형특성에 대응하는 코드값만을 추가하여 간단하게 학습용 데이터셋을 업데이트할 수 있다.
예를 들어, 기 구축된 학습용 데이터셋에 포함된 특정 학습용 영상데이터의 외형서술데이터가 “Ba01, Bb02, Bg01, Ie01, Ob01, Zb01”이고, 상기 학습용 영상데이터를 신규 외형분류기준인 '어깨 모양(Shoulder)' 담당 전문가 클라이언트에 제공하여 신규 개별외형특성 'plain shoulder'를 입력받고, 이에 대응하는 코드값이 'Bd01'인 경우, “Ba01, Bb02, Bd01, Bg01, Ie01, Ob01, Zb01”과 같이 해당 코드값만 기 존재하는 외형서술데이터에 추가함으로써 간단하게 학습용 데이터셋을 업데이트할 수 있다.
일 실시예에서, 상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우, 상기 학습데이터셋 구축 단계는, 상기 동영상 데이터 내의 각각의 프레임에 대해 개별외형특성을 획득하여 구축된다.
일 실시예에서, 서버가 동영상인 학습용 영상데이터의 복수 프레임에 대한 개별외형특성 조합을 시계열적으로 나열한 외형서술데이터를 생성한다. 구체적으로, 동영상데이터 내의 각각의 프레임에 대해 복수의 개별외형특성을 입력받고, 각 프레임에 대한 외형서술데이터를 순차적으로 나열하여 생성한다.
전술한 본 발명의 학습용 데이터셋을 기초로 트레이닝된 외형특성 인식모델을 포함하는 영상데이터 검색 방법의 일 실시예는, 서버(10)가 입력영상데이터를 외형특성 인식모델(100)에 입력하여, 복수의 외형분류기준에 대한 개별외형특성을 산출하는 단계; 서버가 상기 입력영상데이터에 대한 복수의 개별외형특성을 조합하여 외형서술데이터를 생성하는 단계; 및 서버가 특정한 사용자로부터 검색키워드를 입력받음에 따라, 매칭알고리즘에서 상기 검색키워드에 대응하는 추상적 특성에 매칭된 외형분류기준 조합에 해당하는 영상데이터를 추출하는 단계;를 포함한다.
일 실시예에서, 사용자가 특정한 대상체의 추상적 특성 중 어느 하나인 검색키워드 또는 추상적 특성과 유사한 키워드로 판단되는 검색키워드를 기반으로 원하는 영상데이터를 검색하고자 하는 경우, 서버는 매칭알고리즘에서 검색키워드에 대응하는 추상적 특성에 매칭된 외형분류기준 조합을 추출하고, 외형서술데이터 내에 해당 외형분류기준 조합이 있는 영상데이터를 추출한다.
일 실시예에서, 추상적 특성은 특정한 외형분류기준에 대해 복수의 개별외형특성이 매칭될 수도 있다. 또한, 특정 외형분류기준이 특정한 추상적 특성을 정의하는데 고려되지 않는 경우, 서버는 특정한 외형분류기준을 해당 추상적 특성에 매칭하지 않을 수도 있다. 예를 들어, 추상적특성 X를 정의하는데 있어서 외형분류기준 1이 고려될 필요가 없는 경우(즉, 외형분류기준 1의 모든 개별외형특성이 적용된 대상체가 추상적특성 X에 포함될 수 있는 경우), 서버는 외형분류기준 1을 추상적 특성 X에 매칭하지 않을 수도 있다. 또한, 서버는 외형분류기준 2의 복수의 개별외형특성을 추상적 특성 X에 매칭할 수도 있다.
일 실시예에서, 서버가 각각의 추상적 특성에 상기 신규 외형분류기준의 개별외형특성을 매칭하여 상기 매칭알고리즘을 업데이트하는 단계;를 더 포함한다. 즉, 서버는 사용자가 추상적 특성에 대응하는 키워드를 기반으로 영상데이터 검색을 수행하는 경우에 신규 외형분류기준을 반영하여 최적 검색결과를 제공하기 위해, 매칭알고리즘 내 각각의 추상적 특성에 대해 신규 외형분류기준의 개별외형특성을 연결한다.
일 실시예에서, 서버가 전문가클라이언트로부터 상기 추상적 특성과 상기 외형분류기준 조합을 매칭하는 설정데이터를 수신하여, 매칭알고리즘을 설정하는 단계;를 더 포함한다. 추상적 특성의 정의는 지역적 차이, 시대변화, 새로운 정의 정립 등의 요인에 의해 변경되거나 상이할 수 있다. 예를 들어, 대상체가 패션의류 또는 패션잡화인 경우, 특정한 패션트랜드 또는 감성적 특성을 나타내는 추상적 특성은 시대 변화에 따라 변경될 수도 있고, 전세계 지역에 따라 상이하게 정의될 수 있다(예를 들어, '빈티지'라는 추상적 특성(즉, 감성적 특성)은 과거와 현재에 다른 외형을 가지는 것으로 정의될 수 있다.) 따라서, 서버는 매칭알고리즘 내의 추상적 특성과 개별외형특성 조합의 매칭관계를 추가 또는 변경 설정할 수 있다.
일 실시예에서, 특정한 추상적 특성에 대한 정의가 변경되는 경우, 서버는 전문가 클라이언트로부터 현시점의 해당 추상적 특성에 대한 외형분류기준 조합을 입력받는다. 이 때, 서버는 변경 전의 추상적 특성과 외형분류기준 조합을 과거 특정시점의 해당 추상적 특성의 정의로 설정할 수 있다. 이를 통해, 서버는 시대 변화에 따른 특정한 추상적 특성의 정의 또는 서술정보를 누적할 수 있다.
일 실시예에서, 지역별로 동일한 추상적 특성을 상이한 외형으로 정의하여야 함에 따라, 서버는 전문가 클라이언트로부터 각 지역별 외형분류기준 조합을 설정받아서 저장할 수 있다.
본 발명의 또 다른 일실시예에 따른 외형인식모델 학습용 데이터셋 구축 장치는, 하나 이상의 컴퓨터를 포함하고, 상기 언급된 데이터셋 구축 방법을 수행한다.
이상에서 전술한 본 발명의 외형인식모델 학습용 데이터셋 구축 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버(10) 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버(10) 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 서버가 복수의 학습용 영상데이터를 획득하되, 상기 학습용 영상데이터는 디자인 물품을 포함하는 대상체의 영상데이터인, 학습용 영상데이터 획득단계;
    서버가 전문가 클라이언트에 복수의 학습용 영상데이터를 제공하되, 상기 전문가 클라이언트는 각 외형분류기준을 담당하여 분류하는 전문가의 클라이언트인, 학습용 영상데이터 제공단계;
    서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 세부 외형분류기준에 대한 세부 개별외형특성을 입력받되, 상기 세부 외형분류기준은 각 외형분류기준에 속하는 최하위의 외형분류기준인, 세부 개별외형특성 획득단계; 및
    서버가 각 학습용 영상데이터에 대해 복수의 전문가클라이언트로부터 수신한 복수의 세부 개별외형특성을 기초로 각 학습용 영상데이터에 대한 외형서술데이터를 생성하여, 학습용 데이터셋을 구축하는 단계;를 포함하고,
    상기 외형분류기준은, 특정한 대상체의 외형을 서술하기 위한 특정한 분류기준으로서, 상기 대상체의 동일한 분류기준 내의 다양한 외형특성을 표현하는 복수의 개별외형특성을 포함하는 것이고,
    상기 학습용 데이터셋은 하나 이상의 외형특성 인식모델의 학습에 이용되는 것이고,
    상기 외형특성 인식모델은, 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터와 이에 대응되는 상기 외형서술데이터에서 추출된 하나 이상의 세부 개별외형특성을 이용하여 트레이닝되는 것인, 외형인식모델 학습용 데이터셋 구축방법.
  2. 제1항에 있어서,
    상기 외형서술데이터는, 상기 학습용 영상데이터에 대한 복수의 개별외형특성에 대응하는 코드값을 추출하여 조합한 코드열 형태의 외형서술데이터인, 외형인식모델 학습용 데이터셋 구축방법.
  3. 제2항에 있어서,
    상기 세부 개별외형특성에 대응하는 코드값은, 상기 세부 외형분류기준의 하나 이상의 상위 외형분류기준에 대한 개별외형특성 정보를 포함하는, 외형인식모델 학습용 데이터셋 구축방법.
  4. 제2항에 있어서,
    상기 외형분류기준은, 특정 유형의 대상체에만 적용되는 특화 외형분류기준 및 모든 유형의 대상체에 적용되는 범용 외형분류기준을 포함하는, 외형인식모델 학습용 데이터셋 구축방법.
  5. 제4항에 있어서,
    서버가 획득한 학습용 영상데이터의 대상체 유형정보를 획득하는 단계;를 더 포함하고,
    상기 학습용 영상데이터 제공단계는,
    서버가 상기 범용 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 획득한 모든 학습용 영상데이터를 제공하되, 상기 특화 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에는 해당 특화 외형분류기준이 적용되는 유형의 대상체의 학습용 영상데이터만 제공하는 것인, 외형인식모델 학습용 데이터셋 구축방법.
  6. 제2항에 있어서,
    신규 외형분류기준이 추가되는 경우,
    서버가 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터를 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공하는 학습용 영상데이터 추가 제공단계;
    서버가 상기 전문가 클라이언트로부터 각 학습용 영상데이터의 신규 외형분류기준에 대한 신규 개별외형특성을 입력받는 단계; 및
    서버가 수신한 복수의 신규 개별외형특성에 대응하는 코드값을 추출하여 각 학습용 영상데이터의 외형서술데이터에 추가하는 단계;를 더 포함하는, 외형인식모델 학습용 데이터셋 구축방법.
  7. 제 6항에 있어서,
    추가된 신규 외형분류기준이 하위 외형분류기준인 경우,
    상기 학습용 영상데이터 추가 제공단계는,
    서버가 상기 학습용 데이터셋에 포함된 복수의 학습용 영상데이터 중, 상기 추가된 신규 외형분류기준의 상위 외형분류기준의 개별외형특성에 대응하는 코드값을 포함하는 학습용 영상데이터에 대해서만 상기 추가된 신규 외형분류기준을 담당하여 분류하는 전문가의 클라이언트에 제공하는 것인, 외형인식모델 학습용 데이터셋 구축방법.
  8. 제1항에 있어서,
    상기 영상데이터가 복수의 프레임을 포함하는 동영상데이터인 경우,
    상기 학습데이터셋 구축 단계는,
    상기 동영상 데이터 내의 각각의 프레임에 대해 개별외형특성을 획득하여 구축되는 것을 특징으로 하는, 외형인식모델 학습용 데이터셋 구축방법.
  9. 하나 이상의 컴퓨터를 포함하며, 제1항 내지 제8항 중 어느 한 항의 방법을 실행하는, 외형인식모델 학습용 데이터셋 구축 서버장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 외형인식모델 학습용 데이터셋 구축 프로그램.
KR1020200009164A 2019-06-10 2020-01-23 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램 KR20200141373A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2020/007439 WO2020251236A1 (ko) 2019-06-10 2020-06-09 딥러닝 알고리즘을 이용한 영상데이터 검색 방법, 장치 및 프로그램
EP20822980.7A EP3982277A4 (en) 2019-06-10 2020-06-09 METHOD, DEVICE AND PROGRAM FOR RECOVERING IMAGE DATA USING A DEEP LEARNING ALGORITHM
US17/546,709 US20220100792A1 (en) 2019-06-10 2021-12-09 Method, device, and program for retrieving image data by using deep learning algorithm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190067795 2019-06-10
KR20190067795 2019-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200181898A Division KR20210002410A (ko) 2019-06-10 2020-12-23 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램

Publications (1)

Publication Number Publication Date
KR20200141373A true KR20200141373A (ko) 2020-12-18

Family

ID=70910841

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020200009164A KR20200141373A (ko) 2019-06-10 2020-01-23 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램
KR1020200009600A KR102115573B1 (ko) 2019-06-10 2020-01-28 입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램
KR1020200012942A KR102227896B1 (ko) 2019-06-10 2020-02-04 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램
KR1020200012943A KR102119253B1 (ko) 2019-06-10 2020-02-04 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
KR1020200016533A KR102115574B1 (ko) 2019-06-10 2020-02-11 대상체 디자인 커스터마이징 방법, 장치 및 프로그램
KR1020200060527A KR102366580B1 (ko) 2019-06-10 2020-05-20 입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램
KR1020200060528A KR20200141929A (ko) 2019-06-10 2020-05-20 대상체 디자인 커스터마이징 방법, 장치 및 프로그램
KR1020200065373A KR102355702B1 (ko) 2019-06-10 2020-05-29 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
KR1020200181898A KR20210002410A (ko) 2019-06-10 2020-12-23 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램

Family Applications After (8)

Application Number Title Priority Date Filing Date
KR1020200009600A KR102115573B1 (ko) 2019-06-10 2020-01-28 입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램
KR1020200012942A KR102227896B1 (ko) 2019-06-10 2020-02-04 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램
KR1020200012943A KR102119253B1 (ko) 2019-06-10 2020-02-04 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
KR1020200016533A KR102115574B1 (ko) 2019-06-10 2020-02-11 대상체 디자인 커스터마이징 방법, 장치 및 프로그램
KR1020200060527A KR102366580B1 (ko) 2019-06-10 2020-05-20 입력영상데이터 기반 사용자 관심정보 획득방법, 장치 및 프로그램
KR1020200060528A KR20200141929A (ko) 2019-06-10 2020-05-20 대상체 디자인 커스터마이징 방법, 장치 및 프로그램
KR1020200065373A KR102355702B1 (ko) 2019-06-10 2020-05-29 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
KR1020200181898A KR20210002410A (ko) 2019-06-10 2020-12-23 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램

Country Status (2)

Country Link
KR (9) KR20200141373A (ko)
WO (2) WO2020251233A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141373A (ko) * 2019-06-10 2020-12-18 (주)사맛디 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램
KR102387907B1 (ko) * 2020-06-26 2022-04-18 주식회사 이스트엔드 크리에이터와 프로슈머가 참여하는 무지 의류 디자인 커스터마이징 방법 및 이를 위한 시스템
KR102524049B1 (ko) * 2021-02-08 2023-05-24 (주)사맛디 대상체 특성 정보에 기반한 사용자 코디 추천 장치 및 방법
KR102556642B1 (ko) 2021-02-10 2023-07-18 한국기술교육대학교 산학협력단 기계 학습 훈련을 위한 데이터 생성방법
CN113360477A (zh) * 2021-06-21 2021-09-07 四川大学 一种大规模定制女式皮鞋的分类方法
CN113807708B (zh) * 2021-09-22 2024-03-01 深圳市微琪思服饰有限公司 一种基于分布式的服装柔性生产制造平台系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180133200A (ko) 2018-04-24 2018-12-13 김지우 기록매체에 기록된 의류관리 어플리케이션 프로그램, 이를 이용한 의류 관리 시스템 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183461A (ja) * 1997-09-09 1999-03-26 Mitsubishi Electric Corp 物品種別認識システム
KR101157744B1 (ko) * 2010-05-06 2012-06-25 윤진호 취향 요소에 기초한 상품 추천 방법과 추천된 상품들을 표시하는 방법 및 이들을 이용한 상품 추천 시스템
KR101231946B1 (ko) * 2011-01-03 2013-02-08 김건민 코디네이션시스템을 이용한 상품 판매 및 경영관리시스템
KR101925764B1 (ko) 2012-08-23 2018-12-05 인터디지탈 패튼 홀딩스, 인크 무선 시스템에서의 다중 스케줄러들을 이용한 동작
KR101579617B1 (ko) * 2014-04-04 2015-12-22 홍익대학교세종캠퍼스산학협력단 3ｄ 프린팅 로봇의 이미지 변환 툴 시스템 및 이의 구동 방법
KR20170096971A (ko) * 2016-02-17 2017-08-25 옴니어스 주식회사 스타일 특징을 이용한 상품 추천 방법
KR20180014495A (ko) * 2016-08-01 2018-02-09 삼성에스디에스 주식회사 객체 인식 장치 및 방법
KR102530045B1 (ko) * 2016-12-23 2023-05-09 삼성전자주식회사 전자 장치 및 그 동작 방법
CN108268539A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于文本分析的视频匹配系统
KR102024818B1 (ko) * 2018-04-30 2019-09-24 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
KR20200141373A (ko) * 2019-06-10 2020-12-18 (주)사맛디 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180133200A (ko) 2018-04-24 2018-12-13 김지우 기록매체에 기록된 의류관리 어플리케이션 프로그램, 이를 이용한 의류 관리 시스템 및 방법

Also Published As

Publication number Publication date
KR102119253B1 (ko) 2020-06-04
KR20200141384A (ko) 2020-12-18
KR102115574B1 (ko) 2020-05-27
KR20200141388A (ko) 2020-12-18
KR20210002410A (ko) 2021-01-08
KR102227896B1 (ko) 2021-03-15
WO2020251238A1 (ko) 2020-12-17
KR102355702B1 (ko) 2022-01-26
WO2020251233A1 (ko) 2020-12-17
KR102115573B1 (ko) 2020-05-26
KR20200141375A (ko) 2020-12-18
KR20200141929A (ko) 2020-12-21
KR102366580B1 (ko) 2022-02-23

Similar Documents

Publication Publication Date Title
KR20210002410A (ko) 외형인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램
WO2021238631A1 (zh) 物品信息的显示方法、装置、设备及可读存储介质
CN106560809B (zh) 用从另一图像提取的至少一个属性修改图像的至少一个属性
CN106560810B (zh) 使用图像中找到的特定属性进行搜索
US10109051B1 (en) Item recommendation based on feature match
Tautkute et al. Deepstyle: Multimodal search engine for fashion and interior design
US10083521B1 (en) Content recommendation based on color match
US11275906B2 (en) Natural language text conversion and method therefor
CN112738556B (zh) 视频处理方法及装置
US10776417B1 (en) Parts-based visual similarity search
WO2019011936A1 (en) IMAGE EVALUATION METHOD
US9639633B2 (en) Providing information services related to multimodal inputs
US20140358884A1 (en) System sand methods for searching items of fashion and other items of creation
US11783408B2 (en) Computer vision based methods and systems of universal fashion ontology fashion rating and recommendation
CN111767420A (zh) 一种生成服饰搭配数据的方法和装置
US20200372560A1 (en) Method for exploring and recommending matching products across categories
KR20200141387A (ko) 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램
US20220100792A1 (en) Method, device, and program for retrieving image data by using deep learning algorithm
CN103279519B (zh) 物品搜索方法和装置
US20230180917A1 (en) Method for processing makeup and electronic device
KR102119246B1 (ko) 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램
KR102366595B1 (ko) 영상데이터의 외형서술데이터 획득 방법, 장치 및 프로그램
KR20210109927A (ko) 시각특성 인식모델 학습용 데이터셋 구축 방법, 장치 및 프로그램
KR102524049B1 (ko) 대상체 특성 정보에 기반한 사용자 코디 추천 장치 및 방법
CN113537043B (zh) 图像处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination