KR20200042203A

KR20200042203A - 사용자 입력 영상 기반 의상코디 장치 및 방법

Info

Publication number: KR20200042203A
Application number: KR1020180122492A
Authority: KR
Inventors: 이전우; 박종열; 오성찬
Original assignee: 한국전자통신연구원
Priority date: 2018-10-15
Filing date: 2018-10-15
Publication date: 2020-04-23

Abstract

영상으로부터 신체 및 의류 특징을 추출할 수 있도록 학습된 특징 추출기를 기반으로, 사용자가 입력하는 영상을 분석하여 얼굴형, 체형 및 의류의 속성을 구분함으로써 시각적 영상처리 중심의 특징 추출 및 의상코디가 가능하도록 한 의상코디에 관한 발명이다. 본 발명의 한 측면에 따르면, 사용자가 제공한 사용자 영상을 처리하여 사용자의 얼굴형/체형 정보를 추출하는 사용자 영상 처리 모듈, 사용자가 제공한 의류아이템 영상을 처리하여 사용자 의류아이템의 종류와 특징벡터값을 추출하는 사용자 의류아이템 영상 처리 모듈, 상기 사용자 의류아이템 영상 처리 모듈에서 추출된 사용자 의류아이템들의 종류 및 특징벡터 값을 기반으로, 사용자가 제공한 TPO 정보와 상기 사용자 영상 처리 모듈에서 추출된 상기 얼굴형/체형 정보에 매칭되는 의상세트를 선택하는 의류아이템 매칭 모듈을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치가 제공된다.

Description

사용자 입력 영상 기반 의상코디 장치 및 방법 {Outfit coordination system and method based on user input Images}

본 발명은 지능형 의상코디 시스템에 관한 것으로서, 더욱 상세하게는 사용자 입력 영상을 분석하여 사용자의 얼굴형, 체형, 보유하고 있는 의류의 종류 및 특징을 확인하여 사용자 프로파일과 사용자 의류아이템 데이터베이스를 구비하고, TPO(Time, Place, Occasion; 시간, 장소, 상황)를 기준으로 기구비된 사용자 보유 의상 데이터베이스인 사용자 의류아이템에서 사용자 특징과 TPO에 매칭되는 의상을 선택하여 사용자 보유 의류 중심의 의상 조합을 추천하는, 사용자 입력 영상 기반 사용자 프로파일 및 의상 데이터베이스 구성 및 사용자 보유 의류아이템 중심의 의상 조합 코디 추천을 특징으로 하는 의상코디 장치 및 그 방법에 관한 것이다.

종래의 의상 추천 또는 코디 시스템은 사용자가 판단하는 신체특징 데이터를 문자데이터 기반으로 입력받아서 사용하거나, 신체 치수를 입력받아서 이를 기반으로 얼굴형이나 체형을 산출하였다. 또한, 사용자에게 추천할 의상을 결정하는 과정에서도 사용자가 가지고 있는 의류아이템보다는 구매 대상의 의류아이템을 중심으로 메타데이터화된 의상의 속성값과 속성별 가중치를 기반으로 산술적으로 유사도를 산정하고, 여러 비교대상 중에서 유사도가 높은 의상을 추천하는 형태로 처리하였다. 그러나 사람의 외형적 특징이나 의상은 색상이나 형태의 세밀한 차이에 의한 시각적 특징 변화가 매우 크며, 정확한 활용을 위한 속성값 부여가 매우 주관적이고 전문성이 요구되어서 사용자들이 쉽게 입력하기 어렵고, 사용자가 기보유하고 있는 의류아이템을 활용하기 어려워서 만족할만한 서비스를 제공하기가 어려운 단점이 있었다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위하여, 영상으로부터 신체 및 의류 특징을 추출할 수 있도록 학습된 특징 추출기를 기반으로, 사용자가 입력하는 영상을 분석하여 얼굴형, 체형 및 의류의 속성을 구분함으로써 시각적 영상처리 중심의 특징 추출 및 의상코디가 가능하도록 의상코디 시스템을 구성하고 운영하는 방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위하여 본 발명의 한 측면에 따르면 사용자가 제공한 사용자 영상을 처리하여 사용자의 얼굴형/체형 정보를 추출하는 사용자 영상 처리 모듈, 사용자가 제공한 의류아이템 영상을 처리하여 사용자 의류아이템의 종류와 특징벡터값을 추출하는 사용자 의류아이템 영상 처리 모듈, 상기 사용자 의류아이템 영상 처리 모듈에서 추출된 사용자 의류아이템들의 종류 및 특징벡터 값을 기반으로, 사용자가 제공한 TPO 정보와 상기 사용자 영상 처리 모듈에서 추출된 상기 얼굴형/체형 정보에 매칭되는 의상을 선택하는 의류아이템 매칭 모듈을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치가 제공된다.

발명의 한 실시예에 따르면, 상기 사용자 영상 처리 모듈은, 사용자가 입력한 사용자 영상을 수신하고 이 입력된 사용자 영상을 분석하여 사용자의 적어도 얼굴형/체형을 표현하는 코드로 분류하여 이 얼굴형/체형 코드를 상기 얼굴형/체형 정보로서 출력하는 개인 신체 특징 검출기를 포함할 수 있다. 그리고 상기 사용자 영상 처리 모듈은, 상기 얼굴형/체형 정보를 저장하는 개인 프로파일을 추가로 포함할 수 있다.

또한 발명의 한 실시예에 따르면, 상기 사용자 의류아이템 영상 처리 모듈은, 사용자가 입력한 의류아이템 영상을 수신하여 이 입력된 영상으로부터 사용자 의류아이템의 종류 및 특징벡터 정보를 추출하는 의류아이템 특징 검출기를 포함할 수 있다. 그리고 상기 사용자 의류아이템 영상 처리 모듈은 상기 의류아이템의 종류 및 특징벡터 정보를 저장하는 사용자 의류아이템 데이터베이스를 추가로 포함할 수 있다.

발명의 한 실시예에 따르면, 상기 제1측면의 장치는, 사용자 영상 처리 모듈의 상기 얼굴형/체형 정보를 저장하는 개인 프로파일을 추가로 포함할 수 있고, 상기 사용자 의류아이템 영상 처리 모듈의 상기 의류아이템의 종류 및 특징벡터 정보를 저장하는 사용자 의류아이템 데이터베이스를 추가로 포함할 수 있다.

또한 발명의 한 실시예에 따르면, 상기 의류아이템 매칭 모듈은, 사용자가 입력한 TPO 정보를 수신하여 상기 사용자 의류아이템들을 TPO별 필요 의류아이템 종류를 참조하여 상기 수신한 TPO 정보에 적합한 의상 세트를 생성하는 TPO 적합 의상세트 조합 생성기와, 상기 사용자 얼굴형/체형 정보와 상기 TPO 정보를 기반으로 의상 조합들의 매칭 점수를 추출하되, 상기 사용자 의류아이템들의 특징벡터들을 읽어서 의상 세트 구성의 적절함 정도를 나타내는 매칭 점수를 추출하는 의류아이템 매칭기, 그리고 상기 의류아이템 매칭기를 결정하는 의류아이템 매칭 선택기를 추가로 포함할 수 있다. 여기서, 상기 의류아이템 매칭기는 TPO별 및 얼굴형/체형별로 적합한 의상 종류의 조합에 해당되는 의류아이템들의 특징벡터를 처리하는 다수의 처리기를 포함할수 있다.

발명의 한 실시예에 따르면, 상기 사용자 의류아이템 영상 처리 모듈에 입력되는 사용자 의류아이템 영상은 사용자가 보유하고 있는 의류아이템의 영상 또는 신규 의류아이템의 영상을 포함할 수 있다. 발명의 다른 실시예에 따르면 신규 의류아이템 영상을 쇼핑몰에 게시된 영상의 위치(예를 들어, URL)를 이용하여 입력할 수도 있다. 이 경우 쇼핑몰에 게시/전시된 구매 고려 의류아이템을 사용자가 구매할 수 있도록 의사결정을 돕기 위해 쇼핑몰 서비스 중 하나로서 본 발명을 실시하는 의상코디 서비스 시스템에 신규 의류 아이템을 포함하는 의상 세트를 추천할 수 있다.

발명의 한 실시예에 따르면, 상기 사용자 영상 처리 모듈 및 사용자 의류아이템 영상 처리 모듈은, 상기 개인 신체 특징 및 의류아이템 특징의 학습을 위한 학습용 데이터에 의해 학습한 후에 상기 개인 신체 특징 및 의류아이템 특징을 추출하는 신경망을 포함할 수 있고, 상기 의류아이템 매칭 모듈은, 전문가들에 의해 부여된 매칭 점수를 학습용 데이터로 사용하여 학습한 후에 의류아이템 매칭 점수를 산출하는 신경망을 포함할 수 있다.

한편, 상기 과제를 해결하기 위하여 본 발명의 다른 측면에 따르면, 1) 사용자가 제공한 사용자 영상을 처리하여 사용자의 얼굴형/체형 정보를 추출하는 단계, 2) 사용자가 제공한 의류아이템 영상을 처리하여 사용자 의류아이템의 종류와 특징벡터값을 추출하는 단계, 3) 상기 단계 2)에서 추출된 사용자 의류아이템으로부터, 사용자가 제공한 TPO 정보와 상기 사용자 영상 처리 모듈에서 추출된 상기 얼굴형/체형 정보에 매칭되는 의상을 선택하는 단계를 포함하는 사용자 입력 영상 기반 지능형 의상코디 방법이 제공된다.

여기서, 상기 단계 3)은, 사용자가 입력한 TPO 정보를 수신하여 상기 사용자 의류아이템들을 TPO별 필요 의류아이템 종류를 참조하여 상기 수신한 TPO 정보에 적합한 의상 세트를 생성하는 단계, 의류아이템들의 특징벡터들을 읽어서 의상 세트 구성의 적절함 정도를 나타내는 매칭 점수를 추출하는 단계, 상기 사용자 얼굴형/체형 정보와 상기 TPO 정보를 기반으로 의상 조합들의 매칭 점수를 추출하되, 상기 사용자 의류아이템들의 특징벡터들을 읽어서 의상 세트 구성의 적절함 정도를 나타내는 매칭 점수를 추출하는 단계를 포함할 수 있다.

또한, 상기 사용자 의류아이템 영상은 사용자가 보유하고 있는 의류아이템의 영상을 포함할 수 있거나 신규 의류아이템의 영상을 포함할 수 있다.

이상에서 소개한 본 발명의 구성 및 작용은 이후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.

본 발명에 따르면 얼굴형, 체형 등 사람의 외형적 특징이나 의상의 색상, 형태 등의 시각적 특징들을 영상 입력을 통해 시스템에서 처리함으로써 사용자들이 판단하기 어려운 데이터 입력없이 사용자들이 초기 등록과정을 쉽게 수행할 수 있는 이점이 있다. 또한 사용자가 보유하고 있는 의상을 중심으로 또는 신규 의류아이템이 추가된, TPO(Time, Place, Occasion: 옷을 입는 데 기본 원칙으로 삼아야 한다는 세 가지)에 적합한 의상코디 서비스를 받을 수 있다.

도 1은 본 발명의 한 실시예에 따른 사용자입력 영상 기반 의상코디 시스템의 구조를 도시한 도면
도 2는 사용자 입력 영상 기반 지능형 의상코디 장치를 구현하기 위한 대표적인 형태의 프로세서 기반 컴퓨팅 시스템
도 3은 개인 프로파일 및 사용자 보유 의류아이템의 등록 과정의 예시적 흐름도
도 4는 의상코디 과정의 예시적 흐름도

본 발명의 이점 및 특징, 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 한 실시예에 따른 사용자입력 영상 기반 의상코디 시스템의 구조를 도시한 도면이다. 크게 사용자 영상 처리 모듈(10), 사용자 의류아이템 영상 처리 모듈(20), 의류아이템 매칭 모듈(30)이 있다.

사용자가 사용자 영상 처리 모듈(10)에 자신의 전신 모습이 포함된 다수의 사용자 영상(예컨대, 사진)을 입력하면(100), 입력된 사용자 영상을 개인 신체 특징(또는 특성이라는 용어도 사용됨)(feature) 검출기(101)가 분석하여 얼굴형, 체형을 표현하는 코드로 분류하여 이 얼굴형/체형 코드(105)를 개인 프로파일(103)에 저장한다. 개인 프로파일(103)에는 이 얼굴형/체형 코드(105) 외에도 정확한 신체 사이즈, 연령 등 다른 여러 가지 정보가 포함될 수 있으나 본 실시예에서는 얼굴형과 체형만 고려하고 있다. 도 1의 실시예에서 개인 프로파일(103)은 사용자 영상 처리 모듈(10)에 포함되어 있는 것으로 표현되어 있지만, 이는 설명의 편의상 그러한 것이고 실제로 개인 프로파일(103)은 다른 모듈 내에 위치하거나 또는 어떠한 모듈과도 상관없이 독자적으로 위치할 수 있다.

또한, 사용자는 사용자 의류아이템 영상 처리 모듈(20)에 자신이 보유하고 있는(또는 신규의) 의류아이템(상의: 카디건, 블라우스, 셔츠, 스웨터, 재킷, 점퍼, 코트 등, 하의: 스커트, 팬츠 등)의 영상(예컨대, 사진)을 개별로 찍어서 입력한다(200). 의류아이템 특징 검출기(201)는 입력된 영상으로부터 해당 의류아이템의 종류 및 특징벡터 정보(205)를 추출하여 사용자 의류아이템 데이터베이스(203)에 저장 보관한다. 도 1의 실시예에서 사용자 의류아이템 데이터베이스(203)는 사용자 의류아이템 영상 처리 모듈(20)에 포함되어 있는 것으로 표현되어 있지만, 이는 설명의 편의상 그러한 것이고 실제로 사용자 의류아이템 데이터베이스(203)는 다른 모듈 내에 위치하거나 또는 어떠한 모듈과도 상관없이 독자적으로 위치할 수 있다.

한편, 사용자는 의류아이템 매칭 모듈(30)에, 코디가 필요한 TPO(시간, 장소, 상황; 예를 들면, 다음주 토요일 친구 결혼식 - 시간을 보고 계절이나 온도 등을 시스템에서 검색 또는 판단)를 입력하여 코디 요청을 한다(300). TPO 입력 방식으로는 시간, 장소, 상황 각각에 대한 메뉴 선택 형태가 바람직하지만, 이에 한정되는 것은 아니다. 입력된 TPO는 코드화 되어 TPO 코드로서 사용된다.

의류아이템 매칭 모듈(30)은 사용자가 코디 요청(300)을 하면서 입력한 TPO에 따라 이 TPO에 적합한 의상세트 조합들을 생성하고, 이 조합들에 사용된 의류아이템들의 특징벡터(209)들을 사용자 의류아이템 데이터베이스(203)에서 읽어와서 각 조합의 매칭 점수를 산출하여 가장 높은 매칭 점수를 기록한 의상 세트를 사용자에게 추천한다. 이러한 역할을 위해 의류아이템 매칭 모듈(30)은 TPO 적합 의상세트 조합 생성기(301), 의류아이템 매칭 선택기(303), 및 복수의 의류아이템 매칭기(305)를 포함한다.

TPO 적합 의상세트 조합 생성기(301)는 통상의 의류/패션 지식베이스(knowledge-base)에 해당하는 TPO별 필요 의류아이템의 종류(207)(예를 들어, 결혼식의 경우에 재킷, 스커트, 블라우스 등)를 기반으로, 현재 사용자가 보유 중인 의류아이템들을 TPO별 필요 의류아이템 종류에 상응하도록 조합 가능한 의상세트를 생성한다. TPO별 필요 의류아이템의 종류(207)는 여러 가지 형태로 사용자 의류아이템 데이터베이스(203)에 저장하여 다양한 방식으로 참조될 수 있는데, 테이블 형태가 대표적인 예가 될 수 있다.

의류아이템 매칭 선택기(303)는 개인 프로파일(103)에서 가져온 사용자의 얼굴형/체형 코드(107)와 코디 요청 입력(300)시 입력된 또는 입력 데이터로부터 변환된 TPO 코드(311)를 사용하여 현재 처리중인 사용자 코디 요청 입력에 따른 의상 조합들의 매칭 점수를 추출할 의류아이템 매칭기(305)를 선택하는 코드(309)를 생성한다. 즉, 의류아이템 매칭 선택기(303)는 현재의 사용자 코디 요청 입력(300)을 처리할 의류아이템 매칭기(305)를 결정한다.

아래에서 의류아이템 매칭기(305)의 설명시에 자세히 언급했듯이 의류아이템 매칭기(305)는 여러 개의 매칭 처리기를 구비할 수 있다(예를 들어, 결혼식용과 데이트용 의류아이템 매칭 처리기). 이에, 의류아이템 매칭 선택기(303)는 입력되는 얼굴형/체형 코드와 TPO 코드로부터 그에 맞는 의류아이템 매칭 점수를 추출할 수 있는 매칭 처리기를, 구비된 여러 종류의 매칭 처리기 중에서 하나 선택해 준다(예를 들어, '둥근 얼굴, 직사각형 체형의 결혼식용 의류아이템 매칭 처리기' 형태). 의류아이템 매칭 선택기(303)는 매핑 테이블 또는 프로그램상 case 문으로 실현될 수 있다.

위에서 언급한 것과 같이 의류아이템 매칭기(305)에는 TPO, 얼굴형, 체형별로 적합한 의상 종류의 조합에 해당되는 의류아이템들의 특징벡터(209)를 처리할 수 있는 여러 개의 처리기(도시하지 않음)가 구비되어 있다. 예를 들면, 결혼식용 의류아이템 매칭 처리기, 데이트용 의류아이템 매칭 처리기 등과 같이 TPO에 따라 구분 가능한 매칭 처리기들을 얼굴형별 및 체형별로 별도의 매칭 처리기 모둠으로 구비할 수 있다. 의류아이템 매칭기(305)의 규모는, 서비스로 제공되는 지원 TPO 분류 및 개수 등의 서비스 범위에 따라 유연성 있게 설정될 수 있다.

상기 의류아이템 매칭 선택기(303)로부터의 의류아이템 매칭기 선택 코드(309)에 따라 선택된 의류아이템 매칭기(305)는 TPO 적합 의상세트 조합 생성기(301)에서 출력된 현재 사용자가 보유 중인 의류아이템들의 조합 가능한 세트와, 조합들에 사용된 의류 아이템들의 특징벡터(209)들을 사용자 의류아이템 데이터베이스(203)에서 읽어와서 각 조합의 매칭 점수를 산출하여 가장 높은 매칭 점수를 기록한 의상 세트(313)를 사용자에게 추천한다(315). 사용자 추천시에는 최고 점수의 의상 세트에 추가하여 2, 3위 등 복수의 의상 세트를 동시에 추천할 수 있다.

한편, 상술한 얼굴형과 체형은 통상적으로 사용하는 얼굴형 분류인 타원형, 둥근 형, 사각형, 삼각형, 역삼각형, 긴 타원형, 마름모 형의 7가지와, 체형 분류인 삼각형, 역삼각형, 직사각형, 모래시계형, 둥근 형의 5가지를 기준으로 하여 서비스 수준에 맞춰서 신축적으로 결정할 수 있다. 의류아이템의 매칭은 전문가의 견해에 따라 매칭 점수가 상이하게 평가될 수 있으므로 도 1의 전술한 실시예에 부가하여 전문가별로 의류아이템 매칭기를 구비하는 등의 형태로 더 세분하여 구비할 수도 있다. 이런 경우에는 의류아이템 매칭 선택기에 전문가 코드가 추가로 입력되어야 한다.

또한 추가 실시예로, 도 1에서 사용자 의류아이템 영상 처리 모듈(20)에 사용자의 의류아이템 영상을 입력시, 새로 구입하였거나 쇼핑몰에서 구입을 고려하는 신규 의류아이템의 영상을 함께 입력할 수 있다(200'). 이 경우에는 입력된(200') 신규 의류아이템 영상을 의류아이템 특징 추출기(201)가 분석하여 신규 의류아이템의 종류 및 특징벡터(205)를 추출하여 사용자 의류아이템 데이터베이스(203)에 저장하고, 의류아이템 매칭 모듈(30)의 TPO 적합 의상세트 조합 생성기(301)는 신규 의류아이템 종류와 사용자 보유 의류아이템 종류의 조합된 의상 세트를 구성하고, 의류아이템 매칭기(305)가 이 조합에 포함된 신규 의류아이템의 특징벡터와 사용자 보유 의류아이템의 특징벡터를 참조하여, 각 의상 조합의 매칭 점수를 산출하고, 최고 점수의 의상 세트들을 추천한다.

상기 개인 신체 특징 검출기(101)와 의류아이템 특징 검출기(201)는 CNN(Convolutional Neural Network) 기반의 공개 신경망구조를 사용하며, 개인 신체 특징 추출 및 의류아이템 특징 추출을 위한 학습용 데이터를 구비하여 학습한 후에 사용한다. 여기서, 학습용 데이터는 일반적으로 신경망 학습에 사용되는 영상 데이터와 동일한 방법으로 마련되며, 본 발명에서는 각 얼굴형/체형별 영상 데이터와 의류아이템(상의: 카디건, 블라우스, 셔츠, 스웨터, 재킷, 점퍼, 코트 등, 하의: 스커트, 팬츠 등)의 영상 데이터를 수집하여 레이블을 붙인 후 학습용으로 사용한다.

의류아이템 매칭기(305)는 의상 세트를 구성하는 의류아이템들의 특징벡터를 병렬로 입력받아서 매칭 점수를 산정하는데, 3개 층으로 된 완전연결신경망(fully connected neural network)을 전문가들이 매칭 점수를 부여한 학습용 데이터 세트를 개별 의류아이템별로 의류아이템 특징 검출기를 사용하여 특징벡터를 추출한 후, 학습용 데이터 세트의 특징벡터들과 매칭 점수로 학습하여 사용한다. 구체적으로, 앞에서 의류아이템 매칭기(305)는 얼굴형/체형, TPO, 전문가라는 입력들에 의해 선택 가능한 다수의 매칭 처리기를 구비한다고 설명했다. 이들 매칭 처리기의 각각은 별도의 학습용 데이터 세트를 구비하여 학습을 한 후에 사용하게 된다. 학습용 데이터 세트는 각각의 매칭 처리기에서 매칭 점수를 산정할 의상세트와 그 의상세트의 매칭점수 레이블로 구성된다. 의상세트를 구성하는 의류아이템들의 특징벡터값을 추출하여 이 값들을 매칭 처리기에 입력하게 되며, 의상코디 서비스를 제공할 때는 이 값을 사용자 의류 아이템 데이터베이스에서 읽어 오지만 매칭 처리기의 구비를 위해 신경망을 학습할 때에는 의류아이템 특징 검출기(201)에서 추출된 특징벡터 값으로 학습을 하게 된다.

도 2는 사용자 입력 영상 기반 지능형 의상코디 장치를 구현하기 위한 대표적인 형태의 프로세서 기반 컴퓨팅 시스템이다. 도 2의 컴퓨팅 시스템은 프로세서(42), RAM(44), ROM(46), 스토리지(48) 및 데이터베이스(50), 사용자 입출력 장치(53) 연결용 입출력 모듈(52), 그리고 LAN/WAN 기반의 원격장치/시스템(55)이 연결되는 네트워크 인터페이스(54)를 포함한다. 한편, 본 발명의 의상코디 방법은 도 2에 예시한 컴퓨터 시스템에서 구동되는 소프트웨어 프로그램으로 구현가능하다.

사용자는 카메라, 키보드, 스마트폰 등 컴퓨터에 직접 연결되는 입력장치(53)나 네트워크로 연결되는 입력장치(55)를 통하여 영상 및 문자 데이터를 시스템에 입력하고, 모니터, 스마트폰 등의 직접 연결되는 출력 장치(53) 또는 네트워크를 통해 연결되는 출력 장치(55)를 통해 매칭된 의상 세트 등의 코디 결과를 확인할 수 있다.

한편, 상기 도 2의 프로세서 기반 컴퓨팅 시스템과 다른 실시 형태로, 본 발명의 장치 및 방법을 서버 형태로 구현하여 사용자가 PC 또는 스마트폰과 같은 단말을 통하여 본 발명의 코디 서비스를 이용할 수 있도록 할 수 있다. 또 다른 형태로, 도 2의 컴퓨팅 시스템을 다수 개 구성하여, 도 1에서의 구성 요소들을 다수의 서버와 사용자 단말에 분산 구성하여서 본 발명의 서비스를 제공하는 것도 가능하다.

이와 같이 본 발명은 장치 측면 또는 방법적 측면으로 실시가능한데, 특히 본 발명의 각 구성요소의 기능(function) 또는 과정(process)은 DSP(digital signal processor), 프로세서, 컨트롤러, ASIC(application-specific IC), 프로그래머블 로직소자(FPGA 등), 기타 전자소자 중의 적어도 하나 그리고 이들의 조합이 포함되는 하드웨어 요소로써 구현 가능하다. 또한 하드웨어 요소와 결합되어 또는 독립적으로 소프트웨어로써도 구현 가능한데, 이 소프트웨어는 기록매체에 저장 가능하다.

도 3은 앞에서 설명한 영상 기반 개인 프로파일 및 사용자 보유 의류아이템의 등록 과정(400)의 예시적 흐름도이다. 이 과정은 본 발명의 지능형 의상코디 서비스를 받기 위한 준비 과정으로서, 사용자 영상을 입력하여 얼굴형 및 체형을 등록하고, 사용자가 가지고 있는 의류아이템들을 등록하는 과정이다.

먼저, 사용자의 신체적 특징(개인 프로파일) 등록을 위하여 (복수의) 사용자 영상(예컨대, 3장 이상의 사용자 전신 사진)을 입력(402)한다. 사용자 입력 영상은 눈높이 정도의 카메라를 정면으로 바라보고 촬영된 것이 바람직하다. 다음, (예를 들어 도 1의 개인 신체 특징 검출기(101)가) 입력 영상(들)에서 얼굴형과 체형을 추출한다(404). 영상으로부터 추출된 이 특징(들)이 결과를 신뢰할 수 있는 특징인지 여부를 판단(406)하여, 그러하다면 그 특징값을 코드화하여 저장하고(408), 그렇지 않으면 사용자 영상의 추가입력을 요청한다(410).

상기 406 단계에서, 결과를 신뢰할 수 있는 특징인지 여부의 판단의 예를 들면, 영상의 수가 3 이상인 경우에 입력된 복수의 영상의 65% 이상이 동일한 신체 특징으로서 추출되는 경우(즉, 동일 코드 출력률이 65% 이상인 경우)로 판단하는 것을 들 수 있다. 하지만, 이러한 특징 추출에 필요한 사용자 영상의 수와 동일 코드 출력률은 절대적인 것이 아니며, 이는 개인 신체 특징 검출기의 특징에 따라 변경 가능함은 당연하다.

결과를 신뢰할 수 있는 특징인지 판단되어 그 특징값을 코드화하여 저장(408)한 다음, 사용자는 보유 의류아이템의 영상(사진)을 입력한다(412). 이에 (예를 들어 의류아이템 특징 검출기(201)는) 의류아이템의 종류와 특징벡터를 추출하여 저장한다(414)(예를 들어, 도 1의 사용자 의류아이템 데이터베이스(203)에 저장). 의류아이템은 각각의 아이템을 촬영한 복수의 영상을 일괄 입력하여 등록할 수 있고, 개별 아이템 영상을 하나씩 입력하여 등록할 수도 있다.

이상의 두 단계 등록과정은 반드시 동일한 순서로 연속해서 이루어져야 하는 것은 아니며, 별개의 과정으로, 또는 순서를 뒤바꿔서 처리하는 것도 가능하다. 그리고 이 과정은 본 발명의 코디 서비스 시스템을 사용하기 위한 초기 설정과정으로 진행할 수 있다.

도 4는 본 발명에서의 의상코디 과정(500)의 예시적 흐름도이다.

사용자의 코디 요청(502)은 코디받고자 하는 TPO를 입력함으로써 실시될 수 있다. 이 요청은 여러 선택 가능한 TPO 중에서 시간, 장소, 상황을 각각 선택하는 메뉴 선택 형태가 대표적인 방법이 될 수 있으며, 입력추천 형태로 제시되는 TPO의 직접 문자 입력, 코드 입력 등의 방법이 사용될 수도 있다(메뉴나 문자 등의 비코드 형태로 입력된 경우에는 TPO 코드로 변환하는 절차가 추가될 것이다). 코디 요청시에는(502), TPO만 입력하여 보유하고 있는 의류아이템을 기반으로 원하는 TPO에 적합한 의상 세트 코디를 원하는 방식의 요청과, TPO와 함께 신규 의류아이템의 영상을 같이 입력하여 신규 의류아이템을 중심으로 보유 의류아이템을 조합하여 TPO에 적합한 의상 세트 코디를 원하는 방식의 두 가지 요청이 가능하다.

다음에, (예를 들어 의류아이템 매칭 모듈(30)의 의류아이템 매칭 선택기(303)는) 사용자 얼굴형/체형 코드와 TPO 코드(예를 들어, 도 1의 개인 프로파일(103) 내에 있는)를 기반으로 현재 코디 요청을 처리할 의류아이템 매칭수단(예를 들어 도 1의 의류아이템 매칭기(305))을 결정한다(504). 이 의류아이템 매칭수단 결정 과정은 반드시 이 단계에서 이루어져야 하는 것은 아니다. 매칭할 의상세트 조합이 생성될 때까지면 어느 단계에서 이루어져도 괜찮다. 다만, 본 실시예에서는 설명의 편의를 위해 사용자 코디 요청(502)의 다음 단계에서 바로 이러한 의류아이템 매칭수단을 결정 과정(504)이 진행되도록 하였다.

한편, 사용자가 코디 요청을 한 후 또는 요청시에 신규 의류아이템 영상을 입력하는지 판단하는 단계(506)가 포함될 수 있다. 만일 신규 의류아이템 영상 입력이 있을 경우에 상기 사용자 코디 요청(502)은 신규 의류아이템을 포함한 코디 요청으로 처리하고, 그렇지 않을 경우에는 신규 의류아이템을 포함하지 않는 코디 요청으로 처리한다.

구체적으로, 신규 의류아이템 영상이 입력되지 않는 요청의 경우에는, (예를 들어 TPO 적합 의상세트 조합 생성기(301)가) 사용자가 보유하고 있는 의류아이템만을 조합하여 TPO에 적합한 의상세트 조합을 생성한다(508). 반면, 신규 의류아이템 영상이 입력된 요청의 경우에는, 먼저 (예를 들어, 신규 의류아이템 영상을 의류아이템 특징 검출기(201)에 입력하여) 신규 의류아이템의 종류 및 특징벡터를 추출한다(510). 그 다음 (예를 들어, TPO 적합 의상세트 조합 생성기(301)는) 신규 의류아이템을 중심으로 사용자가 보유하고 있는 다른 종류의 의류아이템들을 조합하여 TPO에 적합한 의상세트 조합을 생성한다(512). 이때, 신규 의류아이템과 동일한 종류의 보유 의류아이템이 있다면, 이 보유 의류아이템은 의상세트 조합 구성에서 제외된다.

상기 결정된 의류아이템 매칭수단(예를 들어, 도 1의 의류아이템 매칭기(305))은 상기 512에서 생성된 의상세트 조합을 전달받아 각각의 조합 구성 의류아이템들의 특징벡터를 읽어와서(예를 들어, 사용자 의류아이템 데이터베이스(203)에서 읽어 옴) 조합 구성의 적절함 정도를 나타내는 매칭 점수를 계산한다(514).

이렇게 계산된 각 의상세트 조합에 대한 매칭 점수를 비교하여, 최대 매칭 점수를 기록한 의상 세트를 코디 결과로 추천한다(516). 이때에는 매칭 점수를 참고로 제시할 수 있다. 이렇게 코디된 의상 세트 추천이 이루어지면 코디 요청에 대한 처리가 종료된다.

사용자에게 좀 더 많은 정보를 제공하기 위해 매칭 점수가 높은 상위 의류 세트 조합들을 복수로 제시하는 방법도 채용할 수 있을 것이다. 또한 보유하고 있는 의류아이템에 대해서 이후 동일 TPO의 코디 요청에 활용하기 위해 매칭 점수와 추천 결과 등의 정보를 별도로 저장, 관리할 수 있다.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.

얼굴형/체형 코드(105, 107), 의류아이템의 종류 및 특징벡터(205), TPO별 필요 의상 유형(207), 의류아이템들의 특징벡터(209), 의류아이템 매칭기 선택 코드(309), TPO 코드(311), 가장 높은 매칭 점수를 기록한 의상 세트(313)

Claims

사용자가 제공한 사용자 영상을 처리하여 사용자의 얼굴형/체형 정보를 추출하는 사용자 영상 처리 모듈,
사용자가 제공한 의류아이템 영상을 처리하여 사용자 의류아이템의 종류와 특징벡터값을 추출하는 사용자 의류아이템 영상 처리 모듈,
상기 사용자 의류아이템 영상 처리 모듈에서 추출된 사용자 의류아이템들의 종류 및 특징벡터 값을 기반으로, 사용자가 제공한 TPO 정보와 상기 사용자 영상 처리 모듈에서 추출된 상기 얼굴형/체형 정보에 매칭되는 의상세트를 선택하는 의류아이템 매칭 모듈을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 영상 처리 모듈은
사용자가 입력한 사용자 영상을 수신하고 이 입력된 사용자 영상을 분석하여 사용자의 적어도 얼굴형/체형을 표현하는 코드로 분류하여 이 얼굴형/체형 코드를 상기 얼굴형/체형 정보로서 출력하는 개인 신체 특징 검출기를 포함하는, 사용자 입력 영상 기반 지능형 의상코디 장치.
제2항에서, 상기 사용자 영상 처리 모듈은
상기 얼굴형/체형 정보를 저장하는 개인 프로파일을 추가로 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 의류아이템 영상 처리 모듈은
사용자가 입력한 의류아이템 영상을 수신하여 이 입력된 영상으로부터 사용자 의류아이템의 종류 및 특징벡터 정보를 추출하는 의류아이템 특징 검출기를 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제4항에서, 상기 사용자 의류아이템 영상 처리 모듈은
상기 의류아이템의 종류 및 특징벡터 정보를 저장하는 사용자 의류아이템 데이터베이스를 추가로 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 영상 처리 모듈의 상기 얼굴형/체형 정보를 저장하는 개인 프로파일을 추가로 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 의류아이템 영상 처리 모듈의 상기 의류아이템의 종류 및 특징벡터 정보를 저장하는 사용자 의류아이템 데이터베이스를 추가로 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 의류아이템 매칭 모듈은
사용자가 입력한 TPO 정보를 수신하여 상기 사용자 의류아이템들을 TPO별 필요 의류아이템 종류를 참조하여 상기 수신한 TPO 정보에 적합한 의상 세트를 생성하는 TPO 적합 의상세트 조합 생성기,
상기 사용자 얼굴형/체형 정보와 상기 TPO 정보를 기반으로 의상 조합들의 매칭 점수를 추출하되, 상기 사용자 의류아이템들의 특징벡터들을 읽어서 의상 세트 구성의 적절함 정도를 나타내는 매칭 점수를 추출하는 의류아이템 매칭기를 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제8항에서, 상기 의류아이템 매칭기는
TPO별 및 얼굴형/체형별로 적합한 의상 종류의 조합에 해당되는 의류아이템들의 특징벡터를 처리하는 다수의 처리기와,
이들 처리기 중 최적의 처리기를 결정하여 선택하는 의류 아이템 매칭 선택기를 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 의류아이템 영상 처리 모듈에 입력되는 사용자 의류아이템 영상은 사용자가 보유하고 있는 의류아이템의 영상을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 의류아이템 영상 처리 모듈에 입력되는 사용자 의류아이템 영상은 신규 의류아이템의 영상을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제11항에서, 상기 신규 의류아이템의 영상은 쇼핑몰에 게시된 영상의 위치를 이용하여 상기 사용자 의류아이템 영상 처리 모듈에 입력되는, 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 사용자 영상 처리 모듈 및 사용자 의류아이템 영상 처리 모듈은
상기 개인 신체 특징 및 의류아이템 특징의 학습을 위한 학습용 데이터에 의해 학습한 후에 상기 개인 신체 특징 및 의류아이템 특징을 추출하는 신경망을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
제1항에서, 상기 의류아이템 매칭 모듈은
전문가들에 의해 부여된 매칭 점수를 학습용 데이터로 사용하여 학습한 후에 의류아이템 매칭 점수를 산출하는 신경망을 포함하는 사용자 입력 영상 기반 지능형 의상코디 장치.
1) 사용자가 제공한 사용자 영상을 처리하여 사용자의 얼굴형/체형 정보를 추출하는 단계,
2) 사용자가 제공한 의류아이템 영상을 처리하여 사용자 의류아이템의 종류와 특징벡터값을 추출하는 단계,
3) 상기 단계 2)에서 추출된 사용자 의류아이템들의 종류 및 특징벡터 값을 기반으로, 사용자가 제공한 TPO 정보와 상기 사용자 영상 처리 모듈에서 추출된 상기 얼굴형/체형 정보에 매칭되는 의상세트를 선택하는 단계를 포함하는 사용자 입력 영상 기반 지능형 의상코디 방법.
제15항에서, 상기 단계 3)은
사용자가 입력한 TPO 정보를 수신하여 상기 사용자 의류아이템들을 TPO별 필요 의류아이템 종류를 참조하여 상기 수신한 TPO 정보에 적합한 의상 세트를 생성하는 단계,
의류아이템들의 특징벡터들을 읽어서 의상 세트 구성의 적절함 정도를 나타내는 매칭 점수를 추출하는 단계,
상기 사용자 얼굴형/체형 정보와 상기 TPO 정보를 기반으로 의상 조합들의 매칭 점수를 추출하되, 상기 사용자 의류아이템들의 특징벡터들을 읽어서 의상 세트 구성의 적절함 정도를 나타내는 매칭 점수를 추출하는 단계를 포함하는 사용자 입력 영상 기반 지능형 의상코디 방법.
제15항에서, 상기 사용자 의류아이템 영상은 사용자가 보유하고 있는 의류아이템의 영상을 포함하는 사용자 입력 영상 기반 지능형 의상코디 방법.
제15항에서, 상기 사용자 의류아이템 영상 처리 모듈에 입력되는 사용자 의류아이템 영상은 신규 의류아이템의 영상을 포함하는 사용자 입력 영상 기반 지능형 의상코디 방법.
제18항에서, 상기 신규 의류아이템의 영상은 쇼핑몰에 게시된 영상의 위치를 이용하여 상기 사용자 의류아이템 영상 처리 모듈에 입력되는, 사용자 입력 영상 기반 지능형 의상코디 방법.