KR20120046653A - 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법 - Google Patents

얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법 Download PDF

Info

Publication number
KR20120046653A
KR20120046653A KR1020100108442A KR20100108442A KR20120046653A KR 20120046653 A KR20120046653 A KR 20120046653A KR 1020100108442 A KR1020100108442 A KR 1020100108442A KR 20100108442 A KR20100108442 A KR 20100108442A KR 20120046653 A KR20120046653 A KR 20120046653A
Authority
KR
South Korea
Prior art keywords
style
product
information
recommendation
face
Prior art date
Application number
KR1020100108442A
Other languages
English (en)
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100108442A priority Critical patent/KR20120046653A/ko
Priority to PCT/KR2011/005210 priority patent/WO2012060537A2/ko
Priority to US13/813,003 priority patent/US20130129210A1/en
Publication of KR20120046653A publication Critical patent/KR20120046653A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보로부터 얼굴 특성을 인식한 후, 인식된 얼굴 특성과 매칭되는 추천 상품 정보를 미리 템플릿화된 특성별 추천 상품 정보 중에서 검색하여 추천함으로써, 사용자 얼굴에 가장 적합하게 매칭되는 상품 스타일을 신속/용이하게 추천해 줄 수 있다.

Description

얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법{SYSTEM AND METHOD FOR RECOMMENDING HAIR BASED ON FACE AND STYLE RECOGNITION}
본 발명은 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보 및 스타일 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식한 후, 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 미리 템플릿화된 특성별 추천 상품 정보 중에서 검색하여 추천함으로써, 사용자 얼굴 및 스타일에 가장 적합하게 매칭되는 추천 상품 정보를 신속/용이하게 추천해 줄 수 있는, 얼굴 및 스타일 인식 기반의 상품 추천 시스템 그 방법에 관한 것이다.
휴대 전화의 보급의 급증과 함께 다양한 휴대 단말의 기능이 탑재되어 시판되고 있다. 일반적인 휴대 단말의 사용은 상대방과의 전화를 하는 것뿐만 아니라 다양한 부가적인 기능을 사용자에게 제공하여 편리함을 추구하고 있다.
예를 들어, 사용자는 휴대 전화를 휴대하면서 음성 통신을 수행할 뿐만 아니라, 무선 인터넷(Wireless Internet) 기술을 이용하여 무선으로 인터넷에 접속하여 문자, 이미지, 음성 또는 동영상 등의 멀티미디어 데이터 서비스를 제공받고 있다. 휴대 전화에서 제공하는 부가적인 기능으로는 음악 플레이어, 단문 메시지 서비스, 무선 메신저, 모바일 뱅킹, 사용자 인증을 위한 지문인식, 카메라 기능 등이 있다.
점차, 휴대 전화는 이와 같은 멀티미디어 서비스를 이용하기 위해 포함되는 카메라를 통해 초기의 음성 통화 위주의 휴대 전화에서 벗어나 미디어 재생기, 카메라 및 캠코더 등 다양한 기능을 구비한 스마트폰으로 진화하고 있다. 이와 같은 캠코더 기능을 이용해 촬영된 동영상은 다른 단말기로 전송되기도 한다.
특히, 스마트폰의 열풍과 함께 스마트폰에서도 얼굴 인식 기술이 탑재되고 있다. 얼굴 인식 기술을 이용한 응용 기술 등이 널리 확산될 것으로 예측되고 있다. 얼굴 인식 기술은 바이오 인식 기술의 한 종류로서, 접촉식의 홍채와 지문 인식과는 달리 비 접촉성의 사용자 편의성을 제공하는 인식 기술로 다양한 디바이스에 적용되고 있다.
한편, 사용자가 자신에게 어울리는 상품 정보(예컨대, 의류, 악세사리, 신발 등)를 매장을 방문하기 전에 미리 해당 제품의 쇼핑몰 사이트에서 사이즈나 색상 등을 파악해서 자신에게 맞는 제품인지를 확인한다. 또한, 해당 상품의 사이즈나 색상 등을 가상적으로 경험할 수 있는 가상 체험 서비스 등도 개발되고 있다. 이러한 종래의 가상 체험 서비스는 사용자가 선택한 옷이나 상품에 대한 가상의 이미지를 실제 영상에 삽입하고, 가상 이미지가 삽입된 실제 영상을 사용자에게 제공할 수 있다. 이를 통해 여러 가지의 옷들을 사용자가 비교해 볼 수 있다. 이는 사용자의 시간을 절약할 수 있다는 점이 특징이다.
이러한 종래의 쇼핑몰 사이트나 가상 체험 서비스는 사용자가 수많은 스타일의 상품을 하나씩 선택하여 자신의 사이즈 또는 기호와 맞는지 살펴볼 수 있지만, 너무나 많은 스타일을 하나씩 고르기 때문에 자신에게 적합한 상품 정보를 찾는 시간이나 노력 등이 많이 소요된다. 이러한 쇼핑몰 사이트가 점차 많아지고 있고 비교해 볼 수 있는 상품 정보들이 증가하고 있으므로, 사용자가 더욱더 자신에게 적합한 상품 정보를 찾기 곤란한 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보 및 스타일 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식한 후, 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 미리 템플릿화된 특성별 추천 상품 정보 중에서 검색하여 추천함으로써, 사용자 얼굴 및 스타일에 가장 적합하게 매칭되는 추천 상품 정보를 신속/용이하게 추천해 줄 수 있는, 얼굴 및 스타일 인식 기반의 상품 추천 시스템 그 방법을 제공하는 것을 목적으로 한다.
이를 위하여, 본 발명의 제1 측면에 따른 장치는, 사용자 영상을 통신망을 통해 전송하거나, 상기 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하여 통신망을 통해 전송하는 사용자 단말; 및 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 템플릿화하여 추천 상품 테이블을 생성하고, 상기 사용자 단말로부터 전송된 사용자 영상 또는 얼굴 특징 정보 및 스타일 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식하고, 상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 상기 생성된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천 장치를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제2 측면에 따른 장치는, 사용자 단말로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부; 상기 전송된 사용자 영상에서 스타일 특징 정보를 추출하고 상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식부; 및 상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제3 측면에 따른 장치는, 사용자 단말로부터 전송된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부; 상기 사용자 단말로부터 전송된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식부; 및 상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천부를 포함하는 것을 특징으로 한다.
수집된 특성 및 스타일 특성과 매칭된 추천 상품 정보를 분류하고, 상기 분류 결과에 따라 특성별 추천 상품 정보를 템플릿화하여 상기 추천 상품 테이블을 생성하는 추천 상품 템플릿화부를 더 포함하는 것을 특징으로 한다.
상기 얼굴 특징 정보 및 상기 인식된 얼굴 특성을 저장하는 얼굴 DB; 상기 스타일 특징 정보 및 상기 인식된 스타일 특성을 저장하는 스타일 DB: 및 상기 인식된 얼굴 특성 및 스타일 특성과 매칭된 추천 상품 정보 및 추천 상품 테이블을 저장하는 상품 DB를 더 포함하는 것을 특징으로 한다.
상기 얼굴 인식부는, 상기 추출된 얼굴 특징 정보의 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보, 이마 넓이 중 적어도 하나의 얼굴 특징 정보로부터 상기 사용자의 성별 및 연령대를 상기 특성으로 인식하는 것을 특징으로 한다.
상기 스타일 인식부는, 상기 추출된 스타일 특징 정보의 의류 패턴 정보, 색상 정보, 계절 정보 및 날씨 정보 중 적어도 하나의 스타일 특징 정보로부터 상기 사용자의 스타일 특성을 인식하는 것을 특징으로 한다.
상기 상품 추천부는, 상기 사용자 단말에 의해 상기 인식된 스타일 특성이 변경되거나 스타일 특성이 추가되는 경우, 상기 변경되거나 추가된 스타일 특성과 매칭되는 추천 상품 정보를 재검색하여 상기 사용자 단말로 전송하는 것을 특징으로 한다.
상기 상품 추천부는, 상기 검색된 추천 상품 정보가 복수인 경우, 상기 검색된 복수의 추천 상품 정보를 상기 인식된 특성 및 스타일 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 것을 특징으로 한다.
한편, 본 발명의 제4 측면에 따른 장치는, 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보가 템플릿화된 추천 상품 테이블을 저장하는 메모리; 사용자를 촬영하고, 상기 촬영된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식기; 상기 촬영된 사용자 영상에서 스타일 특징 정보를 추출하고 상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식기; 및 상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 상기 저장된 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 사용자에게 제공하는 상품 추천기를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제5 측면에 따른 방법은, 사용자 단말로부터 전성된 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하는 정보 추출 단계; 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식 단계; 및 상기 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제6 측면에 따른 방법은, 사용자 단말로부터 얼굴 특징 정보 및 스타일 특징 정보를 수신하는 정보 수신 단계; 상기 수신된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 상기 수신된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식 단계; 및 상기 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천 단계를 포함하는 것을 특징으로 한다.
수집된 특성 및 스타일 특성과 매칭된 추천 상품 정보를 분류하고, 상기 분류 결과에 따라 특성별 추천 상품 정보를 템플릿화하여 상기 추천 상품 테이블을 생성하는 추천 상품 템플릿화 단계를 더 포함하는 것을 특징으로 한다.
상기 얼굴 인식 단계는, 상기 추출된 얼굴 특징 정보의 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보, 이마 넓이 중 적어도 하나로부터 상기 사용자의 성별 및 연령대를 상기 얼굴 특성으로 인식하는 것을 특징으로 한다.
상기 스타일 인식 단계는, 상기 추출된 스타일 특징 정보의 의류 패턴 정보, 색상 정보, 계절 정보 및 날씨 정보 중 적어도 하나의 스타일 특징 정보로부터 상기 사용자의 스타일 특성을 인식하는 것을 특징으로 한다.
상기 상품 추천 단계는, 상기 사용자 단말에 의해 상기 인식된 스타일 특성이 변경되거나 스타일 특성이 추가되는 경우, 상기 변경되거나 추가된 스타일 특성과 매칭되는 추천 상품 정보를 재검색하여 상기 사용자 단말로 전송하는 것을 특징으로 한다.
상기 상품 추천 단계는, 상기 검색된 추천 상품 정보가 복수인 경우, 상기 검색된 복수의 추천 상품 정보를 상기 인식된 특성 및 스타일 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 것을 특징으로 한다.
한편, 본 발명에 따른 제7 측면에 따른 방법은, 사용자를 촬영하고 상기 촬영된 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하는 정보 추출 단계; 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식 단계; 및 상기 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 사용자에게 제공하는 상품 추천 단계를 포함하는 것을 특징으로 한다.
본 발명은, 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보 및 스타일 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식한 후, 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 미리 템플릿화된 특성별 추천 상품 정보 중에서 검색하여 추천함으로써, 사용자 얼굴 및 스타일에 가장 적합하게 매칭되는 추천 상품 정보를 신속/용이하게 추천해 줄 수 있는 효과가 있다.
또한, 본 발명은 사용자 영상을 통해 추천된 상품 추천 결과를 새로운 특성별 추천 상품 정보로 템플릿화함으로써, 추천 상품 정보에 대한 데이터베이스틀 용이하게 구축할 수 있으며, 다른 사용자의 상품 추천 결과를 토대로 더욱더 정확한 추천 상품 정보를 추천해 줄 수 있는 효과가 있다.
또한, 본 발명은 사용자 영상에서 추출된 얼굴 특징점 정보뿐만 아니라 상품 추천과 관련 있는 스타일 정보와 사용자의 상품 스타일 선호도 등을 상품 추천 과정에 반영함으로써, 사용자에게 더욱더 적합한 상품 스타일을 추천해 줄 수 있는 효과가 있다.
도 1 은 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 시스템의 일실시예 구성도,
도 2 는 본 발명에 따른 추천 상품 정보의 템플릿화 과정 및 상품 추천 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 상품 추천 장치에서의 얼굴 특성 및 스타일 특성 인식 과정에 일실시예 설명도,
도 4 는 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 방법에 대한 제1 실시예 흐름도,
도 5 는 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 방법에 대한 제2 실시예 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1 은 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 시스템의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 상품 추천 시스템(10)은 사용자 단말(101) 및 상품 추천 장치(100)를 포함한다. 여기서, 상품 추천 장치(100)는 추천 상품 템플릿화부(110), 얼굴 인식부(120), 스타일 인식부(130), 상품 추천부(140), 얼굴 DB(150), 스타일 DB(160) 및 상품 DB(170)를 포함한다.
이하, 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.
사용자 단말(101)은 사용자 영상을 통신망을 통해 전송하거나, 사용자 영상에서 얼굴 특징 정보(예컨대, 얼굴 특징점 정보, 피부 색상, 주름 정보, 입 모양, 눈 모양, 미간, 코 사이즈 및 이마 넓이 등) 및 스타일 특징 정보(예컨대, 색상 정보, 의류 패턴 정보, 계절 정보, 날씨 정보 및 시간 정보 등)를 추출하여 통신망을 통해 전송한다.
사용자 단말(101)의 제1 실시예로서, 사용자 단말(101)은 사용자 영상을 통신망을 통해 상품 추천 장치(100)로 전송한다. 사용자 단말(101)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정하는 것은 아니다. 사용자 단말(101)은 구비된 영상 촬영 모듈을 이용하여 사용자의 영상을 촬영하여 사용자 영상을 획득한다. 여기서, 영상 촬영 모듈은 컴퓨터 등의 외부 컨트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.
사용자 단말(101)의 제2 실시예로서, 사용자 단말(101)은 영상 촬영 모듈을 통해 획득한 실제 영상에서 사용자의 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 특징 정보를 추출한다. 또한, 사용자 단말(101)은 실제 영상에서 사용자의 얼굴 영역을 제외한 사용자 스타일 영역을 검출하고, 그 검출된 사용자 스타일 영역에서 스타일 특징 정보를 추출한다. 이어서, 사용자 단말(101)은 추출된 얼굴 특징 정보 및 스타일 특징 정보를 통신망을 통해 상품 추천 장치(100)로 전송한다. 여기서, 얼굴 특징 정보에는 눈, 코, 입, 윤곽 등의 얼굴 주요 부분에 대한 얼굴 특징점 정보, 이마의 길이 및 이마부터 머리까지의 머리 길이가 포함된다. 또한, 얼굴 특징 정보에는 피부 색상, 주름 정보, 입 모양, 눈 모양, 눈썹 모양, 미간, 코 모양, 등이 포함될 수 있다. 또한, 스타일 특징 정보에는 색상 정보, 의류 패턴 정보, 계절 정보, 날씨 정보, 실내/실외 정보 및 시간 정보 등이 포함될 수 있다. 사용자 단말(101)은 얼굴 영역 또는 사용자 스타일 영역을 검출하기에 전에 미리 설정된 얼굴 영역 사이즈에 맞게 실제 영상을 축소하거나 확대할 수 있다. 이러한 실제 영상의 축소 및 확대 과정은 사용자 단말(101)이 얼굴 영역을 정확하게 검출하고, 이후의 얼굴 특징점을 검출하는데 도움이 된다.
한편, 사용자 단말(101)의 제1 및 제2 실시예에 따른 상품 추천 장치(100)의 제1 및 제2 실시예를 살펴보기로 한다.
상품 추천 장치(100)의 제1 실시예로서, 상품 추천 장치(100)는 미리 수집되거나 시뮬레이션된 얼굴 특징 정보와 해당 추천 상품 정보를 통해 특성별 추천 상품 정보를 템플릿화하여 추천 상품 테이블을 생성한다. 그리고 상품 추천 장치(100)는 사용자 단말(101)로부터 사용자 영상을 수신하고, 그 수신된 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출한다. 이어서, 상품 추천 장치(100)는 추출된 얼굴 특징 정보 및 스타일 특징 정보를 이용하여 얼굴 특성 및 스타일 특성을 인식한다.
상품 추천 장치(100)의 제2 실시예로서, 사용자 단말(101)로부터 사용자 영상이 아닌 얼굴 특징 정보 및 스타일 특징 정보를 수신하고, 그 수신된 얼굴 특징 정보 및 스타일 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식한다.
이후, 제1 및 제2 실시예의 상품 추천 장치(100)는 인식된 얼굴 특성 및 스타일 특성과 매칭되는 특성에 대한 추천 상품 정보를 생성된 추천 상품 테이블 중에서 검색한다. 그리고 상품 추천 장치(100)는 검색된 추천 상품 정보를 사용자 단말(101)로 전송한다.
한편, 상품 추천 장치(100)의 구성요소 각각에 대하여 살펴보기로 한다.
추천 상품 템플릿화부(110)는 미리 수집되거나 시뮬레이션된 얼굴 특징 정보 및 스타일 특징 정보와 해당 추천 상품 정보를 분석하여 특성별 추천 상품 정보를 템플릿화하여 추천 상품 테이블을 생성한다. 추천 상품 템플릿화부(110)는 템플릿화된 특성별 추천 상품 정보를 상품 DB(170)에 저장한다. 상품 추천이 완료된 후, 추천 상품 템플릿화부(110)는 인식된 얼굴 특성 및 스타일 특징 정보과 상품 추천부(140)에서 검색된 추천 상품 정보를 매칭시킨다. 그리고 추천 상품 템플릿화부(110)는 그 매칭 결과를 새로운 특성별 추천 상품 정보로 템플릿화하여 상품 DB(170)에 저장한다. 이를 통해 새로운 추천 상품 정보가 템플릿화되어 상품 DB(170)에 저장될 수 있다.
얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다. 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징점 정보, 피부 색상, 주름 정보, 코 사이즈, 이마 넓이 등이 포함된 얼굴 특징 정보를 추출한다. 얼굴 인식부(120)는 추출된 얼굴 특징점 정보, 피부 색상, 주름 정보, 코 사이즈, 이마 넓이 등이 포함된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다. 예를 들어, 얼굴 인식부(120)는 사용자의 성별 및 연령대를 남성/여성 및 10대, 20대, 40대 등으로 구분하여 인식할 수 있다. 얼굴 인식부(120)는 얼굴 DB(150)에 저장된 얼굴 특징 정보와 얼굴 특성 간의 매칭 결과를 이용하여 얼굴 특성을 인식한다. 여기서, 얼굴 특성에는 상품 스타일 추천을 위한 성별 및 연령이 포함될 수 있으며, 전체적인 얼굴 특성들이 더 포함되어 있다. 얼굴 인식부(120)는 사용자 영상에서 추출된 얼굴 특징 정보와 인식된 얼굴 특성을 얼굴 DB(150)에 저장한다.
스타일 인식부(130)는 사용자 단말(101)로부터 전송된 사용자 영상에서 스타일 특징 정보를 추출하고, 그 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식한다. 스타일 인식부(130)는 사용자 단말(101)로부터 전송된 사용자 영상에서 색상 정보, 의류 패턴 정보, 계절 정보, 날씨 정보, 실내/실외 정보 및 시간 정보 등이 포함된 스타일 특징 정보를 추출한다. 즉, 스타일 인식부(130)는 추출된 색상 정보, 의류 패턴 정보, 계절 정보, 날씨 정보, 실내/실외 정보 및 시간 정보 등이 포함된 스타일 특징 정보를 이용하여 스타일 특성을 인식한다. 예를 들어, 스타일 인식부(130)는 베이지 색상, 정장 스타일, 여름, 맑음, 실외 및 오후 시간대 등으로 구분하여 스타일 특징 정보로부터 시원한 정장 스타일을 인식할 수 있다. 스타일 인식부(130)는 얼굴 DB(150)에 저장된 스타일 특징 정보와 스타일 특성 간의 매칭 결과를 이용하여 스타일 특성을 인식한다. 여기서, 스타일 특성에는 상품 스타일 추천을 위한 색상 정보, 의류 패턴 정보, 계절 정보, 날씨 정보, 실내/실외 정보 및 시간 정보가 포함될 수 있다. 스타일 인식부(130)는 사용자 영상에서 추출된 스타일 특징 정보와 인식된 스타일 특성을 스타일 DB(160)에 저장한다.
상품 추천부(140)는 얼굴 인식부(120)에서 인식된 얼굴 및 스타일 특성과 매칭되는 특성에 대한 추천 상품 정보를 추천 상품 테이블 중에서 검색한다. 상품 추천부(140)는 사용자 단말(101)로부터 상품 스타일 선호도를 수신하고, 그 수신된 상품 스타일 선호도 및 얼굴 및 스타일 특성과 매칭되는 추천 상품 정보를 검색할 수 있다. 상품 추천부(140)는 그 검색된 추천 상품 정보를 사용자 단말(101)로 전송한다. 상품 추천부(140)는 검색된 추천 상품 정보가 복수인 경우, 그 검색된 복수의 추천 상품 정보를 특성과의 매칭 비율에 따라 우선 순위를 구분하여 사용자 단말(101)로 전송할 수 있다. 예를 들어, 매칭 비율이 특정 비율이상인 상품 스타일이 복수인 경우, 상품 추천부(140)는 추천 상품 정보별로 매칭 비율을 각각 표시하여 전송할 수 있다.
한편, 사용자 단말(101)의 제3 실시예로서, 사용자 단말(101)은 실제 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하고 그 추출된 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식하여 그 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 검색하는 일련의 과정을 스스로 수행할 수 있다.
이를 위해 사용자 단말(101)은 메모리, 얼굴 인식기, 스타일 인식기 및 상품 추천기를 포함한다.
메모리는 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보가 템플릿화된 추천 상품 테이블을 저장한다.
그리고 얼굴 인식기는 촬영 모듈을 구비하여 사용자를 촬영하고, 촬영된 사용자 영상에서 얼굴 특징 정보를 추출한다. 그리고 얼굴 인식기는 그 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다.
그리고 스타일 인식기는 촬영된 사용자 영상에서 스타일 특징 정보를 추출하고 그 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식한다.
이후, 상품 추천기는 얼굴 인식기 및 스타일 인식기에서 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 메모리에 저장된 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 사용자에게 제공할 수 있다.
도 2 는 본 발명에 따른 추천 상품 정보의 템플릿화 과정 및 상품 추천 과정에 대한 일실시예 설명도이다.
도 2에 도시된 바와 같이, 상품 추천 장치(100)에서의 상품 추천 과정은 크게 얼굴 인식 과정(210), 스타일 인식 과정(220), 특성별 추천 상품 정보의 템플릿화 과정(230) 및 추천 상품 검색 과정(240)을 포함한다.
추천 상품의 템플릿화를 위하여, 상품 추천 장치(100)는 얼굴 인식 과정(210), 스타일 인식 과정(220) 및 특성별 추천 상품 정보의 템플릿화 과정(230)을 수행한다.
얼굴 인식 과정(210) 및 스타일 인식 과정(220)을 위하여, 상품 추천 장치(100)는 사용자 단말(101)로부터 전송된 사용자 영상(201)에서 얼굴 영역(202)을 검출하고, 그 검출된 얼굴 영역(202)에서 얼굴 특징 정보를 추출한다. 이어서, 상품 추천 장치(100)는 그 추출된 얼굴 특징 정보로부터 성별 및 연령대를 인식할 수 있다. 그리고 상품 추천 장치(100)는 사용자 영상(201)에서 얼굴 영역(202)을 제외한 영역에서 스타일 특징 정보를 추출하고, 그 추출된 스타일 특징 정보로부터 사용자의 스타일 특성을 인식할 수 있다. 얼굴 특징 정보 및 얼굴 특성과, 스타일 특징 정보 및 스타일 특성은 각각 얼굴 DB(150)와 스타일 DB(160)에 저장된다.
특성별 추천 상품 정보의 템플릿화 과정(230)을 위하여, 상품 추천 장치(100)는 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 이용하여 추천 상품 테이블을 생성하여 상품 DB(170)에 저장한다.
특성별 추천 상품 정보의 템플릿화 과정(230) 후에, 상품 추천 장치(100)는 입력된 새로운 사용자 영상(203) 및 얼굴 영역(204)을 이용해 얼굴 인식 과정(210) 및 스타일 인식 과정(220)을 수행하여 얼굴 특성 및 스타일 특성을 인식한다.
이후, 추천 상품 정보의 검색 과정(240)을 위하여, 상품 추천 장치(100)는 인식된 얼굴 특성 및 스타일 특성을 기초로 하여 추천 상품 정보를 추천 상품 테이블에서 검색한다. 상품 추천 장치(100)는 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 상품 DB(170)에 저장된 추천 상품 테이블에 포함된 상품 1, 2 및 3 중에서 검색할 수 있다. 또한, 상품 추천 장치(100)는 추천 상품 정보를 외부의 상품 검색 쇼핑몰에 요청하여 추천 상품 정보를 제공받을 수 있다. 여기서, 사용자 단말(101)은 사용자로부터 상품 스타일 선호도를 입력받아 상품 추천 장치(100)로 전송하여 상품 추천을 요청할 수 있다. 추천 상품 정보의 검색 과정(240)에 개인 고객의 구매 형태가 반영될 수 있다.
도 3 은 본 발명에 따른 상품 추천 장치에서의 얼굴 특성 및 스타일 특성 인식 과정에 일실시예 설명도이다.
새로운 사용자 영상(203)이 입력된 경우, 얼굴 인식부(120)는 얼굴 인식 과정(210)을 통해 성별(남성, 여성)을 분석하고 연령대를 분석할 수 있다. 도 3에 도시된 바와 같이, 얼굴 인식부(120)는 사용자 영상(203)에서 복수의 사용자마다 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보로부터 각 사용자의 성별 및 연령대를 분석할 수 있다. 그 결과, 얼굴 인식부(120)는 남성이며 1~10살인 사용자, 여성이며 31~40살인 사용자, 여성이고 11~20살인 사용자 등으로 각 사용자의 성별 및 연령대를 인식할 수 있다.
또한, 스타일 인식부(130)는 사용자 영상(203)에서 얼굴 영역(204)을 제외한 영역에서 각 사용자의 스타일 특징 정보를 추출할 수 있으며, 그로 인해 스타일 특성을 인식할 수 있다. 도 3에 도시된 바와 같이, 스타일 인식부(130)는 남성이며 1~10살인 사용자에 대해서, 색상은 하늘색이고, 의류 패턴은 티셔츠이고, 계절은 가을이고, 날씨는 맑으며 오후 2시인 스타일 특징 정보를 추출할 수 있고, 그 추출된 스타일 특징 정보로부터 1~10살인 사용자에 대한 스타일 특성을 추출할 수 있다.
도 4 는 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 방법에 대한 제1 실시예 흐름도이다.
추천 상품 템플릿화부(110)는 얼굴 특징 정보 및 스타일 특징 정보와 해당 추천 상품 정보를 분석하고 특성별 추천 상품 정보를 템플릿화하여 추천 상품 테이블을 생성한다(S402). 여기서, 얼굴 특징 정보 및 스타일 특징 정보와 해당 추천 상품 정보는 템플릿화되어 추천 상품 테이블로 생성되어 상품 DB(170)에 저장된다.
그리고 얼굴 인식부(120) 및 스타일 인식부(130)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 각각 추출한다(S404). 예를 들어, 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징점 정보, 피부 색상, 주름 정보 등이 포함된 얼굴 특징 정보를 추출한다. 또한, 스타일 인식부(130)는 사용자 영상에서 색상 정보, 의류 패턴 정보, 계절 정보, 날씨 정보 등이 포함된 스타일 특징 정보를 추출한다.
이어서, 얼굴 인식부(120)는 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다(S406). 얼굴 인식부(120)는 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 스타일 특성을 인식한다. 얼굴 인식부(120)는 추출된 얼굴 특징 정보로부터 성별 및 연령대를 인식할 수 있다.
또한, 스타일 인식부(130)는 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식한다(S408). 스타일 인식부(130)는 추출된 색상 정보, 의류 패턴 정보, 계절 정보 및 날씨 정보 등을 통해 스타일 특성을 인식할 수 있다.
이후, 상품 추천부(140)는 얼굴 인식부(120) 및 스타일 인식부(130)에서 인식된 얼굴 특성 및 스타일 특성과 매칭되는 특성에 대한 추천 상품 정보를, "S402" 과정에서 생성된 특성별 추천 상품 테이블 중에서 검색한다(S410). 여기서, 상품 추천부(140)는 사용자 단말(101)로부터 상품 스타일 선호도를 수신하고, 그 수신된 상품 스타일 선호도 및 특성과 매칭되는 추천 상품 정보를 검색할 수 있다. 또한, 상품 추천부(140)는 검색된 추천 상품 정보가 복수인 경우, 그 검색된 복수의 추천 상품 정보를 특성과의 매칭 비율에 따라 우선 순위를 구분할 수 있다.
그리고 상품 추천부(140)는 검색된 추천 상품 정보를 사용자 단말(101)로 전송한다(S412).
상품 추천이 완료된 후, 추천 상품 템플릿화부(110)는 얼굴 인식부(120) 및 스타일 특성부(130)에서 인식된 특성과 상품 추천부(140)에서 검색된 추천 상품 정보를 매칭시키고, 그 매칭 결과를 새로운 특성별 추천 상품 정보로 템플릿화할 수 있다.
도 5 는 본 발명에 따른 얼굴 및 스타일 인식 기반의 상품 추천 방법에 대한 제2 실시예 흐름도이다.
추천 상품 템플릿화부(110)는 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 분석하여 특성별 추천 상품 정보를 템플릿화한다(S502). 여기서, 얼굴 특징 정보 및 스타일 특징 정보와 매칭되는 추천 상품 정보는 미리 수집되거나 시뮬레이션되어 상품 DB(170)에 저장된 정보일 수 있다.
사용자 단말(101)은 영상 촬영 모듈을 통해 촬영된 사용자 영상에서 얼굴 특징점 정보, 피부 색상, 주름 정보 등이 포함된 얼굴 특징 정보를 추출하여 상품 추천 장치(100)로 전송한다. 또한, 사용자 단말(101)은 사용자 영상에서 색상 정보, 의류 패턴 정보, 계절 정보 등이 포함된 스타일 특징 정보를 추출하여 상품 추천 장치(100)로 전송한다.
이후, 얼굴 인식부(120)는 사용자 단말(101)에서 추출된 얼굴 특징 정보 및 스타일 특징 정보를 수신한다(S504).
그리고 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 얼굴 특징 정보를 이용하여 얼굴 특성 및 스타일 특성을 인식한다(S506). 얼굴 인식부(120)는 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 얼굴 특성을 인식한다. 얼굴 인식부(120)는 사용자의 성별 및 연령대를 구분하여 인식할 수 있다.
또한, 얼굴 인식부(130)는 사용자 단말(101)로부터 전송된 스타일 특징 정보를 이용하여 스타일 특성을 인식한다(S508). 스타일 인식부(130)는 색상 정보, 의류 패턴 정보, 계절 정보 등이 포함된 스타일 특징 정보로부터 스타일 특성을 인식한다(S508).
이후, 상품 추천부(140)는 얼굴 인식부(120)에서 인식된 얼굴 특성 및 스타일 인식부(130)에서 인식된 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색한다(S510).
그리고 상품 추천부(140)는 검색된 추천 상품 정보를 사용자 단말(101)로 전송한다(S512).
상품 추천이 완료된 후, 추천 상품 템플릿화부(110)는 얼굴 특성 및 스타일 특성과 상품 추천부(140)에서 검색된 추천 상품 정보를 매칭시키고, 그 매칭 결과를 새로운 특성별 추천 상품 정보로 템플릿화할 수 있다.
한편, 사용자 단말(101)에서 통신망 없이 촬영된 사용자 영상과 매칭되는 상품을 추천하는 과정을 살펴보기로 한다. 즉, 사용자 단말(101)이 네트워크 기반의 서비스를 받지 않고 독립적으로 서비스를 수행하는 경우 사용자 단말(101)은 얼굴 인식기, 스타일 인식기, 상품 추천기를 구비하며, 외장 또는 내장 메모리에 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보가 템플릿화된 추천 상품 테이블을 미리 저장하고 있다.
사용자 단말(101)은 구비된 촬영 모듈을 통해 사용자를 촬영한다.
그리고 사용자 단말(101)은 촬영된 사용자 영상에서 얼굴 특징 정보를 추출한다. 그리고 사용자 단말(101)은 그 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다.
그리고 사용자 단말(101)는 촬영된 사용자 영상에서 스타일 특징 정보를 추출하고 그 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식한다.
이후, 사용자 단말(101)는 얼굴 인식기 및 스타일 인식기에서 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 메모리에 저장된 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 사용자에게 제공할 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명은, 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보 및 스타일 특징 정보로부터 특성 및 스타일 특성을 인식한 후, 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 미리 템플릿화된 특성별 추천 상품 정보 중에서 검색하여 추천함으로써, 사용자 얼굴 및 스타일에 가장 적합하게 매칭되는 추천 상품 정보를 신속/용이하게 추천해 줄 수 있다.
101: 사용자 단말 100: 상품 추천 장치
110: 추천 상품 템플릿화부 120: 얼굴 인식부
130: 스타일 인식부 140: 상품 추천부
150: 얼굴 DB 160: 스타일 DB
170: 상품 DB

Claims (18)

  1. 사용자 영상을 통신망을 통해 전송하거나, 상기 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하여 통신망을 통해 전송하는 사용자 단말; 및
    얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 템플릿화하여 추천 상품 테이블을 생성하고, 상기 사용자 단말로부터 전송된 사용자 영상 또는 얼굴 특징 정보 및 스타일 특징 정보로부터 얼굴 특성 및 스타일 특성을 인식하고, 상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 상기 생성된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천 장치
    를 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 시스템.
  2. 사용자 단말로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부;
    상기 전송된 사용자 영상에서 스타일 특징 정보를 추출하고 상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식부; 및
    상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천부
    를 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  3. 사용자 단말로부터 전송된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부;
    상기 사용자 단말로부터 전송된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식부; 및
    상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천부
    를 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    수집된 특성 및 스타일 특성과 매칭된 추천 상품 정보를 분류하고, 상기 분류 결과에 따라 특성별 추천 상품 정보를 템플릿화하여 상기 추천 상품 테이블을 생성하는 추천 상품 템플릿화부
    를 더 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  5. 제 4 항에 있어서,
    상기 얼굴 특징 정보 및 상기 인식된 얼굴 특성을 저장하는 얼굴 DB;
    상기 스타일 특징 정보 및 상기 인식된 스타일 특성을 저장하는 스타일 DB: 및
    상기 인식된 얼굴 특성 및 스타일 특성과 매칭된 추천 상품 정보 및 추천 상품 테이블을 저장하는 상품 DB
    를 더 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  6. 제 2 항 또는 제 3 항에 있어서,
    상기 얼굴 인식부는,
    상기 추출된 얼굴 특징 정보의 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보, 이마 넓이 중 적어도 하나로부터 상기 사용자의 성별 및 연령대를 상기 얼굴 특성으로 인식하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  7. 제 2 항 또는 제 3 항에 있어서,
    상기 스타일 인식부는,
    상기 추출된 스타일 특징 정보의 의류 패턴 정보, 색상 정보, 계절 정보 및 날씨 정보 중 적어도 하나로부터 상기 사용자의 스타일 특성을 인식하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  8. 제 2 항 또는 제 3 항에 있어서,
    상기 상품 추천부는,
    상기 사용자 단말에 의해 상기 인식된 스타일 특성이 변경되거나 스타일 특성이 추가되는 경우, 상기 변경되거나 추가된 스타일 특성과 매칭되는 추천 상품 정보를 재검색하여 상기 사용자 단말로 전송하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  9. 제 2 항 또는 제 3 항에 있어서,
    상기 상품 추천부는,
    상기 검색된 추천 상품 정보가 복수인 경우, 상기 검색된 복수의 추천 상품 정보를 상기 인식된 특성 및 스타일 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 얼굴 및 스타일 인식 기반의 상품 추천 장치.
  10. 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보가 템플릿화된 추천 상품 테이블을 저장하는 메모리;
    사용자를 촬영하고, 상기 촬영된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식기;
    상기 촬영된 사용자 영상에서 스타일 특징 정보를 추출하고 상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식기; 및
    상기 인식된 얼굴 특성 및 스타일 특성과 매칭되는 추천 상품 정보를 상기 저장된 얼굴 특성 및 스타일 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자에게 제공하는 상품 추천기
    을 포함하는 얼굴 및 스타일 인식 기반의 사용자 단말 장치.
  11. 사용자 단말로부터 전성된 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하는 정보 추출 단계;
    상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계;
    상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식 단계; 및
    상기 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천 단계
    를 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  12. 사용자 단말로부터 얼굴 특징 정보 및 스타일 특징 정보를 수신하는 정보 수신 단계;
    상기 수신된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계;
    상기 수신된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식 단계; 및
    상기 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자 단말로 전송하는 상품 추천 단계
    를 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    수집된 특성 및 스타일 특성과 매칭된 추천 상품 정보를 분류하고, 상기 분류 결과에 따라 특성별 추천 상품 정보를 템플릿화하여 상기 추천 상품 테이블을 생성하는 추천 상품 템플릿화 단계
    를 더 포함하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  14. 제 11 항 또는 제 12 항에 있어서,
    상기 얼굴 인식 단계는,
    상기 추출된 얼굴 특징 정보의 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보, 이마 넓이 중 적어도 하나로부터 상기 사용자의 성별 및 연령대를 상기 얼굴 특성으로 인식하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  15. 제 11 항 또는 제 12 항에 있어서,
    상기 스타일 인식 단계는,
    상기 추출된 스타일 특징 정보의 의류 패턴 정보, 색상 정보, 계절 정보 및 날씨 정보 중 적어도 하나로부터 상기 사용자의 스타일 특성을 인식하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  16. 제 11 항 또는 제 12 항에 있어서,
    상기 상품 추천 단계는,
    상기 사용자 단말에 의해 상기 인식된 스타일 특성이 변경되거나 스타일 특성이 추가되는 경우, 상기 변경되거나 추가된 스타일 특성과 매칭되는 추천 상품 정보를 재검색하여 상기 사용자 단말로 전송하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  17. 제 11 항 또는 제 12 항에 있어서,
    상기 상품 추천 단계는,
    상기 검색된 추천 상품 정보가 복수인 경우, 상기 검색된 복수의 추천 상품 정보를 상기 인식된 특성 및 스타일 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 얼굴 및 스타일 인식 기반의 상품 추천 방법.
  18. 사용자를 촬영하고 상기 촬영된 사용자 영상에서 얼굴 특징 정보 및 스타일 특징 정보를 추출하는 정보 추출 단계;
    상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계;
    상기 추출된 스타일 특징 정보를 이용하여 스타일 특성을 인식하는 스타일 인식 단계; 및
    상기 인식된 특성 및 스타일 특성과 매칭되는 추천 상품 정보를, 특성별 추천 상품 정보가 템플릿화된 추천 상품 테이블 중에서 검색하여 상기 사용자에게 제공하는 상품 추천 단계
    를 포함하는 사용자 단말에서의 얼굴 및 스타일 인식 기반의 상품 추천 방법.
KR1020100108442A 2010-11-02 2010-11-02 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법 KR20120046653A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100108442A KR20120046653A (ko) 2010-11-02 2010-11-02 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법
PCT/KR2011/005210 WO2012060537A2 (ko) 2010-11-02 2011-07-15 얼굴 및 스타일 인식 기반의 추천 시스템 및 그 방법
US13/813,003 US20130129210A1 (en) 2010-11-02 2011-07-15 Recommendation system based on the recognition of a face and style, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108442A KR20120046653A (ko) 2010-11-02 2010-11-02 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120046653A true KR20120046653A (ko) 2012-05-10

Family

ID=46265698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108442A KR20120046653A (ko) 2010-11-02 2010-11-02 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20120046653A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101468125B1 (ko) * 2012-08-31 2014-12-03 에스케이 텔레콤주식회사 사용자에게 맞춤 서비스를 제공하기 위한 사용자 맞춤 서비스 제공장치 및 그 서비스 방법
KR20150093425A (ko) * 2014-02-07 2015-08-18 삼성전자주식회사 콘텐츠 추천 방법 및 장치
WO2015186983A1 (ko) * 2014-06-05 2015-12-10 조희은 네트워크상에서의 물품 구매 지원 방법 및 이에 사용되는 구매지원 서버
KR20200144823A (ko) * 2019-06-19 2020-12-30 주식회사 이매지니어스 사용자 어플리케이션을 이용한 전자 상거래 중개 시스템 및 방법
KR20210031223A (ko) * 2019-09-11 2021-03-19 주식회사 인텔리시스 딥러닝을 이용한 벡터기반의 패션추천 방법 및 시스템
KR102248219B1 (ko) * 2020-10-13 2021-05-03 배서희 맞춤형 선글라스 주문 및 제작 방법 및 장치
KR20210121609A (ko) * 2020-03-30 2021-10-08 주식회사 코이노 원격지원 장치 및 그 방법
KR102477338B1 (ko) * 2022-02-23 2022-12-14 주식회사 블랙탠저린 이미지를 이용한 얼굴 분위기 진단 플랫폼 제공 방법, 장치 및 프로그램
KR102537141B1 (ko) * 2022-11-16 2023-05-26 엘르로이 주식회사 마이크로 인플루언서 연계를 통한 뷰티 및 라이프스타일 제품 판매 서비스 제공 방법, 장치 및 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101468125B1 (ko) * 2012-08-31 2014-12-03 에스케이 텔레콤주식회사 사용자에게 맞춤 서비스를 제공하기 위한 사용자 맞춤 서비스 제공장치 및 그 서비스 방법
KR20150093425A (ko) * 2014-02-07 2015-08-18 삼성전자주식회사 콘텐츠 추천 방법 및 장치
WO2015186983A1 (ko) * 2014-06-05 2015-12-10 조희은 네트워크상에서의 물품 구매 지원 방법 및 이에 사용되는 구매지원 서버
KR20200144823A (ko) * 2019-06-19 2020-12-30 주식회사 이매지니어스 사용자 어플리케이션을 이용한 전자 상거래 중개 시스템 및 방법
KR20210031223A (ko) * 2019-09-11 2021-03-19 주식회사 인텔리시스 딥러닝을 이용한 벡터기반의 패션추천 방법 및 시스템
KR20210121609A (ko) * 2020-03-30 2021-10-08 주식회사 코이노 원격지원 장치 및 그 방법
KR102248219B1 (ko) * 2020-10-13 2021-05-03 배서희 맞춤형 선글라스 주문 및 제작 방법 및 장치
KR102477338B1 (ko) * 2022-02-23 2022-12-14 주식회사 블랙탠저린 이미지를 이용한 얼굴 분위기 진단 플랫폼 제공 방법, 장치 및 프로그램
KR102537141B1 (ko) * 2022-11-16 2023-05-26 엘르로이 주식회사 마이크로 인플루언서 연계를 통한 뷰티 및 라이프스타일 제품 판매 서비스 제공 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
WO2012060537A2 (ko) 얼굴 및 스타일 인식 기반의 추천 시스템 및 그 방법
KR20120046653A (ko) 얼굴 및 스타일 인식 기반의 상품 추천 시스템 및 그 방법
KR20120046652A (ko) 얼굴 인식 기반의 헤어 추천 시스템 및 그 방법
US10979624B2 (en) Methods and devices for establishing photographing template database and providing photographing recommendation information
US9576195B2 (en) Integrated image searching system and service method thereof
WO2017167060A1 (zh) 一种信息展示方法、装置及系统
CN103942705A (zh) 一种基于人脸识别的广告分类匹配推送方法及系统
US9443307B2 (en) Processing of images of a subject individual
WO2016173443A1 (zh) 账户信息获取的方法、终端、服务器和系统
US20150169978A1 (en) Selection of representative images
CN107832784B (zh) 一种图像美化的方法和一种移动终端
CN110677682B (zh) 直播检测与数据处理方法、设备、系统及存储介质
US11501564B2 (en) Mediating apparatus and method, and computer-readable recording medium thereof
WO2016078296A1 (zh) 服装试穿方法及装置
CN105654039A (zh) 图像处理的方法和装置
KR20120014480A (ko) 통합 영상 검색 시스템 및 그 서비스 방법
KR20120070985A (ko) 얼굴 특징 기반의 가상 체험 시스템 및 그 방법
JP6986676B2 (ja) 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
CN110533440B (zh) 一种基于视频摄像头的互联网广告信息投放应用方法
US20150018023A1 (en) Electronic device
KR20150007403A (ko) 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치
CN105574512A (zh) 图像处理的方法和装置
CN105095917A (zh) 图像处理方法、装置及终端
KR20180077680A (ko) 얼굴 표정 인식 기반의 서비스 제공 장치 및 그 방법
KR20120076492A (ko) 사용자 상황 인식 기반의 가상 체험 시스템 및 그 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid