KR102325829B1 - 안면착용 제품 추천 방법 및 그 장치 - Google Patents
안면착용 제품 추천 방법 및 그 장치 Download PDFInfo
- Publication number
- KR102325829B1 KR102325829B1 KR1020207000538A KR20207000538A KR102325829B1 KR 102325829 B1 KR102325829 B1 KR 102325829B1 KR 1020207000538 A KR1020207000538 A KR 1020207000538A KR 20207000538 A KR20207000538 A KR 20207000538A KR 102325829 B1 KR102325829 B1 KR 102325829B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- user
- wearing
- information
- product
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003542 behavioural effect Effects 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012552 review Methods 0.000 claims description 4
- 210000001331 nose Anatomy 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 239000002537 cosmetic Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 241000238633 Odonata Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G06K9/00281—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
- G06Q30/0625—Directed, with specific intent or strategy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 일실시예에 의한 안면착용 제품 추천 방법은, 사용자 단말기로부터 얼굴 이미지가 수신되면, 안면착용 제품 추천 장치가 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계; 안면착용 제품 추천 장치가 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 단계; 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계; 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계; 및 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기로 제공하는 단계를 포함한다.
Description
본 발명은 안면착용 제품 추천 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 사용자의 얼굴 형태에 적합한 안면착용 제품의 추천정보를 증강현실 기술을 이용하여 제공하는 방법 및 장치에 관한 것이다.
일반적으로 안경이나 선글라스와 같은 안면착용 제품을 구매 시, 사용자는 가장 먼저 도수나 가격과 같은 기본적인 조건을 고려하게 된다. 이외에도 사용자는 최근 유행되고 있는 디자인이나 자신의 얼굴 형태에 맞는 디자인을 고려하게 되는데, 여러 디자인의 안경 제품을 직접 착용해보거나 전문가로부터 조언을 받기 어려운 상황에서는 자신에게 어울리는 제품을 고르기가 쉽지 않다.
한편, 사용자의 얼굴 이미지와 안경 이미지를 합성한 가상 착용 서비스를 제공하는 기술들은 이미 알려져 있으나, 단순한 이미지의 결합에 의한 안경 착용 모습은 얼굴 형태를 고려한 것이 아니므로 실제 착용한 모습과는 차이가 있다.
더구나, 본인이 이전에 착용하던 스타일과 유사한 제품을 선호하는 경우 수많은 제품 중 비슷한 스타일의 제품을 찾아내기란 쉽지 않다.
이에, 직접 매장에 가서 안경 제품을 착용해보지 않더라도 온라인 상에서 편리하게 사용자의 얼굴 형태와, 유행 및 사용자의 취향을 고려한 제품의 추천 서비스를 제공하는 플랫폼이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 사용자의 얼굴 이미지를 분석하여 사용자의 얼굴 형태에 가장 적합한 안면착용 제품을 추천하기 위한 안면착용 제품 추천 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 안면착용 제품에 대한 온라인 상 사용자들의 반응 및 관심 정도를 고려하여 사용자의 얼굴 형태에 적합한 안면착용 제품을 추천하기 위한 안면착용 제품 추천 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 사용자의 얼굴에 직접 착용한 듯한 효과를 제공하는 증강현실 기술을 이용하여 사용자의 얼굴에 적합한 안면착용 제품을 추천하기 위한 안면착용 제품 추천 방법 및 그 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 안면착용 제품 추천 방법은, 안면착용 제품 추천 장치에 의해 수행되는 방법으로서, 사용자 단말기로부터 얼굴 이미지가 수신되면, 안면착용 제품 추천 장치가 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계; 안면착용 제품 추천 장치가 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 단계; 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계; 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계; 및 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기로 제공하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 안면착용 제품 추천 장치는, 하나 이상의 프로세서; 복수의 사용자 단말기와 통신하는 네트워크 인터페이스; 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 컴퓨터 프로그램은, 사용자 단말기로부터 얼굴 이미지가 수신되면, 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 오퍼레이션; 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 오퍼레이션; 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 오퍼레이션; 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 오퍼레이션; 및 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기로 제공하는 오퍼레이션을 포함한다.
상기한 바와 같이, 본 발명에 의하면, 모바일 기기를 통해 사용자가 자신의 얼굴 형태에 어울리는 안면착용 제품을 추천 받도록 하는 편리함을 제공할 수 있다.
또한, 본 발명에 의하면, 안면착용 제품의 추천 시, 제품에 관한 온라인 상의 반응뿐만 아니라, 유행하는 디자인, 및 사용자의 취향 등을 고려하여 추천함에 의해 사용자의 만족도를 높일 수 있다.
또한, 본 발명에 의하면, 증강현실 기술을 이용하여 사용자가 직접 제품을 착용한 듯한 효과를 제공함에 의해 사용자가 안면착용 제품을 선택하는데 도움을 줄 수 있다.
도 1은 본 발명의 일실시예에 따른 안면착용 제품 추천 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 안면착용 제품 추천 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 안면착용 제품 추천 방법의 흐름도이다.
도 4는 본 발명의 일실시예에 따른 사용자의 얼굴 이미지로부터 복수의 점 좌표를 생성하는 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 복수의 점 좌표를 수평 상태로 보정하는 예를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 이목구비의 위치를 산출하는 예를 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 이목구비의 크기를 산출하는 예를 도시한 것이다.
도 8은 본 발명의 일실시예에 따른 이목구비의 각도를 산출하는 예를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 이목구비 정보에 기초하여 성별 및 연령을 추정하는 예이다.
도 10은 본 발명의 일실시예에 따른 사용자의 얼굴 유형 그룹을 배정하는 예이다.
도 11은 본 발명의 일실시예에 따른 사용자들의 제품과 관련된 행동 데이터를 수집한 예이다.
도 12는 본 발명의 일실시예에 따른 얼굴 유형 그룹별로 제품 선호도 점수를 부여하는 예이다.
도 13은 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 안면착용 제품을 증강현실 기술로 추천 제공하는 예이다.
도 14는 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 가상 성형 모습을 증강현실 기술로 추천 제공하는 예이다.
도 2는 본 발명의 일실시예에 따른 안면착용 제품 추천 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 안면착용 제품 추천 방법의 흐름도이다.
도 4는 본 발명의 일실시예에 따른 사용자의 얼굴 이미지로부터 복수의 점 좌표를 생성하는 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 복수의 점 좌표를 수평 상태로 보정하는 예를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 이목구비의 위치를 산출하는 예를 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 이목구비의 크기를 산출하는 예를 도시한 것이다.
도 8은 본 발명의 일실시예에 따른 이목구비의 각도를 산출하는 예를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 이목구비 정보에 기초하여 성별 및 연령을 추정하는 예이다.
도 10은 본 발명의 일실시예에 따른 사용자의 얼굴 유형 그룹을 배정하는 예이다.
도 11은 본 발명의 일실시예에 따른 사용자들의 제품과 관련된 행동 데이터를 수집한 예이다.
도 12는 본 발명의 일실시예에 따른 얼굴 유형 그룹별로 제품 선호도 점수를 부여하는 예이다.
도 13은 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 안면착용 제품을 증강현실 기술로 추천 제공하는 예이다.
도 14는 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 가상 성형 모습을 증강현실 기술로 추천 제공하는 예이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도 1은 본 발명의 일실시예에 따른 안면착용 제품 추천 시스템의 구성도이다. 도 1을 참조하면, 본 발명의 안면착용 제품 추천 시스템은 안면착용 제품 추천 장치(100)와 사용자 단말기(200), 및 외부서버(300)로 구성될 수 있다. 여기서, 외부서버(300)는 SNS서버(301), 쇼핑몰서버(302), 및 검색서버(303) 등을 포함할 수 있다.
도시된 예에서, 안면착용 제품 추천 장치(100)와 사용자 단말기(200), 및 외부서버(300)는 상호간 네트워크 통신할 수 있는 컴퓨팅 장치로 구현될 수 있다.
안면착용 제품 추천 장치(100)는 고정식 컴퓨팅 장치로서, 예를 들어 서버 장치로 구현될 수 있으나, 본 발명의 실시예가 이에 한정되는 것은 아니다. 사용자 단말기(200)는 예컨대, 스마트 폰, 태블릿 PC, 랩톱 PC, PDA 등과 같은 이동식 컴퓨팅 장치, 또는 개인용 데스크톱 PC와 같은 고정식 컴퓨팅 장치 중 어느 하나로 구현될 수 있다. 외부서버(300) 또한 고정식 컴퓨팅 장치로서, 예를 들어 서버 장치로 구현될 수 있다.
안면착용 제품 추천 장치(100)는 안면착용 제품 추천 시스템의 전반적인 동작을 제어하고, 사용자 단말기(200)로 안면착용 제품을 추천하기 위해 필요한 각종 정보를 저장할 수 있다.
예로서, 안면착용 제품 추천 장치(100)는 본 발명의 일실시예에 따른 방법을 제공하기 위한 안면착용 제품 추천 소프트웨어(도 2의 부호 '105' 참조), 사용자 정보(도 2의 부호 '106' 참조), 안면착용 제품 정보(도 2의 부호 '107' 참조), 및 행동데이터 정보(도 2의 부호 '108' 참조) 등을 저장할 수 있다.
안면착용 제품은 예컨대, 안경, 선글라스, 고글 등 눈 주변에 착용하는 제품과, 공연이나 파티 등에서 얼굴 전체 혹은 부분을 가리는데 사용하는 가면(Mask) 제품을 포함할 수 있다. 또한, 안면착용 제품은 얼굴 주변에 착용하는 귀걸이 등의 쥬얼리(Jewelry) 제품과, 얼굴 피부를 관리하기 위한 LED 마스크 제품, 머리 부분에 착용하는 헤어밴드, 모자 등 미용 및 패션 분야의 제품을 포함할 수 있다. 또 다른 예로서, 안면착용 제품은 얼굴 성형과 관련한 가상 성형 디자인과, 얼굴의 피부 및 색조 화장을 위한 다양한 종류의 화장품 제품을 포함할 수 있다.
이외에도, 본 발명에 있어서의 안면착용 제품은 상기와 같은 안경, 가면, 쥬얼리, 성형 디자인, 및 화장품 등에 한정되지 않고 사용자의 얼굴 형태를 고려하여 얼굴이나 머리에 착용할 수 있는 광범위한 제품들을 모두 포함할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 사용자 단말기(200)로부터 얼굴 이미지(도 4의 부호 'M' 참조)를 수신할 수 있다. 얼굴 이미지(M)는 예컨대, 사용자 단말기(200)에 장착된 카메라에 의해 촬영된 이미지 혹은 다른 장치로부터 수신한 이미지일수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 수신된 얼굴 이미지(M)로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성할 수 있다.
예로서, 안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 명암에 기초하여 얼굴의 외곽, 눈, 코, 및 입 부위를 인식할 수 있다. 이 때, 안면착용 제품 추천 장치(100)는 인식된 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 복수의 점 좌표를 설정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 복수의 점 좌표 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하고, 기울어진 정도를 이용하여 얼굴이 수평 상태가 되도록 복수의 점 좌표를 보정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성할 수 있다. 예로서, 눈, 코, 및 입 부위 각각에 대한 점 좌표의 X, Y 좌표값을 이용하여 각 부위의 위치와, 크기, 및 기울어진 각도를 산출하고, 산출된 값을 모두 포함하는 이목구비 정보를 생성할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성할 수 있다. 예로서, 안면착용 제품 추천 장치(100)는 산출된 눈, 코, 및 입 각각의 위치, 크기, 및 각도가 유사한 사용자 표본을 추출하고, 추출된 표본에 기초하여 성별 및 연령을 추정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정할 수 있다. 예로서, 안면착용 제품 추천 장치(100)는 복수의 사용자들을 얼굴 유형에 따라 분류한 복수의 얼굴 유형 그룹을 생성하고, 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자를 복수의 얼굴유형 그룹 중 적어도 하나에 배정할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기(200)로 제공할 수 있다.
이를 위해, 안면착용 제품 추천 장치(100)는 복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내는 행동 데이터를 수집하여 스토리지(도 2의 부호 '104' 참조)에 저장할 수 있다.
행동 데이터는 사용자 단말기(200)와 SNS서버(301), 쇼핑몰서버(302), 및 검색서버(303) 등의 외부서버(300)로부터 수집될 수 있고, 복수의 안면착용 제품(도 11의 부호 '112' 참조) 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부 등의 반응 정보(도 11의 부호 '113' 참조)를 포함할 수 있다.
예로서, 행동 데이터는 사용자 단말기(200)로부터 수집되는 정보로서, 사용자가 사용자 단말기(200)를 통해 안면착용 제품 추천 장치(100)의 웹사이트에 접속하여 복수의 안면착용 제품 중 특정 제품을 조회, 선택한 내역이나, 특정 제품을 구매 후 착용한 모습을 사용자 단말기(200)로 촬영한 내역 등을 포함할 수 있다.
다른 예로서, 행동 데이터는 SNS서버(301)로부터 수집되는 정보로서, 다수의 사용자들이 특정 제품을 SNS(Social Network Service) 상에 공유하거나, 댓글, 리뷰 등을 기록한 내역을 포함할 수 있다. 또한, 행동 데이터는 쇼핑몰서버(302)로부터 수집되는 정보로서, 안면착용 제품 추천 장치(100)를 통해 추천 받은 제품을 사용자가 쇼핑몰에서 구매한 내역을 포함할 수 있다.
또 다른 예로서, 행동 데이터는 검색서버(303)로부터 수집되는 정보로서, 다수의 사용자들이 이미지 검색 등을 통해 제품 이미지, 또는 스타들의 제품 착용 사진 등을 검색한 내역을 포함할 수 있다.
일실시예로서, 행동 데이터는, 과거에 사용자가 추천 받았던 안면착용 제품에 대한 이후 행동패턴 정보를 포함할 수도 있다.
안면착용 제품 추천 장치(100)는 저장된 행동데이터에 기초하여 얼굴 유형별(도 12의 부호 '121' 참조) 복수의 안면착용 제품(도 12의 부호 '122' 참조) 각각에 대한 선호도 점수(도 12의 부호 '123' 참조)를 부여하고, 선호도 점수(123)에 기초하여 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천정보(도 12의 부호 '124' 참조)를 제공할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 제공 시, 증강현실 기술을 이용하여 안면착용 제품의 이미지(도 13의 부호 '131', '132', '133' 참조)를 얼굴 이미지(M) 상에 중첩하여 표시할 수 있다.
이 때, 추천되는 안면착용 제품의 이미지(131, 132, 133)는 수평 방향으로의 스크롤과 같은 사용자의 입력에 따라 얼굴 이미지(M) 상에 선택적으로 표시될 수 있다.
구체적으로, 안면착용 제품 추천 장치(100)는 증강현실(AR: Augmented Reality) 기술의 구현을 위해, 사용자 단말기(200)에서 카메라를 통해 촬영되는 얼굴 이미지(M) 상에서 눈 영역을 감지하고, 스토리지(104)에 기 저장되어 있는 안면착용 제품의 2D 또는 3D 이미지를 얼굴 이미지(M)의 눈 영역에 매칭하는 방식으로 가상 착용 상태를 표시할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 안면착용 제품의 추천정보 제공 시, 사용자의 선호 스타일 정보를 반영할 수 있다.
예로서, 안면착용 제품 추천 장치(100)는 사용자가 이전에 사용한 안면착용 제품의 사용 이력 데이터를 저장하고, 사용 이력 데이터에 기초하여 사용자의 선호 스타일 정보를 생성하여, 이를 제품의 추천정보에 반영할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 제품 추천을 위해 사용자에게 상황별 또는 제품 형태별로 원하는 옵션을 선택하도록 사용자 인터페이스를 제공할 수 있다. 예로서, 직장, 학교, 여행, 파티, 모임, 및 강연 등의 상황별 옵션이나, 타원형, 둥근형, 사각형, 잠자리형, 및 버터플라이형 등의 형태별 옵션을 포함하는 UI(User Interface)를 표시하고, 사용자가 옵션을 선택하도록 할 수 있다. 이에 따라, 사용자는 선택한 옵션에 맞는 안면착용 제품을 추천 받을 수 있다.
도 2는 본 발명의 일실시예에 따른 안면착용 제품 추천 장치의 블록도이다.
안면착용 제품 추천 장치(100)는 하나 이상의 프로세서(101), 사용자 단말기(200) 및 외부서버(300)와 통신하는 네트워크 인터페이스(102), 프로세서(101)에 의해 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103), 및 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.
프로세서(101)는 안면착용 제품 추천 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 안면착용 제품 추천 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
네트워크 인터페이스(102)는 안면착용 제품 추천 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 도시된 구성에서 메모리(103)의 예시로 RAM이 도시되었다.
스토리지(104)는 상기 하나 이상의 프로그램(105), 사용자 정보(106), 안면착용 제품 정보(107), 및 행동데이터 정보(108)를 비임시적으로 저장할 수 있다. 도시된 구성에서 상기 하나 이상의 프로그램(105)의 예시로 안면착용 제품 추천 소프트웨어(105)가 도시되었다. 여기서, 안면착용 제품 추천 소프트웨어(105)는 사용자 단말기(200) 상에 설치되어 실행되는 앱(App)으로 구현될 수 있다.
스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
안면착용 제품 추천 소프트웨어(105)는 본 발명의 실시예에 따라, 안면착용 제품 추천 장치(100)뿐만 아니라, 사용자 단말기(200)에도 설치되는 에이전트일 수 있다.
사용자 정보(106)는 안면착용 제품 추천 장치(100)로 접속하는 사용자들의 기본 정보로서, 예컨대 사용자의 로그인 정보, 얼굴 이미지로부터 분석된 이목구비 정보, 성별 및 연령 추정 정보, 및 안면착용 제품의 사용 이력 정보 등을 포함할 수 있다.
안면착용 제품 정보(107)는 추천 서비스를 제공하는 안면착용 제품들에 관한 기본적인 정보를 포함하고, 예컨대 제품의 등록일, 식별번호, 제품명, 분류, 제품 이미지 정보, 및 업체 정보 등을 포함할 수 있다.
행동데이터 정보(108)는 사용자 단말기(200)와 외부서버(300)로부터 수집되는 안면착용 제품에 대한 사용자들의 반응 정보를 포함할 수 있다.
일실시예로서, 행동데이터 정보(105)는 사용자 단말기(200)를 통해 사용자가 다양한 종류의 안경 제품 중 특정 제품을 선택하거나 촬영한 정보, SNS 상에서 사용자가 제품을 공유하거나 댓글, 리뷰 등을 기록한 정보, 및 쇼핑몰을 통해 사용자가 제품을 구매한 정보 등을 모두 포함할 수 있다.
다른 실시예로서, 행동데이터 정보(105)는 사용자가 이전에 추천 받았던 제품에 대한 이후의 사용자의 행동패턴에 관한 정보를 포함할 수 있다. 예로서, 사용자가 이전에 추천 받았던 안경 제품을 구매한 내역, 구매 후 착용한 모습을 촬영한 횟수, SNS 상에서 공유한 내역, 앱(App) 종료 등의 정보를 이용하여 사용자가 추천 받았던 제품에 대한 만족 여부를 파악할 수 있다.
또한, 도 2의 구성에 도시되지 않았으나, 안면착용 제품 추천 장치(100)는 본 발명의 일실시예에 따른 사용자 인터페이스를 출력하기 위한 출력부, 예를 들면, 디스플레이부 또는 음향 출력부를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 안면착용 제품 추천 방법의 흐름도이다.
도 3에 도시된 바와 같이, 먼저 동작 S10에서, 안면착용 제품 추천 장치(100)는 사용자 단말기(200)로부터 얼굴 이미지(M)가 수신되면, 수신된 얼굴 이미지(M)로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성할 수 있다.
일실시예로서, 동작 S10은, 얼굴 이미지(M) 상의 명암에 기초하여 얼굴의 외곽, 눈, 코 및 입 부위를 인식하는 동작과, 인식된 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 복수의 점 좌표를 설정하는 동작을 포함할 수 있다.
일실시예로서, 동작 S10은, 설정된 복수의 점 좌표 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하는 동작과, 얼굴이 수평 상태가 되도록 복수의 점 좌표를 보정하는 동작을 더 포함할 수 있다.
다음으로, 동작 S20에서, 안면착용 제품 추천 장치(100)는 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성할 수 있다.
일실시예로서, 동작 S20은, 얼굴 이미지(M) 상의 복수의 점 좌표의 X, Y 좌표값을 이용하여 눈, 코, 및 입 각각의 위치를 산출하는 동작과, 눈, 코, 및 입 각각의 크기를 산출하는 동작, 및 눈, 코, 및 입 각각의 기울어진 각도를 산출하는 동작을 포함할 수 있다.
다음으로, 동작 S30에서, 안면착용 제품 추천 장치(100)는 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성할 수 있다.
일실시예로서, 동작 S30은, 동작 S20에서 산출된 눈, 코, 및 입 각각의 위치, 크기, 및 각도가 유사한 사용자 표본을 추출하는 동작과, 표본에 기초하여 성별 및 연령을 추정하는 동작을 포함할 수 있다.
다음으로, 동작 S40에서, 안면착용 제품 추천 장치(100)는 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정할 수 있다.
일실시예로서, 동작 S40은, 복수의 사용자들을 얼굴 유형에 따라 분류한 복수의 얼굴 유형 그룹을 생성하는 동작과, 동작 S20 및 동작 S30에서 생성된 이목구비 정보와 성별 및 연령 추정 정보에 기초하여 사용자를 복수의 얼굴유형 그룹 중 적어도 하나에 배정하는 동작을 포함할 수 있다.
마지막으로, 동작 S50에서, 안면착용 제품 추천 장치(100)는 동작 S40에서 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 사용자 단말기(200)로 제공할 수 있다.
일실시예로서, 동작 S50은, 복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내는 행동 데이터를 수집하여 저장하는 동작과, 저장된 행동 데이터에 기초하여 얼굴 유형별 복수의 안면착용 제품 각각에 대한 선호도 점수를 부여하는 동작, 및 선호도 점수에 기초하여 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천 정보를 제공하는 동작을 포함할 수 있다.
여기서, 행동 데이터는, 복수의 안면착용 제품 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부 등의 반응 정보를 포함할 수 있다. 또한, 행동 데이터는, 사용자가 추천 받은 안면착용 제품에 대한 이후 행동패턴 정보를 포함할 수 있다.
일실시예로서, 동작 S50은, 적어도 하나의 안면착용 제품의 이미지(131, 132, 133)를 얼굴 이미지(M) 상에 중첩하여 표시하는 동작을 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자의 얼굴 이미지로부터 복수의 점 좌표를 생성하는 예를 도시한 것이다. 도 4에 도시된 예는 앞서 설명한 도 3의 동작 S10에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 사용자 단말기(200)로부터 수신되는 얼굴 이미지(M)에 대해 복수의 점 좌표를 생성하는 UI(User Interface)를 보여준다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 명암에 기초하여 눈, 코, 및 입 부위 각각을 인식하고, 명암에 의해 구분되는 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 점들을 추출하는 방식으로, 총25개의 점 좌표(P1 ~ P25)를 설정할 수 있다. 이 때, 총 25개의 점 좌표는 얼굴의 외곽 8개, 좌안 4개, 우안 4개, 코 3개, 및 입 6개의 점 좌표를 포함할 수 있다.
일실시예로서, 우안의 좌우 점 좌표(P1, P4)는 흑백 대조가 가장 뚜렷한 부위를 찾아 흰 영역이 시작되는 좌우 끝점으로 설정될 수 있다. 또한, 우안의 상하 점 좌표(P3, P4)는 우안의 좌우(P1, P4) 중간지점으로부터 위 아래로 가장 검은 영역이 끝나는 위, 아래 끝점으로 설정될 수 있다.
일실시예로서, 코의 윗점 좌표(P5)는 두 눈 사이에서 밝은 영역을 찾아 그 밝은 영역이 끝나는 맨 아래의 점으로 설정될 수 있다. 또한, 코의 좌우 점 좌표(P6, P7)는 코의 윗점(P5)에서 좌우 방향으로 가면서 명함의 변화가 심해지는 영역의 점으로 설정될 수 있다.
일실시예로서, 입의 좌우 점 좌표(P8, P9)는 코의 좌우(P6, P7) 밑으로 일정 길이만큼 내려가면서 어두운 영역을 찾아 그 영역이 좌우로 끝나는 점으로 설정될 수 있다. 또한, 입의 중심상하 점 좌표(P10, P11)는 입 좌우(P8, P9) 사이의 어두운 영역이 시작되는 위, 아래 끝점으로 설정될 수 있다. 또한, 입의 상하 점 좌표(P12, P13)은 입의 중심상하 점(P10, P11)에서 위, 아래로 가면서 윗입술 평균 색상값에서 상당히 벗어나기 시작하는 점으로 설정될 수 있다.
일실시예로서, 얼굴 외곽의 점 좌표(P18 ~ P25)는 눈, 코, 입의 각 부위를 둘러싼 영역에 일정 여백 이후로 명암이 분명한 영역의 8개의 점으로 설정될 수 있다.
도 5는 본 발명의 일실시예에 따른 복수의 점 좌표를 수평 상태로 보정하는 예를 도시한 것이다. 도 5에 도시된 예는 도 3의 동작 S10에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 도 4에서 얼굴 이미지(M)로부터 생성한 복수의 점 좌표(P1 ~ P25)를 수평 보정하는 예이다.
안면착용 제품 추천 장치(100)는 복수의 점 좌표(P1 ~P25) 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하고, 기울어진 정도에 따라 얼굴이 수평 상태가 되도록 복수의 점 좌표(P1 ~P25)를 보정할 수 있다.
구체적으로, 각 부위의 점 좌표와 코의 윗점(P5) 사이의 직선거리를 빗변으로 하고, 각 부위의 점 좌표와 코의 윗점(P5) 사이의 Y좌표 사이의 거리 및, 좌안의 좌우 끝점(P14, P15) 및 우안의 좌우 끝점(P1, P2)의 Y좌표의 평균과 코의 윗점(P5)의 Y좌표 사이의 거리를 각각 높이로 하여 산출한 삼각함수(sinθ)의 각도간 차이를 보정값으로 하여 전체 얼굴의 기울기를 보정할 수 있다.
일실시예로서, 우안의 좌우(P1, P2)의 중심점과 코 윗점(P5)간의 거리를 빗변(L1)으로 하고, 우안의 좌우(P1, P2)의 중심점의 Y좌표와 코의 윗점(P5)의 Y좌표간 거리를 높이로 하여 삼각함수 제1 sinθ값(R1)을 산출하고, 상기 빗변(L1)과, 우안의 좌우(P1, P2) 두점 및 좌안 두 점(P14, P15)의 Y좌표의 평균이 되는 지점과 코 윗점(P5)의 Y좌표와의 거리를 높이로 하여 제2 sinθ값(R2)을 산출하여 각도간 차이(R2-R1)를 통해 얼굴 이 수평으로부터 얼마나 기울어져 있는가를 산출할 수 있다.
또한, 코 윗점(P5)을 기준으로 우안의 중심점과의 관계를 통해 얼굴의 기울어진 정도를 산출한 것과 같이, 다른 부위 즉, 좌안 또는 입 등의 점 좌표에 대해서도 동일한 방식으로 얼굴의 기울어진 정도를 산출할 수 있다.
상기와 같이, 얼굴의 각 부위에 대해 기울어진 정도(R2-R1)가 산출되면, 이를 이용하여 복수의 점 좌표(P1 ~ P25)의 X, Y 좌표를 재계산함에 의해 얼굴이 수평 상태가 되도록 보정할 수 있다.
도 6은 본 발명의 일실시예에 따른 이목구비의 위치를 산출하는 예를 도시한 것이다. 도 6에 도시된 예는 앞서 설명한 도 3의 동작 S20에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 복수의 점 좌표를 이용하여 얼굴의 각 부위의 위치를 산출하는 예이다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 복수의 점 좌표(P1~ P25) 전체에 대해 X, Y좌표 각각의 최대값 및 최소값을 산출하고, 아래의 수학식 1을 이용하여 눈, 코, 및 입 각 부위의 가로 및 세로 위치를 산출할 수 있다.
일실시예로서, 우안의 경우 상기 수학식 1에 따라 우안의 중심점(P61)의 X, Y 좌표와, 복수의 점 좌표(P1~ P25) 전체에 대한 X, Y 좌표의 최대값 및 최소값과의 관계를 통해 우안의 가로 및 세로 위치를 산출할 수 있다.
도 7은 본 발명의 일실시예에 따른 이목구비의 크기를 산출하는 예를 도시한 것이다. 도 7에 도시된 예는 앞서 설명한 도 3의 동작 S20에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 복수의 점 좌표를 이용하여 얼굴의 각 부위의 크기를 산출하는 예이다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 복수의 점 좌표(P1~ P25) 전체에 대해 X, Y좌표 각각의 최대값 및 최소값을 산출하고, 아래의 수학식 2를 이용하여 눈, 코, 및 입 각 부위의 가로 및 세로 크기를 산출할 수 있다.
일실시예로서, 우안의 경우 상기 수학식 2에 따라 우안의 좌우 점(P1, P2)의 X 좌표의 최대값 및 최소값과, 우안의 상하 점(P3, P4)의 Y 좌표의 최대값 및 최소값과, 복수의 점 좌표(P1~ P25) 전체에 대한 X, Y 좌표의 최대값 및 최소값과의 관계를 통해 우안의 가로 및 세로 크기를 산출할 수 있다.
도 8은 본 발명의 일실시예에 따른 이목구비의 각도를 산출하는 예를 도시한 것이다. 도 8에 도시된 예는 앞서 설명한 도 3의 동작 S20에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 복수의 점 좌표를 이용하여 얼굴의 각 부위의 각도를 산출하는 예이다.
안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상의 복수의 부위 각각의 내측점과 외측점의 X, Y 좌표 간 차이에 따른 삼각함수(tanθ)의 각도를 산출함에 의해 각 부위에 대한 각도를 산출할 수 있다.
일실시예로서, 우안의 경우 외측점(P1)과 내측점(P2) 각각의 Y좌표가 동일한 경우 수평으로 판단할 수 있고, Y좌표의 값이 동일하지 않은 경우 외측점(P1) 및 내측점(P2) 각각의 X, Y좌표 간 차이의 tanθ를 산출하여 그 기울어진 각도를 산출할 수 있다.
도 9는 본 발명의 일실시예에 따른 이목구비 정보에 기초하여 성별 및 연령을 추정하는 예이다. 도 9에 도시된 예는 앞서 설명한 도 3의 동작 S30에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S20에서 생성한 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계를 보여준다.
도시된 예에서, 안면착용 제품 추천 장치(100)는 스토리지(104)에 사용자들의 눈, 코, 및 입의 위치, 크기, 및 각도 데이터를 포함하는 이목구비 정보(90)와, 성별, 및 연령 데이터(91)를 저장할 수 있다.
일실시예로서, 안면착용 제품 추천 장치(100)는 상기와 같이 스토리지(104)에 저장된 데이터를 이용하여 도 6 내지 8에서 얼굴 이미지(M)에 대해 산출된 눈, 코, 및 입 부위 각각의 위치, 크기, 및 기울어진 각도가 가장 유사한 사용자 표본(92)을 추출할 수 있다. 이 때, 추출된 사용자 표본(92)에 기초하여, 사용자의 성별 및 연령을 추정(93)할 수 있다.
여기서, 사용자 표본(92)은 눈, 코, 및 입 부위 각각의 위치, 크기, 및 각도가 유사한 복수의 사용자 데이터를 모두 포함할 수 있고, 사용자 표본(92)에 포함된 복수의 사용자 중 가장 높은 비율을 차지하는 성별 및 연령 정보를 참조하여 현재 사용자에 대해 성별 및 연령을 추정할 수 있다.
도 10은 본 발명의 일실시예에 따른 사용자의 얼굴 유형 그룹을 배정하는 예이다. 도 10에 도시된 예는 앞서 설명한 도 3의 동작 S40에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S20 및 동작 S30에서 생성한 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 복수의 사용자들의 이목구비 정보(10)에 기초하여 눈, 코, 및 입 부위 각각의 위치, 크기, 및 각도가 유사한 그룹을 분류한 복수의 얼굴 유형 그룹(11)을 생성할 수 있다.
안면착용 제품 추천 장치(100)는 현재 사용자에 대해 도 6 내지 8에서 산출된 눈, 코, 및 입 부위 각각의 위치, 크기, 및 각도 정보와, 도 9에서 생성된 성별 및 연령 추정 정보를 이용하여 복수의 얼굴 유형 그룹(11) 중 유사한 정보를 가지는 적어도 하나의 그룹(12)에 배정할 수 있다.
예로서, 현재 사용자의 얼굴의 각 부위 중, 입 위치가 61%, 눈 크기가 22.8%, 코 크기가 14%의 범위에 속하는 경우, 그 사용자는 EDK 그룹에 배정할 수 있다.
도 11은 본 발명의 일실시예에 따른 사용자들의 제품과 관련된 행동 데이터를 수집한 예이다. 도 11에 도시된 예는 앞서 설명한 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹(12)에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 제공하기 위해 행동 데이터를 수집하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 날짜(110) 및 사용자(111) 별로 제품(112)에 대한 반응 정도를 나타내는 행동 데이터(113)를 수집하여 스토리지(104)에 저장할 수 있다.
예로서, 행동 데이터(113)는, 사용자가 예컨대 SNS 상에서 특정 제품을 공유하거나, 웹 상에서 특정 제품을 열람 또는 선택한 경우, 및 제품의 착용 모습을 촬영하여 업로드한 경우와 같은 반응 정보를 포함할 수 있다.
또한, 행동 데이터(113)는, 사용자가 이전에 추천 받았던 안면착용 제품에 대한 이후 행동패턴 정보로서, 제품의 구매 내역, 구매 후 촬영 횟수, SNS 상에서 공유한 내역 등을 포함할 수도 있다.
도 12는 본 발명의 일실시예에 따른 얼굴 유형 그룹별로 제품 선호도 점수를 부여하는 예이다. 도 12에 도시된 예는 앞서 설명한 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹(12)에 대응하는 적어도 하나의 안면착용 제품의 추천정보(124)를 제공하기 위해 행동 데이터에 기초하여 얼굴 유형별 제품에 대한 선호도 점수를 부여하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 도 11에서 수집된 행동 데이터(113)에 기초하여 사용자의 얼굴 유형 그룹(121) 별로 제품(122) 각각에 대한 선호도 점수(123)를 부여할 수 있다. 이 때, 안면착용 제품 추천 장치(100)는 얼굴 유형 그룹(121) 별로 선호도 점수(123)가 높은 제품을 사용자에게 추천할 수 있다.
예로서, 얼굴 유형 그룹 (121) 중 EDK 그룹에 대한 제품의 추천정보(124)로서, 제품 A, B, C 중 선호도 점수가 432점인 제품 B와 345점인 제품 A를 포함할 수 있다.
도 13은 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 안면착용 제품을 증강현실 기술로 추천 제공하는 예이다. 도 13에 도시된 예는 앞서 설명된 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 제공함에 있어 증강현실 기술을 사용하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 도 10에서 배정된 얼굴 유형 그룹(11)에 대응하는 안면착용 제품의 추천정보(124)를 추출하고, 추천정보(124)에 포함된 추천 제품들의 이미지(131, 132, 133)를 얼굴 이미지(M) 상에 중첩하여 표시할 수 있다.
구체적으로, 안면착용 제품 추천 장치(100)는 얼굴 이미지(M) 상에서 눈 영역을 감지하고, 스토리지(104)에 기 저장되어 있는 2D 또는 3D 형식의 제품 이미지(131, 132, 133)를 얼굴 이미지(M)의 눈 영역에 매칭하는 방식으로 가상 착용 상태를 표시할 수 있다.
이 때, 추천 제품들의 이미지(131, 132, 133)는 수평 방향으로의 스크롤에 따라 얼굴 이미지(M) 상에 선택적으로 표시되고, 사용자는 직접 착용한 듯한 효과를 체험하며 자신에게 어울리는 제품을 선택할 수 있다.
도 14는 본 발명의 일실시예에 따른 얼굴 유형에 대응하는 가상 성형 모습을 증강현실 기술로 추천 제공하는 예이다. 도 14에 도시된 예는 앞서 설명된 도 3의 동작 S50에 대응하는 것으로, 안면착용 제품 추천 장치(100)가 동작 S40에서 배정된 사용자의 얼굴 유형 그룹에 대응하는 가상 성형 모습을 추천 제공함에 있어 증강현실 기술을 사용하는 단계를 보여준다.
일실시예로서, 안면착용 제품 추천 장치(100)는 도 10에서 배정된 얼굴 유형 그룹(11)에 대응하는 가상의 눈 성형 디자인의 추천정보를 추출하고, 추천정보에 포함된 눈 성형 디자인 이미지(141, 142)를 얼굴 이미지(M) 상에 중첩하여 표시할 수 있다.
상기와 같이 본 발명의 일실시예에 의하면, 사용자에게 적합한 안면착용 제품의 추천 시, 사용자의 얼굴 형태와, 유행, 및 사용자의 취향을 고려하여 제품의 추천 서비스를 효과적으로 제공할 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.
Claims (13)
- 안면착용 제품 추천 장치에 의해 수행되는 방법으로서,
사용자 단말기로부터 얼굴 이미지가 수신되면, 상기 안면착용 제품 추천 장치가 상기 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계;
상기 안면착용 제품 추천 장치가 상기 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 단계;
상기 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 단계;
상기 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 단계; 및
상기 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 단계를 포함하며,
상기 이목구비 정보를 생성하는 단계는,
눈, 코, 및 입 각각의 위치를 산출하는 단계;
상기 눈, 코, 및 입 각각의 크기를 산출하는 단계; 및
상기 눈, 코, 및 입 각각의 기울어진 각도를 산출하는 단계를 포함하고,
행동 데이터는, 복수의 안면착용 제품 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부를 포함하는 반응 정보를 포함하며,
상기 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 단계는,
복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내며, 상기 사용자가 추천받은 안면착용 제품에 대한 이후 행동패턴 정보를 포함하는 행동 데이터를 수집하여 저장하는 단계;
상기 저장된 행동 데이터에 기초하여 얼굴 유형별 복수의 안면착용 제품 각각에 대한 선호도 점수를 부여하는 단계;
상기 선호도 점수에 기초하여 상기 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천정보를 제공하는 단계;
상기 적어도 하나의 안면착용 제품의 이미지를 상기 얼굴 이미지 상에 중첩하여 표시하는 단계; 및
상기 적어도 하나의 안면착용 제품의 이미지가 해당사용자의 얼굴 이미지 상에 중첩하여 표시된 적어도 하나의 이미지를 SNS(Social Network Service) 상에 공유하며, 공유한 적어도 하나의 이미지에 대한 댓글 및 리뷰를 기록한 내역을 포함한 상기 행동 데이터에 기초하여 상기 적어도 하나의 안면착용 제품의 추천정보 중 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 단계를 포함하며,
상기 행동패턴은, 사용자가 추천 받았던 안면착용 제품에 대한 만족 여부를 파악할 수 있도록 하는 사용자가 이전에 추천 받았던 안면착용 제품을 구매한 내역, 구매 후 착용한 모습을 촬영한 횟수, SNS 상에서 공유한 내역, 앱(App) 종료정보를 포함하는 안면착용 제품 추천 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계는,
상기 얼굴 이미지 상의 명암에 기초하여 얼굴의 외곽, 눈, 코, 및 입 부위를 인식하는 단계; 및
상기 인식된 각 부위의 상하좌우 및 중심 중 적어도 하나의 위치에 대응하는 복수의 점 좌표를 설정하는 단계를 포함하는 안면착용 제품 추천 방법. - 제 6항에 있어서,
상기 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 단계는,
상기 복수의 점 좌표 간 관계를 이용하여 얼굴의 기울어진 정도를 산출하는 단계; 및
상기 얼굴이 수평 상태가 되도록 상기 복수의 점 좌표를 보정하는 단계를 더 포함하는 안면착용 제품 추천 방법. - 삭제
- 삭제
- 제 1항에 있어서,
상기 사용자의 얼굴 유형을 배정하는 단계는,
복수의 사용자들을 얼굴 유형에 따라 분류한 복수의 얼굴 유형 그룹을 생성하는 단계; 및
상기 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 상기 사용자를 복수의 얼굴유형 그룹 중 적어도 하나에 배정하는 단계를 포함하는 안면착용 제품 추천 방법. - 제 1항에 있어서,
상기 사용자가 이전에 사용한 안면착용 제품의 사용 이력 데이터를 저장하는 단계;
상기 사용 이력 데이터에 기초하여 상기 사용자의 선호 스타일 정보를 생성하는 단계; 및
상기 적어도 하나의 안면착용 제품의 추천정보 제공 시, 상기 사용자의 선호 스타일 정보를 반영하는 단계를 더 포함하는 안면착용 제품 추천 방법. - 제 1항에 있어서,
상기 사용자에게 상황별 또는 제품 형태별로 원하는 옵션을 선택하도록 사용자 인터페이스를 제공하는 단계를 더 포함하는 안면착용 제품 추천 방법. - 하나 이상의 프로세서;
복수의 사용자 단말기와 통신하는 네트워크 인터페이스;
상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리; 및
상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은,
상기 사용자 단말기로부터 얼굴 이미지가 수신되면, 상기 수신된 얼굴 이미지로부터 인식되는 복수의 부위 각각에 대한 복수의 점 좌표를 생성하는 오퍼레이션;
상기 복수의 부위 각각에 대한 복수의 점 좌표를 이용하여 각 부위의 위치, 크기, 및 각도를 산출한 이목구비 정보를 생성하는 오퍼레이션;
상기 이목구비 정보를 이용하여 성별 및 연령 추정 정보를 생성하는 오퍼레이션;
상기 이목구비 정보와, 성별 및 연령 추정 정보에 기초하여 사용자의 얼굴 유형을 배정하는 오퍼레이션; 및
상기 배정된 사용자의 얼굴 유형에 대응하는 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 오퍼레이션을 포함하며,
상기 이목구비 정보를 생성하는 오퍼레이션은,
눈, 코, 및 입 각각의 위치를 산출하는 오퍼레이션;
상기 눈, 코, 및 입 각각의 크기를 산출하는 오퍼레이션; 및
상기 눈, 코, 및 입 각각의 기울어진 각도를 산출하는 오퍼레이션을 포함하고,
행동 데이터는, 복수의 안면착용 제품 각각에 대한 사용자들의 선택, 조회, 구매, 공유, 및 촬영 여부를 포함하는 반응 정보를 포함하며,
상기 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 오퍼레이션은,
복수의 안면착용 제품에 대한 사용자들의 관심 정도를 나타내며, 상기 사용자가 추천받은 안면착용 제품에 대한 이후 행동패턴 정보를 포함하는 행동 데이터를 수집하여 저장하는 오퍼레이션;
상기 저장된 행동 데이터에 기초하여 얼굴 유형별 복수의 안면착용 제품 각각에 대한 선호도 점수를 부여하는 오퍼레이션;
상기 선호도 점수에 기초하여 상기 사용자의 얼굴 유형에 대응하는 안면착용 제품의 추천정보를 제공하는 오퍼레이션;
상기 적어도 하나의 안면착용 제품의 이미지를 상기 얼굴 이미지 상에 중첩하여 표시하는 오퍼레이션; 및
상기 적어도 하나의 안면착용 제품의 이미지가 해당사용자의 얼굴 이미지 상에 중첩하여 표시된 적어도 하나의 이미지를 SNS(Social Network Service) 상에 공유하며, 공유한 적어도 하나의 이미지에 대한 댓글 및 리뷰를 기록한 내역을 포함한 상기 행동 데이터에 기초하여 상기 적어도 하나의 안면착용 제품의 추천정보 중 적어도 하나의 안면착용 제품의 추천정보를 상기 사용자 단말기로 제공하는 오퍼레이션을 포함하며,
상기 행동패턴은, 사용자가 추천 받았던 안면착용 제품에 대한 만족 여부를 파악할 수 있도록 하는 사용자가 이전에 추천 받았던 안면착용 제품을 구매한 내역, 구매 후 착용한 모습을 촬영한 횟수, SNS 상에서 공유한 내역, 앱(App) 종료정보를 포함하는 안면착용 제품 추천 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180173840 | 2018-12-31 | ||
| KR1020180173840 | 2018-12-31 | ||
| PCT/KR2019/017648 WO2020141754A1 (ko) | 2018-12-31 | 2019-12-13 | 안면착용 제품 추천 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200085723A KR20200085723A (ko) | 2020-07-15 |
| KR102325829B1 true KR102325829B1 (ko) | 2021-11-12 |
Family
ID=71407038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207000538A KR102325829B1 (ko) | 2018-12-31 | 2019-12-13 | 안면착용 제품 추천 방법 및 그 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102325829B1 (ko) |
| WO (1) | WO2020141754A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102655761B1 (ko) * | 2023-08-29 | 2024-04-08 | 주식회사 넥스트페이먼츠 | 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102271063B1 (ko) * | 2020-08-18 | 2021-06-29 | 정윤호 | 가상 피팅 서비스 제공 방법, 장치 및 그 시스템 |
| KR102323861B1 (ko) * | 2021-01-15 | 2021-11-09 | 주식회사 쪼이 | 온라인 의류 판매 시스템 |
| CN113835594A (zh) * | 2021-10-22 | 2021-12-24 | 维沃移动通信有限公司 | 交互方法和装置、电子设备以及可读存储介质 |
| CN114419703A (zh) * | 2021-12-31 | 2022-04-29 | 北京怡和嘉业医疗科技股份有限公司 | 面罩的虚拟佩戴方法、装置、终端设备及可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040097200A (ko) * | 2002-03-26 | 2004-11-17 | 김소운 | 3차원 안경 시뮬레이션 시스템 및 방법 |
| KR20110029805A (ko) * | 2009-09-16 | 2011-03-23 | 한국전자통신연구원 | 시각 기반 사용자 연령대 구분 및 추정 방법 |
| KR20120000229A (ko) * | 2010-06-25 | 2012-01-02 | 주식회사 유먼더스 | 소셜 쇼핑 방법 및 소셜 쇼핑 시스템 |
| KR101805056B1 (ko) * | 2015-07-21 | 2017-12-05 | (주)월드트렌드 | 증강현실을 이용한 안경착용 시뮬레이션 방법 |
| KR20180109217A (ko) * | 2017-03-27 | 2018-10-08 | 삼성전자주식회사 | 얼굴 영상 보정 방법 및 이를 구현한 전자 장치 |
-
2019
- 2019-12-13 KR KR1020207000538A patent/KR102325829B1/ko active IP Right Grant
- 2019-12-13 WO PCT/KR2019/017648 patent/WO2020141754A1/ko active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102655761B1 (ko) * | 2023-08-29 | 2024-04-08 | 주식회사 넥스트페이먼츠 | 사람의 특성을 인식하고 제품을 추천하는 전자 장치 및 전자 장치의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200085723A (ko) | 2020-07-15 |
| WO2020141754A1 (ko) | 2020-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102325829B1 (ko) | 안면착용 제품 추천 방법 및 그 장치 | |
| JP6715152B2 (ja) | ケア情報取得方法、ケア情報共有方法及びこれらの方法のための電子装置 | |
| AU2015201759B2 (en) | Electronic apparatus for providing health status information, method of controlling the same, and computer readable storage medium | |
| EP2919142B1 (en) | Electronic apparatus and method for providing health status information | |
| US20180268458A1 (en) | Automated recommendation and virtualization systems and methods for e-commerce | |
| CN109310196B (zh) | 化妆辅助装置以及化妆辅助方法 | |
| US20170169501A1 (en) | Method and system for evaluating fitness between wearer and eyeglasses | |
| KR102668172B1 (ko) | 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별 | |
| KR20200098713A (ko) | 자동화된 아바타 생성 | |
| US20170337740A1 (en) | Contact lens virtual fitting method and device, and computer program for executing contact lens virtual fitting method | |
| US11178956B1 (en) | System, method and mobile application for cosmetic and skin analysis | |
| US11607124B2 (en) | System and method for measuring pupillary distance | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| KR102271063B1 (ko) | 가상 피팅 서비스 제공 방법, 장치 및 그 시스템 | |
| KR102340904B1 (ko) | 증강현실 기반 가상 피팅 시스템 및 방법 | |
| US9330300B1 (en) | Systems and methods of analyzing images | |
| KR102149395B1 (ko) | 트루뎁스 카메라를 이용하여 아이웨어 시착 및 추천 서비스를 제공하는 시스템 및 방법 | |
| KR102594093B1 (ko) | 딥러닝 기술을 활용한 피부과 시술 추천 시스템 및 방법 | |
| CN116670718A (zh) | 用于毛发造型分析的方法和设备 | |
| WO2015172229A1 (en) | Virtual mirror systems and methods | |
| US20230129243A1 (en) | Style profile engine | |
| CN112308654A (zh) | 眼妆商品推荐程序、方法、装置以及系统 | |
| CN111488778A (zh) | 图像处理方法及装置、计算机系统和可读存储介质 | |
| JP7269309B1 (ja) | 情報処理装置、画像提示方法、及びプログラム | |
| CN110753931A (zh) | 基于面部特征点的点头动作识别的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |