KR20120046652A - System and method for recommending hair based on face recognition - Google Patents

System and method for recommending hair based on face recognition Download PDF

Info

Publication number
KR20120046652A
KR20120046652A KR1020100108441A KR20100108441A KR20120046652A KR 20120046652 A KR20120046652 A KR 20120046652A KR 1020100108441 A KR1020100108441 A KR 1020100108441A KR 20100108441 A KR20100108441 A KR 20100108441A KR 20120046652 A KR20120046652 A KR 20120046652A
Authority
KR
South Korea
Prior art keywords
information
facial
hair
hairstyle
face
Prior art date
Application number
KR1020100108441A
Other languages
Korean (ko)
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100108441A priority Critical patent/KR20120046652A/en
Priority to PCT/KR2011/005210 priority patent/WO2012060537A2/en
Priority to US13/813,003 priority patent/US20130129210A1/en
Publication of KR20120046652A publication Critical patent/KR20120046652A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

PURPOSE: A face recognition based hair style recommendation system and a method thereof are provided to recognize a face feature from face feature information and search a hair style information matched to the recognized face, thereby recommending the hair style information. CONSTITUTION: A user terminal(101) transmits a user image, or the face feature information extracted from the user image by a communication network. A hair style recommending device(100) learns hair style information according to each face feature through the face feature information and a corresponding hair style information. The hair style recommending device recognizes the user image or the face feature from the face feature information.

Description

얼굴 인식 기반의 헤어 추천 시스템 및 그 방법{SYSTEM AND METHOD FOR RECOMMENDING HAIR BASED ON FACE RECOGNITION}Facial Recognition based hair recommendation system and its method {SYSTEM AND METHOD FOR RECOMMENDING HAIR BASED ON FACE RECOGNITION}

본 발명은 얼굴 인식 기반의 헤어 추천 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보로부터 얼굴 특성을 인식한 후, 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 미리 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 추천함으로써, 사용자 얼굴에 가장 적합하게 매칭되는 헤어 스타일을 신속/용이하게 추천해 줄 수 있는, 얼굴 인식 기반의 헤어 추천 시스템 그 방법에 관한 것이다.The present invention relates to a hair recommendation system and a method based on face recognition, and in detail, extracts facial feature information from a user image, recognizes a facial feature from the extracted facial feature information, and then matches the recognized facial feature. Facial recognition-based hair recommendation system that can quickly and easily recommend a hairstyle that best matches the user's face by searching for and recommending the hairstyle information that is previously learned from the hairstyle information for each facial feature. It is about.

휴대 전화의 보급의 급증과 함께 다양한 휴대 단말의 기능이 탑재되어 시판되고 있다. 일반적인 휴대 단말의 사용은 상대방과의 전화를 하는 것뿐만 아니라 다양한 부가적인 기능을 사용자에게 제공하여 편리함을 추구하고 있다.With the proliferation of mobile phones, functions of various portable terminals are mounted and commercially available. In general, the use of a portable terminal seeks convenience by providing a user with various additional functions as well as making a call with a counterpart.

예를 들어, 사용자는 휴대 전화를 휴대하면서 음성 통신을 수행할 뿐만 아니라, 무선 인터넷(Wireless Internet) 기술을 이용하여 무선으로 인터넷에 접속하여 문자, 이미지, 음성 또는 동영상 등의 멀티미디어 데이터 서비스를 제공받고 있다. 휴대 전화에서 제공하는 부가적인 기능으로는 음악 플레이어, 단문 메시지 서비스, 무선 메신저, 모바일 뱅킹, 사용자 인증을 위한 지문인식, 카메라 기능 등이 있다.For example, a user not only performs voice communication while carrying a mobile phone, but also uses a wireless Internet technology to wirelessly access the Internet to receive multimedia data services such as text, images, voice, or video. have. Additional features offered by mobile phones include music players, short message services, wireless messengers, mobile banking, fingerprint recognition for user authentication, and camera functions.

점차, 휴대 전화는 이와 같은 멀티미디어 서비스를 이용하기 위해 포함되는 카메라를 통해 초기의 음성 통화 위주의 휴대 전화에서 벗어나 미디어 재생기, 카메라 및 캠코더 등 다양한 기능을 구비한 스마트폰으로 진화하고 있다. 이와 같은 캠코더 기능을 이용해 촬영된 동영상은 다른 단말기로 전송되기도 한다. Increasingly, mobile phones are evolving from the initial voice call-oriented mobile phones through cameras included to use such multimedia services to smart phones having various functions such as media players, cameras, and camcorders. Videos recorded using the camcorder function may be transferred to another terminal.

특히, 스마트폰의 열풍과 함께 스마트폰에서도 얼굴 인식 기술이 탑재되고 있다. 얼굴 인식 기술을 이용한 응용 기술 등이 널리 확산될 것으로 예측되고 있다. 얼굴 인식 기술은 바이오 인식 기술의 한 종류로서, 접촉식의 홍채와 지문 인식과는 달리 비 접촉성의 사용자 편의성을 제공하는 인식 기술로 다양한 디바이스에 적용되고 있다.In particular, face recognition technology is mounted on smartphones along with the craze of smartphones. Application technology using face recognition technology is expected to spread widely. Face recognition technology is a kind of bio-recognition technology and, unlike contact iris and fingerprint recognition, has been applied to various devices as a recognition technology that provides non-contact user convenience.

한편, 사용자가 자신에게 어울리는 옷이나 헤어 스타일을 매장을 방문하기 전에 미리 경험할 수 있는 가상 체험 서비스 등이 개발되고 있다. 이러한 종래의 가상 체험 서비스는 사용자가 선택한 옷이나 헤어에 대한 가상의 이미지를 실제 영상에 삽입하고, 가상 이미지가 삽입된 실제 영상을 사용자에게 제공할 수 있다. 이를 통해 여러 가지의 옷들을 사용자가 비교해 볼 수 있다. 이는 사용자의 시간을 절약할 수 있다는 점이 특징이다.On the other hand, a virtual experience service that allows a user to experience clothes or hair styles suitable for themselves before visiting a store has been developed. The conventional virtual experience service may insert a virtual image of clothes or hair selected by a user into a real image, and provide a user with a real image into which the virtual image is inserted. This allows users to compare different clothes. This feature saves users time.

이러한 종래의 가상 체험 서비스는 사용자가 가상의 수많은 스타일을 하나씩 선택하여 자신의 사이즈 또는 기호와 맞는지 살펴볼 수 있지만, 너무나 많은 스타일을 하나씩 고르기 때문에 자신에게 적합한 스타일을 찾는 시간이나 노력 등이 많이 소요된다. 종래의 가상 체험 서비스는 비교해 볼 수 있는 스타일들이 증가하면 할수록 더욱더 자신에게 적합한 스타일을 찾기 곤란한 문제점이 있다.In the conventional virtual experience service, the user can select a number of virtual styles one by one to see if they match their size or preferences, but since so many styles are selected one by one, it takes a lot of time or effort to find a style suitable for oneself. The conventional virtual experience service has a problem that it is difficult to find a style that is more suitable for itself as the styles that can be compared increase.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보로부터 얼굴 특성을 인식한 후, 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 미리 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 추천함으로써, 사용자 얼굴에 가장 적합하게 매칭되는 헤어 스타일을 신속/용이하게 추천해 줄 수 있는, 얼굴 인식 기반의 헤어 추천 시스템 그 방법을 제공하는 것을 목적으로 한다.The present invention was devised to solve the above problems, and extracts facial feature information from a user image, recognizes a facial feature from the extracted facial feature information, and then pre-registers hair style information matching the recognized facial feature. The object of the present invention is to provide a facial recognition-based hair recommendation system that can quickly and easily recommend a hairstyle that best matches a user's face by searching for and recommending hair style information for each facial feature. do.

이를 위하여, 본 발명의 제1 측면에 따른 장치는, 사용자 영상을 통신망을 통해 전송하거나, 상기 사용자 영상에서 얼굴 특징 정보를 추출하여 통신망을 통해 전송하는 사용자 단말; 및 얼굴 특징 정보와 해당 헤어 스타일 정보를 통해 얼굴 특성별 헤어 스타일 정보를 학습하고, 상기 사용자 단말로부터 전송된 사용자 영상 또는 얼굴 특징 정보로부터 얼굴 특성을 인식하고, 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천 장치를 포함하는 것을 특징으로 한다.To this end, an apparatus according to the first aspect of the present invention, a user terminal for transmitting a user image through a communication network, or extracts the facial feature information from the user image and transmits through a communication network; And learning hairstyle information for each facial feature through facial feature information and corresponding hairstyle information, recognizing facial features from a user image or facial feature information transmitted from the user terminal, and matching facial features with the recognized facial features. And a hair recommendation device for searching for the hair style information on the learned hairstyle information and transmitting the same to the user terminal.

한편, 본 발명의 제2 측면에 따른 장치는, 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습부; 사용자 단말로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부; 및 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천부를 포함하는 것을 특징으로 한다.On the other hand, the apparatus according to the second aspect of the present invention, the hair style learning unit for learning the hair style information for each facial feature by analyzing the facial feature information and the corresponding hairstyle information; A face recognition unit extracting face feature information from a user image transmitted from a user terminal and recognizing face feature using the extracted face feature information; And a hair recommendation unit for searching the hair style information on the facial characteristics matching the recognized facial characteristics from the learned hairstyle information and transmitting the same to the user terminal.

한편, 본 발명의 제3 측면에 따른 장치는, 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습부; 사용자 단말에서 추출된 얼굴 특징 정보를 전송받고 상기 전송된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부; 및 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천부를 포함하는 것을 특징으로 한다.On the other hand, the apparatus according to the third aspect of the present invention, a hair style learning unit for learning the hair style information by facial characteristics by analyzing the facial feature information and the corresponding hairstyle information; A face recognition unit receiving face feature information extracted from a user terminal and recognizing face feature using the transmitted face feature information; And a hair recommendation unit for searching the hair style information on the facial characteristics matching the recognized facial characteristics from the learned hair style information of the facial features and transmitting them to the user terminal.

얼굴 특징점 정보 및 얼굴 특성을 저장하는 얼굴 DB; 및 상기 학습된 얼굴 특성별 헤어 스타일 정보를 저장하는 헤어 DB를 더 포함하는 것을 특징으로 한다.A face DB storing face feature point information and face characteristics; And a hair DB for storing the learned hair style information for each facial feature.

상기 헤어 스타일 학습부는, 상기 인식된 얼굴 특성과 상기 검색된 헤어 스타일 정보를 매칭시키고 상기 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습하는 것을 특징으로 한다.The hairstyle learning unit may match the recognized facial feature with the retrieved hairstyle information and learn the matching result as the new hairstyle information for each facial feature.

상기 얼굴 인식부는, 상기 전송된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 얼굴 특성을 인식하는 것을 특징으로 한다.The face recognition unit extracts facial feature information including facial feature point information, forehead length, and forehead length from the forehead from the transmitted user image, and uses facial features based on the extracted facial feature point information, forehead length, and forehead to hair length. Characterized in that the recognition.

상기 얼굴 인식부는, 상기 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나의 얼굴 특성을 인식하고 상기 사용자의 성별 및 연령대를 구분하여 인식하는 것을 특징으로 한다.The face recognizing unit recognizes at least one face characteristic among mouth shape, eye shape, nose shape, brow, skin color and wrinkle information from the extracted facial feature information, and distinguishes and recognizes the gender and age group of the user. It is done.

상기 헤어 추천부는, 상기 사용자 단말로부터 헤어 스타일 선호도를 수신하고, 상기 수신된 헤어 스타일 선호도 및 상기 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 검색하는 것을 특징으로 한다.The hair recommender may receive a hairstyle preference from the user terminal and search for hairstyle information matching the received hairstyle preference and the recognized facial feature.

상기 헤어 추천부는, 상기 검색된 헤어 스타일 정보가 복수인 경우, 상기 검색된 복수의 헤어 스타일 정보를 상기 인식된 얼굴 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 것을 특징으로 한다.The hair recommender may be configured to transmit the plurality of searched hairstyle information to the user terminal by dividing the priority according to a matching ratio with the recognized facial feature when the searched hairstyle information is plural.

한편, 본 발명의 제4 측면에 따른 장치는, 얼굴 특징 정보와 해당 헤어 스타일 정보가 분석된 얼굴 특성별 헤어 스타일 정보를 저장하는 메모리; 사용자를 촬영하고, 상기 촬영된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식기; 및 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 저장된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자에게 제공하는 헤어 추천기를 포함하는 것을 특징으로 한다.On the other hand, the device according to the fourth aspect of the present invention includes a memory for storing the facial feature information and the hair style information for each facial feature in which the corresponding hairstyle information is analyzed; A face recognizer for photographing a user, extracting face feature information from the photographed user image, and recognizing face feature using the extracted face feature information; And a hair recommender for searching the hair style information on the facial features matching the recognized facial features from the stored hairstyle information for each facial feature and providing the same to the user.

한편, 본 발명의 제5 측면에 따른 방법은, 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습 단계; 사용자 단말로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하는 특징 정보 추출 단계; 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 및 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the fifth aspect of the present invention, the hair style learning step of learning the hairstyle information by facial characteristics by analyzing the facial feature information and the corresponding hairstyle information; A feature information extraction step of extracting facial feature information from a user image transmitted from a user terminal; A face recognition step of recognizing a face characteristic using the extracted face feature information; And a hair recommendation step of searching for the hair style information on the facial characteristics matching the recognized facial characteristics from the learned hairstyle information and transmitting the same to the user terminal.

한편, 본 발명의 제6 측면에 따른 방법은, 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습 단계; 사용자 단말에서 추출된 얼굴 특징 정보를 수신하는 특징 정보 수신 단계; 상기 수신된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 및 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the sixth aspect of the present invention, the hair style learning step of learning the hairstyle information by facial characteristics by analyzing the facial feature information and the corresponding hairstyle information; A feature information receiving step of receiving face feature information extracted from a user terminal; A face recognition step of recognizing a face characteristic using the received face feature information; And a hair recommendation step of retrieving hair style information on the facial characteristics matching the recognized facial characteristics from the learned hair style information of the facial features and transmitting the same to the user terminal.

상기 헤어 스타일 학습 단계는, 상기 인식된 얼굴 특성과 상기 검색된 헤어 스타일 정보를 매칭시키고 상기 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습하는 것을 특징으로 한다.In the hairstyle learning step, the recognized facial feature is matched with the retrieved hairstyle information, and the matching result is learned using new hairstyle information for each facial feature.

상기 특징 정보 추출 단계는, 상기 전송된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출하는 것을 특징으로 한다.In the extracting of the feature information, the feature information including facial feature point information, forehead length, and forehead length from the forehead may be extracted from the transmitted user image.

상기 얼굴 인식 단계는, 상기 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나를 인식하고 상기 사용자의 성별 및 연령대를 구분하여 인식하는 것을 특징으로 한다.The face recognition step may include recognizing at least one of mouth shape, eye shape, nose shape, brow, skin color and wrinkle information from the extracted facial feature information, and recognizing the gender and age group of the user. .

상기 헤어 추천 단계는, 상기 사용자 단말로부터 헤어 스타일 선호도를 수신하는 헤어 스타일 선호도 수신 단계를 더 포함하고, 상기 수신된 헤어 스타일 선호도 및 상기 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 검색하는 것을 특징으로 한다.The hair recommendation step may further include a hairstyle preference receiving step of receiving a hairstyle preference from the user terminal, and searching for hairstyle information matching the received hairstyle preference and the recognized facial feature. do.

상기 헤어 추천부는, 상기 검색된 헤어 스타일 정보가 복수인 경우, 상기 검색된 복수의 헤어 스타일 정보를 상기 인식된 얼굴 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 것을 특징으로 한다.The hair recommender may be configured to transmit the plurality of searched hairstyle information to the user terminal by dividing the priority according to a matching ratio with the recognized facial feature when the searched hairstyle information is plural.

한편, 본 발명의 제7 측면에 따른 방법은, 사용자를 촬영하고, 상기 촬영된 사용자 영상에서 얼굴 특징 정보를 추출하는 특징 정보 추출 단계; 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 및 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 기저장된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자에게 제공하는 헤어 추천 단계를 포함하는 것을 특징으로 한다.On the other hand, the method according to the seventh aspect of the present invention, the feature information extraction step of capturing a user, and extracts facial feature information from the photographed user image; A face recognition step of recognizing a face characteristic using the extracted face feature information; And a hair recommendation step of retrieving hair style information on facial characteristics matching the recognized facial characteristics from among previously stored hair style information for each facial characteristic and providing the same to the user.

본 발명은, 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보로부터 얼굴 특성을 인식한 후, 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 미리 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 추천함으로써, 사용자 얼굴에 가장 적합하게 매칭되는 헤어 스타일을 신속/용이하게 추천해 줄 수 있는 효과가 있다.The present invention extracts facial feature information from a user image, recognizes a facial feature from the extracted facial feature information, and then retrieves hair style information matching the recognized facial feature from the previously learned facial feature information. By recommending by doing so, there is an effect that can quickly / easily recommend a hairstyle that best matches the user's face.

또한, 본 발명은 사용자 영상을 통해 추천된 헤어 추천 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습함으로써, 헤어 스타일 정보에 대한 데이터베이스틀 용이하게 구축할 수 있으며, 다른 사용자의 헤어 추천 결과를 토대로 더욱더 정확한 헤어 스타일 정보를 추천해 줄 수 있는 효과가 있다.In addition, the present invention can easily build a database of the hair style information by learning the hair recommendation results recommended through the user image with the new hair style information for each facial characteristic, and more accurate based on the hair recommendation results of other users. It is effective to recommend hair style information.

또한, 본 발명은 사용자 영상에서 추출된 얼굴 특징점, 이마 길이 및 머리 길이뿐만 아니라, 헤어 추천과 관련 있는 연령 및 성별 등과 사용자의 헤어 스타일 선호도 등을 통해 얼굴 특성을 인식함으로써, 사용자에게 더욱더 적합한 헤어 스타일을 추천해 줄 수 있는 효과가 있다.In addition, the present invention recognizes the facial characteristics through not only facial feature points, forehead lengths and hair lengths extracted from user images, but also age and gender related to hair recommendation, and user's hairstyle preferences, thereby making the hair style more suitable for the user. I can recommend the effect.

도 1 은 본 발명에 따른 얼굴 인식 기반의 헤어 추천 시스템의 일실시예 구성도,
도 2 는 본 발명에 따른 사용자 단말에서의 얼굴 특징 정보 추출 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 헤어 추천 장치에서의 헤어 추천 결과를 이용한 헤어 학습 과정에 대한 일실시예 설명도,
도 4 는 본 발명에 따른 얼굴 인식 기반의 헤어 추천 방법에 대한 제1 실시예 흐름도,
도 5 는 본 발명에 따른 얼굴 인식 기반의 헤어 추천 방법에 대한 제2 실시예 흐름도이다.1 is a block diagram of an embodiment of a facial recommendation based hair recommendation system according to the present invention;
2 is a diagram illustrating an embodiment of a facial feature information extraction process in a user terminal according to the present invention;
3 is a diagram illustrating an embodiment of a hair learning process using a hair recommendation result in a hair recommendation apparatus according to the present invention;
4 is a flowchart of a first embodiment of a face recognition based hair recommendation method according to the present invention;
5 is a flowchart of a second embodiment of a face recognition based hair recommendation method according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Prior to the detailed description of the present invention, the same components will be denoted by the same reference numerals even if they are displayed on different drawings, and the detailed description will be omitted when it is determined that the well-known configuration may obscure the gist of the present invention. do.

도 1 은 본 발명에 따른 얼굴 인식 기반의 헤어 추천 시스템의 일실시예 구성도이다.1 is a configuration diagram of an embodiment of a facial recommendation based hair recommendation system according to the present invention.

도 1에 도시된 바와 같이, 헤어 추천 시스템(10)은 사용자 단말(101) 및 헤어 추천 장치(100)를 포함한다. 여기서, 헤어 추천 장치(100)는 헤어 스타일 학습부(110), 얼굴 인식부(120), 헤어 추천부(130), 얼굴 DB(140) 및 헤어 DB(150)를 포함한다.As shown in FIG. 1, the hair recommendation system 10 includes a user terminal 101 and a hair recommendation apparatus 100. Here, the hair recommendation apparatus 100 includes a hairstyle learning unit 110, a face recognition unit 120, a hair recommendation unit 130, a face DB 140, and a hair DB 150.

이하, 본 발명에 따른 얼굴 인식 기반의 헤어 추천 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each component of the facial recognition based hair recommendation system 10 according to the present invention will be described.

사용자 단말(101)은 사용자 영상을 통신망을 통해 전송하거나, 사용자 영상에서 얼굴 특징 정보를 추출하여 통신망을 통해 전송한다.The user terminal 101 transmits a user image through a communication network or extracts facial feature information from the user image and transmits the same through a communication network.

사용자 단말(101)의 제1 실시예로서, 사용자 단말(101)은 사용자 영상을 통신망을 통해 헤어 추천 장치(100)로 전송한다. 사용자 단말(101)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰 등이 될 수 있으며, 이에 한정되는 것은 아니다. 사용자 단말(101)은 구비된 영상 촬영 모듈을 이용하여 사용자의 영상을 촬영하여 사용자 영상을 획득한다. 여기서, 영상 촬영 모듈은 컴퓨터 등의 외부 컨트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다. As a first embodiment of the user terminal 101, the user terminal 101 transmits the user image to the hair recommendation apparatus 100 via a communication network. The user terminal 101 may be a computer, a mobile phone, or a smartphone equipped with an image capturing module, but is not limited thereto. The user terminal 101 acquires a user image by capturing an image of the user using the provided image capturing module. Here, the image capturing module may be a camera or a webcam connected to an external control device such as a computer, or a camera embedded in a personal portable terminal.

사용자 단말(101)의 제2 실시예로서, 사용자 단말(101)은 영상 촬영 모듈을 통해 획득한 실제 영상에서 사용자의 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 특징 정보를 추출한다. 이어서, 사용자 단말(101)은 추출된 얼굴 특징 정보를 통신망을 통해 헤어 추천 장치(100)로 전송한다. 여기서, 얼굴 특징 정보에는 눈, 코, 입, 윤곽 등의 얼굴 주요 부분에 대한 얼굴 특징점 정보, 이마의 길이 및 이마부터 머리까지의 머리 길이가 포함된다. 또한, 얼굴 특징 정보에는 피부 색상, 주름 정보, 입 모양, 눈 모양, 눈썹 모양, 미간, 코 모양, 등이 포함될 수 있다. 사용자 단말(101)은 얼굴 영역을 검출하기에 전에 미리 설정된 얼굴 영역 사이즈에 맞게 실제 영상을 축소하거나 확대할 수 있다. 이러한 실제 영상의 축소 및 확대 과정은 사용자 단말(101)이 얼굴 영역을 정확하게 검출하고, 이후의 얼굴 특징점을 검출하는데 도움이 된다.As a second embodiment of the user terminal 101, the user terminal 101 detects a face region of the user from an actual image acquired through the image capturing module, and extracts facial feature information from the detected face region. Subsequently, the user terminal 101 transmits the extracted facial feature information to the hair recommendation apparatus 100 through a communication network. Here, the facial feature information includes facial feature point information on main parts of the face such as eyes, nose, mouth, and outline, the length of the forehead, and the head length from the forehead to the head. The facial feature information may include skin color, wrinkle information, mouth shape, eye shape, eyebrow shape, brow, nose shape, and the like. The user terminal 101 may reduce or enlarge the actual image according to a preset face area size before detecting the face area. The process of reducing and enlarging the actual image helps the user terminal 101 to accurately detect the face area and to detect the facial feature points thereafter.

한편, 사용자 단말(101)의 제1 및 제2 실시예에 따른 헤어 추천 장치(100)의 제1 및 제2 실시예를 살펴보기로 한다.Meanwhile, the first and second embodiments of the hair recommendation apparatus 100 according to the first and second embodiments of the user terminal 101 will be described.

헤어 추천 장치(100)의 제1 실시예로서, 헤어 추천 장치(100)는 미리 수집되거나 시뮬레이션된 얼굴 특징 정보와 해당 헤어 스타일 정보를 통해 얼굴 특성별 헤어 스타일 정보를 학습한다. 그리고 헤어 추천 장치(100)는 사용자 단말(101)로부터 사용자 영상을 수신하고, 그 수신된 사용자 영상에서 얼굴 특징 정보를 추출한다. 이어서, 헤어 추천 장치(100)는 추출된 얼굴 특징 정보로부터 얼굴 특성을 인식한다.As a first embodiment of the hair recommendation apparatus 100, the hair recommendation apparatus 100 learns hair style information for each facial characteristic through previously collected or simulated facial feature information and corresponding hairstyle information. The hair recommendation apparatus 100 receives a user image from the user terminal 101, and extracts facial feature information from the received user image. Subsequently, the hair recommendation apparatus 100 recognizes facial features from the extracted facial feature information.

헤어 추천 장치(100)의 제2 실시예로서, 사용자 단말(101)로부터 사용자 영상이 아닌 얼굴 특징 정보를 수신하고, 그 수신된 얼굴 특징 정보로부터 얼굴 특성을 인식한다.As a second embodiment of the hair recommendation apparatus 100, facial feature information other than a user image is received from the user terminal 101, and facial features are recognized from the received facial feature information.

이후, 제1 및 제2 실시예의 헤어 추천 장치(100)는 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 학습된 헤어 스타일 정보 중에서 검색한다. 그리고 헤어 추천 장치(100)는 검색된 헤어 스타일 정보를 사용자 단말(101)로 전송한다.Thereafter, the hair recommendation apparatus 100 of the first and second exemplary embodiments searches for the hair style information on the facial feature that matches the recognized facial feature from the learned hair style information. The hair recommendation apparatus 100 transmits the found hair style information to the user terminal 101.

한편, 헤어 추천 장치(100)의 구성요소 각각에 대하여 살펴보기로 한다.Meanwhile, each component of the hair recommendation apparatus 100 will be described.

헤어 스타일 학습부(110)는 미리 수집되거나 시뮬레이션된 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습한다. 헤어 스타일 학습부(110)는 학습된 얼굴 특성별 헤어 스타일 정보를 헤어 DB(150)에 저장한다. 헤어 추천이 완료된 후, 헤어 스타일 학습부(110)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 헤어 추천부(130)에서 검색된 헤어 스타일 정보를 매칭시킨다. 그리고 헤어 스타일 학습부(110)는 그 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습하여 헤어 DB(150)에 저장한다. 이를 통해 새로운 헤어 스타일 정보가 학습되어 헤어 DB(150)에 저장될 수 있다.The hairstyle learning unit 110 analyzes previously collected or simulated facial feature information and corresponding hairstyle information to learn hair style information for each facial feature. The hair style learning unit 110 stores the learned hair style information for each facial feature in the hair DB 150. After the hair recommendation is completed, the hairstyle learning unit 110 matches the facial feature recognized by the face recognition unit 120 with the hair style information retrieved by the hair recommendation unit 130. The hair style learning unit 110 learns the matching result as the hair style information for each new facial characteristic and stores the matching result in the hair DB 150. Through this, new hair style information may be learned and stored in the hair DB 150.

얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다. 즉, 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출한다. 얼굴 인식부(120)는 추출된 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 얼굴 특성을 인식한다. 예를 들어, 얼굴 인식부(120)는 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나를 인식한다. 또한, 얼굴 인식부(120)는 사용자의 성별 및 연령대를 구분하여 인식할 수 있다. 얼굴 특징 정보에는 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된다. 얼굴 인식부(120)는 얼굴 DB(140)에 저장된 얼굴 특징 정보와 얼굴 특성 간의 매칭 결과를 이용하여 얼굴 특성을 인식한다. 여기서, 얼굴 특성에는 헤어 스타일 추천을 위한 전체적인 얼굴 특성들이 포함되어 있으며, 성별 및 연령이 더 포함될 수 있다. 얼굴 인식부(120)는 사용자 영상에서 추출된 얼굴 특징 정보와 인식된 얼굴 특성을 얼굴 DB(140)에 저장한다.The face recognition unit 120 extracts face feature information from the user image transmitted from the user terminal 101, and recognizes the face feature using the extracted face feature information. That is, the face recognizing unit 120 extracts facial feature information including forehead length, forehead length, and forehead length from the user image transmitted from the user terminal 101. The face recognition unit 120 recognizes facial characteristics by using extracted facial feature point information, forehead length, and forehead length. For example, the face recognition unit 120 recognizes at least one of mouth shape, eye shape, nose shape, brow, skin color, and wrinkle information from the extracted facial feature information. In addition, the face recognition unit 120 may recognize the user's gender and age. The facial feature information includes facial feature point information, forehead length, and forehead to hair length. The face recognition unit 120 recognizes face characteristics by using a matching result between face feature information and face characteristics stored in the face DB 140. Here, the facial features include overall facial features for recommending a hairstyle, and may further include gender and age. The face recognition unit 120 stores the facial feature information extracted from the user image and the recognized facial feature in the face DB 140.

헤어 추천부(130)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 헤어 스타일 학습부(110)에서 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색한다. 헤어 추천부(130)는 사용자 단말(101)로부터 헤어 스타일 선호도를 수신하고, 그 수신된 헤어 스타일 선호도 및 얼굴 특성과 매칭되는 헤어 스타일 정보를 검색할 수 있다. 헤어 추천부(130)는 그 검색된 헤어 스타일 정보를 사용자 단말(101)로 전송한다. 헤어 추천부(130)는 검색된 헤어 스타일 정보가 복수인 경우, 그 검색된 복수의 헤어 스타일 정보를 얼굴 특성과의 매칭 비율에 따라 우선 순위를 구분하여 사용자 단말(101)로 전송할 수 있다. 예를 들어, 매칭 비율이 특정 비율 이상인 헤어 스타일이 복수인 경우, 헤어 추천부(130)는 헤어 스타일 정보별로 매칭 비율을 각각 표시하여 전송할 수 있다.The hair recommendation unit 130 searches for hair style information on the facial characteristics that match the facial characteristics recognized by the face recognition unit 120 among the hairstyle information for each facial characteristic learned by the hairstyle learning unit 110. The hair recommendation unit 130 may receive a hairstyle preference from the user terminal 101 and retrieve hair style information matching the received hairstyle preference and facial characteristics. The hair recommendation unit 130 transmits the retrieved hair style information to the user terminal 101. When there is a plurality of searched hairstyle information, the hair recommendation unit 130 may transmit the searched plurality of hairstyle information to the user terminal 101 by dividing the priority according to a matching ratio with the facial characteristics. For example, when there are a plurality of hairstyles having a matching ratio greater than or equal to a specific ratio, the hair recommendation unit 130 may display and transmit the matching ratio for each hairstyle information.

한편, 사용자 단말(101)의 제3 실시예로서, 사용자 단말(101)은 실제 영상에서 얼굴 특징 정보를 추출하고 그 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하여 그 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 검색하여 일련의 과정을 스스로 수행할 수 있다.Meanwhile, as a third embodiment of the user terminal 101, the user terminal 101 extracts facial feature information from an actual image, recognizes a facial feature using the extracted facial feature information, and matches the recognized facial feature. You can perform a series of procedures yourself by retrieving the hairstyle information on the facial features.

이를 위해, 사용자 단말(101)은 메모리, 얼굴 인식기 및 헤어 추천기를 포함한다.To this end, the user terminal 101 includes a memory, a face recognizer and a hair recommender.

메모리는 얼굴 특징 정보와 해당 헤어 스타일 정보가 분석된 얼굴 특성별 헤어 스타일 정보를 저장한다.The memory stores facial feature information and hairstyle information for each facial feature in which the corresponding hairstyle information is analyzed.

그리고 얼굴 인식기는 사용자를 촬영하고, 그 촬영된 사용자 영상에서 얼굴 특징 정보를 추출한다. 그리고 얼굴 인식기는 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다.The face recognizer photographs a user and extracts facial feature information from the captured user image. The face recognizer recognizes facial features using the extracted facial feature information.

헤어 추천기는 얼굴 인식기에서 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 메모리에 저장된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 사용자에게 제공할 수 있다.The hair recommender may provide the user with the hair style information on the facial characteristics matching the facial characteristics recognized by the face recognizer from among the hair style information for each facial characteristic stored in the memory.

도 2 는 본 발명에 따른 사용자 단말에서의 얼굴 특징 정보 추출 과정에 대한 일실시예 설명도이다.2 is a diagram illustrating an embodiment of a facial feature information extraction process in a user terminal according to the present invention.

도 2에 도시된 바와 같이, 사용자 단말(101)은 영상 촬영 모듈을 통해 촬영 되거나 외부로부터 획득된 사용자 영상(210)에서 얼굴 특징점 정보(211), 이마의 길이(212) 및 이마부터 머리까지의 머리 길이(213)를 추출한다. 여기서, 얼굴 특징점 정보(211), 이마의 길이(212) 및 이마부터 머리까지의 머리 길이(213)는 헤어 천을 위해 필요한 정보로서, 사용자의 성별 및 연령 정보가 더 포함될 수 있다.As shown in FIG. 2, the user terminal 101 may include facial feature point information 211, a forehead length 212, and a forehead to a head in a user image 210 that is photographed through an image capturing module or acquired from the outside. Head length 213 is extracted. Here, the facial feature point information 211, the length of the forehead 212, and the length of the forehead to the head 213 are necessary information for the hair cloth, and may further include gender and age information of the user.

그리고 사용자 단말(101)은 추출된 얼굴 특징점 정보(211), 이마의 길이(212) 및 이마부터 머리까지의 머리 길이(213)를 헤어 추천 장치(100)로 전송하여 헤어 추천을 요청한다. 또한, 사용자 단말(101)은 사용자로부터 헤어 스타일 선호도를 입력받아 헤어 추천 장치(100)로 전송하여 헤어 추천을 요청할 수 있다.The user terminal 101 transmits the extracted facial feature point information 211, the length of the forehead 212, and the length of the hair from the forehead to the head 213 to the hair recommendation device 100 to request hair recommendation. In addition, the user terminal 101 may receive a hair style preference from the user and transmit the received hair style preference to the hair recommendation apparatus 100 to request hair recommendation.

이후, 헤어 추천 장치(100)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 헤어 추천부(130)를 통해 검색하고, 그 검색된 헤어 스타일 정보(220)를 통신망을 통해 사용자 단말(101)로 전송하여 헤어 스타일을 추천한다. 여기서, 헤어 스타일 정보(220)에는 헤어 스타일만 표현된 헤어 스타일 영상이 될 수 있으며, 사용자 영상에 헤어 스타일이 삽입된 가상의 헤어 스타일 체험 영상이 될 수 있다.Thereafter, the hair recommendation apparatus 100 searches for hair style information matching the facial characteristics recognized by the face recognition unit 120 through the hair recommendation unit 130, and retrieves the found hair style information 220 through a communication network. The hair style is recommended by transmitting to the user terminal 101. Here, the hairstyle information 220 may be a hairstyle image in which only a hairstyle is expressed, and may be a virtual hairstyle experience image in which a hairstyle is inserted into a user image.

도 3 은 본 발명에 따른 헤어 추천 장치에서의 헤어 추천 결과를 이용한 헤어 학습 과정에 대한 일실시예 설명도이다.3 is a diagram illustrating an embodiment of a hair learning process using the hair recommendation result in the hair recommendation apparatus according to the present invention.

우선, 헤어 스타일 학습부(110)는 다수 사용자의 헤어 스타일 정보를 학습하고, 이러한 헤어 스타일 정보들을 얼굴 특성별로 분류한다. 헤어 스타일 학습부(110)는 얼굴 특성별로 분류된 헤어 스타일 정보를 헤어 DB(150)에 저장한다. 헤어 추천부(130)는 분류된 얼굴 특성별 헤어 스타일 정보를 기초로 하여 얼굴 특성에 맞는 헤어 스타일 정보를 검색할 수 있다. 이를 통해, 헤어 추천부(130)는 새로운 사용자 영상이 얼굴 인식부(120)로 수신되더라도 헤어 DB(150)에 저장된 얼굴 특성 중에서 매칭되는 얼굴 특성을 검색하고 그에 맞는 헤어 스타일 정보를 사용자 단말(101)로 추천할 수 있다.First, the hairstyle learning unit 110 learns hairstyle information of a plurality of users, and classifies the hairstyle information by facial characteristics. The hair style learning unit 110 stores the hair style information classified by facial characteristics in the hair DB 150. The hair recommendation unit 130 may search for hair style information suitable for the facial characteristics based on the classified hair style information for each facial characteristic. Through this, the hair recommendation unit 130 searches for a matching facial feature among the facial features stored in the hair DB 150 even if a new user image is received by the face recognition unit 120, and provides the hair style information according to the user terminal 101. Can be recommended.

도 3에 도시된 바와 같이, 헤어 스타일 학습부(110)는 헤어 추천부(130)에서 추천된 사용자의 헤어 추천 결과(301) 즉, 얼굴 특성별 헤어 스타일 정보를 새로운 입력 데이터로 입력받는다. 그리고 헤어 스타일 학습부(110)는 전달된 헤어 추천 결과(301)를 얼굴 특성별 헤어 스타일 정보로 새롭게 학습한다. 학습된 결과는 헤어 DB(150)에 새로운 얼굴 특성별 헤어 스타일 정보로 저장된다.As shown in FIG. 3, the hair style learning unit 110 receives the hair recommendation result 301 of the user recommended by the hair recommendation unit 130, that is, the hair style information for each facial feature, as new input data. In addition, the hair style learning unit 110 newly learns the delivered hair recommendation result 301 as hair style information for each facial feature. The learned result is stored in the hair DB 150 as hair style information for each facial feature.

도 4 는 본 발명에 따른 얼굴 인식 기반의 헤어 추천 방법에 대한 제1 실시예 흐름도이다.4 is a flowchart of a first embodiment of a face recognition based hair recommendation method according to the present invention.

헤어 스타일 학습부(110)는 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습한다(S402). 여기서, 얼굴 특징 정보와 해당 헤어 스타일 정보는 미리 수집되거나 시뮬레이션되어 헤어 DB(150)에 저장된 정보일 수 있다.The hairstyle learning unit 110 analyzes the facial feature information and the corresponding hairstyle information to learn the hairstyle information for each facial feature (S402). Here, the facial feature information and the corresponding hairstyle information may be information previously collected or simulated and stored in the hair DB 150.

이후, 얼굴 인식부(120)는 사용자 단말(101)로부터 사용자 영상을 전송받는다(S404).Thereafter, the face recognition unit 120 receives the user image from the user terminal 101 (S404).

그리고 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출한다(S406). 예를 들어, 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출한다.The face recognition unit 120 extracts face feature information from the user image transmitted from the user terminal 101 (S406). For example, the face recognition unit 120 extracts facial feature information including forehead length, forehead length, and forehead length from a user image transmitted from the user terminal 101.

이어서, 얼굴 인식부(120)는 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다(S408). 얼굴 인식부(120)는 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 얼굴 특성을 인식한다. 또한, 얼굴 인식부(120)는 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나를 인식할 수 있다. 또한, 얼굴 인식부(120)는 사용자의 성별 및 연령대를 구분하여 인식할 수 있다.Subsequently, the face recognition unit 120 recognizes face characteristics using the extracted face feature information (S408). The face recognition unit 120 recognizes facial features using facial feature point information, forehead length, and forehead to head length. In addition, the face recognition unit 120 may recognize at least one of mouth shape, eye shape, nose shape, brow, skin color and wrinkle information from the extracted facial feature information. In addition, the face recognition unit 120 may recognize the user's gender and age.

이후, 헤어 추천부(130)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를, 헤어 스타일 학습부(110)에서 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색한다(S410). 여기서, 헤어 추천부(130)는 사용자 단말(101)로부터 헤어 스타일 선호도를 수신하고, 그 수신된 헤어 스타일 선호도 및 얼굴 특성과 매칭되는 헤어 스타일 정보를 검색할 수 있다. 또한, 헤어 추천부(130)는 검색된 헤어 스타일 정보가 복수인 경우, 그 검색된 복수의 헤어 스타일 정보를 얼굴 특성과의 매칭 비율에 따라 우선 순위를 구분할 수 있다. 그리고 헤어 추천부(130)는 헤어 스타일 정보를 사용자 단말(101)로 전송한다(S412).Subsequently, the hair recommendation unit 130 searches for hair style information on the facial characteristics matched with the facial characteristics recognized by the face recognition unit 120 from among the hairstyle information for each facial characteristic learned by the hairstyle learning unit 110. (S410). Here, the hair recommendation unit 130 may receive a hairstyle preference from the user terminal 101 and search for hair style information matching the received hairstyle preference and facial characteristics. In addition, when there is a plurality of searched hairstyle information, the hair recommendation unit 130 may classify the searched plurality of hairstyle information according to a matching ratio with facial features. The hair recommendation unit 130 transmits the hair style information to the user terminal 101 (S412).

헤어 추천이 완료된 후, 헤어 스타일 학습부(110)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 헤어 추천부(130)에서 검색된 헤어 스타일 정보를 매칭시키고, 그 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습할 수 있다. After the hair recommendation is completed, the hairstyle learning unit 110 matches the facial feature recognized by the face recognition unit 120 with the hairstyle information retrieved by the hair recommendation unit 130, and matches the matching result with the new hair feature. You can learn with style information.

도 5 는 본 발명에 따른 얼굴 인식 기반의 헤어 추천 방법에 대한 제2 실시예 흐름도이다.5 is a flowchart of a second embodiment of a face recognition based hair recommendation method according to the present invention.

헤어 스타일 학습부(110)는 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습한다(S502). 여기서, 얼굴 특징 정보와 해당 헤어 스타일 정보는 미리 수집되거나 시뮬레이션되어 헤어 DB(150)에 저장된 정보일 수 있다.The hairstyle learning unit 110 analyzes the facial feature information and the corresponding hairstyle information to learn hair style information for each facial feature (S502). Here, the facial feature information and the corresponding hairstyle information may be information previously collected or simulated and stored in the hair DB 150.

이후, 얼굴 인식부(120)는 사용자 단말(101)에서 추출된 얼굴 특징 정보를 전송받는다(S504). 사용자 단말(101)은 영상 촬영 모듈을 통해 촬영된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출하여 헤어 추천 장치(100)로 전송한다. 그리고 헤어 추천 장치(100)는 얼굴 특징 정보를 수신하고, 그 수신된 얼굴 특징 정보로부터 얼굴 특성을 인식한다.Thereafter, the face recognition unit 120 receives the facial feature information extracted from the user terminal 101 (S504). The user terminal 101 extracts facial feature information including forehead length, forehead length, and forehead length from a user image photographed through the image capturing module and transmits the facial feature information to the hair recommendation apparatus 100. The hair recommendation apparatus 100 receives the facial feature information and recognizes the facial feature from the received facial feature information.

그리고 얼굴 인식부(120)는 사용자 단말(101)로부터 전송된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다(S506). 얼굴 인식부(120)는 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 얼굴 특성을 인식한다. 또한, 얼굴 인식부(120)는 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나를 인식할 수 있다. 또한, 얼굴 인식부(120)는 사용자의 성별 및 연령대를 구분하여 인식할 수 있다.In operation S506, the face recognition unit 120 recognizes face characteristics by using face feature information transmitted from the user terminal 101. The face recognition unit 120 recognizes facial features using facial feature point information, forehead length, and forehead to head length. In addition, the face recognition unit 120 may recognize at least one of mouth shape, eye shape, nose shape, brow, skin color and wrinkle information from the extracted facial feature information. In addition, the face recognition unit 120 may recognize the user's gender and age.

이후, 헤어 추천부(130)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를, 헤어 스타일 학습부(110)에서 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색한다(S508).Subsequently, the hair recommendation unit 130 searches for hair style information on the facial characteristics matched with the facial characteristics recognized by the face recognition unit 120 from among the hairstyle information for each facial characteristic learned by the hairstyle learning unit 110. (S508).

그리고 헤어 추천부(130)는 검색된 헤어 스타일 정보를 사용자 단말(101)로 전송한다(S510).The hair recommendation unit 130 transmits the retrieved hair style information to the user terminal 101 (S510).

헤어 추천이 완료된 후, 헤어 스타일 학습부(110)는 얼굴 인식부(120)에서 인식된 얼굴 특성과 헤어 추천부(130)에서 검색된 헤어 스타일 정보를 매칭시키고, 그 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습할 수 있다.After the hair recommendation is completed, the hairstyle learning unit 110 matches the facial feature recognized by the face recognition unit 120 with the hairstyle information retrieved by the hair recommendation unit 130, and matches the matching result with the new hair feature. You can learn with style information.

한편, 사용자 단말(101)에서 통신망 없이 촬영된 사용자 영상과 매칭되는 헤어를 추천하는 과정을 살펴보기로 한다. 즉, 사용자 단말(101)이 네트워크 기반의 서비스를 받지 않고 독립적으로 서비스를 수행하는 경우 사용자 단말(101)은 얼굴 인식기 및 헤어 추천기를 구비하며, 외장 또는 내장 메모리에 얼굴 특성과 매칭되는 헤어 스타일 정보가 학습되어 미리 저장되고 있다.Meanwhile, the process of recommending a hair matching the user image photographed without a communication network in the user terminal 101 will be described. That is, when the user terminal 101 independently performs a service without receiving a network-based service, the user terminal 101 includes a face recognizer and a hair recommender, and hairstyle information matching facial features in an external or internal memory. Is learned and stored in advance.

사용자 단말(101)은 구비된 촬영 모듈을 통해 사용자를 촬영한다.The user terminal 101 photographs the user through the photographing module provided.

사용자 단말(101)은 그 촬영된 사용자 영상에서 얼굴 특징 정보를 추출한다. 그리고 사용자 단말(101)은 그 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식한다.The user terminal 101 extracts facial feature information from the captured user image. In addition, the user terminal 101 recognizes a facial feature by using the extracted facial feature information.

그리고 사용자 단말(101)은 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 메모리에 저장된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 사용자에게 제공할 수 있다.In addition, the user terminal 101 may search for and provide hair style information on the facial characteristics matching the recognized facial characteristics among the hairstyle information for each facial characteristic stored in the memory.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The above description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the technical spirit of the present invention. Therefore, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed by the claims below, and all techniques within the scope equivalent thereto will be construed as being included in the scope of the present invention.

본 발명은, 사용자 영상에서 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보로부터 얼굴 특성을 인식한 후, 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 미리 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 추천함으로써, 사용자 얼굴에 가장 적합하게 매칭되는 헤어 스타일을 신속/용이하게 추천해 줄 수 있다.The present invention extracts facial feature information from a user image, recognizes a facial feature from the extracted facial feature information, and then retrieves hair style information matching the recognized facial feature from the previously learned facial feature information. By recommending it, a hairstyle that best matches a user's face can be quickly and easily recommended.

101: 사용자 단말 100: 헤어 추천 장치
110: 헤어 스타일 학습부 120: 얼굴 인식부
130: 헤어 추천부 140: 얼굴 DB
150: 헤어 DB101: user terminal 100: hair recommendation device
110: hairstyle learning unit 120: face recognition unit
130: hair recommendation unit 140: face DB
150: hair DB

Claims (18)

사용자 영상을 통신망을 통해 전송하거나, 상기 사용자 영상에서 얼굴 특징 정보를 추출하여 통신망을 통해 전송하는 사용자 단말; 및
얼굴 특징 정보와 해당 헤어 스타일 정보를 통해 얼굴 특성별 헤어 스타일 정보를 학습하고, 상기 사용자 단말로부터 전송된 사용자 영상 또는 얼굴 특징 정보로부터 얼굴 특성을 인식하고, 상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천 장치
를 포함하는 얼굴 인식 기반의 헤어 추천 시스템.A user terminal for transmitting a user image through a communication network or extracting facial feature information from the user image and transmitting the same through a communication network; And
Learning hair style information for each facial feature through facial feature information and corresponding hairstyle information, recognizing facial features from user images or facial feature information transmitted from the user terminal, and recognizing facial features matching the recognized facial features. Hair recommendation apparatus for retrieving the hairstyle information on the hair style information from the learned hairstyle information to the user terminal
Facial recognition based hair recommendation system that includes. 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습부;
사용자 단말로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부; 및
상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천부
를 포함하는 얼굴 인식 기반의 헤어 추천 장치.A hair style learning unit learning hair style information for each facial feature by analyzing facial feature information and corresponding hairstyle information;
A face recognition unit extracting face feature information from a user image transmitted from a user terminal and recognizing face feature using the extracted face feature information; And
Hair recommendation unit for retrieving the hair style information on the facial characteristics matching the recognized facial characteristics from the learned hairstyle information to transmit to the user terminal
Facial recognition based hair recommendation device comprising a. 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습부;
사용자 단말에서 추출된 얼굴 특징 정보를 전송받고 상기 전송된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식부; 및
상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천부
를 포함하는 얼굴 인식 기반의 헤어 추천 장치.A hair style learning unit learning hair style information for each facial feature by analyzing facial feature information and corresponding hairstyle information;
A face recognition unit receiving face feature information extracted from a user terminal and recognizing face feature using the transmitted face feature information; And
Hair recommendation unit for retrieving the hair style information on the facial characteristics matching the recognized facial characteristics from the hair style information for each of the learned facial characteristics to transmit to the user terminal
Facial recognition based hair recommendation device comprising a. 제 2 항 또는 제 3 항에 있어서,
얼굴 특징 정보 및 얼굴 특성을 저장하는 얼굴 DB; 및
상기 학습된 얼굴 특성별 헤어 스타일 정보를 저장하는 헤어 DB
를 더 포함하는 얼굴 인식 기반의 헤어 추천 장치.The method according to claim 2 or 3,
A face DB storing face feature information and face characteristics; And
Hair DB for storing the hair style information for each of the learned facial features
Facial recognition based hair recommendation device further including. 제 2 항 또는 제 3 항에 있어서,
상기 헤어 스타일 학습부는,
상기 인식된 얼굴 특성과 상기 검색된 헤어 스타일 정보를 매칭시키고 상기 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습하는 얼굴 인식 기반의 헤어 추천 장치.The method according to claim 2 or 3,
The hairstyle learning unit,
The facial recognition-based hair recommendation apparatus matching the recognized face characteristics with the retrieved hair style information and learning the matching result with new hair style information for each facial characteristic. 제 2 항에 있어서,
상기 얼굴 인식부는,
상기 전송된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이를 이용하여 얼굴 특성을 인식하는 얼굴 인식 기반의 헤어 추천 장치.The method of claim 2,
The face recognition unit,
Facial recognition for recognizing facial features using the extracted facial feature point information, forehead length, and forehead length from the forehead length, and forehead length and forehead length from the user image. Based hair recommendation device. 제 2 항 또는 제 3 항에 있어서,
상기 얼굴 인식부는,
상기 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나의 얼굴 특성을 인식하고 상기 사용자의 성별 및 연령대를 구분하여 인식하는 얼굴 인식 기반의 헤어 추천 장치.The method according to claim 2 or 3,
The face recognition unit,
A facial recognition-based hair recommendation device that recognizes at least one facial feature among mouth shape, eye shape, nose shape, brow, skin color and wrinkle information from the extracted facial feature information and distinguishes the gender and age group of the user . 제 2 항 또는 제 3 항에 있어서,
상기 헤어 추천부는,
상기 사용자 단말로부터 헤어 스타일 선호도를 수신하고, 상기 수신된 헤어 스타일 선호도 및 상기 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 검색하는 얼굴 인식 기반의 헤어 추천 장치.The method according to claim 2 or 3,
The hair recommendation part,
A facial recognition-based hair recommendation apparatus for receiving a hairstyle preference from the user terminal and searching for hairstyle information matching the received hairstyle preference and the recognized facial characteristic. 제 2 항 또는 제 3 항에 있어서,
상기 헤어 추천부는,
상기 검색된 헤어 스타일 정보가 복수인 경우, 상기 검색된 복수의 헤어 스타일 정보를 상기 인식된 얼굴 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 얼굴 인식 기반의 헤어 추천 장치.The method according to claim 2 or 3,
The hair recommendation part,
When the searched hairstyle information is plural, facial recognition-based hair recommendation apparatus for transmitting the plurality of searched hairstyle information according to the matching ratio with the recognized facial characteristics to transmit to the user terminal. 얼굴 특징 정보와 해당 헤어 스타일 정보가 분석된 얼굴 특성별 헤어 스타일 정보를 저장하는 메모리;
사용자를 촬영하고, 상기 촬영된 사용자 영상에서 얼굴 특징 정보를 추출하고 상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식기; 및
상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 저장된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자에게 제공하는 헤어 추천기
를 포함하는 얼굴 인식 기반의 사용자 단말 장치.A memory configured to store facial feature information for each facial feature in which facial feature information and corresponding hairstyle information are analyzed;
A face recognizer for photographing a user, extracting face feature information from the photographed user image, and recognizing face feature using the extracted face feature information; And
Hair recommender for searching the hair style information on the facial features matching the recognized facial features from the stored hairstyle information for each facial feature to provide to the user
Face recognition based user terminal device comprising a. 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습 단계;
사용자 단말로부터 전송된 사용자 영상에서 얼굴 특징 정보를 추출하는 특징 정보 추출 단계;
상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 및
상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천 단계
를 포함하는 얼굴 인식 기반의 헤어 추천 방법.A hair style learning step of learning hair style information for each facial characteristic by analyzing facial feature information and corresponding hairstyle information;
A feature information extraction step of extracting facial feature information from a user image transmitted from a user terminal;
A face recognition step of recognizing a face characteristic using the extracted face feature information; And
Hair recommendation step of retrieving the hair style information on the facial characteristics matching the recognized facial characteristics from the learned hairstyle information to the user terminal
Facial recognition based hair recommendation method comprising a. 얼굴 특징 정보와 해당 헤어 스타일 정보를 분석하여 얼굴 특성별 헤어 스타일 정보를 학습하는 헤어 스타일 학습 단계;
사용자 단말에서 추출된 얼굴 특징 정보를 수신하는 특징 정보 수신 단계;
상기 수신된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 및
상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 상기 학습된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자 단말로 전송하는 헤어 추천 단계
를 포함하는 얼굴 인식 기반의 헤어 추천 방법.A hair style learning step of learning hair style information for each facial characteristic by analyzing facial feature information and corresponding hairstyle information;
A feature information receiving step of receiving face feature information extracted from a user terminal;
A face recognition step of recognizing a face characteristic using the received face feature information; And
Hair recommendation step of retrieving the hair style information on the facial characteristics matching the recognized facial characteristics from the hair style information for each of the learned facial characteristics to transmit to the user terminal
Facial recognition based hair recommendation method comprising a. 제 11 항 또는 제 12 항에 있어서,
상기 헤어 스타일 학습 단계는,
상기 인식된 얼굴 특성과 상기 검색된 헤어 스타일 정보를 매칭시키고 상기 매칭 결과를 새로운 얼굴 특성별 헤어 스타일 정보로 학습하는 얼굴 인식 기반의 헤어 추천 방법.The method according to claim 11 or 12,
The hairstyle learning step,
The facial recognition-based hair recommendation method of matching the recognized facial features and the retrieved hair style information and learning the matching result with new hair style information for each facial feature. 제 11 항에 있어서,
상기 특징 정보 추출 단계는,
상기 전송된 사용자 영상에서 얼굴 특징점 정보, 이마 길이 및 이마부터 머리 길이가 포함된 얼굴 특징 정보를 추출하는 얼굴 인식 기반의 헤어 추천 방법.The method of claim 11,
The feature information extraction step,
A facial recognition based hair recommendation method of extracting facial feature information including forehead length, forehead length, and forehead length from the forehead from the transmitted user image. 제 11 항 또는 제 12 항에 있어서,
상기 얼굴 인식 단계는,
상기 추출된 얼굴 특징 정보로부터 입 모양, 눈 모양, 코 모양, 미간, 피부 색상 및 주름 정보 중 적어도 하나를 인식하고 상기 사용자의 성별 및 연령대를 구분하여 인식하는 얼굴 인식 기반의 헤어 추천 방법.The method according to claim 11 or 12,
The face recognition step,
A facial recognition-based hair recommendation method of recognizing at least one of mouth shape, eye shape, nose shape, brow, skin color, and wrinkle information from the extracted facial feature information, and distinguishing the gender and age group of the user. 제 11 항 또는 제 12 항에 있어서,
상기 헤어 추천 단계는,
상기 사용자 단말로부터 헤어 스타일 선호도를 수신하는 헤어 스타일 선호도 수신 단계를 더 포함하고,
상기 수신된 헤어 스타일 선호도 및 상기 인식된 얼굴 특성과 매칭되는 헤어 스타일 정보를 검색하는 얼굴 인식 기반의 헤어 추천 방법.The method according to claim 11 or 12,
The hair recommendation step,
Further comprising a hairstyle preference receiving step of receiving a hairstyle preference from the user terminal,
Facial recognition-based hair recommendation method for retrieving hairstyle information matching the received hairstyle preference and the recognized facial characteristic. 제 11 항 또는 제 12 항에 있어서,
상기 헤어 추천 단계는,
상기 검색된 헤어 스타일 정보가 복수인 경우, 상기 검색된 복수의 헤어 스타일 정보를 상기 인식된 얼굴 특성과의 매칭 비율에 따라 우선 순위를 구분하여 상기 사용자 단말로 전송하는 얼굴 인식 기반의 헤어 추천 방법.The method according to claim 11 or 12,
The hair recommendation step,
And if the searched hairstyle information is plural, facial recognition-based hair recommendation method for transmitting the plurality of searched hairstyle information according to a matching ratio with the recognized facial characteristics and transmitting the classified priority to the user terminal. 사용자를 촬영하고, 상기 촬영된 사용자 영상에서 얼굴 특징 정보를 추출하는 특징 정보 추출 단계;
상기 추출된 얼굴 특징 정보를 이용하여 얼굴 특성을 인식하는 얼굴 인식 단계; 및
상기 인식된 얼굴 특성과 매칭되는 얼굴 특성에 대한 헤어 스타일 정보를 기저장된 얼굴 특성별 헤어 스타일 정보 중에서 검색하여 상기 사용자에게 제공하는 헤어 추천 단계
를 포함하는 얼굴 인식 기반의 헤어 추천 방법.A feature information extraction step of capturing a user and extracting facial feature information from the photographed user image;
A face recognition step of recognizing a face characteristic using the extracted face feature information; And
A hair recommendation step of searching for and providing hair style information on facial characteristics matching the recognized facial characteristics from among previously stored hairstyle information for each facial characteristic and providing the same to the user.
Facial recognition based hair recommendation method comprising a.
KR1020100108441A 2010-11-02 2010-11-02 System and method for recommending hair based on face recognition KR20120046652A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100108441A KR20120046652A (en) 2010-11-02 2010-11-02 System and method for recommending hair based on face recognition
PCT/KR2011/005210 WO2012060537A2 (en) 2010-11-02 2011-07-15 Recommendation system based on the recognition of a face and style, and method thereof
US13/813,003 US20130129210A1 (en) 2010-11-02 2011-07-15 Recommendation system based on the recognition of a face and style, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108441A KR20120046652A (en) 2010-11-02 2010-11-02 System and method for recommending hair based on face recognition

Publications (1)

Publication Number Publication Date
KR20120046652A true KR20120046652A (en) 2012-05-10

Family

ID=46265697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108441A KR20120046652A (en) 2010-11-02 2010-11-02 System and method for recommending hair based on face recognition

Country Status (1)

Country Link
KR (1) KR20120046652A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507410B1 (en) * 2014-10-21 2015-03-31 주식회사 모리아타운 Live make-up photograpy method and apparatus of mobile terminal
KR101987189B1 (en) * 2018-12-21 2019-06-10 주식회사 트위니 Makeup recommendation kiosk
KR20190123883A (en) * 2018-04-25 2019-11-04 주식회사 스카이트래블 Method, apparatus and computer-readable medium for intermediating cosmetic packages for foreign tourist
KR20190129476A (en) 2018-05-11 2019-11-20 이재윤 Headline provision system using head and skin tone
KR20200065123A (en) * 2018-11-29 2020-06-09 동국대학교 산학협력단 Electronic device for recommending color of a dye based on user characteristics and operating method thereof
KR20200107499A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200107480A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Virtual makeup composition processing apparatus and method
KR20200107492A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200133293A (en) * 2019-05-19 2020-11-27 주식회사 엔씨소프트 Appartus and method for generating customizing image
CN112084983A (en) * 2020-09-15 2020-12-15 华南理工大学 ResNet-based hair style recommendation method and application thereof
KR20220000851A (en) * 2020-06-26 2022-01-04 주식회사 아이오티포헬스 Dermatologic treatment recommendation system using deep learning model and method thereof
KR20220143569A (en) 2021-04-16 2022-10-25 주식회사 빅스터 Method and server for recommending glasses
KR102532561B1 (en) * 2022-08-16 2023-05-15 이승아 Method for providing consulting data for personal style
CN116129151A (en) * 2023-02-23 2023-05-16 北京云数智康医疗科技有限公司 User feature-based AI hairstyle matching fitting method and system
KR102538224B1 (en) * 2023-01-02 2023-05-31 강수빈 Self-styling apparatus having unmanned kiosk function
KR20230142068A (en) 2022-03-31 2023-10-11 가천대학교 산학협력단 Apparatus and method for recommending hairstyles based on user's face shape
KR102588813B1 (en) * 2022-07-18 2023-10-12 이옥희 System for recommending eyebrow treatment customized based on artificial intelligence vision verification
KR20230163198A (en) 2022-05-23 2023-11-30 주식회사 나나로그 Method, apparatus and non-transitory computer-readable recording medium for providing recommending a hair style

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507410B1 (en) * 2014-10-21 2015-03-31 주식회사 모리아타운 Live make-up photograpy method and apparatus of mobile terminal
KR20190123883A (en) * 2018-04-25 2019-11-04 주식회사 스카이트래블 Method, apparatus and computer-readable medium for intermediating cosmetic packages for foreign tourist
KR20190129476A (en) 2018-05-11 2019-11-20 이재윤 Headline provision system using head and skin tone
KR20200065123A (en) * 2018-11-29 2020-06-09 동국대학교 산학협력단 Electronic device for recommending color of a dye based on user characteristics and operating method thereof
KR101987189B1 (en) * 2018-12-21 2019-06-10 주식회사 트위니 Makeup recommendation kiosk
KR20200107499A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200107480A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Virtual makeup composition processing apparatus and method
KR20200107492A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200133293A (en) * 2019-05-19 2020-11-27 주식회사 엔씨소프트 Appartus and method for generating customizing image
KR20220000851A (en) * 2020-06-26 2022-01-04 주식회사 아이오티포헬스 Dermatologic treatment recommendation system using deep learning model and method thereof
CN112084983A (en) * 2020-09-15 2020-12-15 华南理工大学 ResNet-based hair style recommendation method and application thereof
CN112084983B (en) * 2020-09-15 2022-07-26 华南理工大学 Hair style recommendation method based on ResNet and application thereof
KR20220143569A (en) 2021-04-16 2022-10-25 주식회사 빅스터 Method and server for recommending glasses
KR20230142068A (en) 2022-03-31 2023-10-11 가천대학교 산학협력단 Apparatus and method for recommending hairstyles based on user's face shape
KR20230163198A (en) 2022-05-23 2023-11-30 주식회사 나나로그 Method, apparatus and non-transitory computer-readable recording medium for providing recommending a hair style
KR102588813B1 (en) * 2022-07-18 2023-10-12 이옥희 System for recommending eyebrow treatment customized based on artificial intelligence vision verification
KR102532561B1 (en) * 2022-08-16 2023-05-15 이승아 Method for providing consulting data for personal style
KR102538224B1 (en) * 2023-01-02 2023-05-31 강수빈 Self-styling apparatus having unmanned kiosk function
CN116129151A (en) * 2023-02-23 2023-05-16 北京云数智康医疗科技有限公司 User feature-based AI hairstyle matching fitting method and system
CN116129151B (en) * 2023-02-23 2023-08-11 北京云数智康医疗科技有限公司 User feature-based AI hairstyle matching fitting method and system

Similar Documents

Publication Publication Date Title
KR20120046652A (en) System and method for recommending hair based on face recognition
WO2012060537A2 (en) Recommendation system based on the recognition of a face and style, and method thereof
KR20120046653A (en) System and method for recommending hair based on face and style recognition
US10691940B2 (en) Method and apparatus for detecting blink
WO2016173443A1 (en) Account information acquisition method, terminal, server and system
JP7101749B2 (en) Mediation devices and methods, as well as computer-readable recording media {MEDIATING APPARATUS, METHOD AND COMPANY REDABLE RECORDING MEDIA FORM THEREOF}
KR101978299B1 (en) Apparatus for service contents in contents service system
CN105654039A (en) Image processing method and device
CN104408402A (en) Face identification method and apparatus
CN107463903B (en) Face key point positioning method and device
WO2019128568A1 (en) Content pushing method, apparatus and device
TWI544336B (en) Classes,electronic device and method of pairing thereof and seamless content playback method
CN104574299A (en) Face picture processing method and device
CN104408404A (en) Face identification method and apparatus
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
CN104933419A (en) Method and device for obtaining iris images and iris identification equipment
JP2023081971A (en) Systems and methods for providing personalized product recommendations using deep learning
CN105574512A (en) Method and device for processing image
KR20180077680A (en) Apparatus for providing service based on facial expression recognition and method thereof
CN107977636B (en) Face detection method and device, terminal and storage medium
TW201521415A (en) Communication device and incoming call management method thereof
US20170300514A1 (en) Method and terminal for implementing image sequencing
KR20120076492A (en) System and method for recommending hair based on face and style recognition
JP2019074938A (en) Device, system, method and program for communication relay
JP7206741B2 (en) HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid