KR101827998B1 - Virtual experience system based on facial feature and method therefore - Google Patents

Virtual experience system based on facial feature and method therefore Download PDF

Info

Publication number
KR101827998B1
KR101827998B1 KR1020170052370A KR20170052370A KR101827998B1 KR 101827998 B1 KR101827998 B1 KR 101827998B1 KR 1020170052370 A KR1020170052370 A KR 1020170052370A KR 20170052370 A KR20170052370 A KR 20170052370A KR 101827998 B1 KR101827998 B1 KR 101827998B1
Authority
KR
South Korea
Prior art keywords
feature point
face region
face
virtual
user
Prior art date
Application number
KR1020170052370A
Other languages
Korean (ko)
Other versions
KR20170046635A (en
Inventor
나승원
박주리
강형모
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020170052370A priority Critical patent/KR101827998B1/en
Publication of KR20170046635A publication Critical patent/KR20170046635A/en
Application granted granted Critical
Publication of KR101827998B1 publication Critical patent/KR101827998B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하고, 사용자에 의해 선택된 가상 객체를 얼굴 영역에 정합하고 사용자에 의해 결정된 가상 객체의 속성에 따라 정합된 가상 객체를 렌더링 함으로써 사용자의 조작 없이도 최적의 가상 체험 영상을 생성할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것이다. The present invention relates to a virtual experience system based on facial features and a method thereof, and more particularly, to a system and method for facial feature based virtual experience system that detects face regions by extracting facial detection parameters from a user image, Extracts a face feature from the face image, and matches the selected virtual object with the face area and renders the matched virtual object according to the attribute of the virtual object determined by the user, thereby generating an optimal virtual experience image without user's manipulation To a virtual experience system and method thereof.

Figure R1020170052370
Figure R1020170052370

Description

얼굴 특징 기반의 가상 체험 시스템 및 그 방법{VIRTUAL EXPERIENCE SYSTEM BASED ON FACIAL FEATURE AND METHOD THEREFORE}TECHNICAL FIELD [0001] The present invention relates to a virtual experience system based on facial features,

본 발명은 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자에 의해 선택된 가상 객체 및 가상 객체의 속성에 따라 가상 객체의 속성이 적용된 가상 객체를 사용자 영상의 얼굴 영역에 정합 및 렌더링 하여 가상 체험 영상을 생성할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것이다.The present invention relates to a virtual experience system based on facial features and a method thereof, and more particularly, to a virtual experience system based on facial features and a method of matching the virtual object with a face region of a user image, The present invention relates to a virtual experience system based on a face feature capable of rendering a virtual experience image and a method thereof.

사용자는 휴대 단말기를 이용하여 음성 통신을 수행할 뿐만 아니라 무선 인터넷(Wireless Internet)에 접속하여 다양한 멀티미디어 데이터 서비스를 제공받고 있다. The user not only performs voice communication using the portable terminal but also various multimedia data services by accessing the wireless Internet.

무선 인터넷의 발전에 따라 휴대 단말기를 이용한 가상 체험 서비스가 확대되고 있다. 가상 체험 서비스에는 얼굴 및 패턴 추출 기반의 각종 추천 서비스, 뷰티(Beauty) 서비스, 맵(Map) 정보가 연계된 증강현실 서비스 등이 있다.With the development of wireless Internet, virtual experience service using mobile terminal is expanding. The virtual experience service includes a variety of recommended services based on face and pattern extraction, a beauty service, and an augmented reality service linked with map information.

종래 가상 체험 서비스를 제공 받을 때, 사용자는 수동으로 사용자 영상이나 가상 객체의 위치 또는 방향을 조정하거나 크기를 변경해야 자신에게 맞는 가상 체험 영상을 얻을 수 있었다. 따라서 자신에게 맞는 가상 체험 서비스를 받기 위해서 사용자가 많은 시간과 노력을 소비해야 하는 문제점이 있었다. When the conventional virtual experience service is provided, the user must manually adjust the position or direction of the user image or the virtual object, or change the size to obtain the virtual experience image suitable for the user. Therefore, there is a problem that the user must spend a lot of time and effort in order to receive the virtual experience service suitable for his / her own.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 가상 체험 서비스를 받을 때 사용자의 특별한 조작 없이도 간단하고 편리하게 사용자에게 최적화된 가상 체험 서비스를 제공할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a virtual experience system based on a face feature capable of providing a virtual experience service optimized for a user simply and conveniently without a special operation of a user when receiving a virtual experience service, And a method thereof.

이를 위하여, 본 발명의 제1 측면에 따른 시스템은 사용자 영상을 통신망을 통해 전송하고 가상 객체 및 가상 객체의 속성을 선택하는 사용자 단말과, 상기 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하고 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 정합하고 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 장치를 포함하는 것을 특징으로 한다.To this end, the system according to the first aspect of the present invention includes a user terminal for transmitting a user image through a communication network and selecting attributes of a virtual object and a virtual object, and a face detection parameter extracting unit for extracting face detection parameters from the user image received from the user terminal Extracting facial feature point information using face region information in the detected face region, matching the virtual object selected by the user terminal to match facial feature point information, and determining a property of the virtual object determined by the user terminal And generating a virtual experience image by rendering the registered virtual object according to the virtual experience data.

본 발명의 제2 측면에 따른 장치는 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부; 상기 사용자 단말에 의해 선택된 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부; 및 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 포함하는 것을 특징으로 한다.According to a second aspect of the present invention, there is provided an apparatus comprising: a face detector for detecting a face region by extracting face detection parameters from a user image received from a user terminal; A facial feature point extracting unit for extracting facial feature point information using the face region information in the detected face region; A virtual fitting unit for matching a virtual object selected by the user terminal with a facial region to match the extracted facial feature point information; And a virtual experience image generation unit that generates the virtual experience image by rendering the registered virtual object according to an attribute of the virtual object determined by the user terminal.

본 발명의 제3 측면에 따른 사용자 단말은 사용자를 촬영하여 사용자 영상을 획득하고 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기; 상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기; 및 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기를 포함하는 것을 특징으로 한다.A user terminal according to a third aspect of the present invention includes: a face detector for obtaining a user image by capturing a user and extracting face detection parameters from the obtained user image to detect a face region; A facial feature point extractor for extracting facial feature point information using the face region information in the detected face region; A virtual fitting unit for matching the virtual object selected by the user with the face region so as to match the face feature point information; And a virtual experience image generator that generates a virtual experience image by rendering the virtual object matched to the face area according to attributes of the virtual object determined by the user.

본 발명의 제4 측면에 따른 방법은 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 것을 특징으로 한다.According to a fourth aspect of the present invention, there is provided a method for detecting a face region, comprising: detecting a face region by extracting a face detection parameter from a user image received from a user terminal; Extracting face feature point information using face region information in the detected face region; A virtual fitting step of matching a virtual object selected by the user terminal with a face region so as to match face feature point information; And a virtual experience image generating step of generating a virtual experience image by rendering the virtual object matched to the face area according to the attribute determined by the user terminal.

본 발명의 제5 측면에 따른 사용자 단말에서의 방법은 사용자를 촬영하여 사용자 영상을 획득하는 사용자 영상 획득 단계; 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 선택된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 것을 특징으로 한다.According to a fifth aspect of the present invention, there is provided a method of a user terminal, comprising: acquiring a user image by capturing a user; A face region detection step of detecting a face region by extracting face detection parameters from the obtained user image; Extracting face feature point information using face region information in the detected face region; A virtual fitting step of matching the virtual object selected by the user with the face region so as to match the face feature point information; And a virtual experience image generating step of generating a virtual experience image by rendering the virtual object matched to the face area according to the property of the virtual object selected by the user.

본 발명의 제6 측면에 따른 장치는, 사용자 영상에서 얼굴 영역이 검출된 경우, 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부를 포함하며, 상기 얼굴 특징점 추출부는, 상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 한다.The apparatus according to the sixth aspect of the present invention includes a facial feature point extracting unit for extracting facial feature point information using face region information in the detected face region when a face region is detected in a user image, Extracting the specific feature point based on a result of comparing the specific color with the skin color in the case of a specific feature point having a specific color different from the skin color of the face region among at least one feature point included in the detected face region .

상기 얼굴 특징점 추출부는, 상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 중 적어도 하나를 기반으로 상기 얼굴 특징점 정보를 추출하는 것을 특징으로 한다.The face feature point extraction unit extracts the face feature point information based on at least one of edge information, color information, and vertex information of the detected face region.

상기 얼굴 특징점 정보는, 눈 특징점, 눈썹 특징점, 코 특징점, 입 특징점, 턱 특징점 중 적어도 하나를 포함하는 상기 특정 특징점과, 얼굴 윤곽선 특징점을 포함하는 것을 특징으로 한다.Wherein the facial feature point information includes the specific feature point including at least one of a snow feature point, a eyebrow feature point, a nose feature point, a mouth feature point, and a chin feature point, and a facial contour feature point.

상기 사용자 영상으로부터 얼굴 검출 파라미터를 추출하여 상기 얼굴 영역을 검출하는 얼굴 검출부; 상기 사용자 영상을 촬영한 사용자 단말에 의해 가상 객체가 선택되면, 상기 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부; 및 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 더 포함하는 것을 특징으로 한다. A face detection unit for extracting a face detection parameter from the user image and detecting the face region; A virtual fitting unit for matching the virtual object with a facial region to match the extracted facial feature point information when a virtual object is selected by a user terminal that has photographed the user image; And a virtual experience image generation unit that generates the virtual experience image by rendering the registered virtual object according to the property of the virtual object determined by the user terminal.

상기 가상 피팅부는, 상기 가상 객체 중에서 상기 사용자 단말에 의해 선택된 헤어 스타일 객체 또는 메이크업 객체를 상기 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 것을 특징으로 한다.Wherein the virtual fitting unit matches the hair style object or the makeup object selected by the user terminal among the virtual objects to the face region so as to match the face feature point information.

본 발명의 제7 측면에 따른 사용자 단말은, 사용자를 촬영하여 사용자 영상이 생성되면, 상기 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기; 및 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기를 포함하며, 상기 얼굴 특징점 추출기는, 상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 한다. A user terminal according to a seventh aspect of the present invention includes: a face detector for extracting a face detection parameter from a user image when a user image is generated by capturing a user and detecting a face region; And a facial feature point extractor for extracting facial feature point information using the face region information in the detected face region, wherein the facial feature point extractor extracts, from at least one feature point included in the detected face region, And extracts the specific feature point based on a result of comparison between the specific color and the skin color.

상기 사용자에 의해 가상 객체가 선택되면, 상기 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기; 및 상기 가상 객체에 해당하는 헤어 스타일 객체 및 메이크업 객체를 저장하는 메모리를 더 포함하는 것을 특징으로 한다. A virtual fitting unit for matching the virtual object with a facial region to match the extracted facial feature point information when a virtual object is selected by the user; A virtual experience image generator for generating a virtual experience image by rendering the virtual object matched to the face area according to the property of the virtual object determined by the user; And a memory for storing a hair style object and a makeup object corresponding to the virtual object.

본 발명의 제8 측면에 따른 방법은 사용자 영상에서 얼굴 영역이 검출된 경우, 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계를 포함하며, 상기 얼굴 특징점 정보 추출 단계는, 상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 한다.The method according to an eighth aspect of the present invention includes a face feature point information extraction step of extracting face feature point information using face area information in the detected face area when a face area is detected in a user image, The information extracting step may include a step of extracting, based on a result of comparison between the specific color and the skin color, at least one of the at least one feature point included in the detected face region, And extracting feature points.

상기 얼굴 특징점 정보 추출 단계는, 상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 중 적어도 하나를 기반으로 상기 얼굴 특징점 정보를 추출하는 것을 특징으로 한다. The facial feature point information extracting step extracts the facial feature point information based on at least one of edge information, color information, and vertex information of the detected face region.

상기 얼굴 특징점 정보는, 눈 특징점, 눈썹 특징점, 코 특징점, 입 특징점, 턱 특징점 중 적어도 하나를 포함하는 상기 특정 특징점과, 얼굴 윤곽선 특징점을 포함하는 것을 특징으로 한다. Wherein the facial feature point information includes the specific feature point including at least one of a snow feature point, a eyebrow feature point, a nose feature point, a mouth feature point, and a chin feature point, and a facial contour feature point.

상기 사용자 영상에서 얼굴 검출 파라미터를 추출하여 상기 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 사용자 영상을 촬영한 사용자 단말에 의해 가상 객체가 선택되면, 상기 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 및 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 더 포함하는 것을 특징으로 한다.A face region detection step of detecting the face region by extracting a face detection parameter from the user image; A virtual fitting step of matching the virtual object to a face area so as to match the extracted face feature point information when a virtual object is selected by a user terminal that has photographed the user image; And a virtual experience image generation step of rendering a virtual experience image by rendering the virtual object matched to the face area according to an attribute determined by the user terminal.

본 발명의 제9 측면에 따른 사용자 단말에서의 방법은 사용자를 촬영하여 사용자 영상이 생성되면, 상기 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 및 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계를 포함하며, 상기 얼굴 특징점 정보 추출 단계는, 상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 특정 특징점을 추출하는 것을 특징으로 한다.According to a ninth aspect of the present invention, there is provided a method of a user terminal for detecting a face region by extracting a face detection parameter from the user image when a user image is generated by capturing a user, And a face feature point information extraction step of extracting face feature point information using face area information in the detected face area, wherein the face feature point information extraction step comprises the steps of: extracting, from at least one feature point included in the detected face area, And extracting the specific feature point based on a result of comparing the specific color with the skin color in the case of a specific feature point having a specific color other than the skin color of the face region.

본 발명에 따르면, 사용자가 가상 체험 서비스를 받을 때 특별한 조작 없이도 간단하고 편리하게 최적화된 가상 체험 서비스를 받을 수 있는 효과가 있다. According to the present invention, when a user receives a virtual experience service, the virtual experience service can be easily and conveniently optimized without any special operation.

또한 본 발명에 따르면, 얼굴 특징 기반의 가상 체험 서비스를 받을 때 사용자 영상과 가상 객체가 자동 정합 및 렌더링 됨으로써 사용자 입장에서 단순히 원하는 가상 객체를 선택하는 동작만으로 최적의 가상 체험 영상을 제공 받을 수 있는 효과가 있다. In addition, according to the present invention, when the virtual experience service based on the face feature is received, the user image and the virtual object are automatically matched and rendered so that the optimal virtual experience image can be provided only by selecting the desired virtual object from the user's point of view .

도 1은 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템의 구성도.
도 2는 본 발명에 따른 얼굴 특징 기반의 가상 체험 과정에 대한 설명도.
도 3은 본 발명에 따른 얼굴 영역 검출 과정에 대한 설명도.
도 4는 본 발명에 따른 가상 체험 서비스의 사용자 인터페이스를 나타낸 도면.
도 5는 본 발명에 따른 얼굴 특징 기반의 가상 체험을 위한 사용자 단말의 구성도.
도 6은 본 발명에 따른 얼굴 특징 기반의 가상 체험 방법의 순서도.
도 7은 본 발명에 따른 사용자 단말에서의 얼굴 특징 기반의 가상 체험 과정의 순서도.1 is a block diagram of a virtual experience system based on facial features according to the present invention;
FIG. 2 is an explanatory diagram of a face experience-based virtual experience process according to the present invention. FIG.
FIG. 3 is an explanatory diagram of a face region detection process according to the present invention; FIG.
4 illustrates a user interface of a virtual experience service according to the present invention.
5 is a configuration diagram of a user terminal for a virtual experience based on facial features according to the present invention.
6 is a flowchart of a virtual experience method based on facial features according to the present invention.
FIG. 7 is a flowchart of a face experience-based virtual experience process in a user terminal according to the present invention; FIG.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Before describing the present invention in detail, the same components are denoted by the same reference symbols as possible even if they are displayed on different drawings. In the case where it is judged that the gist of the present invention may be blurred to a known configuration, do.

본 발명의 실시 예를 설명하기에 앞서 본 발명의 실시 예에서 사용되는 용어를 다음과 같이 정의하기로 한다.Before describing the embodiments of the present invention, the terms used in the embodiments of the present invention will be defined as follows.

가상 객체란 사용자 영상에 정합되어 렌더링 되는 객체를 의미한다. 가상 객체는 사용자에 의해 선택된다. 가상 객체에는 헤어 스타일 객체 또는 메이크업 객체가 포함될 수 있다. 헤어 스타일 객체는 롱 헤어 스타일 객체, 미디엄 헤어 스타일 객체, 쇼트 헤어 스타일 객체 등을 포함할 수 있다. 메이크업 객체는 블러셔 객체, 아이새도우 객체, 파운데이션 객체, 립라이너 객체 등을 포함할 수 있다.A virtual object is an object that is matched to a user image and rendered. The virtual object is selected by the user. The virtual object may include a hairstyle object or a makeup object. A hairstyle object may include a long hairstyle object, a medium hairstyle object, a short hairstyle object, and the like. The makeup object may include a blusher object, an eye shadow object, a foundation object, a lip liner object, and the like.

가상 객체의 속성이란 헤어 스타일 객체 또는 메이크업 객체의 색상을 말한다.The properties of a virtual object are the color of a hairstyle object or a makeup object.

가상 체험 영상이란 사용자에 의해 선택된 가상 객체가 얼굴 영역에 정합되어 렌더링 된 영상을 말한다. 가상 체험 영상에 포함된 가상 객체 또는 가상 객체의 속성은 사용자에 의해 결정될 수 있다.The virtual experience image is an image in which a virtual object selected by the user is matched to the face region and rendered. The attributes of the virtual object or the virtual object included in the virtual experience image can be determined by the user.

정합이란 사용자 영상에서 가상 객체의 위치나 크기 등을 얼굴 영역의 얼굴 특징점에 맞게 위치시키는 과정을 말한다.The matching is a process of positioning the position, size, etc. of a virtual object in the user's image in accordance with the facial feature points of the face region.

렌더링이란 사용자 영상에 정합된 가상 객체를 실제 위치시켜 가상 체험 영상을 생성하는 과정을 말한다. Rendering refers to the process of creating a virtual experience image by actually positioning a virtual object matched to a user image.

도 1은 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템의 구성도이다.1 is a configuration diagram of a virtual experience system based on facial features according to the present invention.

도 1에 도시된 바와 같이, 가상 체험 시스템(10)은 사용자 단말(101)과 통신망에 연결된 가상 체험 장치(100)를 포함한다. 가상 체험 장치(100)는 얼굴 검출부(110), 얼굴 특징점 추출부(120), 가상 피팅부(130), 가상 체험 영상 생성부(140), 얼굴 DB(150), 헤어 DB(160), 메이크업 DB(170) 등을 포함한다.As shown in FIG. 1, the virtual experience system 10 includes a user experience 101 and a virtual experience apparatus 100 connected to a communication network. The virtual experience apparatus 100 includes a face detection unit 110, a facial feature point extraction unit 120, a virtual fitting unit 130, a virtual experience image generation unit 140, a face DB 150, a hair DB 160, DB 170 and the like.

이하, 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each of the components of the virtual experience system 10 based on the facial feature according to the present invention will be described.

사용자 단말(101)은 사용자를 촬영하여 사용자 영상을 획득하고, 그 획득된 사용자 영상을 통신망을 통해 가상 체험 장치(100)로 전송한다. 사용자 단말(101)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정되는 것은 아니다. 영상 촬영 모듈은 컴퓨터 등의 기기에 연결되는 카메라 또는 웹 캠(web-cam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.The user terminal 101 acquires a user image by capturing a user, and transmits the acquired user image to the virtual experience apparatus 100 through a communication network. The user terminal 101 may be a computer, a mobile phone, or a smart phone equipped with a video photographing module, but is not limited thereto. The image capturing module may be a camera or a web-cam connected to a device such as a computer, or a camera incorporated in a personal portable terminal.

사용자 단말(101)은 가상 객체를 선택하고 가상 객체의 속성을 결정한다. 사용자 단말(101)은 가상 체험 장치(100)로부터 가상 체험 영상을 수신하여 사용자에게 표시한다. 사용자 단말(101)은 헤어 DB(160)에 저장된 헤어 스타일 객체 또는 메이크업 DB(170)에 저장된 메이크업 객체를 선택하고, 헤어 스타일 객체 또는 메이크업 객체의 속성을 결정할 수 있다.The user terminal 101 selects a virtual object and determines the properties of the virtual object. The user terminal 101 receives the virtual experience image from the virtual experience apparatus 100 and displays it to the user. The user terminal 101 may select a makeup object stored in the hair style object 160 stored in the hair DB 160 or the makeup DB 170 and determine the properties of the hair style object or the makeup object.

가상 체험 장치(100)는 사용자 단말(101)로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다. The virtual experience apparatus 100 extracts face detection parameters from the user image received from the user terminal 101 to detect the face region, and extracts facial feature point information using the face region information in the detected face region.

가상 체험 장치(100)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하고, 사용자 단말(101)에 의해 결정된 가상 객체의 속성에 따라 가상 체험 영상을 생성하여 사용자 단말(101)로 전송한다.The virtual experience apparatus 100 matches the virtual object selected by the user terminal 101 to the face region so as to match the face feature point information and generates a virtual experience image according to the attribute of the virtual object determined by the user terminal 101 To the user terminal (101).

가상 체험 장치(100)의 구성요소 각각에 대하여 상세하게 살펴보기로 한다.Each of the components of the virtual experience apparatus 100 will be described in detail.

얼굴 검출부(110)는 사용자 단말(101)로부터 수신한 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다.The face detection unit 110 extracts face detection parameters from the user image received from the user terminal 101 and detects the face region.

얼굴 특징점 추출부(120)는 얼굴 검출부(110)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.The facial feature point extracting unit 120 extracts facial feature point information using the face region information in the face region detected by the face detecting unit 110.

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 추출부(120)에서 추출된 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다.The virtual fitting unit 130 matches the virtual object selected by the user terminal 101 to the face region so as to match the face feature point information extracted from the facial feature point extracting unit 120. [

가상 체험 영상 생성부(140)는 사용자 단말(101)에 의해 결정된 가상 객체의 속성에 따라 상기 가상 피팅부(130)에서 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성한다.The virtual experience image generation unit 140 generates a virtual experience image by rendering the registered virtual object in the virtual fitting unit 130 according to the attribute of the virtual object determined by the user terminal 101.

얼굴 DB(150)는 얼굴 검출 파라미터, 얼굴 영역 정보 및 얼굴 특징점 정보를 저장한다.The face DB 150 stores face detection parameters, face region information, and face feature point information.

헤어 DB(160)는 헤어 스타일 객체 및 헤어 스타일 객체의 속성을 저장한다. 헤어 스타일 객체 및 속성은 주기적으로 갱신될 수 있다.Hair DB 160 stores attributes of hair style objects and hair style objects. Hair style objects and attributes can be updated periodically.

메이크업 DB(170)는 메이크업 객체 및 메이크업 객체의 속성을 저장한다. 메이크업 객체 및 속성은 주기적으로 갱신될 수 있다.The makeup DB 170 stores the attributes of the makeup object and the makeup object. Makeup objects and attributes may be updated periodically.

도 2는 본 발명에 따른 얼굴 특징 기반의 가상 체험 과정을 나타낸 것이다.FIG. 2 illustrates a face experience-based virtual experience process according to the present invention.

도 2를 참조하면, 얼굴 검출부(110)는 사용자 단말(101)로부터 수신된 사용자 영상(201)에서 피부색, 동공, 윤곽선, 배경 등과 관련된 얼굴 검출 파라미터를 추출하고 그 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출한다(S10). 도면부호 202는 사용자 영상(201)에서 얼굴 영역을 검출한 것을 나타낸다. 2, the face detection unit 110 extracts face detection parameters related to the skin color, pupil, contour, background, and the like from the user image 201 received from the user terminal 101 and uses the extracted face detection parameters The face area is detected (S10). Reference numeral 202 denotes that the face region is detected in the user image 201. [

얼굴 특징점 추출부(120)는 얼굴 검출부(110)에서 검출된 얼굴 영역에서 에지 정보, 색상 정보, 꼭지점 정보 등의 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S20). 얼굴 특징점 정보에는 눈 특징점, 눈썹 특징점, 얼굴 윤곽선 특징점, 코 특징점, 입 특징점, 턱 특징점 등이 포함될 수 있다. 도면부호 203은 얼굴 영역에서 얼굴 특징점 정보를 추출한 것을 나타낸 것이다. 얼굴 영역에서 추출되는 얼굴 특징점 정보에 대해서는 도 4에서 보다 상세히 설명하기로 한다. The facial feature point extraction unit 120 extracts facial feature point information using face region information such as edge information, color information, and vertex information in the face region detected by the face detection unit 110 (S20). The facial feature point information may include eye feature points, eyebrow feature points, face contour feature points, nose feature points, mouth feature points, and chin feature points. Reference numeral 203 denotes a face feature point information extracted from the face region. The facial feature point information extracted from the facial region will be described in more detail with reference to FIG.

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 헤어 스타일 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S30). 가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 헤어 스타일 객체를 렌더링 하여 가상 체험 영상을 생성한다. 도면부호 205는 헤어 스타일 객체가 적용된 가상 체험 영상을 나타낸 것이다.The virtual fitting unit 130 matches the hair style object selected by the user terminal 101 to the face region so as to match the face feature point information (S30). The virtual experience image generation unit 140 generates a virtual experience image by rendering the hair style object matched to the face area. Reference numeral 205 denotes a virtual experience image to which a hair style object is applied.

가상 체험 영상 생성부(140)는 사용자 단말(101)로부터 헤어 스타일 객체의 속성을 입력 받아 헤어 스타일 객체의 속성이 적용된 가상 체험 영상을 생성한다. 도면 부호 206은 헤어 컬러가 적용된 가상 체험 영상을 나타낸 것이다. The virtual experience image generation unit 140 receives the attributes of the hair style object from the user terminal 101 and generates a virtual experience image to which the attributes of the hair style object are applied. Reference numeral 206 denotes a virtual experience image to which hair color is applied.

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 메이크업 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S40). 가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 메이크업 객체를 렌더링 하여 가상 체험 영상을 생성한다. 도면부호 207은 메이크업 객체가 적용된 가상 체험 영상을 나타낸 것이다.The virtual fitting unit 130 matches the makeup object selected by the user terminal 101 to the face region so as to match the face feature point information (S40). The virtual experience image generation unit 140 generates a virtual experience image by rendering the makeup object matched to the face area. Reference numeral 207 denotes a virtual experience image to which a makeup object is applied.

사용자 단말(101)이 메이크업 객체를 구성하는 블러셔 객체, 아이새도우 객체, 파운데이션 객체, 립라이너 객체 중 어느 하나를 선택하면 가상 피팅부(130)는 해당 객체를 얼굴 영역에 정합시키고, 가상 체험 영상 생성부(140)는 정합된 해당 객체와 그 속성에 따라 가상 체험 영상을 생성한다. When the user terminal 101 selects any one of the blusher object, the eye shadow object, the foundation object and the lip liner object constituting the makeup object, the virtual fitting unit 130 matches the corresponding object to the face area, Unit 140 generates a virtual experience image according to the matched object and its attributes.

도 3은 본 발명에 따른 얼굴 영역 검출 과정을 설명하기 위한 것이다. FIG. 3 is a view for explaining a face region detecting process according to the present invention.

도 3을 참조하면, 얼굴 검출부(110)는 얼굴 영역을 검출하기 위하여 사용자 영상(201)에서 얼굴 검출 파라미터를 추출한다. Referring to FIG. 3, the face detection unit 110 extracts face detection parameters from the user image 201 to detect a face region.

얼굴 검출부(110)는 피부색 파라미터, 동공 파라미터, 윤곽선 파라미터 또는 배경 파라미터를 추출하여 얼굴 영역을 검출할 수 있다. The face detection unit 110 can detect a face area by extracting a skin color parameter, a pupil parameter, a contour parameter, or a background parameter.

이를 위해, 얼굴 검출부(110)는 사용자 영상(201)에서 차이 영상(Difference Image) 분석(301), 노이즈 필터링(Noise Filtering)(302), X-Y 축 프로텍션(X-Y Axis Protection)(303), 휴 도메인(Hue Domain) 분석(304), 히스토그램 스트레칭(Histogram Stretching)(305), 연결 컴포넌트 분석(Connected Component Analysis)(306), 사이즈(Size)/조명(Luminance)/ 회전(Rotation) 분석(307) 등을 수행하여 사용자의 얼굴 검출 파라미터를 추출할 수 있다.To this end, the face detection unit 110 performs a difference image analysis 301, a noise filtering 302, an XY axis protection 303, Hue Domain Analysis 304, Histogram Stretching 305, Connected Component Analysis 306, Size / Luminance / Rotation Analysis 307, etc. To extract the face detection parameter of the user.

도 4는 본 발명에 따른 가상 체험 서비스의 사용자 인터페이스를 나타낸 것이다. 4 illustrates a user interface of a virtual experience service according to the present invention.

도 4에 도시된 바와 같이, 가상 체험 장치(100)는 사용자 영상(201)의 확대 및 축소 기능, 헤어 스타일 숨기기 기능, 이전(Before) 사진 비교 기능, 모두 지우기 기능, 사진 바꾸기 기능, 마이 앨범 저장 기능, 이메일 보내기 기능, 소셜네트워킹 기능, 헤어 스타일 결정 기능, 메이크업 결정 기능 등을 포함하는 사용자 인터페이스를 사용자 단말(101)에 제공할 수 있다. 사용자 단말(101)은 사용자 인터페이스를 통해 헤어 스타일 및 헤어 색상을 결정하거나 가상 메이크업 및 메이크업 색상을 결정할 수 있다.4, the virtual experience apparatus 100 includes functions of enlarging and reducing the user image 201, a function of hiding a hair style, a function of comparing before images, a function of erasing all, a function of replacing photos, A user interface including a function, an e-mail sending function, a social networking function, a hair style determination function, a makeup decision function, and the like can be provided to the user terminal 101. The user terminal 101 may determine the hair style and hair color or determine the virtual makeup and makeup colors through the user interface.

도 4의 사용자 인터페이스에서, 사용자 영상(201)의 얼굴 영역에 눈 특징점(401), 눈썹 특징점(402), 얼굴 윤곽선 특징점(403), 코 특징점(404), 입 특징점(405), 턱 특징점(406) 등이 표시되어 있다. 4, eye feature points 401, eyebrow feature points 402, face contour feature points 403, co-feature points 404, mouth feature points 405, and chin feature points 405, 406) are displayed.

얼굴 특징점 추출부(120)는 사용자 영상(201)의 얼굴 영역에서 동공의 RGB 색상 정보와 눈 주변의 에지 정보로부터 눈 특징점(401)을 추출할 수 있다.The facial feature point extracting unit 120 can extract the eye feature points 401 from the RGB color information of the pupil and the edge information around the eyes in the face region of the user image 201. [

얼굴 특징점 추출부(120)는 피부와 대비되는 눈썹의 검은 색상에 대응하는 RGB 색상 정보를 이용하여 눈썹 특징점(402)을 추출할 수 있다. The facial feature point extraction unit 120 may extract the eyebrow feature point 402 using RGB color information corresponding to the black color of the eyebrows compared with the skin.

얼굴 특징점 추출부(120)는 얼굴 옆면의 에지정보를 검출하여 얼굴 윤곽선 특징점(403)을 추출할 수 있다. The facial feature point extracting unit 120 may extract facial contour feature points 403 by detecting the edge information of the face side face.

얼굴 특징점 추출부(120)는 눈 특징점(401)을 중심으로 하여 콧구멍의 색상 정보와 양측의 꼭지점 정보로부터 코 특징점(404)을 추출할 수 있다. The facial feature point extracting unit 120 can extract the coin feature points 404 from the color information of the nostrils and the vertex information of both sides with the eye feature point 401 as the center.

얼굴 특징점 추출부(120)는 아래 입술의 붉은 영역과 피부색의 차이를 검출하여 입 특징점(405)을 추출할 수 있다. The facial feature point extracting unit 120 can extract the mouth feature point 405 by detecting the difference between the red region of the lower lip and the skin color.

얼굴 특징점 추출부(120)는 목의 색상과 대비되는 턱의 영역을 차례대로 검출하여 턱 특징점(406)을 추출할 수 있다. The facial feature point extracting unit 120 may extract the jaw feature point 406 by sequentially detecting the jaw area that is in contrast to the neck color.

눈 특징점(401), 눈썹 특징점(402), 얼굴 윤곽선 특징점(403), 코 특징점(404), 입 특징점(405) 또는 턱 특징점(406)은 사용자 단말(101)에 의해 전체적인 특징점이 수정되거나 각 특징점의 세부 위치가 수정될 수 있다.Eye feature points 401, eyebrow feature points 402, facial contour feature points 403, nose feature points 404, mouth feature points 405 or jaw feature points 406 may be modified by the user terminal 101, The detailed position of the minutiae point can be modified.

이와 같이 얼굴 특징점 정보가 추출되면, 사용자는 헤어스타일 결정 탭을 선택하여 헤어 DB(160)에 저장된 롱 헤어 객체, 미디엄 헤어 객체(411) 또는 쇼트 헤어 객체 중에서 사용자가 원하는 헤어 스타일 객체를 선택할 수 있다. 도 4의 사용자 인터페이스에서는 헤어 스타일 객체 선택 창과 함께 헤어 편집 기능, 좌우 반전 기능, 편집 취소 기능 등과 같은 다양한 기능을 사용자에게 제공할 수 있다. 헤어 스타일 모양은 특정 헤어 스타일 모양에 한정되지 않으며 다양한 형태로 구성될 수 있다. When the facial feature point information is extracted as described above, the user can select a hair style determination tab from the long hair object, the medium hair object 411, or the short hair object stored in the hair DB 160, . In the user interface of FIG. 4, various functions such as a hair editing function, a left / right reversing function, an editing canceling function, and the like can be provided to a user along with a hair style object selection window. The hairstyle shape is not limited to a specific hairstyle shape and can be configured in various forms.

사용자가 미디엄 헤어 객체(411)를 선택하면 사용자 영상(201)에 미디엄 헤어 객체(411)가 적용된 가상 체험 영상이 표시된다. When the user selects the medium hair object 411, the virtual experience image to which the medium hair object 411 is applied is displayed on the user image 201.

사용자 인터페이스는 헤어 컬러 선택 창을 표시할 수 있다. 헤어 컬러 선택 창에는 브라운 색상, 블랙 색상(421), 블루블랙 색상, 옐로우 색상 등의 색상이 표시되어 사용자는 헤어 스타일 객체의 색상을 결정할 수 있다. The user interface can display a hair color selection window. The hair color selection window displays colors such as brown color, black color (421), blue black color, yellow color, etc., so that the user can determine the color of the hair style object.

사용자가 블랙 색상(421)을 선택하면 상기 선택된 미디엄 헤어 객체(411)에 블랙이 적용되어, 블랙의 미디엄 헤어 스타일이 적용된 가상 체험 영상이 표시된다. When the user selects black color 421, black is applied to the selected medium hair object 411, and a virtual experience image to which a black medium hair style is applied is displayed.

마찬가지로 사용자가 메이크업 결정 탭을 선택하면 메이크업 객체 선택창과 메이크업 컬러 선택창이 표시될 수 있다. 사용자는 선택창을 통해 메이크업 DB(170)에 저장된 메이크업 객체 중에서 사용자가 원하는 메이크업 객체 및 메이크업 객체의 색상을 선택할 수 있다. 가상 메이크업 종류로는 블러셔, 아이새도우, 파운데이션 또는 립라이너 등이 있으며, 메이크업 종류는 다양하게 존재할 수 있다. Likewise, when the user selects the make-up determination tab, a makeup object selection window and a makeup color selection window may be displayed. The user can select a color of a makeup object and a makeup object desired by the user from among the makeup objects stored in the makeup DB 170 through the selection window. The types of virtual make-up include blusher, eye shadow, foundation or lip liner, and various types of make-up can exist.

도 5는 본 발명에 따른 얼굴 특징 기반의 가상 체험을 위한 사용자 단말의 구성도이다. 도 5에 도시된 사용자 단말은 얼굴 특징 기반의 가상 체험 서비스가 단말 자체에서 수행될 수 있는 자립형(stand-alone) 단말을 나타낸 것이다. 5 is a configuration diagram of a user terminal for a virtual experience based on facial features according to the present invention. The user terminal shown in FIG. 5 shows a stand-alone terminal in which a face experience-based virtual experience service can be performed in the terminal itself.

사용자 단말(101)은 사용자 단말(101)은 영상 획득기(510), 얼굴 검출기(520), 얼굴 특징점 추출기(530), 가상 피팅기(540), 가상 체험 영상 생성기(550), 메모리(560) 등을 포함한다. The user terminal 101 includes an image acquirer 510, a face detector 520, a facial feature point extractor 530, a virtual fitting unit 540, a virtual experience image generator 550, a memory 560 ) And the like.

만약 사용자 단말(101)이 네트워크 기반으로 가상 체험 장치(100)로부터 가상 체험 서비스를 제공 받는 경우 사용자 단말(101)는 그 성능에 따라 얼굴 검출기(520), 얼굴 특징점 추출기(530), 가상 피팅기(540), 가상 체험 영상 생성기(550) 중의 일부를 포함하지 않을 수 있다. If the user terminal 101 is provided with a virtual experience service from the virtual experience apparatus 100 on a network basis, the user terminal 101 may acquire a virtual experience service by using the face detector 520, the facial feature point extractor 530, (540), and the virtual experience image generator (550).

예를 들어, 사용자 단말(101)이 얼굴 검출기(520)만을 구비하는 경우 사용자 단말(101)은 사용자 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역을 가상 체험 장치(100)에 전송한다. 이 경우 사용자 단말(101)은 도 3의 얼굴 영역 검출 과정을 수행한다. For example, when the user terminal 101 includes only the face detector 520, the user terminal 101 detects the face region in the user image and transmits the detected face region to the virtual experience apparatus 100. In this case, the user terminal 101 performs the face area detection process of FIG.

사용자 단말(101)이 얼굴 검출기(520) 및 얼굴 특징점 추출기(530)를 구비하는 경우, 사용자 단말(101)은 얼굴 영역을 검출하고 검출된 얼굴 영역에서 얼굴 특징점 정보를 추출한 후 얼굴 특징점 정보를 가상 체험 장치(100)에 전송한다. When the user terminal 101 includes the face detector 520 and the facial feature point extractor 530, the user terminal 101 detects the facial region, extracts the facial feature point information from the detected facial region, To the experiential apparatus (100).

메모리(560)는 얼굴 영역 정보, 얼굴 특징점 정보, 헤어 스타일 객체 및 속성, 메이크업 객체 및 속성 등을 저장한다. 메모리(560)에 저장된 각종 정보는 업데이트될 수 있다. The memory 560 stores face area information, facial feature point information, hair style objects and attributes, makeup objects and attributes, and the like. Various information stored in the memory 560 can be updated.

영상 획득기(510)는 영상 촬영 모듈을 구비하여 가상 체험 대상이 되는 사용자를 촬영하여 사용자 영상을 획득한다.The image acquiring unit 510 includes an image capturing module to acquire a user image by capturing a user who is a virtual experience target.

얼굴 검출기(520)는 영상 획득기(510)에서 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다.The face detector 520 extracts a face detection parameter from the user image acquired by the image acquirer 510 and detects the face region.

얼굴 특징점 추출기(530)는 얼굴 검출기(520)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.The facial feature point extractor 530 extracts facial feature point information using the face region information in the face region detected by the face detector 520.

가상 피팅기(540)는 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다.The virtual fitting unit 540 matches the virtual object selected by the user to the face region so as to match the face feature point information.

가상 체험 영상 생성기(550)는 정합된 가상 객체와 가상 객체의 속성을 근거로 가상 객체를 렌더링 하여 가상 체험 영상을 생성한다. The virtual experience image generator 550 generates a virtual experience image by rendering a virtual object based on the attributes of the registered virtual object and the virtual object.

도 6은 본 발명에 따른 얼굴 특징 기반의 가상 체험 방법에 대한 순서도를 나타낸 것이다. FIG. 6 is a flowchart illustrating a virtual experience method based on facial features according to the present invention.

도 6을 참조하면, 먼저 가상 체험 장치(100)는 사용자 단말(101)로부터 사용자 영상을 수신한다(S602).Referring to FIG. 6, the virtual experience apparatus 100 receives a user image from the user terminal 101 (S602).

사용자 단말(101)로부터 사용자 영상이 수신되면 얼굴 검출부(110)는 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다(S604).When the user image is received from the user terminal 101, the face detection unit 110 extracts the face detection parameter from the user image and detects the face region (S604).

얼굴 특징점 추출부(120)는 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S606).The facial feature point extracting unit 120 extracts facial feature point information using the face region information in the detected face region (S606).

이후 사용자 단말(101)이 사용자 인터페이스를 통해 가상 객체를 선택하여 가상 체험 장치(100)에 전달한다(S608). Thereafter, the user terminal 101 selects a virtual object through the user interface and delivers it to the virtual experience apparatus 100 (S608).

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S610).The virtual fitting unit 130 matches the virtual object selected by the user terminal 101 to the face region so as to match the face feature point information (S610).

이후 사용자 단말(101)이 사용자 인터페이스를 통해 가상 객체의 속성을 결정하여 가상 체험 장치(100)에 전달한다(S612). After that, the user terminal 101 determines the attribute of the virtual object through the user interface and transmits it to the virtual experience apparatus 100 (S612).

가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 가상 객체를 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성한다(S614). 가상 체험 장치(100)는 가상 체험 영상 생성부(140)에서 생성된 가상 체험 영상을 사용자 단말(101)로 전송한다.The virtual experience image generation unit 140 generates a virtual experience image by rendering the virtual object matched to the face region according to the attributes of the virtual object (S614). The virtual experience apparatus 100 transmits the virtual experience image generated by the virtual experience image generation unit 140 to the user terminal 101.

도 7은 본 발명에 따른 사용자 단말에서의 얼굴 특징 기반의 가상 체험 방법에 대한 순서도이다. FIG. 7 is a flow chart of a face experience-based virtual experience method in a user terminal according to the present invention.

도 7을 참조하면, 먼저 사용자 단말(101)의 영상 획득기(510)는 사용자를 촬영하여 사용자 영상을 획득한다(S702).Referring to FIG. 7, the image acquirer 510 of the user terminal 101 acquires a user image by capturing a user (S702).

얼굴 검출기(520)는 영상 획득기(510)에서 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다(S704).The face detector 520 extracts a face detection parameter from the user image acquired by the image acquirer 510 and detects the face area (S704).

얼굴 특징점 추출기(530)는 얼굴 검출기(520)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S706).The facial feature point extractor 530 extracts facial feature point information using face region information in the face region detected by the face detector 520 (S706).

가상 피팅기(540)는 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S708). 사용자는 사용자 인터페이스를 통해 가상 객체를 선택할 수 있다. The virtual fitting unit 540 matches the virtual object selected by the user to the face region so as to match the face feature point information (S708). The user can select a virtual object through the user interface.

이후 사용자는 사용자 인터페이스를 통해 선택된 가상 객체의 속성을 결정한다(S710). The user then determines the attributes of the selected virtual object through the user interface (S710).

가상 체험 영상 생성기(550)는 얼굴 영역에 정합된 가상 객체를 상기 선택된 가상 객체의 속성에 따라 렌더링 하여 최종의 가상 체험 영상을 생성한다(S712).The virtual experience image generator 550 generates a final virtual experience image by rendering the virtual object matched to the face area according to the property of the selected virtual object (S712).

사용자 단말(101)은 생성한 가상 체험 영상을 표시기를 통해 사용자에게 표시한다(S714).The user terminal 101 displays the created virtual experience image to the user through the display device (S714).

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

본 발명은 사용자 영상과 가상 객체가 자동 정합 및 렌더링 됨으로써 사용자 입장에서 단순히 원하는 가상 객체를 선택하는 동작만으로 최적의 가상 체험 영상을 제공받을 수 있기 때문에, 얼굴 특징 기반의 가상 체험 서비스 분야에 널리 사용될 수 있다. Since the user image and the virtual object are automatically matched and rendered, the optimal virtual experience image can be provided only by selecting a desired virtual object from the user's point of view. Therefore, the present invention can be widely used in the field of virtual experience service based on the face feature have.

10: 가상 체험 시스템 100: 가상 체험 장치
101: 사용자 단말 110: 얼굴 검출부
120: 얼굴 특징점 검출부 130: 가상 피팅부
140: 가상 체험 영상 생성부 150: 얼굴 DB
160: 헤어 DB 170: 메이크업 DB
510: 영상 획득기 520: 얼굴 검출기
530: 얼굴 특징점 추출기 540: 가상 피팅기
550: 가상 체험 영상 생성기 560: 메모리10: virtual experience system 100: virtual experience apparatus
101: user terminal 110: face detection unit
120: facial feature point detection unit 130: virtual fitting unit
140: virtual experience image generation unit 150: face DB
160: Hair DB 170: Makeup DB
510: image acquirer 520: face detector
530: facial feature point extractor 540: virtual fitting machine
550: virtual experience image generator 560: memory

Claims (12)

사용자 영상에서 얼굴 영역이 검출된 경우, 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부를 포함하며,
상기 얼굴 특징점 추출부는,
상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 얼굴 영역 상에서 상기 특정 특징점의 위치를 확인하며,
상기 특정 특징점의 위치는,
상기 사용자 영상을 촬영한 사용자 단말에 의해 제어 가능한 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.And a facial feature point extraction unit for extracting facial feature point information using the face region information in the detected face region when a face region is detected in the user image,
The facial feature point extracting unit may extract,
Wherein when the face region is a specific feature point having a specific color different from the skin color of the face region among at least one feature point included in the detected face region, , ≪ / RTI >
The position of the specific feature point may be,
Wherein the virtual experience device is capable of being controlled by a user terminal that has photographed the user image. [청구항 2은(는) 설정등록료 납부시 포기되었습니다.][Claim 2 is abandoned upon payment of the registration fee.] 제 1 항에 있어서,
상기 얼굴 특징점 추출부는,
상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 중 적어도 하나를 기반으로 상기 얼굴 특징점 정보를 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method according to claim 1,
The facial feature point extracting unit may extract,
Wherein the facial feature point information is extracted based on at least one of edge information, color information, and vertex information of the detected face region. [청구항 3은(는) 설정등록료 납부시 포기되었습니다.][Claim 3 is abandoned upon payment of the registration fee.] 제 1 항에 있어서,
상기 얼굴 특징점 정보는,
눈 특징점, 눈썹 특징점, 코 특징점, 입 특징점, 턱 특징점 중 적어도 하나를 포함하는 상기 특정 특징점과, 얼굴 윤곽선 특징점을 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method according to claim 1,
The facial feature point information includes:
Wherein the feature point includes at least one of eye feature points, eyebrow feature points, nose feature points, mouth feature points, and chin feature points, and a facial contour feature point. [청구항 4은(는) 설정등록료 납부시 포기되었습니다.][Claim 4 is abandoned upon payment of the registration fee.] 제 1 항에 있어서,
상기 사용자 영상으로부터 얼굴 검출 파라미터를 추출하여 상기 얼굴 영역을 검출하는 얼굴 검출부;
상기 사용자 단말에 의해 가상 객체가 선택되면, 상기 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부; 및
상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method according to claim 1,
A face detection unit for extracting a face detection parameter from the user image and detecting the face region;
A virtual fitting unit for matching the virtual object to the face region so as to match the extracted facial feature point information when the virtual object is selected by the user terminal; And
Further comprising a virtual experience image generation unit that generates the virtual experience image by rendering the registered virtual object according to the attribute of the virtual object determined by the user terminal. [청구항 5은(는) 설정등록료 납부시 포기되었습니다.][Claim 5 is abandoned upon payment of registration fee.] 제 4 항에 있어서,
상기 가상 피팅부는,
상기 가상 객체 중에서 상기 사용자 단말에 의해 선택된 헤어 스타일 객체 또는 메이크업 객체를 상기 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.5. The method of claim 4,
The virtual fitting portion
And a face-region-based virtual experience device for matching a hair style object or a make-up object selected by the user terminal among the virtual objects to the face region so as to match the face feature point information. 사용자를 촬영하여 사용자 영상이 생성되면, 상기 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기; 및
상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기를 포함하며,
상기 얼굴 특징점 추출기는,
상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 얼굴 영역 상에서 상기 특정 특징점의 위치를 확인하며,
상기 특정 특징점의 위치는,
상기 사용자에 의해 제어 가능한 것을 특징으로 하는 얼굴 특징 기반의 가상 체험을 위한 사용자 단말.A face detector for extracting a face detection parameter from the user image and detecting a face region when a user image is generated by capturing a user; And
And a facial feature point extractor for extracting facial feature point information using the face region information in the detected face region,
The facial feature point extractor,
Wherein when the face region is a specific feature point having a specific color different from the skin color of the face region among at least one feature point included in the detected face region, , ≪ / RTI >
The position of the specific feature point may be,
Wherein the user interface is controllable by the user. [청구항 7은(는) 설정등록료 납부시 포기되었습니다.][7] has been abandoned due to the registration fee. 제 6 항에 있어서,
상기 사용자에 의해 가상 객체가 선택되면, 상기 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기;
상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기; 및
상기 가상 객체에 해당하는 헤어 스타일 객체 및 메이크업 객체를 저장하는 메모리를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험을 위한 사용자 단말.The method according to claim 6,
A virtual fitting unit for matching the virtual object with a facial region to match the extracted facial feature point information when a virtual object is selected by the user;
A virtual experience image generator for generating a virtual experience image by rendering the virtual object matched to the face area according to the property of the virtual object determined by the user; And
And a memory for storing a hair style object and a makeup object corresponding to the virtual object. 사용자 영상에서 얼굴 영역이 검출된 경우, 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계를 포함하며,
상기 얼굴 특징점 정보 추출 단계는,
상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 얼굴 영역 상에서 상기 특정 특징점의 위치를 확인하며,
상기 특정 특징점의 위치는,
상기 사용자 영상을 촬영한 사용자 단말에 의해 제어 가능한 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.And a facial feature point information extracting step of extracting facial feature point information using the face region information in the detected face region when the face region is detected in the user image,
In the facial feature point information extracting step,
Wherein when the face region is a specific feature point having a specific color different from the skin color of the face region among at least one feature point included in the detected face region, , ≪ / RTI >
The position of the specific feature point may be,
Wherein the virtual user interface is controllable by a user terminal that has captured the user image. [청구항 9은(는) 설정등록료 납부시 포기되었습니다.][Claim 9 is abandoned upon payment of registration fee.] 제 8 항에 있어서,
상기 얼굴 특징점 정보 추출 단계는,
상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 중 적어도 하나를 기반으로 상기 얼굴 특징점 정보를 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.9. The method of claim 8,
In the facial feature point information extracting step,
Wherein the face feature point information is extracted based on at least one of edge information, color information, and vertex information of the detected face region. [청구항 10은(는) 설정등록료 납부시 포기되었습니다.][Claim 10 is abandoned upon payment of the registration fee.] 제 8 항에 있어서,
상기 얼굴 특징점 정보는,
눈 특징점, 눈썹 특징점, 코 특징점, 입 특징점, 턱 특징점 중 적어도 하나를 포함하는 상기 특정 특징점과, 얼굴 윤곽선 특징점을 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.9. The method of claim 8,
The facial feature point information includes:
A feature point including at least one of eye features, eyebrow feature points, nose feature points, mouth feature points, and chin feature points, and facial contour feature points. [청구항 11은(는) 설정등록료 납부시 포기되었습니다.][Claim 11 is abandoned upon payment of the registration fee.] 제 8 항에 있어서,
상기 사용자 영상에서 얼굴 검출 파라미터를 추출하여 상기 얼굴 영역을 검출하는 얼굴 영역 검출 단계;
상기 사용자 단말에 의해 가상 객체가 선택되면, 상기 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 및
상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.9. The method of claim 8,
A face region detection step of detecting the face region by extracting a face detection parameter from the user image;
A virtual fitting step of matching the virtual object to the face area so as to match the extracted face feature point information when the virtual object is selected by the user terminal; And
And a virtual experience image generation step of generating a virtual experience image by rendering the virtual object matched to the face area according to an attribute determined by the user terminal. 사용자를 촬영하여 사용자 영상이 생성되면, 상기 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 및
상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계를 포함하며,
상기 얼굴 특징점 정보 추출 단계는,
상기 검출된 얼굴 영역에 포함되는 적어도 하나의 특징점 중 상기 얼굴 영역의 피부색과 다른 특정색상이 존재하는 특정 특징점의 경우, 상기 특정색상과 상기 피부색을 비교한 결과에 기초하여 상기 얼굴 영역 상에서 상기 특정 특징점의 위치를 확인하며,
상기 특정 특징점의 위치는,
상기 사용자에 의해 제어 가능한 것을 특징으로 하는 사용자 단말에서의 얼굴 특징 기반의 가상 체험 방법.A face region detection step of detecting a face region by extracting a face detection parameter from the user image when a user image is generated by capturing a user; And
And extracting face feature point information using face region information in the detected face region,
In the facial feature point information extracting step,
Wherein when the face region is a specific feature point having a specific color different from the skin color of the face region among at least one feature point included in the detected face region, , ≪ / RTI >
The position of the specific feature point may be,
Wherein the user interface is controllable by the user.
KR1020170052370A 2017-04-24 2017-04-24 Virtual experience system based on facial feature and method therefore KR101827998B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170052370A KR101827998B1 (en) 2017-04-24 2017-04-24 Virtual experience system based on facial feature and method therefore

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170052370A KR101827998B1 (en) 2017-04-24 2017-04-24 Virtual experience system based on facial feature and method therefore

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132549A Division KR101733512B1 (en) 2010-12-22 2010-12-22 Virtual experience system based on facial feature and method therefore

Publications (2)

Publication Number Publication Date
KR20170046635A KR20170046635A (en) 2017-05-02
KR101827998B1 true KR101827998B1 (en) 2018-02-12

Family

ID=58742912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052370A KR101827998B1 (en) 2017-04-24 2017-04-24 Virtual experience system based on facial feature and method therefore

Country Status (1)

Country Link
KR (1) KR101827998B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200107492A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200107499A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200107480A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Virtual makeup composition processing apparatus and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959871B1 (en) * 2017-12-20 2019-03-19 이해분 Apparatus and method for providing hair style recommendation information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213623A (en) * 2002-07-08 2007-08-23 Toshiba Corp Virtual makeup device and method therefor
JP4461739B2 (en) * 2003-08-18 2010-05-12 ソニー株式会社 Imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213623A (en) * 2002-07-08 2007-08-23 Toshiba Corp Virtual makeup device and method therefor
JP4461739B2 (en) * 2003-08-18 2010-05-12 ソニー株式会社 Imaging device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200107492A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200107499A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Apparatus for generating virtual makeup image score
KR20200107480A (en) * 2019-03-08 2020-09-16 주식회사 에이아이네이션 Virtual makeup composition processing apparatus and method
KR102465455B1 (en) 2019-03-08 2022-11-10 주식회사 에이아이네이션 An AI apparatus and a method of beauty evaluation for user preference by predicting score distributions
KR102465454B1 (en) 2019-03-08 2022-11-10 주식회사 에이아이네이션 An apparatus and a method for generating virtual makeup beauty score by using AI recognition of facial features
KR102465453B1 (en) * 2019-03-08 2022-11-10 주식회사 에이아이네이션 A virtual makeup composition A.I. processing apparatus and a method using it

Also Published As

Publication number Publication date
KR20170046635A (en) 2017-05-02

Similar Documents

Publication Publication Date Title
KR101733512B1 (en) Virtual experience system based on facial feature and method therefore
CN108765273B (en) Virtual face-lifting method and device for face photographing
CN107771336B (en) Feature detection and masking in images based on color distribution
CN108229278B (en) Face image processing method and device and electronic equipment
US8983152B2 (en) Image masks for face-related selection and processing in images
CN106682632B (en) Method and device for processing face image
KR101827998B1 (en) Virtual experience system based on facial feature and method therefore
JP4449723B2 (en) Image processing apparatus, image processing method, and program
EP2615577B1 (en) Image-processing device, image-processing method, and control program
EP2615576B1 (en) Image-processing device, image-processing method, and control program
US9691136B2 (en) Eye beautification under inaccurate localization
JP5991536B2 (en) Makeup support device, makeup support method, and makeup support program
KR20200014889A (en) System and method for image non-identification
US20150262403A1 (en) Makeup support apparatus and method for supporting makeup
CN107392110A (en) Beautifying faces system based on internet
CN104811684B (en) A kind of three-dimensional U.S. face method and device of image
JP4597391B2 (en) Facial region detection apparatus and method, and computer-readable recording medium
JP2002175538A (en) Device and method for portrait generation, recording medium with portrait generating program recorded thereon, terminal for communication, and communication method by terminal for communication
AU2014339827B2 (en) Generating image compositions
JP2008243059A (en) Image processing device and method
CN110866139A (en) Cosmetic treatment method, device and equipment
CN114187166A (en) Image processing method, intelligent terminal and storage medium
KR100950138B1 (en) A method for detecting the pupils in a face image
KR101507410B1 (en) Live make-up photograpy method and apparatus of mobile terminal
CN110766631A (en) Face image modification method and device, electronic equipment and computer readable medium

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant