KR20120070985A - Virtual experience system based on facial feature and method therefore - Google Patents

Virtual experience system based on facial feature and method therefore Download PDF

Info

Publication number
KR20120070985A
KR20120070985A KR1020100132549A KR20100132549A KR20120070985A KR 20120070985 A KR20120070985 A KR 20120070985A KR 1020100132549 A KR1020100132549 A KR 1020100132549A KR 20100132549 A KR20100132549 A KR 20100132549A KR 20120070985 A KR20120070985 A KR 20120070985A
Authority
KR
South Korea
Prior art keywords
virtual
feature point
face region
face
user
Prior art date
Application number
KR1020100132549A
Other languages
Korean (ko)
Other versions
KR101733512B1 (en
Inventor
나승원
박주리
강형모
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100132549A priority Critical patent/KR101733512B1/en
Publication of KR20120070985A publication Critical patent/KR20120070985A/en
Application granted granted Critical
Publication of KR101733512B1 publication Critical patent/KR101733512B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A virtual experience system based on a face feature is provided to supply an optimized virtual experience service without special operations. CONSTITUTION: A user terminal(101) selects the attribute of a virtual object and a virtual object. A virtual experience device(100) extracts face feature point information by using face area information. The virtual experience device matches the selected virtual object and the face feature point information. The virtual experience device generates the matched virtual object as a virtual experience image through rendering of the matched object.

Description

얼굴 특징 기반의 가상 체험 시스템 및 그 방법{VIRTUAL EXPERIENCE SYSTEM BASED ON FACIAL FEATURE AND METHOD THEREFORE}Virtual experience system based on facial features and method thereof {VIRTUAL EXPERIENCE SYSTEM BASED ON FACIAL FEATURE AND METHOD THEREFORE}

본 발명은 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것으로서, 상세하게는 사용자에 의해 선택된 가상 객체 및 가상 객체의 속성에 따라 가상 객체의 속성이 적용된 가상 객체를 사용자 영상의 얼굴 영역에 정합 및 렌더링 하여 가상 체험 영상을 생성할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법에 관한 것이다.The present invention relates to a virtual experience system and a method based on facial features, and more particularly, to match a virtual object selected by a user and a virtual object to which a property of a virtual object is applied according to a property of a virtual object to a face region of a user image. A virtual experience system based on facial features capable of rendering a virtual experience image and a method thereof are provided.

사용자는 휴대 단말기를 이용하여 음성 통신을 수행할 뿐만 아니라 무선 인터넷(Wireless Internet)에 접속하여 다양한 멀티미디어 데이터 서비스를 제공받고 있다. The user not only performs voice communication using a portable terminal but also accesses the wireless Internet and receives various multimedia data services.

무선 인터넷의 발전에 따라 휴대 단말기를 이용한 가상 체험 서비스가 확대되고 있다. 가상 체험 서비스에는 얼굴 및 패턴 추출 기반의 각종 추천 서비스, 뷰티(Beauty) 서비스, 맵(Map) 정보가 연계된 증강현실 서비스 등이 있다.With the development of the wireless Internet, virtual experience services using mobile terminals are expanding. Virtual experience services include various recommendation services based on face and pattern extraction, beauty services, and augmented reality services in which map information is linked.

종래 가상 체험 서비스를 제공 받을 때, 사용자는 수동으로 사용자 영상이나 가상 객체의 위치 또는 방향을 조정하거나 크기를 변경해야 자신에게 맞는 가상 체험 영상을 얻을 수 있었다. 따라서 자신에게 맞는 가상 체험 서비스를 받기 위해서 사용자가 많은 시간과 노력을 소비해야 하는 문제점이 있었다. When the conventional virtual experience service is provided, the user may manually adjust the position or direction of the user image or the virtual object or change the size to obtain a virtual experience image suitable for him. Therefore, the user has to spend a lot of time and effort in order to receive a virtual experience service that suits them.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 가상 체험 서비스를 받을 때 사용자의 특별한 조작 없이도 간단하고 편리하게 사용자에게 최적화된 가상 체험 서비스를 제공할 수 있는 얼굴 특징 기반의 가상 체험 시스템 및 그 방법을 제공하는 것을 목적으로 한다.The present invention has been made to solve the above problems, the virtual experience system based on facial features that can provide a virtual experience service optimized for the user simply and conveniently without a user's special operation when receiving the virtual experience service and its It is an object to provide a method.

이를 위하여, 본 발명의 제1 측면에 따른 시스템은 사용자 영상을 통신망을 통해 전송하고 가상 객체 및 가상 객체의 속성을 선택하는 사용자 단말과, 상기 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하고 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 정합하고 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 장치를 포함하는 것을 특징으로 한다.To this end, the system according to the first aspect of the present invention transmits a user image through a communication network and selects a virtual object and a property of the virtual object, and extracts a face detection parameter from the user image received from the user terminal Detect a facial region, extract facial feature point information from the detected face region using face region information, match the virtual object selected by the user terminal to match the facial feature point information, and determine the attribute of the virtual object determined by the user terminal. And a virtual experience device for generating a virtual experience image by rendering the matched virtual object.

본 발명의 제2 측면에 따른 장치는 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부; 상기 사용자 단말에 의해 선택된 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부; 및 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a device, comprising: a face detection unit configured to detect face regions by extracting face detection parameters from a user image received from a user terminal; A facial feature point extracting unit which extracts facial feature point information from the detected face region using face region information; A virtual fitting unit matching the virtual object selected by the user terminal to a face region to match the extracted facial feature point information; And a virtual experience image generation unit configured to generate a virtual experience image by rendering the matched virtual object according to the attribute of the virtual object determined by the user terminal.

본 발명의 제3 측면에 따른 사용자 단말은 사용자를 촬영하여 사용자 영상을 획득하고 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기; 상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기; 및 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기를 포함하는 것을 특징으로 한다.A user terminal according to a third aspect of the present invention includes a face detector for capturing a user to obtain a user image and extracting a face detection parameter from the obtained user image to detect a face region; A facial feature point extractor for extracting facial feature point information from the detected face region by using face region information; A virtual fitter for matching the virtual object selected by the user to a face region to match face feature point information; And a virtual experience image generator for generating a virtual experience image by rendering the virtual object matched to the face region according to the attribute of the virtual object determined by the user.

본 발명의 제4 측면에 따른 방법은 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 것을 특징으로 한다.According to a fourth aspect of the present invention, there is provided a method for detecting a face region by extracting a face detection parameter from a user image received from a user terminal; Extracting facial feature point information from the detected face region by using facial region information; A virtual fitting step of matching a virtual object selected by the user terminal to a face region to match face feature point information; And a virtual experience image generation step of generating a virtual experience image by rendering the virtual object matched to the face region according to the attribute determined by the user terminal.

본 발명의 제5 측면에 따른 사용자 단말에서의 방법은 사용자를 촬영하여 사용자 영상을 획득하는 사용자 영상 획득 단계; 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계; 상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계; 상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 선택된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 것을 특징으로 한다.According to a fifth aspect of the present invention, there is provided a method of a user terminal, including: obtaining a user image by capturing a user; A face region detection step of detecting a face region by extracting a face detection parameter from the obtained user image; Extracting facial feature point information from the detected face region by using facial region information; A virtual fitting step of matching the virtual object selected by the user to a face region to match face feature point information; And a virtual experience image generation step of generating a virtual experience image by rendering the virtual object matched to the face region according to the attribute of the virtual object selected by the user.

본 발명에 따르면, 사용자가 가상 체험 서비스를 받을 때 특별한 조작 없이도 간단하고 편리하게 최적화된 가상 체험 서비스를 받을 수 있는 효과가 있다. According to the present invention, when the user receives the virtual experience service, there is an effect that the user can receive the optimized virtual experience service simply and conveniently without any special operation.

또한 본 발명에 따르면, 얼굴 특징 기반의 가상 체험 서비스를 받을 때 사용자 영상과 가상 객체가 자동 정합 및 렌더링 됨으로써 사용자 입장에서 단순히 원하는 가상 객체를 선택하는 동작만으로 최적의 가상 체험 영상을 제공 받을 수 있는 효과가 있다. According to the present invention, the user image and the virtual object are automatically matched and rendered when receiving the facial feature-based virtual experience service, so that the user can receive the optimal virtual experience image by simply selecting a desired virtual object from the user's point of view. There is.

도 1은 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템의 구성도.
도 2는 본 발명에 따른 얼굴 특징 기반의 가상 체험 과정에 대한 설명도.
도 3은 본 발명에 따른 얼굴 영역 검출 과정에 대한 설명도.
도 4는 본 발명에 따른 가상 체험 서비스의 사용자 인터페이스를 나타낸 도면.
도 5는 본 발명에 따른 얼굴 특징 기반의 가상 체험을 위한 사용자 단말의 구성도.
도 6은 본 발명에 따른 얼굴 특징 기반의 가상 체험 방법의 순서도.
도 7은 본 발명에 따른 사용자 단말에서의 얼굴 특징 기반의 가상 체험 과정의 순서도.1 is a block diagram of a virtual experience system based on facial features according to the present invention.
2 is an explanatory diagram for a virtual experience process based on facial features according to the present invention;
3 is an explanatory diagram of a face region detection process according to the present invention;
4 is a diagram illustrating a user interface of a virtual experience service according to the present invention.
5 is a block diagram of a user terminal for a virtual experience based on facial features according to the present invention.
6 is a flow chart of a facial feature-based virtual experience method according to the present invention.
7 is a flowchart illustrating a virtual experience process based on facial features in a user terminal according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Prior to the detailed description of the present invention, the same components will be denoted by the same reference numerals even if they are displayed on different drawings, and the detailed description will be omitted when it is determined that the well-known configuration may obscure the gist of the present invention. do.

본 발명의 실시 예를 설명하기에 앞서 본 발명의 실시 예에서 사용되는 용어를 다음과 같이 정의하기로 한다.Prior to describing the embodiments of the present invention, terms used in the embodiments of the present invention will be defined as follows.

가상 객체란 사용자 영상에 정합되어 렌더링 되는 객체를 의미한다. 가상 객체는 사용자에 의해 선택된다. 가상 객체에는 헤어 스타일 객체 또는 메이크업 객체가 포함될 수 있다. 헤어 스타일 객체는 롱 헤어 스타일 객체, 미디엄 헤어 스타일 객체, 쇼트 헤어 스타일 객체 등을 포함할 수 있다. 메이크업 객체는 블러셔 객체, 아이새도우 객체, 파운데이션 객체, 립라이너 객체 등을 포함할 수 있다.The virtual object refers to an object that is matched to and rendered in the user image. The virtual object is selected by the user. The virtual object may include a hairstyle object or a makeup object. The hairstyle object may include a long hairstyle object, a medium hairstyle object, a short hairstyle object, and the like. The makeup object may include a blusher object, an eye shadow object, a foundation object, a lip liner object, and the like.

가상 객체의 속성이란 헤어 스타일 객체 또는 메이크업 객체의 색상을 말한다.The properties of the virtual object refer to the color of the hairstyle object or makeup object.

가상 체험 영상이란 사용자에 의해 선택된 가상 객체가 얼굴 영역에 정합되어 렌더링 된 영상을 말한다. 가상 체험 영상에 포함된 가상 객체 또는 가상 객체의 속성은 사용자에 의해 결정될 수 있다.The virtual experience image refers to an image in which a virtual object selected by a user is matched with a face region and rendered. The virtual object or the property of the virtual object included in the virtual experience image may be determined by the user.

정합이란 사용자 영상에서 가상 객체의 위치나 크기 등을 얼굴 영역의 얼굴 특징점에 맞게 위치시키는 과정을 말한다.Matching refers to a process of positioning a position or size of a virtual object in a user image according to facial feature points of a face region.

렌더링이란 사용자 영상에 정합된 가상 객체를 실제 위치시켜 가상 체험 영상을 생성하는 과정을 말한다. Rendering refers to a process of generating a virtual experience image by physically placing a virtual object matched to a user image.

도 1은 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템의 구성도이다.1 is a block diagram of a virtual experience system based on facial features according to the present invention.

도 1에 도시된 바와 같이, 가상 체험 시스템(10)은 사용자 단말(101)과 통신망에 연결된 가상 체험 장치(100)를 포함한다. 가상 체험 장치(100)는 얼굴 검출부(110), 얼굴 특징점 추출부(120), 가상 피팅부(130), 가상 체험 영상 생성부(140), 얼굴 DB(150), 헤어 DB(160), 메이크업 DB(170) 등을 포함한다.As shown in FIG. 1, the virtual experience system 10 includes a virtual experience apparatus 100 connected to a user terminal 101 and a communication network. The virtual experience apparatus 100 may include a face detector 110, a facial feature point extractor 120, a virtual fitting unit 130, a virtual experience image generator 140, a face DB 150, a hair DB 160, and makeup. DB 170 and the like.

이하, 본 발명에 따른 얼굴 특징 기반의 가상 체험 시스템(10)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each component of the facial feature-based virtual experience system 10 according to the present invention will be described.

사용자 단말(101)은 사용자를 촬영하여 사용자 영상을 획득하고, 그 획득된 사용자 영상을 통신망을 통해 가상 체험 장치(100)로 전송한다. 사용자 단말(101)은 영상 촬영 모듈이 구비된 컴퓨터, 휴대 전화 또는 스마트폰이 될 수 있으며, 이에 한정되는 것은 아니다. 영상 촬영 모듈은 컴퓨터 등의 기기에 연결되는 카메라 또는 웹 캠(web-cam)이거나, 개인 휴대 단말기에 내장된 카메라일 수 있다.The user terminal 101 captures a user to obtain a user image, and transmits the obtained user image to the virtual experience apparatus 100 through a communication network. The user terminal 101 may be a computer, a mobile phone, or a smartphone equipped with an image capturing module, but is not limited thereto. The image capturing module may be a camera or web cam connected to a device such as a computer, or a camera built in a personal portable terminal.

사용자 단말(101)은 가상 객체를 선택하고 가상 객체의 속성을 결정한다. 사용자 단말(101)은 가상 체험 장치(100)로부터 가상 체험 영상을 수신하여 사용자에게 표시한다. 사용자 단말(101)은 헤어 DB(160)에 저장된 헤어 스타일 객체 또는 메이크업 DB(170)에 저장된 메이크업 객체를 선택하고, 헤어 스타일 객체 또는 메이크업 객체의 속성을 결정할 수 있다.The user terminal 101 selects a virtual object and determines the attributes of the virtual object. The user terminal 101 receives a virtual experience image from the virtual experience apparatus 100 and displays it to the user. The user terminal 101 may select a hairstyle object stored in the hair DB 160 or a makeup object stored in the makeup DB 170, and determine the attributes of the hairstyle object or the makeup object.

가상 체험 장치(100)는 사용자 단말(101)로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다. The virtual experience apparatus 100 extracts a face detection parameter from a user image received from the user terminal 101, detects a face region, and extracts facial feature point information from the detected face region using face region information.

가상 체험 장치(100)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하고, 사용자 단말(101)에 의해 결정된 가상 객체의 속성에 따라 가상 체험 영상을 생성하여 사용자 단말(101)로 전송한다.The virtual experience apparatus 100 matches the virtual object selected by the user terminal 101 to the face region to match the facial feature point information, and generates a virtual experience image according to the attribute of the virtual object determined by the user terminal 101. Transmit to the user terminal 101.

가상 체험 장치(100)의 구성요소 각각에 대하여 상세하게 살펴보기로 한다.Each component of the virtual experience apparatus 100 will be described in detail.

얼굴 검출부(110)는 사용자 단말(101)로부터 수신한 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다.The face detector 110 detects a face region by extracting face detection parameters from a user image received from the user terminal 101.

얼굴 특징점 추출부(120)는 얼굴 검출부(110)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.The facial feature point extractor 120 extracts facial feature point information from the face region detected by the face detector 110 using face region information.

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 추출부(120)에서 추출된 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다.The virtual fitting unit 130 matches the virtual object selected by the user terminal 101 to the face region to match the face feature point information extracted by the face feature point extractor 120.

가상 체험 영상 생성부(140)는 사용자 단말(101)에 의해 결정된 가상 객체의 속성에 따라 상기 가상 피팅부(130)에서 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성한다.The virtual experience image generating unit 140 generates a virtual experience image by rendering the virtual object matched by the virtual fitting unit 130 according to the attribute of the virtual object determined by the user terminal 101.

얼굴 DB(150)는 얼굴 검출 파라미터, 얼굴 영역 정보 및 얼굴 특징점 정보를 저장한다.The face DB 150 stores face detection parameters, face region information, and face feature point information.

헤어 DB(160)는 헤어 스타일 객체 및 헤어 스타일 객체의 속성을 저장한다. 헤어 스타일 객체 및 속성은 주기적으로 갱신될 수 있다.Hair DB 160 stores the hairstyle object and the attributes of the hairstyle object. Hair style objects and properties may be updated periodically.

메이크업 DB(170)는 메이크업 객체 및 메이크업 객체의 속성을 저장한다. 메이크업 객체 및 속성은 주기적으로 갱신될 수 있다.Makeup DB 170 stores the makeup object and the properties of the makeup object. Makeup objects and attributes may be updated periodically.

도 2는 본 발명에 따른 얼굴 특징 기반의 가상 체험 과정을 나타낸 것이다.2 illustrates a virtual feature process based on facial features according to the present invention.

도 2를 참조하면, 얼굴 검출부(110)는 사용자 단말(101)로부터 수신된 사용자 영상(201)에서 피부색, 동공, 윤곽선, 배경 등과 관련된 얼굴 검출 파라미터를 추출하고 그 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출한다(S10). 도면부호 202는 사용자 영상(201)에서 얼굴 영역을 검출한 것을 나타낸다. Referring to FIG. 2, the face detector 110 extracts a face detection parameter related to a skin color, a pupil, an outline, a background, and the like from the user image 201 received from the user terminal 101 and uses the extracted face detection parameter. The face area is detected (S10). Reference numeral 202 denotes detecting a face region in the user image 201.

얼굴 특징점 추출부(120)는 얼굴 검출부(110)에서 검출된 얼굴 영역에서 에지 정보, 색상 정보, 꼭지점 정보 등의 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S20). 얼굴 특징점 정보에는 눈 특징점, 눈썹 특징점, 얼굴 윤곽선 특징점, 코 특징점, 입 특징점, 턱 특징점 등이 포함될 수 있다. 도면부호 203은 얼굴 영역에서 얼굴 특징점 정보를 추출한 것을 나타낸 것이다. 얼굴 영역에서 추출되는 얼굴 특징점 정보에 대해서는 도 4에서 보다 상세히 설명하기로 한다. The facial feature point extractor 120 extracts facial feature point information from the face region detected by the face detector 110 using face region information such as edge information, color information, and vertex information (S20). The facial feature point information may include eye feature points, eyebrow feature points, facial contour feature points, nose feature points, mouth feature points, and jaw feature points. Reference numeral 203 denotes extraction of facial feature point information from the face region. Facial feature point information extracted from the face region will be described in more detail with reference to FIG. 4.

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 헤어 스타일 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S30). 가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 헤어 스타일 객체를 렌더링 하여 가상 체험 영상을 생성한다. 도면부호 205는 헤어 스타일 객체가 적용된 가상 체험 영상을 나타낸 것이다.The virtual fitting unit 130 matches the hairstyle object selected by the user terminal 101 to the face area to match the facial feature point information (S30). The virtual experience image generator 140 generates a virtual experience image by rendering a hairstyle object matched to the face region. Reference numeral 205 denotes a virtual experience image to which a hairstyle object is applied.

가상 체험 영상 생성부(140)는 사용자 단말(101)로부터 헤어 스타일 객체의 속성을 입력 받아 헤어 스타일 객체의 속성이 적용된 가상 체험 영상을 생성한다. 도면 부호 206은 헤어 컬러가 적용된 가상 체험 영상을 나타낸 것이다. The virtual experience image generation unit 140 receives a property of the hairstyle object from the user terminal 101 and generates a virtual experience image to which the property of the hairstyle object is applied. Reference numeral 206 denotes a virtual experience image to which hair color is applied.

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 메이크업 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S40). 가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 메이크업 객체를 렌더링 하여 가상 체험 영상을 생성한다. 도면부호 207은 메이크업 객체가 적용된 가상 체험 영상을 나타낸 것이다.The virtual fitting unit 130 matches the makeup object selected by the user terminal 101 to the face region to match the facial feature point information (S40). The virtual experience image generator 140 generates a virtual experience image by rendering the makeup object matched to the face region. Reference numeral 207 denotes a virtual experience image to which a makeup object is applied.

사용자 단말(101)이 메이크업 객체를 구성하는 블러셔 객체, 아이새도우 객체, 파운데이션 객체, 립라이너 객체 중 어느 하나를 선택하면 가상 피팅부(130)는 해당 객체를 얼굴 영역에 정합시키고, 가상 체험 영상 생성부(140)는 정합된 해당 객체와 그 속성에 따라 가상 체험 영상을 생성한다. When the user terminal 101 selects any one of the blusher object, the eye shadow object, the foundation object, and the lip liner object constituting the makeup object, the virtual fitting unit 130 matches the object to the face area and generates a virtual experience image. The unit 140 generates a virtual experience image according to the matched object and its attributes.

도 3은 본 발명에 따른 얼굴 영역 검출 과정을 설명하기 위한 것이다. 3 is for explaining a face region detection process according to the present invention.

도 3을 참조하면, 얼굴 검출부(110)는 얼굴 영역을 검출하기 위하여 사용자 영상(201)에서 얼굴 검출 파라미터를 추출한다. Referring to FIG. 3, the face detector 110 extracts a face detection parameter from the user image 201 to detect a face area.

얼굴 검출부(110)는 피부색 파라미터, 동공 파라미터, 윤곽선 파라미터 또는 배경 파라미터를 추출하여 얼굴 영역을 검출할 수 있다. The face detector 110 detects a face region by extracting a skin color parameter, a pupil parameter, an outline parameter, or a background parameter.

이를 위해, 얼굴 검출부(110)는 사용자 영상(201)에서 차이 영상(Difference Image) 분석(301), 노이즈 필터링(Noise Filtering)(302), X-Y 축 프로텍션(X-Y Axis Protection)(303), 휴 도메인(Hue Domain) 분석(304), 히스토그램 스트레칭(Histogram Stretching)(305), 연결 컴포넌트 분석(Connected Component Analysis)(306), 사이즈(Size)/조명(Luminance)/ 회전(Rotation) 분석(307) 등을 수행하여 사용자의 얼굴 검출 파라미터를 추출할 수 있다.To this end, the face detector 110 may analyze the difference image 301, the noise filtering 302, the XY axis protection 303, and the hue domain in the user image 201. Hue Domain analysis 304, Histogram Stretching 305, Connected Component Analysis 306, Size / Luminance / Rotation Analysis 307, etc. The user may extract the face detection parameter of the user.

도 4는 본 발명에 따른 가상 체험 서비스의 사용자 인터페이스를 나타낸 것이다. 4 illustrates a user interface of a virtual experience service according to the present invention.

도 4에 도시된 바와 같이, 가상 체험 장치(100)는 사용자 영상(201)의 확대 및 축소 기능, 헤어 스타일 숨기기 기능, 이전(Before) 사진 비교 기능, 모두 지우기 기능, 사진 바꾸기 기능, 마이 앨범 저장 기능, 이메일 보내기 기능, 소셜네트워킹 기능, 헤어 스타일 결정 기능, 메이크업 결정 기능 등을 포함하는 사용자 인터페이스를 사용자 단말(101)에 제공할 수 있다. 사용자 단말(101)은 사용자 인터페이스를 통해 헤어 스타일 및 헤어 색상을 결정하거나 가상 메이크업 및 메이크업 색상을 결정할 수 있다.As shown in FIG. 4, the virtual experience apparatus 100 may enlarge and reduce a user image 201, hide a hairstyle, compare a before picture, erase all, replace a picture, and save an album. The user terminal 101 may include a user interface including a function, an e-mail sending function, a social networking function, a hair style determining function, a makeup determining function, and the like. The user terminal 101 may determine a hairstyle and a hair color or a virtual makeup and a makeup color through a user interface.

도 4의 사용자 인터페이스에서, 사용자 영상(201)의 얼굴 영역에 눈 특징점(401), 눈썹 특징점(402), 얼굴 윤곽선 특징점(403), 코 특징점(404), 입 특징점(405), 턱 특징점(406) 등이 표시되어 있다. In the user interface of FIG. 4, an eye feature point 401, an eyebrow feature point 402, a facial contour feature point 403, a nose feature point 404, a mouth feature point 405, and a jaw feature point are located on a face area of the user image 201. 406) and the like.

얼굴 특징점 추출부(120)는 사용자 영상(201)의 얼굴 영역에서 동공의 RGB 색상 정보와 눈 주변의 에지 정보로부터 눈 특징점(401)을 추출할 수 있다.The facial feature point extractor 120 may extract the eye feature point 401 from the RGB color information of the pupil and the edge information around the eye in the face area of the user image 201.

얼굴 특징점 추출부(120)는 피부와 대비되는 눈썹의 검은 색상에 대응하는 RGB 색상 정보를 이용하여 눈썹 특징점(402)을 추출할 수 있다. The facial feature point extractor 120 may extract the eyebrow feature point 402 using RGB color information corresponding to the black color of the eyebrow, which is contrasted with the skin.

얼굴 특징점 추출부(120)는 얼굴 옆면의 에지정보를 검출하여 얼굴 윤곽선 특징점(403)을 추출할 수 있다. The facial feature point extractor 120 may extract the facial contour feature point 403 by detecting edge information of the side surface of the face.

얼굴 특징점 추출부(120)는 눈 특징점(401)을 중심으로 하여 콧구멍의 색상 정보와 양측의 꼭지점 정보로부터 코 특징점(404)을 추출할 수 있다. The facial feature point extractor 120 may extract the nose feature point 404 from the color information of the nostril and the vertex information of both sides around the eye feature point 401.

얼굴 특징점 추출부(120)는 아래 입술의 붉은 영역과 피부색의 차이를 검출하여 입 특징점(405)을 추출할 수 있다. The facial feature point extractor 120 may extract the mouth feature point 405 by detecting a difference between the red region of the lower lip and the skin color.

얼굴 특징점 추출부(120)는 목의 색상과 대비되는 턱의 영역을 차례대로 검출하여 턱 특징점(406)을 추출할 수 있다. The facial feature point extractor 120 may extract the jaw feature point 406 by sequentially detecting a region of the jaw that contrasts with the color of the neck.

눈 특징점(401), 눈썹 특징점(402), 얼굴 윤곽선 특징점(403), 코 특징점(404), 입 특징점(405) 또는 턱 특징점(406)은 사용자 단말(101)에 의해 전체적인 특징점이 수정되거나 각 특징점의 세부 위치가 수정될 수 있다.The eye feature point 401, the eyebrow feature point 402, the facial contour feature point 403, the nose feature point 404, the mouth feature point 405, or the chin feature point 406 may be modified by the user terminal 101 or may be modified. The detailed position of the feature point can be modified.

이와 같이 얼굴 특징점 정보가 추출되면, 사용자는 헤어스타일 결정 탭을 선택하여 헤어 DB(160)에 저장된 롱 헤어 객체, 미디엄 헤어 객체(411) 또는 쇼트 헤어 객체 중에서 사용자가 원하는 헤어 스타일 객체를 선택할 수 있다. 도 4의 사용자 인터페이스에서는 헤어 스타일 객체 선택 창과 함께 헤어 편집 기능, 좌우 반전 기능, 편집 취소 기능 등과 같은 다양한 기능을 사용자에게 제공할 수 있다. 헤어 스타일 모양은 특정 헤어 스타일 모양에 한정되지 않으며 다양한 형태로 구성될 수 있다. When the facial feature point information is extracted as described above, the user may select a hairstyle determination tab to select a desired hairstyle object among the long hair object, the medium hair object 411, or the short hair object stored in the hair DB 160. . The user interface of FIG. 4 may provide a user with various functions such as a hair editing function, a left / right reverse function, an edit cancel function, etc. together with the hairstyle object selection window. The hairstyle shape is not limited to a specific hairstyle shape and may be configured in various forms.

사용자가 미디엄 헤어 객체(411)를 선택하면 사용자 영상(201)에 미디엄 헤어 객체(411)가 적용된 가상 체험 영상이 표시된다. When the user selects the medium hair object 411, the virtual experience image to which the medium hair object 411 is applied is displayed on the user image 201.

사용자 인터페이스는 헤어 컬러 선택 창을 표시할 수 있다. 헤어 컬러 선택 창에는 브라운 색상, 블랙 색상(421), 블루블랙 색상, 옐로우 색상 등의 색상이 표시되어 사용자는 헤어 스타일 객체의 색상을 결정할 수 있다. The user interface may display a hair color selection window. The hair color selection window displays colors such as a brown color, a black color 421, a blue black color, and a yellow color so that the user can determine the color of the hair style object.

사용자가 블랙 색상(421)을 선택하면 상기 선택된 미디엄 헤어 객체(411)에 블랙이 적용되어, 블랙의 미디엄 헤어 스타일이 적용된 가상 체험 영상이 표시된다. When the user selects the black color 421, black is applied to the selected medium hair object 411, and a virtual experience image to which the medium hair style of black is applied is displayed.

마찬가지로 사용자가 메이크업 결정 탭을 선택하면 메이크업 객체 선택창과 메이크업 컬러 선택창이 표시될 수 있다. 사용자는 선택창을 통해 메이크업 DB(170)에 저장된 메이크업 객체 중에서 사용자가 원하는 메이크업 객체 및 메이크업 객체의 색상을 선택할 수 있다. 가상 메이크업 종류로는 블러셔, 아이새도우, 파운데이션 또는 립라이너 등이 있으며, 메이크업 종류는 다양하게 존재할 수 있다. Similarly, when the user selects the makeup determination tab, a makeup object selection window and a makeup color selection window may be displayed. The user may select a color of the makeup object and the makeup object desired by the user from the makeup objects stored in the makeup DB 170 through the selection window. Examples of the virtual makeup include blusher, eye shadow, foundation, or lip liner, and the makeup may be various.

도 5는 본 발명에 따른 얼굴 특징 기반의 가상 체험을 위한 사용자 단말의 구성도이다. 도 5에 도시된 사용자 단말은 얼굴 특징 기반의 가상 체험 서비스가 단말 자체에서 수행될 수 있는 자립형(stand-alone) 단말을 나타낸 것이다. 5 is a configuration diagram of a user terminal for a virtual experience based on facial features according to the present invention. The user terminal illustrated in FIG. 5 illustrates a stand-alone terminal in which a virtual experience service based on facial features may be performed in the terminal itself.

사용자 단말(101)은 사용자 단말(101)은 영상 획득기(510), 얼굴 검출기(520), 얼굴 특징점 추출기(530), 가상 피팅기(540), 가상 체험 영상 생성기(550), 메모리(560) 등을 포함한다. In the user terminal 101, the user terminal 101 may include an image acquirer 510, a face detector 520, a facial feature extractor 530, a virtual fitter 540, a virtual experience image generator 550, and a memory 560. ), And the like.

만약 사용자 단말(101)이 네트워크 기반으로 가상 체험 장치(100)로부터 가상 체험 서비스를 제공 받는 경우 사용자 단말(101)는 그 성능에 따라 얼굴 검출기(520), 얼굴 특징점 추출기(530), 가상 피팅기(540), 가상 체험 영상 생성기(550) 중의 일부를 포함하지 않을 수 있다. If the user terminal 101 is provided with a virtual experience service from the virtual experience apparatus 100 on a network basis, the user terminal 101 according to the performance of the face detector 520, the facial feature extractor 530, and the virtual fitting device 540 may not include some of the virtual experience image generator 550.

예를 들어, 사용자 단말(101)이 얼굴 검출기(520)만을 구비하는 경우 사용자 단말(101)은 사용자 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역을 가상 체험 장치(100)에 전송한다. 이 경우 사용자 단말(101)은 도 3의 얼굴 영역 검출 과정을 수행한다. For example, when the user terminal 101 includes only the face detector 520, the user terminal 101 detects a face region in the user image and transmits the detected face region to the virtual experience apparatus 100. In this case, the user terminal 101 performs the face region detection process of FIG. 3.

사용자 단말(101)이 얼굴 검출기(520) 및 얼굴 특징점 추출기(530)를 구비하는 경우, 사용자 단말(101)은 얼굴 영역을 검출하고 검출된 얼굴 영역에서 얼굴 특징점 정보를 추출한 후 얼굴 특징점 정보를 가상 체험 장치(100)에 전송한다. When the user terminal 101 includes the face detector 520 and the face feature point extractor 530, the user terminal 101 detects the face area, extracts the face feature point information from the detected face area, and virtualizes the face feature point information. Send to experience device 100.

메모리(560)는 얼굴 영역 정보, 얼굴 특징점 정보, 헤어 스타일 객체 및 속성, 메이크업 객체 및 속성 등을 저장한다. 메모리(560)에 저장된 각종 정보는 업데이트될 수 있다. The memory 560 stores face region information, facial feature point information, hairstyle objects and attributes, makeup objects and attributes, and the like. Various information stored in the memory 560 may be updated.

영상 획득기(510)는 영상 촬영 모듈을 구비하여 가상 체험 대상이 되는 사용자를 촬영하여 사용자 영상을 획득한다.The image acquirer 510 includes an image capturing module to capture a user who is a virtual experience target to obtain a user image.

얼굴 검출기(520)는 영상 획득기(510)에서 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다.The face detector 520 detects a face region by extracting a face detection parameter from a user image acquired by the image acquirer 510.

얼굴 특징점 추출기(530)는 얼굴 검출기(520)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다.The facial feature point extractor 530 extracts facial feature point information from the face area detected by the face detector 520 using the face area information.

가상 피팅기(540)는 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다.The virtual fitter 540 matches the virtual object selected by the user to the face region to match the face feature point information.

가상 체험 영상 생성기(550)는 정합된 가상 객체와 가상 객체의 속성을 근거로 가상 객체를 렌더링 하여 가상 체험 영상을 생성한다. The virtual experience image generator 550 generates a virtual experience image by rendering the virtual object based on the matched virtual object and the attributes of the virtual object.

도 6은 본 발명에 따른 얼굴 특징 기반의 가상 체험 방법에 대한 순서도를 나타낸 것이다. 6 is a flowchart illustrating a virtual experience method based on facial features according to the present invention.

도 6을 참조하면, 먼저 가상 체험 장치(100)는 사용자 단말(101)로부터 사용자 영상을 수신한다(S602).Referring to FIG. 6, first, the virtual experience apparatus 100 receives a user image from the user terminal 101 (S602).

사용자 단말(101)로부터 사용자 영상이 수신되면 얼굴 검출부(110)는 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다(S604).When the user image is received from the user terminal 101, the face detector 110 detects a face region by extracting a face detection parameter from the user image (S604).

얼굴 특징점 추출부(120)는 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S606).The facial feature point extractor 120 extracts facial feature point information from the detected face region by using face region information (S606).

이후 사용자 단말(101)이 사용자 인터페이스를 통해 가상 객체를 선택하여 가상 체험 장치(100)에 전달한다(S608). Thereafter, the user terminal 101 selects a virtual object through the user interface and transmits the selected virtual object to the virtual experience apparatus 100 (S608).

가상 피팅부(130)는 사용자 단말(101)에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S610).The virtual fitting unit 130 matches the virtual object selected by the user terminal 101 to the face region to match the face feature point information (S610).

이후 사용자 단말(101)이 사용자 인터페이스를 통해 가상 객체의 속성을 결정하여 가상 체험 장치(100)에 전달한다(S612). Thereafter, the user terminal 101 determines the attribute of the virtual object through the user interface and transmits the attribute to the virtual experience apparatus 100 (S612).

가상 체험 영상 생성부(140)는 얼굴 영역에 정합된 가상 객체를 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성한다(S614). 가상 체험 장치(100)는 가상 체험 영상 생성부(140)에서 생성된 가상 체험 영상을 사용자 단말(101)로 전송한다.The virtual experience image generation unit 140 generates a virtual experience image by rendering the virtual object matched to the face region according to the attribute of the virtual object (S614). The virtual experience apparatus 100 transmits the virtual experience image generated by the virtual experience image generation unit 140 to the user terminal 101.

도 7은 본 발명에 따른 사용자 단말에서의 얼굴 특징 기반의 가상 체험 방법에 대한 순서도이다. 7 is a flowchart illustrating a virtual experience method based on facial features in a user terminal according to the present invention.

도 7을 참조하면, 먼저 사용자 단말(101)의 영상 획득기(510)는 사용자를 촬영하여 사용자 영상을 획득한다(S702).Referring to FIG. 7, first, the image acquirer 510 of the user terminal 101 acquires a user image by capturing a user (S702).

얼굴 검출기(520)는 영상 획득기(510)에서 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출한다(S704).The face detector 520 extracts a face detection parameter from a user image acquired by the image acquirer 510 to detect a face region (S704).

얼굴 특징점 추출기(530)는 얼굴 검출기(520)에서 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출한다(S706).The facial feature point extractor 530 extracts facial feature point information from the face area detected by the face detector 520 using the face area information (S706).

가상 피팅기(540)는 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합한다(S708). 사용자는 사용자 인터페이스를 통해 가상 객체를 선택할 수 있다. The virtual fitter 540 matches the virtual object selected by the user to the face region to match the face feature point information (S708). The user can select a virtual object through the user interface.

이후 사용자는 사용자 인터페이스를 통해 선택된 가상 객체의 속성을 결정한다(S710). Thereafter, the user determines a property of the selected virtual object through the user interface (S710).

가상 체험 영상 생성기(550)는 얼굴 영역에 정합된 가상 객체를 상기 선택된 가상 객체의 속성에 따라 렌더링 하여 최종의 가상 체험 영상을 생성한다(S712).The virtual experience image generator 550 renders the virtual object matched to the face region according to the attribute of the selected virtual object to generate a final virtual experience image (S712).

사용자 단말(101)은 생성한 가상 체험 영상을 표시기를 통해 사용자에게 표시한다(S714).The user terminal 101 displays the generated virtual experience image to the user through the display (S714).

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

본 발명은 사용자 영상과 가상 객체가 자동 정합 및 렌더링 됨으로써 사용자 입장에서 단순히 원하는 가상 객체를 선택하는 동작만으로 최적의 가상 체험 영상을 제공받을 수 있기 때문에, 얼굴 특징 기반의 가상 체험 서비스 분야에 널리 사용될 수 있다. The present invention can be widely used in the face feature-based virtual experience service field because the user image and the virtual object are automatically matched and rendered so that the optimal virtual experience image can be provided by simply selecting a desired virtual object from the user's point of view. have.

10: 가상 체험 시스템 100: 가상 체험 장치
101: 사용자 단말 110: 얼굴 검출부
120: 얼굴 특징점 검출부 130: 가상 피팅부
140: 가상 체험 영상 생성부 150: 얼굴 DB
160: 헤어 DB 170: 메이크업 DB
510: 영상 획득기 520: 얼굴 검출기
530: 얼굴 특징점 추출기 540: 가상 피팅기
550: 가상 체험 영상 생성기 560: 메모리10: virtual experience system 100: virtual experience device
101: user terminal 110: face detection unit
120: facial feature point detection unit 130: virtual fitting unit
140: virtual experience image generation unit 150: face DB
160: hair DB 170: makeup DB
510: image acquirer 520: face detector
530: facial feature extractor 540: virtual fitting
550: virtual experience image generator 560: memory

Claims (15)

사용자 영상을 통신망을 통해 전송하고 가상 객체 및 가상 객체의 속성을 선택하는 사용자 단말과,
상기 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하고 상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하고 상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 정합하고 상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 장치를 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 시스템.A user terminal for transmitting a user image through a communication network and selecting a virtual object and a property of the virtual object;
Extracting a face detection parameter from a user image received from the user terminal to detect a face region, extracting facial feature point information using face region information from the detected face region, and extracting facial feature point information from the virtual object selected by the user terminal. And a virtual experience device for matching to match with and generating a virtual experience image by rendering the matched virtual object according to the attribute of the virtual object determined by the user terminal. 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출부;
상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출부;
상기 사용자 단말에 의해 선택된 가상 객체를 상기 추출한 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅부; 및
상기 사용자 단말에 의해 결정된 가상 객체의 속성에 따라 상기 정합된 가상 객체를 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성부를 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.A face detector extracting a face detection parameter from a user image received from a user terminal to detect a face region;
A facial feature point extracting unit which extracts facial feature point information from the detected face region using face region information;
A virtual fitting unit matching the virtual object selected by the user terminal to a face region to match the extracted facial feature point information; And
And a virtual experience image generator configured to generate a virtual experience image by rendering the matched virtual object according to the attribute of the virtual object determined by the user terminal. 제 2 항에 있어서,
상기 얼굴 검출부는 상기 수신된 사용자 영상에서 피부색, 동공, 윤곽선 또는 배경에 관련된 얼굴 검출 파라미터를 추출하고 상기 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method of claim 2,
The face detection unit extracts a face detection parameter related to a skin color, a pupil, an outline, or a background from the received user image, and detects a face region using the extracted face detection parameter. . 제 2 항에 있어서,
상기 얼굴 특징점 추출부는 상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 등의 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method of claim 2,
The facial feature point extractor extracts facial feature point information using facial region information such as edge information, color information, and vertex information of the detected face region. 제 2 항에 있어서,
상기 얼굴 특징점 추출부는 상기 검출된 얼굴 영역에서 얼굴 특징점 정보로 눈 특징점, 눈썹 특징점, 얼굴 윤곽선 특징점, 코 특징점, 입 특징점 또는 턱 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method of claim 2,
The facial feature point extractor extracts an eye feature point, an eyebrow feature point, a facial contour feature point, a nose feature point, a mouth feature point, or a jaw feature point from the detected face region as face feature point information. 제 2 항에 있어서,
상기 가상 피팅부는 상기 가상 객체 중에서 상기 사용자 단말에 의해 선택된 헤어 스타일 객체 또는 메이크업 객체를 상기 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method of claim 2,
And the virtual fitting unit matches a hairstyle object or a makeup object selected by the user terminal among the virtual objects with a face region to match the facial feature point information. 제 6 항에 있어서,
상기 헤어 스타일 객체 및 상기 헤어 스타일 객체의 속성을 저장하는 헤어 DB; 및
상기 메이크업 객체 및 상기 메이크업 객체의 속성을 저장하는 메이크업 DB를 더 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 장치.The method according to claim 6,
A hair DB for storing the hairstyle object and attributes of the hairstyle object; And
The facial experience-based virtual experience device further comprises a makeup DB for storing the makeup object and the properties of the makeup object. 사용자를 촬영하여 사용자 영상을 획득하고 상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 검출기;
상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 추출기;
상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅기; 및
상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 결정된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성기를 포함하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험을 위한 사용자 단말.A face detector for capturing a user to obtain a user image and extracting a face detection parameter from the obtained user image to detect a face region;
A facial feature point extractor for extracting facial feature point information from the detected face region by using face region information;
A virtual fitter for matching the virtual object selected by the user to a face region to match face feature point information; And
And a virtual experience image generator for generating a virtual experience image by rendering the virtual object matched to the face region according to the attribute of the virtual object determined by the user. 제 8 항에 있어서,
상기 헤어 스타일 객체 및 메이크업 객체를 저장하는 메모리를 더 포함하고,
상기 메모리에 저장된 각종 정보는 주기적으로 업데이트 되는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험을 위한 사용자 단말.The method of claim 8,
Further comprising a memory for storing the hairstyle object and makeup object,
The user terminal for a virtual experience based on facial features, characterized in that the various information stored in the memory is periodically updated. 사용자 단말로부터 수신된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계;
상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계;
상기 사용자 단말에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계;
상기 얼굴 영역에 정합된 가상 객체를 상기 사용자 단말에 의해 결정된 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 얼굴 특징 기반의 가상 체험 방법.Detecting a face region by extracting a face detection parameter from a user image received from the user terminal;
Extracting facial feature point information from the detected face region by using facial region information;
A virtual fitting step of matching a virtual object selected by the user terminal to a face region to match face feature point information;
And a virtual experience image generation step of generating a virtual experience image by rendering the virtual object matched to the face region according to the attribute determined by the user terminal. 제 10 항에 있어서,
상기 얼굴 영역 검출 단계는 상기 수신된 사용자 영상에서 피부색, 동공, 윤곽선 또는 배경에 관련된 얼굴 검출 파라미터를 추출하고 상기 추출된 얼굴 검출 파라미터를 이용하여 얼굴 영역을 검출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.11. The method of claim 10,
The facial region detection step includes extracting a face detection parameter related to skin color, pupil, contour or background from the received user image, and detecting a face region using the extracted face detection parameter. How to experience. 제 10 항에 있어서,
상기 얼굴 특징점 정보 추출 단계는 상기 검출된 얼굴 영역의 에지 정보, 색상 정보, 꼭지점 정보 등의 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.11. The method of claim 10,
The facial feature point information extracting step may include extracting facial feature point information using facial region information such as edge information, color information, and vertex information of the detected face region. 제 10 항에 있어서,
상기 얼굴 특징점 추출 단계는 상기 검출된 얼굴 영역에서 얼굴 특징점 정보로 눈 특징점, 눈썹 특징점, 얼굴 윤곽선 특징점, 코 특징점, 입 특징점 또는 턱 특징점을 추출하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.11. The method of claim 10,
The facial feature point extracting step may include extracting eye feature points, eyebrow feature points, facial contour feature points, nose feature points, mouth feature points, or jaw feature points from the detected face region as facial feature point information. 제 10 항에 있어서,
상기 가상 피팅 단계는 상기 가상 객체 중에서 상기 사용자 단말에 의해 선택된 헤어 스타일 객체 또는 메이크업 객체를 상기 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 것을 특징으로 하는 얼굴 특징 기반의 가상 체험 방법.11. The method of claim 10,
In the virtual fitting step, the facial experience-based virtual experience method, characterized in that matching the hairstyle object or makeup object selected by the user terminal among the virtual object to the face region to match the facial feature point information. 사용자를 촬영하여 사용자 영상을 획득하는 사용자 영상 획득 단계;
상기 획득된 사용자 영상에서 얼굴 검출 파라미터를 추출하여 얼굴 영역을 검출하는 얼굴 영역 검출 단계;
상기 검출된 얼굴 영역에서 얼굴 영역 정보를 이용하여 얼굴 특징점 정보를 추출하는 얼굴 특징점 정보 추출 단계;
상기 사용자에 의해 선택된 가상 객체를 얼굴 특징점 정보와 매칭되도록 얼굴 영역에 정합하는 가상 피팅 단계;
상기 얼굴 영역에 정합된 가상 객체를 상기 사용자에 의해 선택된 가상 객체의 속성에 따라 렌더링 하여 가상 체험 영상을 생성하는 가상 체험 영상 생성 단계를 포함하는 사용자 단말에서의 얼굴 특징 기반의 가상 체험 방법.Obtaining a user image by capturing the user;
A face region detection step of detecting a face region by extracting a face detection parameter from the obtained user image;
Extracting facial feature point information from the detected face region by using facial region information;
A virtual fitting step of matching the virtual object selected by the user to a face region to match face feature point information;
And a virtual experience image generation step of generating a virtual experience image by rendering the virtual object matched to the face region according to the attribute of the virtual object selected by the user.
KR1020100132549A 2010-12-22 2010-12-22 Virtual experience system based on facial feature and method therefore KR101733512B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132549A KR101733512B1 (en) 2010-12-22 2010-12-22 Virtual experience system based on facial feature and method therefore

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132549A KR101733512B1 (en) 2010-12-22 2010-12-22 Virtual experience system based on facial feature and method therefore

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052370A Division KR101827998B1 (en) 2017-04-24 2017-04-24 Virtual experience system based on facial feature and method therefore

Publications (2)

Publication Number Publication Date
KR20120070985A true KR20120070985A (en) 2012-07-02
KR101733512B1 KR101733512B1 (en) 2017-05-10

Family

ID=46706137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132549A KR101733512B1 (en) 2010-12-22 2010-12-22 Virtual experience system based on facial feature and method therefore

Country Status (1)

Country Link
KR (1) KR101733512B1 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195881B2 (en) 2012-12-28 2015-11-24 Samsung Electronics Co., Ltd. Image transformation apparatus and method
EP3100256A4 (en) * 2014-01-31 2017-06-28 Empire Technology Development LLC Augmented reality skin evaluation
US9865088B2 (en) 2014-01-31 2018-01-09 Empire Technology Development Llc Evaluation of augmented reality skins
US9953462B2 (en) 2014-01-31 2018-04-24 Empire Technology Development Llc Augmented reality skin manager
US10192359B2 (en) 2014-01-31 2019-01-29 Empire Technology Development, Llc Subject selected augmented reality skin
KR20190093372A (en) * 2018-02-01 2019-08-09 주식회사 엘지생활건강 Make-up evaluation system and operating method thereof
KR20200006157A (en) * 2018-02-01 2020-01-17 주식회사 엘지생활건강 Make-up evaluation system and operating method thereof
CN111066060A (en) * 2017-07-13 2020-04-24 资生堂美洲公司 Virtual face makeup removal and simulation, fast face detection, and landmark tracking
CN112132979A (en) * 2020-09-29 2020-12-25 支付宝(杭州)信息技术有限公司 Virtual resource selection method, device and equipment
US11113511B2 (en) 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
KR20220019614A (en) * 2020-08-10 2022-02-17 주식회사 타키온비앤티 Rewarding system for posting image with selectively applied makeup effects
KR20220019610A (en) * 2020-08-10 2022-02-17 주식회사 타키온비앤티 system for applying selective makeup effect through facial recognition of user
KR20220019613A (en) * 2020-08-10 2022-02-17 주식회사 타키온비앤티 System for applying selective makeup effect through sourcing of cosmetic object
KR20220022435A (en) * 2020-08-18 2022-02-25 주식회사 타키온비앤티 system for applying wearing effect during communication through facial recognition of user
KR20220022433A (en) * 2020-08-18 2022-02-25 주식회사 타키온비앤티 System for buying service of cosmetic object and applying selective makeup effect
WO2023054736A1 (en) * 2021-09-28 2023-04-06 주식회사 타키온비앤티 System for selectively applying makeup effect through facial recognition of user
CN117392330A (en) * 2023-12-11 2024-01-12 江西省映尚科技有限公司 Method and system for manufacturing metauniverse virtual digital person

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230080940A (en) 2021-11-30 2023-06-07 최진은 Recommendation system and procedure method for semi-permanent make-up of eyebrow using machine learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4435809B2 (en) * 2002-07-08 2010-03-24 株式会社東芝 Virtual makeup apparatus and method
JP4218712B2 (en) * 2006-08-04 2009-02-04 ソニー株式会社 Face detection device, imaging device, and face detection method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195881B2 (en) 2012-12-28 2015-11-24 Samsung Electronics Co., Ltd. Image transformation apparatus and method
EP3100256A4 (en) * 2014-01-31 2017-06-28 Empire Technology Development LLC Augmented reality skin evaluation
US9865088B2 (en) 2014-01-31 2018-01-09 Empire Technology Development Llc Evaluation of augmented reality skins
US9953462B2 (en) 2014-01-31 2018-04-24 Empire Technology Development Llc Augmented reality skin manager
US9990772B2 (en) 2014-01-31 2018-06-05 Empire Technology Development Llc Augmented reality skin evaluation
US10192359B2 (en) 2014-01-31 2019-01-29 Empire Technology Development, Llc Subject selected augmented reality skin
US11113511B2 (en) 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
US11748980B2 (en) 2017-02-01 2023-09-05 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
CN111066060A (en) * 2017-07-13 2020-04-24 资生堂美洲公司 Virtual face makeup removal and simulation, fast face detection, and landmark tracking
KR20200006157A (en) * 2018-02-01 2020-01-17 주식회사 엘지생활건강 Make-up evaluation system and operating method thereof
KR20190093372A (en) * 2018-02-01 2019-08-09 주식회사 엘지생활건강 Make-up evaluation system and operating method thereof
KR20220019613A (en) * 2020-08-10 2022-02-17 주식회사 타키온비앤티 System for applying selective makeup effect through sourcing of cosmetic object
KR20220019610A (en) * 2020-08-10 2022-02-17 주식회사 타키온비앤티 system for applying selective makeup effect through facial recognition of user
KR20220019614A (en) * 2020-08-10 2022-02-17 주식회사 타키온비앤티 Rewarding system for posting image with selectively applied makeup effects
KR20220022435A (en) * 2020-08-18 2022-02-25 주식회사 타키온비앤티 system for applying wearing effect during communication through facial recognition of user
KR20220022433A (en) * 2020-08-18 2022-02-25 주식회사 타키온비앤티 System for buying service of cosmetic object and applying selective makeup effect
CN112132979B (en) * 2020-09-29 2022-04-22 支付宝(杭州)信息技术有限公司 Virtual resource selection method, device and equipment
CN112132979A (en) * 2020-09-29 2020-12-25 支付宝(杭州)信息技术有限公司 Virtual resource selection method, device and equipment
WO2023054736A1 (en) * 2021-09-28 2023-04-06 주식회사 타키온비앤티 System for selectively applying makeup effect through facial recognition of user
CN117392330A (en) * 2023-12-11 2024-01-12 江西省映尚科技有限公司 Method and system for manufacturing metauniverse virtual digital person
CN117392330B (en) * 2023-12-11 2024-03-08 江西省映尚科技有限公司 Method and system for manufacturing metauniverse virtual digital person

Also Published As

Publication number Publication date
KR101733512B1 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
KR101733512B1 (en) Virtual experience system based on facial feature and method therefore
CN108765273B (en) Virtual face-lifting method and device for face photographing
US8983152B2 (en) Image masks for face-related selection and processing in images
CN107771336B (en) Feature detection and masking in images based on color distribution
CN109427083B (en) Method, device, terminal and storage medium for displaying three-dimensional virtual image
US9142054B2 (en) System and method for changing hair color in digital images
CN106682632B (en) Method and device for processing face image
US9691136B2 (en) Eye beautification under inaccurate localization
JP4449723B2 (en) Image processing apparatus, image processing method, and program
KR101896137B1 (en) Generation of avatar reflecting player appearance
EP3249562A1 (en) Method for obtaining care information, method for sharing care information, and electronic apparatus therefor
CN106326823B (en) Method and system for obtaining head portrait in picture
KR20200014889A (en) System and method for image non-identification
KR101827998B1 (en) Virtual experience system based on facial feature and method therefore
WO2018094653A1 (en) User hair model re-establishment method and apparatus, and terminal
JP2006012062A (en) Image processor and its method, program and imaging device
CN105812754A (en) Garment fitting method and garment fitting device
KR20190043925A (en) Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service
KR20120046653A (en) System and method for recommending hair based on face and style recognition
CN110866139A (en) Cosmetic treatment method, device and equipment
JP2010239499A (en) Communication terminal unit, communication control unit, method of controlling communication of communication terminal unit, and communication control program
JP2008139941A (en) Image processor, image processing method, and image processing program
US10645357B2 (en) Selectively applying color to an image
KR20150127898A (en) Portable device for skin condition diagnosis and method for diagnosing and managing skin using the same
KR101507410B1 (en) Live make-up photograpy method and apparatus of mobile terminal

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent