KR100764130B1 - Method of virtual face shaping based on automatic face extraction and apparatus thereof - Google Patents

Method of virtual face shaping based on automatic face extraction and apparatus thereof Download PDF

Info

Publication number
KR100764130B1
KR100764130B1 KR1020050025836A KR20050025836A KR100764130B1 KR 100764130 B1 KR100764130 B1 KR 100764130B1 KR 1020050025836 A KR1020050025836 A KR 1020050025836A KR 20050025836 A KR20050025836 A KR 20050025836A KR 100764130 B1 KR100764130 B1 KR 100764130B1
Authority
KR
South Korea
Prior art keywords
face
image
user
shaping
molding
Prior art date
Application number
KR1020050025836A
Other languages
Korean (ko)
Other versions
KR20060104027A (en
Inventor
김원중
Original Assignee
(주)제니텀 엔터테인먼트 컴퓨팅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제니텀 엔터테인먼트 컴퓨팅 filed Critical (주)제니텀 엔터테인먼트 컴퓨팅
Priority to KR1020050025836A priority Critical patent/KR100764130B1/en
Publication of KR20060104027A publication Critical patent/KR20060104027A/en
Application granted granted Critical
Publication of KR100764130B1 publication Critical patent/KR100764130B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • G06T3/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges

Abstract

본 발명은 입력된 얼굴 사진으로부터 자동으로 눈, 코, 입 등의 얼굴 요소를 자동으로 추출하여 가상으로 얼굴을 원하는 부위를 원하는 정도만큼 성형하여 성형 후의 모습을 미리 볼 수 있게 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템에 관한 것으로서, 사용자가 유무선 인터넷 수단을 통해 얼굴 성형 서버에 접속 사용자의 얼굴 영상을 성형 서버로 전송하거나, 미리 저장된 얼굴 영상을 요청하는 단계; 사용자로부터 제공되거나 요청된 얼굴이 포함된 영상으로부터 얼굴 인식 기술을 이용하여 자동으로 얼굴, 눈, 코, 입 및 얼굴 윤곽선을 추출하는 단계; 사용자가 원하는 성형 방법을 선택한 것을 입력받아 메시 워핑(Mesh Warping) 기법을 사용하여 얼굴 영상을 변형시키는 단계; 성형 후의 영상을 후처리 하는 단계; 및 미리 사용자가 원하는 성형 스타일의 성형 필터를 제작하는 단계를 포함하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법을 제공한다.The present invention automatically extracts facial elements such as eyes, nose and mouth from an input face image automatically and virtually molds a desired portion of a face to a desired degree so as to preview the appearance after molding. A method and system for shaping a face, the method comprising: transmitting, by a user, a face image of a user connected to a face shaping server through a wired or wireless Internet means to a shaping server, or requesting a pre-stored face image; Automatically extracting face, eye, nose, mouth and face contours using face recognition technology from an image including a face provided or requested by a user; Deforming a face image using a mesh warping technique by receiving a user's selection of a desired molding method; Post-processing the image after molding; And preparing a shaping filter having a shaping style desired by the user in advance.

얼굴 인식, 얼굴 특징점 추출, 얼굴 성형, 영상 워핑(Warping), 모핑(Morphing) Face Recognition, Facial Feature Extraction, Face Shaping, Image Warping, Morphing

Description

자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템{Method of virtual face shaping based on automatic face extraction and apparatus thereof}Method of virtual face shaping based on automatic face extraction and apparatus

도 1은 얼굴 인식 기반 자동 성형시스템의 구성도,1 is a block diagram of a face recognition-based automatic molding system,

도 2는 얼굴 추출 알고리즘의 구성도, 2 is a block diagram of a face extraction algorithm,

도 3은 얼굴 인식 후 얼굴 특징점들을 이용 입력 Mesh point를 표시한 영상,3 is an image showing input mesh points using facial feature points after face recognition;

도 4는 본 자동 성형 시스템에서 나온 성형 전후 화면을 나타낸 것이다.Figure 4 shows the before and after screen from the present automatic molding system.

본 발명은 입력된 얼굴 사진으로부터 자동으로 눈, 코, 입 등의 얼굴 요소를 자동으로 추출하여 가상으로 얼굴을 원하는 부위를 원하는 정도만큼 성형하여 성형 후의 모습을 미리 볼 수 있게 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템에 관한 것이다.The present invention automatically extracts facial elements such as eyes, nose and mouth from an input face image automatically and virtually molds a desired portion of a face to a desired degree so as to preview the appearance after molding. It relates to a face shaping method and system.

기존의 기술은 얼굴 성형시 눈, 코, 입, 턱 등의 자신이 원하는 성형 부위의 세부 사진을 본 후 고객이 원하는 부위를 선택하게 된다. 그러나 선택된 부위가 자신의 얼굴에서 어떤 조화를 이루고 있는지 미리 알 수는 없다. 따라서 선택된 얼굴 부위와 고객의 얼굴 영상의 단순한 합성을 통하여 성형 후의 모습을 보여주게 된다. 그러나 이러한 종래 방법의 문제점은 단순한 영상의 합성을 하기 때문에 성형 후의 모습을 정확하게 예측할 수 없게 된다는 것이다. 그리고 수없이 많은 얼굴 요소의 사진들 속에 선택해야 하는 사용방법상에도 복잡함을 수반하고 있다.The existing technology is to select the desired part of the customer after seeing the detailed picture of the desired part, such as eyes, nose, mouth, chin when shaping the face. However, it is not possible to know in advance how the selected area harmonizes on his face. Therefore, it shows the shape after the molding through the simple synthesis of the selected face region and the customer's face image. However, the problem with this conventional method is that it is impossible to accurately predict the shape after molding because of simple image synthesis. It is also complicated by how to use it in the photographs of numerous face elements.

이와 같은 문제점을 해결하기 위해 본 발명은 얼굴 인식 기술을 사용하여 자동으로 얼굴 및 눈, 코, 입 등의 얼굴 구성 요소를 인식하여 미리 만들어진 사용자가 원하는 형태의 성형 필터를 사용하여 워핑(Warping) 기술을 이용하여 사용자가 선택한 성형 후의 모습을 제공할 수 있는 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 정지 영상 이미지뿐 아니라 웹 카메라 등의 동영상에서도 실시간으로 다양하면서도 간편하게 성형 후의 모습을 정지 영상 또는 동영상으로 제공할 수 있는 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.
In order to solve this problem, the present invention uses a face recognition technology to automatically recognize face components such as face and eyes, nose, mouth, and the like. An object of the present invention is to provide an automatic face extraction-based virtual face shaping method and system capable of providing a post-molding appearance selected by a user.
In addition, the present invention is to provide a virtual face shaping method and system based on automatic face extraction that can provide a still image or a video after the molding in various real-time, as well as a still image image, as well as a video camera, etc. The purpose.

삭제delete

삭제delete

상기한 바와 같은 목적을 달성하기 위하여 본 발명은 얼굴 성형 서버에서 제공하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법에 있어서, 사용자로부터 유무선 인터넷 망을 통해 얼굴 성형 서버에 접속한 사용자의 얼굴 영상을 수신하거나, 기 저장된 얼굴 영상을 데이터베이스로부터 수신하는 단계; 사용자의 얼굴 영상으로부터 얼굴 인식 기술을 이용하여 자동으로 얼굴, 눈, 코, 입 및 얼굴 윤곽선을 추출하는 단계; 상기 사용자가 선택한 성형 스타일에 따른 성형 필터를 제작하는 단계; 상기 추출된 얼굴, 눈, 코, 입 및 얼굴 윤곽선과 상기 제작된 성형 필터를 이용하여 메시 워핑(Mesh Warping) 기법을 사용하여 얼굴 영상을 변형시키는 단계; 및 상기 변형된 얼굴 영상을 후처리 하는 단계를 포함하며, 상기 얼굴, 눈, 코, 입 및 얼굴 윤곽선을 추출하는 단계는, 아다부스팅(AdaBoosting) 학습 방법을 이용하여 전체 영상에서 얼굴을 추출하는 단계; 상기 추출된 얼굴에서 세부 요소들을 추출하기 위해서 영상들의 밝기값의 평균과 분산값을 이용하는 적응적 이진화 과정을 수행하는 단계; 캐니엣지(CannyEdge) 연산자를 이용하여 윤곽선들을 추출하는 단계; 윤곽선 스무딩(Smoothing) 필터 사용 후 모폴로지 연산을 수행하는 단계; 및 얼굴의 구조적 특징을 사용해서 검증하는 단계를 포함하는 것을 특징으로 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법을 제공할 수 있다.
여기에서, 상기 추출된 얼굴, 눈, 코, 입 및 얼굴 윤곽선과 상기 제작된 성형 필터를 이용하여 메시 워핑(Mesh Warping) 기법을 사용하여 얼굴 영상을 변형시키는 단계는, 추출된 얼굴 특징점을 입력 메시 포인트(Mesh point) 배열로 만드는 단계; 출력 메시 포인트(Mesh point) 배열을 성형 필터 DB로부터 가져와 만드는 단계; 및 팬츠 리샘플링(Fants resampling)을 적용하는 단계를 포함할 수 있다.
또한, 상기 사용자가 선택한 성형 스타일에 따른 성형 필터를 제작하는 단계는, 입력 메시 포인트(Mesh point) 배열을 설정하는 단계; 사용자가 원하는 스타일의 출력 메시 포인트(Mesh point) 배열을 설정하는 단계; 및 입력 메시 포인트(Mesh point) 배열과 출력 메시 포인트(Mesh point) 배열에서 대응되는 각 점들의 x, y좌표값의 비교 변화량을 필터에 저장하는 단계를 포함할 수 있다.
또한, 상기 변형된 얼굴 영상을 후처리 하는 단계는, 상기 변형된 얼굴 영상의 모습을 사용자의 요청에 따라 부드럽게, 선명하게, 콘트라스트 강화 또는 흑백 중 적어도 어느 하나로 이미지를 변환시킬 수 있는 이미지 변환 필터를 적용시키는 단계; 및 상기 이미지 변환 필터가 적용된 결과 영상을 사용자에게 전송하는 단계를 포함할 수 있다.
또한, 모핑 기법을 이용하여 사용자의 성형 전후의 모습이 변하는 과정을 동영상으로 제공하는 단계를 더 포함할 수 있다.
In order to achieve the above object, the present invention provides an automatic face extraction based virtual face shaping method provided by a face shaping server, which receives a face image of a user connected to a face shaping server through a wired or wireless internet network, Receiving a previously stored face image from a database; Automatically extracting face, eye, nose, mouth and face contours from face images of the user using face recognition technology; Manufacturing a molding filter according to the molding style selected by the user; Deforming a face image by using a mesh warping technique using the extracted face, eye, nose, mouth, and face contours and the manufactured shaping filter; And post-processing the deformed face image, wherein extracting the face, eyes, nose, mouth, and face contours comprises: extracting a face from the entire image using an AdaBoosting learning method. ; Performing an adaptive binarization process using an average and a variance of brightness values of images to extract detailed elements from the extracted face; Extracting contours using a CannyEdge operator; Performing a morphology operation after using the contour smoothing filter; And verifying using the structural features of the face.
Here, the deforming of the face image by using a mesh warping technique using the extracted face, eye, nose, mouth, and face contours and the manufactured shaping filter may include extracting the extracted facial feature points from an input mesh. Creating an array of points; Creating an output mesh point array from the shaping filter DB; And applying Fants resampling.
The manufacturing of the shaping filter according to the shaping style selected by the user may include: setting an input mesh point arrangement; Setting an output mesh point array in a style desired by a user; And storing, in the filter, a comparison change amount of the x and y coordinate values of the corresponding points in the input mesh point array and the output mesh point array.
The post-processing of the deformed face image may include: an image conversion filter capable of converting the image of the deformed face image to at least one of smooth, sharp, contrast enhancement, and black and white according to a user's request. Applying; And transmitting a resultant image to which the image conversion filter is applied to a user.
The method may further include providing, as a video, a process of changing a shape before and after the user's molding using a morphing technique.

삭제delete

이하, 첨부 도면을 참조하여 본 발명에 의한 바람직한 실시예를 상세하게 설명한다.
도 1은 본 자동 성형 시스템의 구성도를 나타낸 것이다. 도 1을 참조하면, 우선 사용자가 유무선 인터넷 수단을 이용해서 가상 얼굴 성형 서버에 접속하면 사용자에게 사용자의 얼굴이 있는 영상을 요구한다. 이러한 요청에 따라 사용자는 사용자의 얼굴이 포함된 사진을 서버로 전송하게 된다. 이 때, 기존에 얼굴 사진을 전송했던 사용자는 기존에 저장되었던 영상을 사용할 수 있다.
다음으로, 가상 얼굴 성형 서버는, 사용자가 전송한 얼굴 영상으로부터 얼굴을 추출하고 추출한 얼굴에서 눈, 코, 입과 같은 얼굴 특징점을 추출하게 된다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
1 shows a configuration of the present automatic forming system. Referring to FIG. 1, first, when a user accesses a virtual face shaping server using a wired or wireless Internet means, the user requests an image with a face of the user. In response to the request, the user transmits a photo including the user's face to the server. In this case, the user who has previously transmitted the face picture may use the previously stored image.
Next, the virtual face shaping server extracts a face from the face image transmitted by the user and extracts facial feature points such as eyes, nose, and mouth from the extracted face.

삭제delete

얼굴을 추출하는 것은, 잡신호 제거 및 밝기값 히스토그램 균일화의 작업을 거치는 전처리 과정과 일정한 부영역으로 인테그랄 이미지(Intergral Image)의 형태로 분할되는 영역 분할 과정과 분할된 부영역에서 이웃하는 부영역의 대표값의 차이와 평균값으로 특징값을 추출하는 특징값 추출과정과 아다부스팅(AdaBoosting) 학습과정을 이용해서 학습된 결과값을 이용하여 얼굴 여부를 판단하는 과정으로 나누어진다. 도 2는 이러한 얼굴 추출 과정을 나타낸 것이다.Extracting the face includes preprocessing process of removing noise and uniformity of brightness value histogram, region segmentation process in the form of intergral image into constant subregions, and representative of neighboring subregions in the segmented subregions. It is divided into a feature value extraction process that extracts feature values by a difference of values and an average value, and a process of judging a face using a result value learned using an AdaBoosting learning process. 2 illustrates this face extraction process.

추출된 얼굴에서 눈, 코, 입과 같은 세부 요소들을 추출하기 위해서, 영상들의 밝기값의 평균과 분산 값을 이용하여 적응하는 이진화 과정을 거치고, 캐니엣지( CannyEdge) 연산자를 이용하여 윤곽선들을 추출하고, 윤곽선들에서 균일하지 않은 조명의 영향으로 포함된 부분 에러 윤관 선을 제거하게 위해 저주역 통과 필터인 스무딩(Smoothing) 필터를 사용하여 윤곽선을 부드럽게 한 후 모폴로지 연산을 수행한다.
다음으로, 얼굴 요소의 구조적 관계를 이용하여 눈, 코, 입, 얼굴 전체 윤곽선을 다시 검증하여 최종적으로 이러한 얼굴 특징점을 메시 워핑(Mesh Warping) 기술을 적용하기 위한 입력 메시 포인트(Mesh Point) 배열로 설정하게 된다. 도 3은 위와 같은 단계를 거쳐 최종적으로 나온 결과 영상이다. 분할된 영역들은 메시(Mesh)를 나타낸 것이고 흰점들이 입력 메시 포인트(Mesh Point)들이다.
In order to extract detailed elements such as eyes, nose, and mouth from the extracted face, it is subjected to a binarization process using the average and variance values of the brightness values of the images, and the contours are extracted using the CannyEdge operator. In order to remove the partial error loops included in the effects of non-uniform illumination on the contours, the contours are smoothed using a low-pass filter, the Smoothing filter, and then the morphology calculation is performed.
Next, the entire contours of eyes, nose, mouth, and face are re-verified using the structural relationships of the face elements, and finally these facial feature points are converted into an input mesh point array to apply mesh warping technology. Will be set. 3 is a result image finally obtained through the above steps. The divided regions represent the mesh and the white points are the input mesh points.

삭제delete

메시 워핑(Mesh Warping) 알고리즘은 첫 번째 단계에서 매 행마다 처리하며 두 번째 단계에서는 매 열마다 처리하여 결과 영상을 얻게 된다. 입력 영상과 출력 영상에 대응되는 메시(Mesh)들은 이것을 제어하기 위한 포인트(Point) 배열을 입력 배열과 출력 배열은 1대1 정합을 하기 위해 같은 크기로 구성된다. 워핑 처리중에 입력 배열과 출력 배열 간의 보간법에 의해 새로운 제어점 배열이 만들어진다. 이러한 중간 배열들은 각각 워핑에 대해 중간 제어점으로 사용된다. 보간법에는 여러 가지 알고리즘이 있지만 알리아싱(Aliasing) 문제를 감소시켜주는 팬츠 리샘플링(Fants resampling) 알고리즘을 사용하였다. The mesh warping algorithm processes every row in the first step and every column in the second step to obtain the resulting image. Meshes corresponding to the input image and the output image have a point array for controlling this, and the input array and the output array have the same size to match one-to-one. During the warping process, a new control point array is created by interpolation between the input array and the output array. These intermediate arrangements each serve as intermediate control points for warping. There are several algorithms for interpolation, but we used the Fants resampling algorithm to reduce the aliasing problem.

입력 배열은 얼굴 추출 알고리즘에 의해서 눈, 코 입 얼굴 윤곽 선에 위치하게 되며 출력 배열은 성형 필터 제작 단계에 의해 미리 만들어진 사용자가 요구하는 필터 값을 사용하게 된다.The input array is located at the contours of the eyes and nose face by the face extraction algorithm, and the output array uses the filter values required by the user made in advance by the forming filter manufacturing step.

성형 필터 제작 단계에서 사용자가 원하는 스타일을 출력 배열을 미리 지정해 놓는다. 입력되는 영상의 크기가 각각 다르므로 이 값들을 정규화하기 위해서 입력 배열과 출력 배열 사이에 대응하는 점들의 x, y좌표값의 변화량을 필터에 기록 저장한다. 이로써 사용자는 자기가 원하는 스타일 예를 들면 눈 크게 코 높이고 등등을 미리 제작하여 필터로 만들고 사용자는 원하는 스타일만 찾아서 선택하면 간단하게 성형 후의 결과 영상을 볼 수 있다. 도 4는 성형 전후의 사진을 나타내고 있다. At the stage of forming the forming filter, the output arrangement is pre-assigned to the desired style. Since the size of the input image is different from each other, in order to normalize these values, the amount of change in the x and y coordinate values of the corresponding points between the input array and the output array is recorded and stored in the filter. In this way, the user can make a desired style, for example, a big nose, a nose, etc. in advance to make a filter, and the user can find and select only the desired style, and can easily see the result image after molding. 4 shows photographs before and after molding.

사용자가 성형 후의 모습을 볼 때 좀더 시각적인 효과를 원할 경우 선택하면 영상을 부드럽게 선명하게 콘트라스트 강조 흑백효과 등등을 혼합해서 표현하여 보여준다. 사용자 영상 DB에 결과 영상들을 저장하여 사용자가 성형 된 모든 결과 영상을 보기를 원할 때 보여 줄 수 있도록 한다. 또한, 모핑기법을 이용하여 성형 전 얼굴과 성형 후 얼굴을 동영상 형태로 보여주는 서비스도 가능하다.If the user wants a more visual effect when looking at the shape after molding, select it to express the image smoothly and clearly by mixing contrast-enhanced black and white effects. It saves the result images in the user image DB so that the user can see all the result images when they want to see them. In addition, using the morphing technique is a service that shows the face before molding and the face after molding in the form of a video.

한편, 본 발명에 의해 추출된 얼굴 세부 요소를 이용하여 얼굴 꾸미기 서비스를 제공하는 등 다양한 서비스에 적용 가능함은 당연하다.On the other hand, it is obvious that the present invention can be applied to various services such as providing a face decorating service using the face detail elements extracted by the present invention.

본 발명에 의하면, 얼굴 인식 기술을 사용하여 자동으로 얼굴 및 눈, 코, 입 등의 얼굴 구성 요소를 인식하여 미리 만들어진 사용자가 원하는 형태의 성형 필터를 사용하여 워핑(Warping) 기술을 이용하여 사용자가 선택한 성형 후의 모습을 제공할 수 있는 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템을 제공할 수 있다.
또한, 본 발명에 의하면, 정지 영상 이미지뿐 아니라 웹 카메라 등의 동영상에서도 실시간으로 다양하면서도 간편하게 성형 후의 모습을 정지 영상 또는 동영상으로 제공할 수 있는 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템을 제공할 수 있다.
According to the present invention, by using a face recognition technology, the user automatically recognizes face components such as face, eyes, nose, mouth, etc. An automatic face extraction based virtual face shaping method and system capable of providing a selected post-molding appearance may be provided.
In addition, according to the present invention, it is possible to provide a method and system for automatic face extraction based virtual face shaping that can provide a still image or a video after various moldings in real time as well as a still image image as well as a web camera. have.

Claims (6)

얼굴 성형 서버에서 제공하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법에 있어서,In the automatic face extraction based virtual face shaping method provided by the face shaping server, 사용자로부터 유무선 인터넷 망을 통해 얼굴 성형 서버에 접속한 사용자의 얼굴 영상을 수신하거나, 기 저장된 얼굴 영상을 데이터베이스로부터 수신하는 단계;Receiving a face image of the user connected to the face shaping server through a wired or wireless Internet network from the user, or receiving a pre-stored face image from the database; 사용자의 얼굴 영상으로부터 얼굴 인식 기술을 이용하여 자동으로 얼굴, 눈, 코, 입 및 얼굴 윤곽선을 추출하는 단계;Automatically extracting face, eye, nose, mouth and face contours from face images of the user using face recognition technology; 상기 사용자가 선택한 성형 스타일에 따른 성형 필터를 제작하는 단계;Manufacturing a molding filter according to the molding style selected by the user; 상기 추출된 얼굴, 눈, 코, 입 및 얼굴 윤곽선과 상기 제작된 성형 필터를 이용하여 메시 워핑(Mesh Warping) 기법을 사용하여 얼굴 영상을 변형시키는 단계; 및Deforming a face image by using a mesh warping technique using the extracted face, eye, nose, mouth, and face contours and the manufactured shaping filter; And 상기 변형된 얼굴 영상을 후처리 하는 단계Post-processing the deformed face image 를 포함하며,Including; 상기 얼굴, 눈, 코, 입 및 얼굴 윤곽선을 추출하는 단계는, Extracting the face, eyes, nose, mouth and facial contours, 아다부스팅(AdaBoosting) 학습 방법을 이용하여 전체 영상에서 얼굴을 추출하는 단계;Extracting a face from the entire image using an AdaBoosting learning method; 상기 추출된 얼굴에서 세부 요소들을 추출하기 위해서 영상들의 밝기값의 평균과 분산값을 이용하는 적응적 이진화 과정을 수행하는 단계; Performing an adaptive binarization process using an average and a variance of brightness values of images to extract detailed elements from the extracted face; 캐니엣지(CannyEdge) 연산자를 이용하여 윤곽선들을 추출하는 단계; Extracting contours using a CannyEdge operator; 윤곽선 스무딩(Smoothing) 필터 사용 후 모폴로지 연산을 수행하는 단계; 및Performing a morphology operation after using the contour smoothing filter; And 얼굴의 구조적 특징을 사용해서 검증하는 단계Validation using the structural features of the face 를 포함하는 것을 특징으로 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법.Automatic face extraction based virtual face shaping method comprising a. 삭제delete 제1항에 있어서,The method of claim 1, 상기 추출된 얼굴, 눈, 코, 입 및 얼굴 윤곽선과 상기 제작된 성형 필터를 이용하여 메시 워핑(Mesh Warping) 기법을 사용하여 얼굴 영상을 변형시키는 단계는,Deforming a face image using a mesh warping technique using the extracted face, eye, nose, mouth and face contours and the manufactured shaping filter, 추출된 얼굴 특징점을 입력 메시 포인트(Mesh point) 배열로 만드는 단계;Making the extracted facial feature points into an input mesh point array; 출력 메시 포인트(Mesh point) 배열을 성형 필터 DB로부터 가져와 만드는 단계; 및Creating an output mesh point array from the shaping filter DB; And 팬츠 리샘플링(Fants resampling)을 적용하는 단계Steps to Apply Fants resampling 를 포함하는 것을 특징으로 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법.Automatic face extraction based virtual face shaping method comprising a. 제1항에 있어서,The method of claim 1, 상기 사용자가 선택한 성형 스타일에 따른 성형 필터를 제작하는 단계는,Producing a molding filter according to the molding style selected by the user, 입력 메시 포인트(Mesh point) 배열을 설정하는 단계;Setting up an input mesh point array; 사용자가 원하는 스타일의 출력 메시 포인트(Mesh point) 배열을 설정하는 단계; 및Setting an output mesh point array in a style desired by a user; And 입력 메시 포인트(Mesh point) 배열과 출력 메시 포인트(Mesh point) 배열에서 대응되는 각 점들의 x, y좌표값의 비교 변화량을 필터에 저장하는 단계Storing in the filter a comparison variation of the x and y coordinate values of the corresponding points in the input mesh point array and the output mesh point array. 를 포함하는 것을 특징으로 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법.Automatic face extraction based virtual face shaping method comprising a. 제1항에 있어서,The method of claim 1, 상기 변형된 얼굴 영상을 후처리 하는 단계는,Post-processing the deformed face image, 상기 변형된 얼굴 영상의 모습을 사용자의 요청에 따라 부드럽게, 선명하게, 콘트라스트 강화 또는 흑백 중 적어도 어느 하나로 이미지를 변환시킬 수 있는 이미지 변환 필터를 적용시키는 단계; 및Applying an image conversion filter capable of converting an image of the modified face image to at least one of smooth, sharp, contrast enhancement, and black and white according to a user's request; And 상기 이미지 변환 필터가 적용된 결과 영상을 사용자에게 전송하는 단계Transmitting the resultant image to which the image conversion filter is applied to a user. 를 포함하는 것을 특징으로 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법.Automatic face extraction based virtual face shaping method comprising a. 제1항에 있어서,The method of claim 1, 모핑 기법을 이용하여 사용자의 성형 전후의 모습이 변하는 과정을 동영상으로 제공하는 단계Providing a video showing how the shape of the user changes before and after molding using a morphing technique. 를 더 포함하는 것을 특징으로 하는 자동 얼굴 추출 기반 가상 얼굴 성형 방법.Automatic face extraction based virtual face shaping method further comprising a.
KR1020050025836A 2005-03-29 2005-03-29 Method of virtual face shaping based on automatic face extraction and apparatus thereof KR100764130B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050025836A KR100764130B1 (en) 2005-03-29 2005-03-29 Method of virtual face shaping based on automatic face extraction and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050025836A KR100764130B1 (en) 2005-03-29 2005-03-29 Method of virtual face shaping based on automatic face extraction and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20060104027A KR20060104027A (en) 2006-10-09
KR100764130B1 true KR100764130B1 (en) 2007-10-05

Family

ID=37634131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050025836A KR100764130B1 (en) 2005-03-29 2005-03-29 Method of virtual face shaping based on automatic face extraction and apparatus thereof

Country Status (1)

Country Link
KR (1) KR100764130B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204417A (en) * 2015-05-28 2016-12-07 维知应用株式会社 Utilize the virtual cosmetic surgery method and system of distortion of the mesh
US9978119B2 (en) 2015-10-22 2018-05-22 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
KR101948040B1 (en) * 2018-03-23 2019-02-14 주식회사 트위니 Makeup recommendation method based on face type, and recording medium storing program for executing the same, and recording medium storing program for executing the same
US10559062B2 (en) 2015-10-22 2020-02-11 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
KR20200092858A (en) * 2019-01-25 2020-08-04 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 Method and device for image transformation

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825756B1 (en) 2006-12-05 2008-04-29 한국전자통신연구원 Method for feature extraction and its apparatus
KR101373603B1 (en) * 2012-05-04 2014-03-12 전자부품연구원 3D warping method for hole reduction and image processing apparatus using the same
KR102013928B1 (en) 2012-12-28 2019-08-23 삼성전자주식회사 Image transformation apparatus and the method
KR102239355B1 (en) 2017-04-20 2021-04-12 스노우 주식회사 Image correction method and system through correction pattern analysis
CN108198141B (en) * 2017-12-28 2021-04-16 北京奇虎科技有限公司 Image processing method and device for realizing face thinning special effect and computing equipment
CN113949834A (en) * 2021-09-01 2022-01-18 北京新氧万维科技咨询有限公司 Video display method and device, electronic equipment and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100208375B1 (en) 1995-12-27 1999-07-15 윤종용 Method and apparatus for encoding moving picture
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
KR20020015642A (en) * 2000-08-22 2002-02-28 이성환 Apparatus and method for generating a synthetic facial image based on shape information of a facial image
KR20030064711A (en) * 2002-10-22 2003-08-02 (주)아이엠에이테크놀로지 Face-lifting Method Using Face Recognition Technology
KR20060003666A (en) * 2004-07-07 2006-01-11 삼성전자주식회사 Apparatus for and method for determining image correspondence, apparatus and method for image correction therefor
KR20060064974A (en) * 2004-12-09 2006-06-14 삼성전자주식회사 Apparatus and method for detecting face in image using boost algorithm

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100208375B1 (en) 1995-12-27 1999-07-15 윤종용 Method and apparatus for encoding moving picture
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
KR20020015642A (en) * 2000-08-22 2002-02-28 이성환 Apparatus and method for generating a synthetic facial image based on shape information of a facial image
KR20030064711A (en) * 2002-10-22 2003-08-02 (주)아이엠에이테크놀로지 Face-lifting Method Using Face Recognition Technology
KR20060003666A (en) * 2004-07-07 2006-01-11 삼성전자주식회사 Apparatus for and method for determining image correspondence, apparatus and method for image correction therefor
KR20060064974A (en) * 2004-12-09 2006-06-14 삼성전자주식회사 Apparatus and method for detecting face in image using boost algorithm

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204417A (en) * 2015-05-28 2016-12-07 维知应用株式会社 Utilize the virtual cosmetic surgery method and system of distortion of the mesh
KR20160139657A (en) 2015-05-28 2016-12-07 주식회사 위즈인앱 System and method for virtual cosmetic surgery by using mesh warping
KR101701199B1 (en) * 2015-05-28 2017-02-01 주식회사 위즈인앱 System and method for virtual cosmetic surgery by using mesh warping
US9978119B2 (en) 2015-10-22 2018-05-22 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
US10559062B2 (en) 2015-10-22 2020-02-11 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
KR101948040B1 (en) * 2018-03-23 2019-02-14 주식회사 트위니 Makeup recommendation method based on face type, and recording medium storing program for executing the same, and recording medium storing program for executing the same
KR20200092858A (en) * 2019-01-25 2020-08-04 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 Method and device for image transformation
KR102279813B1 (en) * 2019-01-25 2021-07-19 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 Method and device for image transformation
US11263723B2 (en) 2019-01-25 2022-03-01 Beijing Baidu Netcom Science Technology Co., Ltd. Image warping method and device

Also Published As

Publication number Publication date
KR20060104027A (en) 2006-10-09

Similar Documents

Publication Publication Date Title
KR100764130B1 (en) Method of virtual face shaping based on automatic face extraction and apparatus thereof
CN105323456B (en) For the image preview method of filming apparatus, image capturing device
CN106778928B (en) Image processing method and device
CN1316427C (en) Method and system for producing formatted data related to defect of appliances of a set of appliances
CN103929596B (en) Guide the method and device of shooting composition
CN108447017A (en) Face virtual face-lifting method and device
JP4574249B2 (en) Image processing apparatus and method, program, and imaging apparatus
WO2019237992A1 (en) Photographing method and device, terminal and computer readable storage medium
KR100407111B1 (en) Apparatus and method for generating a synthetic facial image based on shape information of a facial image
JP6437664B2 (en) Image processing apparatus and method
CN103839250B (en) The method and apparatus processing for face-image
CN104811684B (en) A kind of three-dimensional U.S. face method and device of image
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
KR102279813B1 (en) Method and device for image transformation
CN108846807B (en) Light effect processing method and device, terminal and computer-readable storage medium
KR20190018483A (en) Internet-based facial beautification system
CN106973278A (en) A kind of AWB device and method with reference to face color character
CN107395960A (en) Photographic method and device, computer installation and computer-readable recording medium
CN112862702A (en) Image enhancement method, device, equipment and storage medium
CN114096986A (en) Automatically segmenting and adjusting an image
CN103945104A (en) Information processing method and electronic equipment
CN103997593A (en) Image creating device, image creating method and recording medium storing program
CN105580050A (en) Providing control points in images
CN107480614A (en) Motion management method, apparatus and terminal device
JP2019191973A (en) Learning image generation apparatus, learning image generation method, image recognition device, and image recognition method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20110928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee