KR20020084321A

KR20020084321A - real-time character composition method using template

Info

Publication number: KR20020084321A
Application number: KR1020010022684A
Authority: KR
Inventors: 이동광; 황영호
Original assignee: 주식회사 시텍케이알
Priority date: 2001-04-26
Filing date: 2001-04-26
Publication date: 2002-11-07
Also published as: KR20010102873A

Abstract

PURPOSE: A method for synthesizing a portrait in real time by using template is provided to reduce the synthesizing time period and make the portrait synthesizing simple by user interface. CONSTITUTION: A method for synthesizing a portrait in real time by using a template includes the steps of inputting an image file or a portrait image by using an image photographing device, selecting contents of a model stored in a computer storing system or a server database, automatically obtaining the color and brightness for equalizing the color and brightness between a face color of the original area and a template after extracting an area to synthesize, and carrying out predetermined synthesizing and retouching and outputting the result if satisfied.

Description

Real-time character composition method using template

본 발명은 템플릿을 이용한 실시간 인물합성방법에 관한 것으로서, 특히 합성처리시간을 실시간 이미지의 처리를 위해 이미지 제작도구를 사용하지 않고 모델들의 이미지와 합성을 위한 정보들의 컨텐츠로 구성된 템플릿(templets)을 사용하며, 또한 필요한 영역만을 선택하여 합성함으로써, 번거로운 작업을 없애는 템플릿을 이용한 실시간 인물합성방법에 관한 것이다.The present invention relates to a real-time portrait synthesis method using a template, in particular, using a template consisting of the content of the information of the image and the synthesis of the model of the synthesis processing time without using an image production tool for processing the real-time image The present invention also relates to a real-time person synthesis method using a template that eliminates cumbersome work by selecting and synthesizing only necessary areas.

일반적으로 인물사진을 합성하기 위하여 이미지 편집 소프트웨어를 활용하거나, 인물사진 합성용으로 제작된 전용 소프트웨어를 이용하는 방법이 있는데, 이중 이미지 편집 소프트웨어를 이용하는 방법은 아도브(Adobe)사가 개발한 매킨토시 또는 아이비엠(IBM)사가 개발한 포토숍(Photoshop)이나 페인트숍(Paintshop) 등이 있으며, 전용 소프트웨어를 이용하는 방법으로는 대표적으로 엠지엠(MGM)사의 YM Digital Makeover Magic을 들 수 있다.Generally, image editing software is used to synthesize portraits, or a dedicated software designed for portrait photography is used. Among these, image editing software is used by Macintosh or IBM (developed by Adobe). There are Photoshop, Paintshop, etc. developed by the company, and YM Digital Makeover Magic of MGM is a representative method using exclusive software.

그러나, 상기 편집 소프트웨어를 사용하는 경우에는 사용법을 숙지하는데 많은 시간이 소요되고, 소프트웨어의 가격이 고가이며, 전용 소프트웨어는 제한된 합성 작업만을 할 수 있는 등의 문제점이 있었다.However, in the case of using the editing software, it takes a lot of time to learn how to use, the price of the software is expensive, the dedicated software has a problem that only limited compositing can be done.

따라서, 본 발명은 상기 종래 기술의 문제점을 해결하기 위하여 창안한 것으로, 다양한 콘텐츠가 저장되어 있는 데이터베이스와 연동하여 다양한 이미지 합성을 실시간으로 자동 처리되도록 하여 사용에 간편함을 주고, 필요한 영역만을 선택하여 합성함으로써, 번거로운 작업을 없애는 방법을 제공하는데 그 목적이 있다.Therefore, the present invention was devised to solve the problems of the prior art, and it is easy to use by automatically synthesizing various images in real time by interworking with a database in which various contents are stored, and selecting only necessary areas for synthesis. The purpose is to provide a way to eliminate cumbersome work.

도 1은 본 발명의 전체 동작 흐름을 보인 예시도.1 is an exemplary view showing an overall operation flow of the present invention.

도 2는 본 발명에 적용되는 템플릿의 영역선택 알고리즘을 보인 예시도.2 is an exemplary view showing a region selection algorithm of a template applied to the present invention.

도 3은 본 발명에 적용되는 합성영역 선택 알고리즘을 보인 예시도.3 is an exemplary view showing a synthesis region selection algorithm applied to the present invention.

도 4는 본 발명에 적용되는 원본 합성영역의 전처리 알고리즘을 보인 예시도.Figure 4 is an exemplary view showing a preprocessing algorithm of the original synthesis region applied to the present invention.

도 5는 본 발명에 적용되는 합성처리 알고리즘을 보인 예시도.5 is an exemplary view showing a synthesis processing algorithm applied to the present invention.

도 6은 본 발명에 적용되는 합성 영역의 RGB값을 구하는 알고리즘을 보인 예시도.6 is an exemplary view showing an algorithm for obtaining RGB values of a synthesis region applied to the present invention.

도 7은 본 발명에 적용되는 가우시안 필터 마스크를 보인 예시도.7 is an exemplary view showing a Gaussian filter mask applied to the present invention.

도 8은 본 발명에 적용되는 합성 영역의 필터링 알고리즘을 보인 예시도.8 is an exemplary view showing a filtering algorithm of a synthesis region applied to the present invention.

이와 같은 목적을 달성하기 위한 본 발명 템플릿을 이용한 실시간 인물합성방법은, 영상촬영장치를 사용하여 인물 이미지를 입력하거나 이미 만들어 놓은 이미지 파일을 입력하는 인물사진입력단계와; 컴퓨터의 저장장치 또는 서버의 데이터베이스에 저장되어 있는 모델의 컨텐츠를 선택하는 템플릿선택단계와; 합성하고자 하는 영역을 추출한 후, 원본 영역의 얼굴색상과 템플릿의 색상과 밝기를 동등하게 하기 위한 색상과 밝기를 구하는 과정을 자동으로 수행하는 영역선택단계와; 상기 영역선택단계의 수행이 완료되면 소정의 합성 및 리터칭(retouching)을 수행한 후, 만족하면 그 결과를 출력하는 처리수행단계로 이루어진 것을 특징으로 한다.In order to achieve the above object, a real-time portrait synthesis method using the present invention template comprises: a portrait photograph input step of inputting a person image using an image photographing apparatus or an already created image file; A template selection step of selecting contents of a model stored in a storage device of a computer or a database of a server; An area selection step of automatically extracting a region to be synthesized and automatically obtaining a color and brightness for equalizing the color and brightness of the template with the face color of the original region; When the area selection step is completed, a predetermined synthesis and retouching is performed, and if satisfied, the processing is performed.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 전체 동작 흐름을 보인 예시도로서, 이에 도시한 바와 같이 먼저, 합성할 대상 인물의 이미지를 영상촬영장치(예를 들어 씨씨디(CCD) 카메라 등)를 사용하여 입력하거나, 이미 만들어 놓은 이미지 파일을 스캐너나 디지털 카메라 등을 이용하여 입력한다.1 is an exemplary view showing the entire operation flow of the present invention, as shown in the first, the image of the person to be synthesized is input using an image photographing device (for example, a CD (CCD) camera, etc.), Input the already created image file using a scanner or digital camera.

상기에서 CCD 카메라를 이용하여 인물 이미지를 입력할 때에는 대상인물이 움직이지 않을 때에 캡쳐(capture)해야 선명한 이미지를 입력할 수 있다(몇 개의 이미지를 캡쳐하여 가장 좋은 이미지를 사용하도록 한다).When inputting a person image by using a CCD camera, it is necessary to capture when a target person is not moving so that a clear image can be input (capture some images to use the best image).

이후, 템플릿을 선정하게 되는데, 템플릿은 몇 개의 레이어로 구성되어 있으며, 영역 템플릿과 합성 템플릿으로 구분한다.After that, a template is selected. The template is composed of several layers and is divided into an area template and a composite template.

도 2에 도시한 바와 같이 상기 영역 템플릿은 합성 대상 얼굴의 중간 RGB 영역, 얼굴 바깥쪽 테두리 영역, 얼굴 안쪽 테두리 영역, 배경영역, 헤어스타일 영역 등으로 이루어진다. 각각의 영역은 이미지 파일 내에 각각 RGB(Red, Green, Blue)등의 좌표영역으로 표시한다.As illustrated in FIG. 2, the region template includes an intermediate RGB region, a face outer border region, a face inner border region, a background region, a hairstyle region, and the like of the synthesis target face. Each area is represented by coordinate areas such as RGB (Red, Green, Blue) in the image file.

상기 합성 템플릿은 얼굴 경계, 모자, 액세서리, 의상, 헤어스타일, 배경 등으로 이루어져 있으며, 알파 채널과 함께 이미지파일로 저장한다.The composition template is composed of a face border, a hat, an accessory, a costume, a hairstyle, a background, and the like, and is stored as an image file with an alpha channel.

상기 과정에서 템플릿 선택이 끝나면 원본 이미지에서 합성할 얼굴 영역을 선택하게 되는데, 원하는 영역을 남기고 지우거나 잘라내는 방법을 사용하지 않고, 합성하고자 하는 얼굴 영역만 추출하는 방법을 사용한다.After the template is selected in the above process, the face area to be synthesized is selected from the original image. Instead of using a method of leaving and erasing or cutting out a desired area, only a face area to be synthesized is extracted.

즉, 도 3에 도시한 바와 같이 얼굴 영역 상에 4개의 타원 호를 사용하여 합성할 영역을 추출하고, 사용자 관점에서 합성대상 얼굴 영역에 상하좌우의 4개의 점으로 구성된 하나의 타원형으로 영역을 선택한다.That is, as shown in FIG. 3, the region to be synthesized is extracted by using four elliptical arcs on the face region, and the region is selected by one ellipse consisting of four points of top, bottom, left and right on the face region to be synthesized from the user's point of view. do.

상기의 과정이 모두 완료되면 합성작업을 수행하게 되는데, 합성작업은 여러 가지 영상처리기법과 그래픽 작업으로 이루어지며, 도 4에 도시한 바와 같이 합성 전에 원본 영역의 이미지를 합성 준비 이미지로 내부적으로 재 가공하여 둔다.When all of the above processes are completed, compositing is performed, and compositing is composed of various image processing techniques and graphics, and as shown in FIG. Process it.

합성 시에 사용하는 영상처리 기법은 도 5에 도시한 바와 같이 주로 RGB별 픽셀 단위의 더하기 또는 빼기 연산을 위주로 한다. 이후 합성 대상 영역의 크기만큼 버퍼 이미지를 만든 다음 원본 합성영역의 색상을 템플릿 영역의 색상으로 RGB 채널별로 픽셀값을 변환한다.As shown in FIG. 5, an image processing technique used at the time of synthesis mainly focuses on addition or subtraction operations of pixel units for RGB. After that, the buffer image is created as much as the size of the composition target area, and the pixel value is converted for each RGB channel from the color of the original composition area to the color of the template area.

그러나, 원본 영역의 얼굴 색상과 템플릿의 색상과 밝기가 다르기 때문에 합성 시에 문제점이 발생하므로, 원본 영역의 색상과 밝기를 템플릿의 얼굴, 귀, 목의 색상과 밝기로 동등하게 해줄 필요가 있다.However, since the color of the original area and the color and brightness of the template are different, problems occur in compositing, so it is necessary to equalize the color and brightness of the original area with the color and brightness of the face, ear and neck of the template.

따라서, 원본 영역의 중간 RGB값과 템플릿 영역의 중간 RGB값의차이값(Offset value)을 이용하여 합성 시에 원본 영역의 각 픽셀 당 RGB값을 변환한다.Therefore, the RGB value for each pixel of the original region is converted at the time of composition by using an offset value between the intermediate RGB value of the original region and the intermediate RGB value of the template region.

즉, 도 6에 도시한 바와 같이 원본과 대상 영역내의 RGB 채널별로 영역을 따로 재 설정하여 채널별 픽셀값들의 중간값의 차이값을 구한 다음, 대상영역 각각의 RGB 채널별로 전체 픽셀값에 차이값을 더해주고, 이때 '256 이상'이 되는 값들은 '255'의 값으로, '0'보다 작은 값들은 '0'으로 보정해 준다(Saturation). 원본 영역 각각의 픽셀들을 대상 영역의 차이값과 대조하여 픽셀값을 변환하였다 하더라도 실제 합성한 후에는 전체 중간값을 대상으로 하였기 때문에 원본 영역의 테두리 부분의 색상이 대상 영역의 색상부분과 달라질 수 있으므로, 합성한 후에는 다시 대상 영역의 테두리 부분의 중간값들을 대상으로 원본 영역의 테두리 부분의 중간값과 대조하여 보정하여 준다.That is, as shown in FIG. 6, the area is reset for each RGB channel in the source and the target areas separately to obtain a difference value between the median pixel values of each channel, and then the difference value in the total pixel values for each RGB channel of the target area. In this case, '256' or more values are '255', and values smaller than '0' are corrected to '0' (Saturation). Even if the pixel value is converted by comparing the pixel value of each source area with the difference value of the target area, the color of the border area of the source area may be different from the color area of the target area because the entire median value is used after actual synthesis. After compositing, the intermediate values of the edge of the target area are corrected by contrast with the median of the edge of the original area.

이후, 합성할 원본 영역에서 먼저 마우스로 선택한 테두리 영역의 검은색 계열의 색을 이웃 영역의 중간 RGB값 또는 얼굴 전체 영역의 중간 RGB값으로 대체한다.Afterwards, the black color of the border area selected by the mouse in the original area to be synthesized is replaced with the middle RGB value of the neighboring area or the middle RGB value of the entire face area.

또한, 영역 테두리 및 영역 선택에서의 4개의 영역별로 잡음 등을 제거하기 위해 도 7 및 도 8에 도시한 바와 같이 저역통과 필터 중의 하나인 가우시안 필터 마스크를 이용하여 테두리 영역 외의 바깥 영역은 합성 시에 필요 없기 때문에 제거하고, 이때 조정한 원본 합성영역과 템플릿 영역의 중간 색조를 조정한 후에 템플릿의 합성배율에 따라 원본 합성영역을 매핑하여 합성한 다음 테두리영역의 3~5 픽셀 넓이만큼씩 영역을 돌아가면서 좌표값의 RGB값별로 안티앨리애싱(antialiasing)을 해주고, 크로마키 기법을 적용하여 바깥 영역을 파란색으로 처리한다. 또한 합성 시에 테두리 영역부분을 매끄럽고 자연스럽게 처리하기 위해 알파값(alpha channel)을 재조정한다.In addition, in order to remove noise in each of the four areas in the region border and region selection, the outer region outside the border region is synthesized by using a Gaussian filter mask, which is one of the low pass filters, as shown in FIGS. 7 and 8. Remove it because it is not necessary, adjust the halftones of the adjusted original composition area and the template area, map the original composition area according to the composition ratio of the template, and then synthesize the area by 3 to 5 pixels wide of the border area. In the process, antialiasing is performed for each RGB value of the coordinate value, and the outer area is processed in blue color by applying chroma key technique. It also readjusts the alpha channel to smoothly and smoothly process the border region during compositing.

상기의 모든 과정이 완료하여 완성된 이미지를 출력장치(예를 들어 포토 프린터나 스티커 프린터 등)를 이용하여 프린트할 수 있고, 저장장치(사용자 컴퓨터 혹은 인터넷 서버의 데이터베이스)에 저장하여(JPEG 등의 형태의 파일로 저장한다) 다시 활용할 수 있으며, 출력의 크기도 A4, 10x14㎝의 일반사진 크기, 명함판 크기, 스티커 사진크기 등 다양한 형태로 출력이 가능하다.After completing all the above steps, the completed image can be printed using an output device (for example, a photo printer or a sticker printer), and stored in a storage device (a database of a user computer or an Internet server) (JPEG, etc.). It can be used again and the output size can be printed in various forms such as A4, 10x14cm general picture size, business card size, and sticker picture size.

본 발명이 바람직한 실시예를 참조하여 특별히 도시되고 기술되었지만, 본 발명 분야의 당업자는 본 발명 사상과 범위를 벗어남이 없이 다양한 변경이 가능하다는 것을 이해할 수 있을 것이다. 따라서, 본 발명은 특허청구범위에 의해서만 제한된다.Although the invention has been particularly shown and described with reference to the preferred embodiments, those skilled in the art will appreciate that various modifications are possible without departing from the spirit and scope of the invention. Accordingly, the invention is limited only by the claims.

이상에서 설명한 바와 같이, 본 발명 템플릿을 이용한 실시간 인물합성방법은 기존의 인물사진 합성 시스템보다 합성시간을 단축하였고, 일반 사용자가 간단한 조작으로 인물합성 작업을 할 수 있도록 사용자 인터페이스를 제공하며, 또한 다양한 플랫폼으로 여러 환경의 컴퓨터 및 웹 상에서 사용할 수 있는 호환성이 뛰어나 온/오프 라인(On/Off Line)의 어떠한 공간에서도 활용이 가능하게 하는 등의 효과가 있다.As described above, the real-time portrait synthesis method using the template of the present invention has shortened the synthesis time than the conventional portrait photography system, and provides a user interface so that a general user can perform the portrait synthesis operation with a simple operation, and also various The platform is highly compatible with computers and webs in various environments, and can be utilized in any space of on / off line.

Claims

A portrait photograph input step of inputting a person image using an image photographing apparatus or an image file that is already made;

A template selection step of selecting contents of a model stored in a storage device of a computer or a database of a server;

An area selection step of automatically extracting a region to be synthesized and automatically obtaining a color and brightness for equalizing the color and brightness of the template with the face color of the original region;

And performing a predetermined synthesis and retouching when the region selection step is completed, and outputting the result when the region selection step is satisfied.

The method of claim 1, wherein the template comprises: an area template including a border area of the face to be synthesized, a background area and a hairstyle area; Real-time portrait synthesis method using a template characterized in that it is divided into a composite template consisting of the edge (edge), hat, accessories, clothes, hairstyle, background, etc. are stored as an image file with an alpha channel.