KR20020015642A - Apparatus and method for generating a synthetic facial image based on shape information of a facial image - Google Patents
Apparatus and method for generating a synthetic facial image based on shape information of a facial image Download PDFInfo
- Publication number
- KR20020015642A KR20020015642A KR1020010040472A KR20010040472A KR20020015642A KR 20020015642 A KR20020015642 A KR 20020015642A KR 1020010040472 A KR1020010040472 A KR 1020010040472A KR 20010040472 A KR20010040472 A KR 20010040472A KR 20020015642 A KR20020015642 A KR 20020015642A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- face image
- texture
- shape
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
본 발명은 합성된 얼굴 영상을 생성하는 장치 및 그 방법에 관한 것으로, 특히, 입력된 얼굴 영상의 형태 정보에 기반하여 새로운 합성 얼굴 영상을 생성하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a synthesized face image, and more particularly, to an apparatus and method for generating a new synthetic face image based on shape information of an input face image.
일반적으로 얼굴 영상은 개인의 특징을 가장 잘 나타낼 수 있으며, 의사소통을 쉽고 자연스럽게 만드는 매개체로 사용되어 왔다. 이러한 얼굴 영상의 응용 분야로는 출입 통제/보안 시스템, 범죄자 검색/몽타주 작성 시스템, 컴퓨터 인터페이스, 애니메이션 및 게임 등이 있다. 얼굴 영상의 응용 분야들 중 얼굴 영상 합성 기술을 사용하는 대표적인 사례로는 캐릭터 영상 생성과 메이크업 디자인이 있다.In general, facial images can best represent the characteristics of an individual and have been used as a medium for making communication easy and natural. Applications of such facial images include access control / security systems, criminal detection / montage writing systems, computer interfaces, animations and games. Among the application fields of face image, representative image using face image synthesis technology is character image generation and makeup design.
캐릭터 영상의 일종인 얼굴 영상의 캐리커처는 개인의 얼굴 특징을 기반으로 하여 제작된다. 따라서, 얼굴 영상의 캐리커처는 만화 제작 또는 오락 프로그램 제작 등에 이용될 뿐만 아니라, 자신을 대표하는 상징이나 아이콘과 같은 용도로 활용될 수 있으며, PC 통신이나 E-메일에서의 자신만의 고유한 서명(Signature)이나 가상 현실에서 사용자의 아바타(Avatar) 등으로 활용될 수도 있다.The caricature of the face image, a kind of character image, is produced based on the facial features of the individual. Therefore, the caricature of the face image can be used not only for cartoon production or entertainment program production, but also for purposes such as representing a symbol or icon representing one's own, and having a unique signature in PC communication or E-mail ( It may be used as an avatar of a user in a signature or virtual reality.
이러한 캐리커처를 생성하기 위하여, 종래에는 전문 화가가 직접 수작업으로 캐리커처를 그리는 방법과 디지털 필터를 이용하여 얼굴 영상을 자동 처리하는 방법 등이 사용되어 왔다. 여기서, 디지털 필터를 이용한 영상 처리 기법은 입력 영상에 대해 적절한 효과를 주는 필터들의 조합을 사용하여 수채화풍 또는 목탄화풍의 영상 효과를 나타내어 입력 영상에 대해 전체적으로 수작업으로 생성된 캐리커처의 느낌을 부여하는 방법이다.In order to generate such a caricature, conventionally, a professional painter draws a caricature by hand, a method of automatically processing a face image using a digital filter, and the like. Here, the image processing technique using a digital filter is a method of giving a caricature feeling to the input image as a whole by expressing a watercolor effect or a charcoal style image effect by using a combination of filters that have an appropriate effect on the input image. .
그런데, 전문 화가가 직접 캐리커처를 그리는 방법은 자연스럽고 완성도가 높은 캐리커처를 얻을 수 있으나 수작업으로 인해 많은 시간이 요구된다는 문제점과 일관된 품질을 유지하기가 어렵다는 문제점으로 인하여 제한적인 상황에서만 적용할 수 있는 방법이라 할 수 있다. 디지털 필터를 이용한 영상처리기법의 경우, 조명과 배경 등이 제한된 환경에서 촬영한 영상에 대해서 적용되는 방법이므로, 배경과 객체에 대한 구분없는 단순한 2차원 영상에 대해서는 영상의 조명 또는 여러 다른 환경 변화에 따라 출력 영상의 질이 많이 달라지고 이를 보완할 적절한 방법이 제시되지 않고 있다는 문제점이 있다. 또한, 종래의 캐리커처 생성방법에 의하면 객체에 대한 형태 정보를 별도로 생성하지 않으므로, 생성된 캐리커처 상의 얼굴 특징을 과장하거나 표정을 변화시키는 작업 등의 수정 작업이 매우 복잡하며, 얼굴 영상 복원 또는 3차원 아바타(Avatar) 등으로의 확장과 같은 작업들이 거의 불가능하다.By the way, the professional artist paints the caricature in a natural way, but the caricature can be obtained with high quality, but it can be applied only in limited circumstances due to the problem that it requires a lot of time by hand and the difficulty of maintaining consistent quality. This can be called. digital In the case of the image processing technique using a filter, the lighting and the background are applied to the image taken in a restricted environment. There is a problem that the quality of the output image is very different and an appropriate method for compensating for this is not suggested. In addition, according to the conventional caricature generation method, since the shape information for the object is not generated separately, modifications such as an exaggeration of facial features on the generated caricature or a change of expression are very complicated. Tasks like extension to Avatar and others are almost impossible.
메이크업 디자인의 경우, 종래에는 소비자가 잡지 또는 광고 모델들에게 메이크업이 적용된 사진 등의 예를 보고 간접적으로 자신의 스타일 등을 결정하는 방식을 취하였다. 최근에는, 컴퓨터를 사용한 메이크업 디자인 방법이 소개되고 있다. 이 방법은 샘플 모델 영상에 제품을 다양하게 적용해 볼 수 있도록 하는 방법으로, 소비자 자신의 얼굴 영상에 직접 메이크업함으로써 얻을 수 있는 자연스러운 메이크업 효과를 갖지 못하고 있는 실정이다. 즉, 동일한 색상을 갖는 제품이더라도 주변의 조명과 얼굴의 형태적인 특징에 의한 음영이나 반사광 등의 여러 복잡한 조건들에 따라 달리 표현될 수 있으므로, 샘플 모델 영상에 적용된 메이크업 효과에 의해 소비자 자신의 얼굴 영상에 적용되는 메이크업 효과로 자연스럽게 유추되는 것은 거의 불가능하다는 문제점이 있다.In the case of makeup design, the consumer has taken a method of indirectly determining his or her own style by looking at examples of photographs applied to makeup by magazines or advertisement models. Recently, a makeup design method using a computer has been introduced. This method allows a variety of products to be applied to the sample model image, and does not have a natural makeup effect that can be obtained by directly makeup on the face image of the consumer. That is, even a product having the same color may be expressed differently according to various complex conditions such as shadows or reflected light due to ambient lighting and shape characteristics of the face. There is a problem that it is almost impossible to infer naturally with the makeup effect applied to.
본 발명은 상기와 같은 문제를 해결하고 보완하기 위하여 창작된 것으로서, 입력된 얼굴 영상에서 얼굴의 형태 정보를 추출하고 이를 기반으로 얼굴 영상을 재 합성하는 방법을 이용하여, 사용자는 보다 자연스럽고 정교한 캐리커처 영상을 얻고, 사용자 자신의 얼굴 영상을 이용한 메이크업 디자인 영상을 미리 볼 수 있게 하며, 사용자 스스로 합성 영상에 각종 액세서리의 추가하고 합성 영상의 변형하는 것을 용이하게 하며, 그 결과 영상을 사용자가 실시간으로 확인할 수 있도록 하는 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성 장치 및 그 방법을 제공하는데 있다.The present invention was created to solve and supplement the above problems, and by using a method of extracting face shape information from an input face image and reconstructing the face image based on the same, the user has a more natural and sophisticated caricature. Obtains the image, and allows the user to preview the make-up design image using the user's own face image, and it is easy for the user to add various accessories to the synthesized image and transform the synthesized image. An apparatus and method for generating a synthetic face image based on shape information of a face image is provided.
도 1a은 본 발명에 의한 합성 얼굴 영상 생성 장치의 제1 실시예의 기능적 구성을 도시한 블록도이다.FIG. 1A is a block diagram showing a functional configuration of a first embodiment of a composite face image generating apparatus according to the present invention.
도 1b는 본 발명에 의한 합성 얼굴 영상 생성 장치의 제2 실시예의 기능적 구성을 도시한 블록도이다.FIG. 1B is a block diagram illustrating a functional configuration of a second embodiment of the apparatus for generating a composite face image according to the present invention.
도 2는 본 발명의 제1 실시예 및 제2 실시예가 구현되는 컴퓨터 시스템의 장치적 구성을 도시한 블록도이다.Fig. 2 is a block diagram showing the device configuration of a computer system in which the first and second embodiments of the present invention are implemented.
도 3은 본 발명에 의한 합성 얼굴 영상 생성 과정의 기본적 흐름도이다.3 is a basic flowchart of a process of generating a composite face image according to the present invention.
도 4는 도 3의 얼굴 정보 추출 단계를 보다 상세히 도시한 흐름도이다.4 is a flowchart illustrating the face information extraction step of FIG. 3 in more detail.
도 5는 본 발명에 의한 합성 얼굴 영상 생성 장치에 의해 수행되는 얼굴 영상 합성 방법에 의한 캐리커처 영상 생성 과정의 흐름도이다.5 is a flowchart of a caricature image generation process by the face image synthesis method performed by the apparatus for generating a synthesized face image according to the present invention.
도 6은 본 발명에 의한 합성 얼굴 영상 생성 장치에 의해 수행되는 표본 영상 대체 방법에 의한 캐리커처 영상 생성 과정의 흐름도이다.6 is a flowchart of a caricature image generation process by a sample image replacement method performed by the apparatus for generating a composite face image according to the present invention.
도 7은 본 발명에 의한 합성 얼굴 영상 생성 장치에 의해 수행되는 메이크업 디자인 과정의 흐름도이다.7 is a flowchart illustrating a makeup design process performed by the apparatus for generating a synthetic face image according to the present invention.
상기의 목적을 달성하기 위하여 본 발명에 의한 입력된 얼굴 영상의 형태 정보에 기반하여 새로운 얼굴 영상을 합성하는 장치는 얼굴 영상 정보 및 사용자 제어 명령을 입력받아 영상 처리 장치로 전송하고, 영상 처리 장치에서 합성된 얼굴 영상 정보를 전송받아 상기 사용자 제어 명령에 따라 출력 또는 저장하는 사용자 인터페이스 장치; 및 상기 사용자 인터페이스 장치에서 전송된 얼굴 영상 정보에서 소정의 참조 영상에 대한 변형장으로 표시되는 입력 얼굴 영상의 형태 정보 및 참조 영상에 매핑된 입력 영상의 색상 또는 명암 정보인 질감 정보를 추출하고, 사용자 제어 명령에 따라 영상 데이터베이스에 미리 저장되고 참조 영상과 동일한 형태를 지닌 질감 영상들 중에서 선택된 질감 영상 또는 상기 선택된 질감 영상과 상기 추출된 질감 정보가 반영된 질감 영상의 가중합으로 생성된 영상을 상기 입력 얼굴 영상의 형태 정보를 사용하여 변환함으로써 합성 얼굴 영상을 생성하는 영상 처리 장치를 포함한다.In order to achieve the above object, a device for synthesizing a new face image based on the shape information of the input face image according to the present invention receives face image information and a user control command, and transmits the received face image information to a image processing apparatus. A user interface device receiving the synthesized face image information and outputting or storing the synthesized face image information according to the user control command; And extracting, from the face image information transmitted from the user interface device, the shape information of the input face image displayed as a deformation length for a predetermined reference image and the texture information which is the color or contrast information of the input image mapped to the reference image. The input face is an image generated by a weighted sum of a texture image selected from texture images previously stored in an image database and having the same shape as a reference image or a texture image reflecting the extracted texture information according to a control command. And an image processing apparatus for generating a composite face image by converting the image using shape information.
본 발명의 다른 목적을 달성하기 위하여, 입력된 얼굴 영상의 형태 정보에 기반하여 새로운 얼굴 영상을 합성하는 방법에 있어서, (a) 입력된 얼굴 영상 정보에서 소정의 참조 영상의 형태 정보에 대한 변형장으로 표시되는 입력 얼굴 영상의 형태 정보 및 참조 영상에 매핑된 입력 영상의 색상 또는 명암 정보인 질감 정보를 추출하는 단계; (b) 사용자 제어 명령에 따라, 영상 데이터베이스에 저장되고 참조 영상과 동일한 형태를 지닌 질감 영상들 중에서 선택된 질감 영상 또는 상기 선택된 질감 영상과 상기 추출된 질감 정보가 반영된 질감 영상의 가중합으로 생성된 영상을 상기 입력 얼굴 영상의 형태 정보를 사용하여 변환함으로써 합성 얼굴 영상을 생성하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of synthesizing a new face image based on shape information of an input face image, the method comprising: (a) a modified length of shape information of a predetermined reference image from input face image information; Extracting the shape information of the input face image and the texture information which is color or contrast information of the input image mapped to the reference image; (b) an image generated by a weighted sum of a texture image selected from texture images stored in an image database and having the same shape as a reference image or a texture image reflecting the extracted texture information according to a user control command; And converting the shape using the shape information of the input face image to generate a composite face image.
이하에서, 본 발명의 바람직한 실시예들을 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1a 과 도 1b는 각각 본 발명에 의한 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성 장치의 제1 실시예(1) 및 제2 실시예(40)를 도시한 구성도로서, 도 1a에 도시된 본 발명의 제1 실시예(1)는 적어도 하나 이상의 사용자 인터페이스장치들(10a, 10b), 통신망(20) 및 영상 처리 장치(30)로 구성되어 네트웍 환경에서 동작하고, 도 1b에 도시된 본 발명의 제2 실시예(40)는 사용자 인터페이스 장치(50) 및 영상 처리 장치(60)로 구성된 단일 컴퓨터 시스템에서 동작한다.1A and 1B are structural diagrams illustrating a first embodiment (1) and a second embodiment 40 of a composite face image generating apparatus based on shape information of a face image according to the present invention, respectively, shown in FIG. 1A. The first embodiment (1) of the present invention is composed of at least one or more user interface devices (10a, 10b), a communication network (20) and an image processing device (30) to operate in a network environment, as shown in FIG. The second embodiment 40 of the present invention operates in a single computer system consisting of a user interface device 50 and an image processing device 60.
본 발명의 제1 실시예(1)의 구성요소인 사용자 인터페이스 장치(10a, 10b)와 영상 처리 장치(30) 그리고 본 발명의 제2 실시예(40)는 각각 도 2에 도시된 바와 같이 적어도 하나 이상의 중앙 처리 장치(CPU)(74)와 메모리 장치(73)를 구비한 컴퓨터(72), 입력 장치(75) 및 출력 장치(76)를 포함하는 컴퓨터 시스템(70)으로 구성된다. 컴퓨터 시스템(70)의 구성요소들은 적어도 하나 이상의 버스 구조(77)에 의해 상호 연결되어 있다.The user interface devices 10a and 10b, the image processing device 30, and the second embodiment 40 of the present invention, which are components of the first embodiment 1 of the present invention, are at least as shown in FIG. Computer system 70 including one or more central processing unit (CPU) 74 and memory device 73, input device 75, and output device 76. The components of computer system 70 are interconnected by at least one bus structure 77.
도시된 중앙처리장치(74)는 산술연산 및 논리연산을 수행하는 산술/논리연산 장치(ALU)(741), 데이터와 명령어를 임시적으로 저장하는 레지스터 세트(742) 및 컴퓨터 시스템(70)의 동작을 제어하는 제어 장치(743)를 구비한다. 본 발명에서 사용되는 중앙 처리 장치(74)는 특정한 제조사에 의해 제조된 특정한 구조에 한정되는 것이 아니므로, 상기한 바와 같은 기본적인 구성을 갖춘 모든 형태의 프로세서가 가능하다.The illustrated central processing unit 74 is an arithmetic / logical operation unit (ALU) 741 that performs arithmetic and logical operations, a register set 742 that temporarily stores data and instructions, and the operation of the computer system 70. It is provided with a control device 743 for controlling. Since the central processing unit 74 used in the present invention is not limited to a specific structure manufactured by a specific manufacturer, any type of processor having the basic configuration as described above is possible.
메모리장치(73)는 고속의 메인 메모리(731)와 데이터의 장기 저장을 위해 사용되는 보조 메모리(732)를 구비한다. 메인 메모리(731)는 RAM(Random Access Memory)과 ROM(Read Only Memory) 반도체 칩으로 구성되고, 보조 메모리(732)는 플라피 디스크, 하드 디스크, CD-ROM, 플래쉬 메모리 그리고 전기, 자기, 광 또는 다른 기록매체를 사용하여 데이터를 저장하는 장치로 구성된다. 또한, 메인메모리(731)는 디스플레이 장치를 통해 영상을 디스플레이하기 위한 비디오 디스플레이 메모리를 구비할 수 있다. 본 발명에 대한 평균적인 지식을 가진 자는 메모리 장치(73)가 다양한 저장능력을 지닌 다양한 대체가능한 구성요소를 포함할 수 있다는 것을 이해할 수 있을 것이다.The memory device 73 includes a high speed main memory 731 and an auxiliary memory 732 used for long term storage of data. The main memory 731 is composed of a random access memory (RAM) and a read only memory (ROM) semiconductor chip, and the auxiliary memory 732 is a floppy disk, a hard disk, a CD-ROM, a flash memory, and an electric, magnetic, optical Or an apparatus for storing data using another recording medium. In addition, the main memory 731 may include a video display memory for displaying an image through a display device. Those skilled in the art will appreciate that the memory device 73 may include various replaceable components with various storage capacities.
입력 장치(75)에는 키보드, 마우스, 물리적 변환기(예를 들어, 마이크) 등이 포함될 수 있고, 출력 장치(76)에는 디스플레이, 프린터, 물리적 변환기(예를 들어, 스피커) 등이 포함될 수 있다. 또한, 네트워크 인터페이스 또는 모뎀과 같은 장치들이 입/출력 장치로 사용될 수 있다.The input device 75 may include a keyboard, a mouse, a physical transducer (eg, a microphone), and the like, and the output device 76 may include a display, a printer, a physical transducer (eg, a speaker), and the like. Also, devices such as network interfaces or modems can be used as input / output devices.
컴퓨터 시스템(70)에는 운영체제와 적어도 하나 이상의 응용 프로그램이 구비된다. 운영체제는 컴퓨터 시스템(70)의 동작과 자원의 할당을 제어하는 일련의 소프트웨어이고, 응용 프로그램은 운영체제를 통해 이용가능한 컴퓨터 자원을 사용하여 사용자에 의해 요구되는 작업을 수행하는 일련의 소프트웨어이다. 이들 모두 도시된 메모리 장치(73)에 저장된다. 결국, 본 발명에 의한 컴퓨터 기반의 캐릭터 자동 생성 장치는 컴퓨터 시스템(70) 및 컴퓨터 시스템(70)에 설치되어 동작하는 하나 이상의 응용 프로그램들로서 구현된다.Computer system 70 includes an operating system and at least one application program. An operating system is a set of software that controls the operation of computer system 70 and the allocation of resources. An application program is a set of software that performs tasks required by a user using computer resources available through the operating system. All of these are stored in the illustrated memory device 73. As a result, the computer-based automatic character generator according to the present invention is implemented as the computer system 70 and one or more application programs installed and operated in the computer system 70.
도 1a에 도시된 본 발명의 제1 실시예(1)는 도 1b에 도시된 제2 실시예(40)에 비하여 통신망(20)을 통한 데이터 전송을 위한 통신처리부(14, 31)를 더 포함하고 있는 것을 제외하고는 다른 기능은 동일하므로 이하에서는 제1 실시예(1)를 기준으로 설명한다.The first embodiment (1) of the present invention shown in FIG. 1A further includes a communication processor (14, 31) for data transmission through the communication network 20 as compared to the second embodiment (40) shown in FIG. 1B. Other functions are the same except for the above description, and therefore, the following description will be given based on the first embodiment (1).
도 1a를 참조하면, 적어도 하나 이상의 사용자 인터페이스 장치들(10a, 10b)은 각각 사용자로부터 얼굴 영상 정보와 사용자 제어 명령을 입력받고 사용자 제어 명령에 따라 합성된 영상을 전송받아 보정, 저장 또는 출력하는 장치로서, 영상 정보 입력부(11), 사용자 명령 입력부(12), 입출력 제어부(13), 통신 처리부(14), 영상 보정부(15), 영상 저장부(16) 및 출력부(17)를 구비한다.Referring to FIG. 1A, at least one of the user interface devices 10a and 10b receives a face image information and a user control command from a user and receives a synthesized image according to the user control command, and corrects, stores or outputs the image. The video information input unit 11 includes a video information input unit 11, a user command input unit 12, an input / output control unit 13, a communication processing unit 14, an image correction unit 15, an image storage unit 16, and an output unit 17. .
영상 정보 입력부(11)는 사용자로부터 얼굴 영상 정보를 입력받는 장치로서, 예를 들어, 스캐너 또는 디지털 카메라 등과 같은 장치로서 구현될 수 있다. 또한, 영상 정보 입력부(11)는 여러 각도에서 촬영된 영상을 입력받기 위한 다수의 카메라 및 조명 조절 장치와 같은 카메라 보조 장치를 포함하여 구성될 수도 있다. 더우기, 본 발명의 구성 요소로서의 영상 정보 입력부(11)는 기능적인 측면에서 고려되어야 하므로, 도 2의 입력 장치(75) 뿐만 아니라 얼굴 영상 정보를 미리 저장하고 있는 보조 메모리(732)도 포함하는 넓은 의미로 해석되어야 한다.The image information input unit 11 is a device that receives face image information from a user, and may be implemented as, for example, a device such as a scanner or a digital camera. In addition, the image information input unit 11 may include a camera auxiliary device such as a plurality of cameras and an illumination control device for receiving an image photographed from various angles. In addition, since the image information input unit 11 as a component of the present invention should be considered in terms of functionality, a wide space including not only the input device 75 of FIG. 2 but also an auxiliary memory 732 which stores face image information in advance is provided. It should be interpreted as meaning.
사용자 명령 입력부(12)는 사용자로부터 사용자 제어 명령(예컨데, 사용자 정보, 얼굴 영상 합성 제어 신호, 영상 보정 제어 신호 등)을 입력받는 장치로서, 사용자가 선택하여 입력할 수 있는 키보드, 마우스, 터치스크린 등과 같은 장치로 구현될 수 있다.The user command input unit 12 is a device that receives a user control command (for example, user information, face image composition control signal, image correction control signal, etc.) from the user, and can be selected and input by a user. It may be implemented as a device such as.
입출력 제어부(13)는 영상 정보 입력부(11)를 통해 입력된 얼굴 영상 정보와 사용자 명령 입력부(12)를 통해 입력된 사용자 제어 명령을 통신 처리부(14)를 통해 영상 처리 장치(30)로 전송하도록 제어하고, 영상 처리 장치(30)에서 사용자 제어 명령에 따라 새로이 합성된 영상 정보를 통신 처리부(14)를 통해 전송받아 보정, 저장 또는 출력하도록 제어하는 장치이다.The input / output control unit 13 transmits the face image information input through the image information input unit 11 and the user control command input through the user command input unit 12 to the image processing apparatus 30 through the communication processor 14. The control unit controls the image processing apparatus 30 to receive, correct, store, or output newly synthesized image information through the communication processor 14 according to a user control command.
통신 처리부(14)는 입출력 제어부(13)에 연결되어 통신망(20)을 통해 영상 처리 장치(30)와 데이터를 송수신하는 장치로서, 예를 들어 인터넷을 통하여 영상 정보를 포함한 데이터를 송수신하는 이더넷(Ethernet) 카드, 내부 연결을 위한 직렬/병렬 포트, USB(Universal Serial Bus) 포트 또는 IEEE1394 포트 등과 같은 장치로 구현될 수 있다.The communication processor 14 is a device that is connected to the input / output controller 13 and transmits and receives data with the image processing apparatus 30 through the communication network 20. For example, the Ethernet which transmits and receives data including image information via the Internet ( It can be implemented as a device such as an Ethernet card, a serial / parallel port for internal connection, a universal serial bus (USB) port, or an IEEE1394 port.
영상 보정부(15)는 입출력 제어부(13)에 연결되고, 영상 처리 장치(30)에서 새로이 합성되어 전송된 영상 정보를 사용자 명령 입력부(12)를 통해 입력된 사용자 제어 명령에 따라 영상의 각도, 크기 및 질감 등을 보정한다.The image corrector 15 is connected to the input / output controller 13, and according to the user control command inputted through the user command input unit 12, the image information newly synthesized and transmitted from the image processing apparatus 30, the angle of the image, Correct size and texture.
영상 저장부(16)는 도 2의 보조 메모리(732)에 대응하는 장치로서, 영상 처리 장치(30)에서 새로이 합성되어 전송된 영상 정보 또는 영상 보정부(15)에 의해 보정된 영상 정보를 입출력 제어부(13)의 제어에 의해 저장한다.The image storage unit 16 corresponds to the auxiliary memory 732 of FIG. 2, and inputs / outputs image information newly synthesized and transmitted from the image processing apparatus 30 or image information corrected by the image correction unit 15. It stores by control of the control part 13. As shown in FIG.
또한, 출력부(17)는 도 2의 출력 장치(76)에 대응하는 장치로서, 입출력 제어부(13)의 제어에 의해 영상 처리 장치(30)가 새로운 영상을 합성할 때 요구되는 사용자 제어 명령을 입력받기 위한 사용자 인터페이스 화면 정보를 디스플레이하고 영상 처리 장치(30)에서 새로이 합성되어 전송된 영상 정보 또는 또는 영상 보정부(15)에 의해 보정된 영상 정보를 디스플레이하거나 프린트한다.In addition, the output unit 17 is a device corresponding to the output device 76 of FIG. 2, and outputs a user control command required when the image processing apparatus 30 synthesizes a new image by the control of the input / output control unit 13. User interface screen information for receiving input is displayed and image information newly synthesized and transmitted from the image processing apparatus 30 or image information corrected by the image correcting unit 15 is displayed or printed.
도 1a에 도시된 본 발명의 제1 실시예(1)에서 적어도 하나 이상의 사용자 인터페이스 장치들(10a, 10b)과 영상 처리 장치(30) 사이에서 데이터를 전송하는 통신망(20)은 그 실시 형태에 따라 유/무선 인터넷, 근거리 네트워크, 전용선 등의 다양한 형태의 네트워크 중 하나로 구현될 수 있다.In the first embodiment (1) of the present invention shown in FIG. 1A, a communication network 20 for transferring data between at least one of the user interface devices 10a, 10b and the image processing device 30 is according to the embodiment. Accordingly, it may be implemented as one of various types of networks such as wired / wireless internet, local area network, and leased line.
도 1a에 도시된 본 발명의 제1 실시예에서 영상 처리 장치(30)는 적어도 하나 이상의 사용자 인터페이스 장치들(10a, 10b)로부터 전송된 영상 정보를 처리하고, 전송된 사용자 제어 명령에 따라 그 영상 정보에 기반하여 새로운 영상을 합성하여 대응하는 사용자 인터페이스 장치로 전송하는 장치로서, 통신 처리부(31), 영상 처리부(32) 및 영상 데이터베이스(33)를 포함하여 구성된다.In the first embodiment of the present invention illustrated in FIG. 1A, the image processing apparatus 30 processes image information transmitted from at least one or more user interface devices 10a and 10b and according to the transmitted user control command. A device for synthesizing a new image based on the information and transmitting the new image to a corresponding user interface device, comprising a communication processor 31, an image processor 32, and an image database 33.
통신 처리부(31)는 통신망(20)을 통해 하나 이상의 사용자 인터페이스 장치들(10a, 10b)와 데이터를 송수신하는 장치로서, 사용자 인터페이스 장치를 구성하는 통신 처리부(14)에 대응하여 인터넷을 통하여 영상 정보를 포함한 데이터를 송수신하는 이더넷(Ethernet) 카드, 내부 연결을 위한 직렬/병렬 포트, USB(Universal Serial Bus) 포트 또는 IEEE1394 포트 등과 같은 장치로 구현될 수 있다.The communication processor 31 is a device that transmits and receives data with one or more user interface devices 10a and 10b through the communication network 20. The communication processor 31 corresponds to the communication processor 14 constituting the user interface device through the Internet. It may be implemented as a device such as an Ethernet card for transmitting and receiving data, including a serial / parallel port for internal connection, a universal serial bus (USB) port, or an IEEE1394 port.
영상 처리부(32)는 사용자 인터페이스 장치(10a, 10b)로부터 전송된 얼굴 영상 정보에서 참조 영상의 형태 정보에 대한 변형장으로 표시되는 입력 얼굴 영상의 형태 정보 및 참조 영상에 매핑된 입력 영상의 색상 또는 명암 정보인 질감 정보를 추출하고, 사용자 인터페이스 장치(10a, 10b)로부터 전송된 사용자 제어 명령에 따른 사용자 요청을 분석하고, 분석된 사용자 요청에 따라 추출된 입력 얼굴 영상의 형태 정보, 추출된 질감 정보 및 영상 데이터베이스(33)에 저장된 각종 영상들을 이용하여 새로운 얼굴 영상을 합성하는 장치로서, 얼굴 정보 추출부(321), 얼굴 영상 합성부(322), 부분 영상 대체부(323) 및 액세서리 영상 추가부(324)를 구비한다.The image processor 32 may include the shape information of the input face image and the color of the input image mapped to the reference image in the face image information transmitted from the user interface devices 10a and 10b. Extracts texture information, which is contrast information, analyzes a user request according to a user control command transmitted from the user interface devices 10a and 10b, and extracts shape information and extracted texture information of the extracted input face image according to the analyzed user request. And a face image extractor 321, a face image synthesizer 322, a partial image replacer 323, and an accessory image adder, using the various images stored in the image database 33. 324.
얼굴 정보 추출부(321)는 사용자 인터페이스 장치(10a, 10b)로부터 전송된 얼굴 영상 정보에서 참조 영상에 대한 변형장으로 표시되는 입력 얼굴 영상의 형태 정보와 이를 이용하여 참조 영상에 매핑된 입력 영상의 색상 또는 명암 정보인 질감 정보를 추출한다.The face information extractor 321 may determine the shape information of the input face image, which is displayed as the deformation length of the reference image in the face image information transmitted from the user interface devices 10a and 10b, and the input image mapped to the reference image using the same. Extract texture information that is color or contrast information.
얼굴 영상 합성부(322)는 사용자 제어 명령에 따라 영상 데이터베이스(33)에 저장된 질감 영상들 중에서 선택된 질감 영상 또는 선택된 질감 영상과 선택된 질감 영상과 얼굴 정보 추출부(321)에서 추출된 질감 정보가 반영된 질감 영상의 가중합으로 생성된 영상을 얼굴 정보 추출부(321)에서 추출된 입력 영상의 형태 정보를 사용하여 변환함으로써 새로운 얼굴 영상을 합성한다.The face image synthesizing unit 322 reflects the texture information extracted from the selected texture image or the selected texture image and the selected texture image and the face information extractor 321 among the texture images stored in the image database 33 according to a user control command. A new face image is synthesized by converting the image generated by the weighted sum of the texture images using the shape information of the input image extracted by the face information extractor 321.
부분 영상 대체부(323)는 얼굴 영상 합성부(322)에 의해 합성된 새로운 얼굴 영상에서 부분 또는 전체 영역을 영상 데이터베이스(33)에 저장된 표본 영상들 중 유사도가 가장 높은 표본 영상으로 대체한다.The partial image replacement unit 323 replaces the partial or entire area of the new face image synthesized by the face image synthesis unit 322 with a sample image having the highest similarity among sample images stored in the image database 33.
액세서리 영상 추가부(324)는 영상 데이터베이스(33)에 저장된 액세서리 영상들 중 사용자 제어 명령에 의해 선택된 액세서리 영상을 얼굴 영상 합성부(322)에 의해 합성된 얼굴 영상에 추가한다.The accessory image adding unit 324 adds the accessory image selected by the user control command among the accessory images stored in the image database 33 to the face image synthesized by the face image synthesizing unit 322.
영상 데이터베이스(33)는 영상 처리부(32)에서 입력 얼굴 영상을 처리하기 위해 요구되는 영상 정보를 미리 저장하는데, 얼굴 모형 데이터베이스(331), 부가 영상 데이터베이스(332), 표본 영상 데이터베이스(333), 메이크업 영상 데이터베이스(334) 및 액세서리 영상 데이터베이스(335) 등을 구비한다.The image database 33 stores image information required for processing the input face image in the image processor 32 in advance. The face model database 331, the additional image database 332, the sample image database 333, and the makeup A video database 334, an accessory video database 335, and the like.
얼굴 모형 데이터베이스(331)에는 얼굴 정보 추출부(321)가 입력 얼굴 영상으로부터 참조 영상에 기반한 형태 정보 및 질감 정보를 추출하기 위하여 사용되는 각종 정보(다수의 모형 얼굴 영상들에 의해 사전에 구해진 형태 평균, 질감 평균, 형태 고유벡터들, 질감 고유벡터들 등)가 저장된다. 얼굴 모형 데이터베이스(331)에 저장되는 각종 정보에 대해서는 도 4를 설명하면서 보다 상세히 설명하기로 한다.In the face model database 331, the face information extractor 321 uses a variety of information (a shape average previously obtained by using a plurality of model face images) used to extract shape information and texture information based on a reference image from an input face image. , Texture mean, shape eigenvectors, texture eigenvectors, etc.) are stored. Various information stored in the face model database 331 will be described in more detail with reference to FIG. 4.
부가 영상 데이터베이스(332)에는 참조 영상과 동일한 형태를 가지고 애니메이션 스타일, 스캐치 스타일, 수채화 스타일 등의 질감 정보로 표현된 각종 스타일의 캐리커처 영상들에 대한 정보가 저장된다.The additional image database 332 stores information about the caricature images of various styles having the same form as the reference image and expressed by texture information such as animation style, catch style, and watercolor style.
표본 영상 데이터베이스(333)에는 얼굴 영상의 특정 부위별로 형태 변화와 표정 변화 등을 포함하는 다양한 캐치커쳐 표본 영상들에 대한 정보가 저장된다.The sample image database 333 includes various shapes, such as shape change and facial expression change, for each specific part of the face image. Information about catcher sample images is stored.
메이크업 영상 데이터베이스(334)에는 참조 영상과 동일한 형태를 가지고 각종 견본 메이크업을 표현하는 질감 정보로 표현된 메이크업 디자인 영상들에 대한 정보가 저장된다.The makeup image database 334 stores information about makeup design images having the same form as the reference image and represented by texture information representing various sample makeup.
액세서리 영상 데이터베이스(335)에는 합성된 얼굴 영상에 추가할 안경, 헤어 스타일, 모자, 귀걸이, 몸체 등의 영상들에 대한 정보가 저장된다.The accessory image database 335 stores information about images such as glasses, a hairstyle, a hat, an earring, and a body to be added to the synthesized face image.
도 1a에 도시된 바와 같이 본 발명의 제1 실시예(1)는 적어도 하나 이상의 사용자 인터페이스 장치(10a, 10b)와 하나의 영상 처리 장치(30)가 상호 통신 처리부(14, 31)와 통신망(20)을 통해 접속되는 것으로 구성되어 있으나, 도 1b에 도시된 본 발명의 제2 실시예(40)와 같이 사용자 인터페이스 장치(50)와 영상 처리 장치(60)가 하나의 컴퓨터 시스템(70) 내에 통합되어 운영되는 것도 가능하다.As shown in FIG. 1A, in the first embodiment 1 of the present invention, at least one user interface device 10a, 10b and one image processing device 30 are connected to the mutual communication processor 14, 31 and a communication network ( 20, but the user interface device 50 and the image processing device 60 are in one computer system 70 as in the second embodiment 40 of the present invention shown in FIG. 1B. It is also possible to operate integrated.
이하에서 도 3을 참조하여 본 발명에 의한 얼굴 영상에 기반한 캐릭터 영상 자동 생성 장치(1, 40)의 기본적인 동작 과정을 설명한다.Hereinafter, with reference to FIG. 3 will be described the basic operation of the automatic character image generating apparatus (1, 40) based on the face image according to the present invention.
먼저, 영상 처리부(32, 62)의 얼굴 정보 추출부(321, 621)는 사용자 인터페이스 장치(10a, 10b, 50)로부터 입력된 얼굴 영상을 전송받아 미리 정해진 참조 영상에 대한 입력 얼굴 영상의 형태 정보 및 참조 영상에 매핑된 입력 영상의 색상 또는 명암 정보인 질감 정보를 추출한다(S10, S11).First, the face information extracting units 321 and 621 of the image processing units 32 and 62 receive the face images input from the user interface devices 10a, 10b and 50 and receive the shape information of the input face images for the predetermined reference image. And texture information which is color or contrast information of the input image mapped to the reference image (S10 and S11).
이후, 영상 처리부(32, 62)의 얼굴 영상 합성부(322,622)는 사용자 인터페이스 장치(10a, 10b, 50)로부터 입력된 사용자 제어 명령(얼굴 영상 합성 제어 신호)에 따라 참조 영상에 기반한 질감 정보 및 얼굴 정보 추출부(321, 621)에 의해 추출된 입력 얼굴 영상의 형태 정보를 사용하여 새로운 얼굴 영상을 합성한다(S12). 즉, 얼굴 영상 합성부(322,622)는 추출된 입력 얼굴 영상의 형태 정보를 사용하여 입력 얼굴 영상의 형상을 복원하고, 추출된 입력 얼굴 영상의 형태 정보를 사용하여 복원된 입력 얼굴 영상의 형상에 추출된 질감 정보를 와핑(Warping)함으로써 사용자의 얼굴 영상을 합성한다. 여기서, 얼굴 영상의 합성시 사용할 참조 영상에 기반한 질감 정보를 적절히 변경 또는 대체함으로써 입력된 얼굴 영상의 형태를 갖는 다양한 종류의 새로운 합성 영상들이 생성될 수 있다.Thereafter, the face image synthesizing units 322 and 622 of the image processing units 32 and 62 may perform texture information based on the reference image according to a user control command (face image synthesis control signal) input from the user interface devices 10a, 10b, and 50. A new face image is synthesized using the shape information of the input face image extracted by the face information extractors 321 and 621 (S12). That is, the face image synthesizers 322 and 622 restore the shape of the input face image by using the extracted shape information of the input face image, and extract the shape of the input face image by using the extracted shape information of the input face image. The face image of the user is synthesized by warping the texture information. Here, various kinds of new synthesized images having a form of an input face image may be generated by appropriately changing or replacing texture information based on a reference image to be used in synthesizing a face image.
이와 같이 합성된 얼굴 영상은 사용자 인터페이스 장치(10a, 10b, 50)로 전송되어 출력부(17, 57)에 의해 디스플레이되고, 사용자 인터페이스 장치(10a, 10b, 50)의 사용자 명령 입력부(12, 52)는 디스플레이된 얼굴 영상에서의 형태 정보 변경 여부에 대한 사용자 제어 명령을 사용자로부터 입력받는다(S13).The synthesized face image is transmitted to the user interface devices 10a, 10b, and 50 and displayed by the output units 17, 57, and the user command input units 12, 52 of the user interface devices 10a, 10b, and 50. ) Receives a user control command for changing shape information on the displayed face image from the user (S13).
사용자 제어 명령에 의해 형태 정보의 변경이 결정된 경우, 입력 영상의 형태 정보는 형태 정보 변경을 위한 사용자 제어 명령(예를 들어, 재합성되어 디스플레이된 얼굴 영상에서 특정 부위를 마우스로 드래그하여 확대하거나 축소하는 등의 부분 영역별 변형이나, 슬라이드바를 이용하여 얼굴 전체를 과장하는 등의 전체적인 변형을 지시하는 제어 신호)에 따라 변경되고, S12 단계로 진행하여 새로운 얼굴 영상이 합성된다.When the change of the shape information is determined by the user control command, the shape information of the input image may be enlarged or reduced by dragging a specific part of the face image on the face image displayed by the user control command (for example, a resynthesized and displayed). And a control signal for instructing overall deformation such as exaggerating the entire face using a slide bar or the like, and proceeding to step S12, a new face image is synthesized.
S13 단계에서 입력된 사용자가 형태 정보 변경을 원하지 않는 경우에는, 추가적인 사용자 제어 명령에 따라 액세서리 영상 추가부(324, 624)가 S12 단계에서 합성된 얼굴 영상에 영상 데이터베이스(63)에 저장된 여러 가지 액세서리 영상을 추가하거나, 부분 영상 대체부(323, 623)가 S12 단계에서 합성된 얼굴 영상의 특정 부위를 영상 데이터베이스(63)에 저장된 여러 가지 표본 영상들로 대체함으로써 다양한 부가 효과들이 부여된다(S14).When the user input in step S13 does not want to change the shape information, according to the additional user control command, the accessory image adding units 324 and 624 store various accessories stored in the image database 63 in the face image synthesized in step S12. Various additional effects are granted by adding an image or by replacing the specific region of the face image synthesized in operation S12 with various sample images stored in the image database 63 in operation S12 (S14). .
이후, 영상 처리 장치(30, 60)에서 합성된 얼굴 영상은 사용자 인터페이스 장치(10a, 10b, 50)로 전송되어 사용자에게 디스플레이되고, 영상 보정부(15, 55)는 사용자 명령 입력부(12, 52)를 통해 입력된 사용자 제어 명령(영상 보정 제어 신호)에 따라 합성된 얼굴 영상을 최종 보정한다(S15). 영상 보정부(15, 55)에 의해 보정된 합성 얼굴 영상은 영상 저장부(16, 56)에 저장되거나, 출력부(17, 57)에 의해 디스플레이 또는 프린트된다(S16).Subsequently, the face images synthesized by the image processing apparatuses 30 and 60 are transmitted to the user interface apparatuses 10a, 10b and 50 and displayed to the user, and the image correcting units 15 and 55 are user command input units 12 and 52. The synthesized facial image is finally corrected according to the user control command (image correction control signal) inputted through S15. The composite face image corrected by the image correctors 15 and 55 is stored in the image storage units 16 and 56, or displayed or printed by the output units 17 and 57 (S16).
도 3의 얼굴 정보 추출 단계(S11)는 입력된 얼굴 영상으로부터 얼굴 모형에기반하여 형태 정보 Sin과 질감 정보 Tin을 얻는 과정으로 요약될 수 있다.The face information extraction step S11 of FIG. 3 may be summarized as a process of obtaining shape information S in and texture information T in based on the face model from the input face image.
본 발명에서, 얼굴 영상의 형태 정보는 참조 영상에 대한 변형장(deformation field)으로 표시되며, 얼굴 영상의 질감 정보는 참조 영상에 매핑된 입력 영상의 색상 또는 명암 정보로 표시된다. 즉, 얼굴 영상의 형태 정보 S는 참조 영상 위의 각 점 pi(i=1,…,n; 여기서 n은 참조 영상에서 미리 정해진 점들의 갯수)와 얼굴 영상의 대응점에 대한 평면 좌표 상의 위치 차이로, 얼굴 영상의 질감 정보 T는 참조 영상 위의 각 점 pi(i=1,…,n)에 대한 입력 영상의 대응점의 색상 또는 명암 값으로 정의된다. 본 발명의 일실시예에서 사용되는 참조 영상은 형태 평균과 질감 평균을 사용하여 합성한 영상이지만, 본 발명에서 사용될 수 있는 참조 영상은 이에 한정되는 것이 아니며, 사전에 준비된 m개의 얼굴 영상 중 임의의 영상을 참조 영상으로 사용할 수 있다.In the present invention, the shape information of the face image is represented by a deformation field of the reference image, and the texture information of the face image is represented by color or contrast information of the input image mapped to the reference image. That is, the shape information S of the face image is the position difference in the plane coordinates with respect to each point p i (i = 1,…, n; where n is the number of predetermined points in the reference image) and the corresponding point of the face image. In other words, the texture information T of the face image is defined as a color or contrast value of a corresponding point of the input image with respect to each point p i (i = 1, ..., n) on the reference image. The reference image used in an embodiment of the present invention is an image synthesized using a shape average and a texture average, but the reference image that can be used in the present invention is not limited thereto, and any of m face images prepared in advance may be used. An image can be used as a reference image.
얼굴모형 데이터베이스(331, 631)에 저장되는 얼굴 모형들은 다음과 같이 사전에 구해진다. 먼저, 사전에 준비된 m개의 얼굴 영상으로부터 각각 참조 영상에 기반하여 형태 정보 Sj(j=1,…,m)와 질감 정보 Tj(j=1,…,m)를 추출한다. 이후, m개의 형태 정보 Sj(j=1,…,m)의 각 점별 pi(i=1,…,n) 평균값으로 이루어진 형태 평균, m개의 질감 정보 Tj(j=1,…,m)의 각 점별 pi(i=1,…,n) 평균값으로 이루어진 질감 평균을 구하고, 형태 차이(j=1,…,m)의 공분산 CS와 질감 차이(j=1,…,m)의 공분산 CT를 구한다.The face models stored in the face model databases 331 and 631 are previously obtained as follows. First, shape information S j (j = 1, ..., m) and texture information T j (j = 1, ..., m) are extracted based on a reference image from m face images prepared in advance. Then, the shape mean consisting of the average value of p i (i = 1,…, n) for each point of m pieces of shape information S j (j = 1,…, m) texture mean consisting of the average values of p i (i = 1,…, n) for each point of m texture information T j (j = 1,…, m) Finding the difference in form Texture Difference from Covariance C S of (j = 1,…, m) Covariance C T of (j = 1,…, m) is obtained.
이와 같이 구한 값들을 주성분 분석(principal component analysis) 처리하여 m개의 얼굴 모형들에 대한 공분산의 형태 고유벡터 si(i=1,…,m-1)와 질감 고유벡터 ti(i=1,…,m-1)를 얻을 수 있다. 이를 바탕으로 얼굴 영상은 형태 고유벡터 si(i=1,…,m-1) 및 질감 고유벡터 ti(i=1,…,m-1)를 기저로 하여 수학식 1과 같이 표현될 수 있다.The values obtained in this way are processed by principal component analysis to form eigenvectors s i (i = 1,…, m-1) of covariance and m eigenvectors t i (i = 1, M-1) can be obtained. Based on this, the face image may be expressed as Equation 1 based on the shape eigenvector s i (i = 1,…, m-1) and the texture eigenvector t i (i = 1,…, m-1). Can be.
(여기서,IN R^m-1이고, m은 얼굴 모형의 개수이다)(here , IN R ^ m-1, m is the number of face models)
이와 같은 과정을 통해 형태 평균, 질감 평균, 형태 고유벡터 si(i=1,…,m-1) 및 질감 고유벡터 ti(i=1,…,m-1)는 얼굴모형 데이터베이스(331, 631)에 저장되어, 입력된 얼굴 영상의 형태 정보 및 질감 정보를 추출하기 위해 사용된다.Through this process, shape average Texture average , The shape eigenvectors s i (i = 1,…, m-1) and the texture eigenvectors t i (i = 1,…, m-1) are stored in the face model database 331, 631, and input the face. It is used to extract shape information and texture information of an image.
이하에서 도 4를 참조하여 도 3의 얼굴 정보 추출 단계(S11)를 보다 상세히 설명한다. 도 4의 얼굴 영상 정규화 단계(S111)에서는 입력된 얼굴 영상에 대해 소정의 특징점들(예를 들어, 양 눈동자의 가운데 점 및 입술의 가운데 점)을 추출하고, 추출된 입력 얼굴 영상의 특징점들의 위치가 참조 영상의 특징점들의 위치에 일치되도록 입력 얼굴 영상을 상하좌우로 이동하고 그 크기를 조절한다. 이와 같은 영상 정규화 과정은 소정의 소프트웨어에 의해 자동적으로 수행되거나, 사용자로부터 제어 명령을 받아 수동적으로 수행될 수도 있는데, 그 세부적인 과정은 본발명의 범위를 벗어나므로 상세한 설명은 생략한다.Hereinafter, the face information extraction step S11 of FIG. 3 will be described in more detail with reference to FIG. 4. In the face image normalization step (S111) of FIG. 4, predetermined feature points (for example, a center point of both eyes and a center point of the lips) of the input face image are extracted, and the positions of the feature points of the extracted input face image. The input face image is moved up, down, left and right and its size is adjusted to match the position of the feature points of the reference image. Such an image normalization process may be automatically performed by a predetermined software, or may be manually performed by receiving a control command from a user. Since the detailed process is beyond the scope of the present invention, a detailed description thereof will be omitted.
형태 정보 추정 단계(S112)에서는 얼굴 영상 정규화 단계(S8)에서 정규화된 입력 얼굴 영상과 참조 영상(또는 참조 영상과 같은 형태를 갖는 합성된 질감 추정 영상 Tin_k)을 대상으로 계층적 기울기 기반의 광류 알고리즘(hierarchical, gradient-based optical flow algorothm)[Lucas and Kanade]을 적용하여 참조 영상에 기반한 형태 정보 Sin_pre_1(정규화된 입력 얼굴 영상과 참조 영상의 대응점에 대한 위치 차이값)을 추정한다. 계층적 기울기 기반의 광류 알고리즘은 유사한 두 영상에 대한 밝기값(intensity)을 이용하여 두 영상들간의 대응관계를 광류로 나타내는 기능을 수행하는 알고리즘으로 본 발명이 속하는 기술 분야에서 널리 알려져 있으므로 이에 대한 구체적인 설명은 생략한다.In the shape information estimating step S112, hierarchical gradient-based optical flow is performed on the input face image normalized in the face image normalization step S8 and the reference image (or a synthesized texture estimation image T in_k having the same shape as the reference image). By applying an algorithm (hierarchical, gradient-based optical flow algorothm) [Lucas and Kanade], the shape information S in_pre_1 (position difference value between the normalized input face image and the reference point) based on the reference image is estimated. The hierarchical gradient-based optical flow algorithm is an algorithm that performs the function of representing the correspondence between two images by using the intensity values of two similar images, and is widely known in the art. Description is omitted.
형태 정보 추정 단계(S112)에서 사용되는 계층적 기울기 기반의 광류 알고리즘으로 얻어진 형태 정보에는 입력된 얼굴 영상의 조명이나 그림자 등으로 인한 에러값이 포함될 수 있다. 따라서, 형태 정보 보정 단계(S113)에서는 형태 정보 추정 단계(S112)에서 추정된 형태 정보 Sin_pre_1에 대하여 형태 고유 벡터 si(i=1,…,m-1)에 기반한 선형 분해(linear decomposition)을 수행한 후 다시 선형 중첩(linear superposition)을 함으로써 에러값을 보정된 형태 정보 Sin_correct_1을 얻는다. 이때, 변형의 자유도를 높이기 위해 수학식 2에 의해 계산된 바와 같이, 형태 정보 추정 단계(S112)에서 추정된 형태 정보 Sin_pre_1과 형태 정보 보정 단계(S113)에서 보정된형태 정보 Sin_correct_1의 가중합 Sin_1을 결과값으로 사용하는 것이 바람직하다.The shape information obtained by the hierarchical gradient-based optical flow algorithm used in the shape information estimating step S112 may include an error value due to illumination or shadow of the input face image. Therefore, in the shape information correcting step S113, linear decomposition based on the shape eigenvector s i (i = 1, ..., m-1) with respect to the shape information S in_pre_1 estimated in the shape information estimating step S112. After performing the linear superposition again, the error value is corrected to obtain the shape information S in_correct_1 . At this time, as calculated by Equation 2 to increase the degree of freedom of deformation, the weighted sum of the shape information S in_pre_1 estimated in the shape information estimating step S112 and the shape information S in_correct_1 corrected in the shape information correcting step S113. It is preferable to use S in_1 as the result value.
(여기서, 0≤W≤1)(Where 0 ≦ W ≦ 1)
역 와핑 단계(S114)에서는 모델 기반의 형태 정보 보정 단계(S113)를 통해 얻어진 형태 정보 Sin_1을 사용하여 입력 얼굴 영상을 참조 영상의 형태로 변형한다. 이 과정을 "역 와핑(Backward Warping)"이라 한다.In the inverse warping step (S114), the input face image is transformed into a reference image using the shape information S in_1 obtained through the model-based shape information correction step (S113). This process is called "Backward Warping."
질감 정보 변형 단계(S115)에서는 역 와핑(Backward Warping)된 영상의 질감 정보를 질감 고유벡터 ti(i=1,…,m-1)를 기반으로 선형 분해(linear decomposition) 후 다시 선형 중첩(linear superposition)을 수행함으로써 입력 얼굴 영상에 대한 질감 정보 Tin_1을 얻는다.In the transforming texture information step (S115), the texture information of the backward warped image is linearly decomposed after linear decomposition based on the texture eigenvectors t i (i = 1,…, m-1). The texture information T in_1 for the input face image is obtained by performing linear superposition.
이후, 형태 정보 추정 단계(S112)에서 정규화된 입력 얼굴 영상을 역 와핑 단계(S114)에서 참조 영상의 형태로 변형된 입력 얼굴 영상으로, 참조 영상을 참조 영상과 같은 형태를 갖는 질감 영상을 대체하여 S112 단계에서 S116 단계를 반복함으로써 Sin_k(k=1,…)를 구한다. 즉 k번째 반복 과정에서, S112 단계 및 S113 단계의 Sin_1, Sin_pre_1, Sin_correct_1는 각각 Sin_k, Sin_pre_k, Sin_correct_k로 대체되고, S114 단계에서의 Sin_1는 Sin(=Sin_1+…+Sin_k)로 대체된다. 또한 S115 단계에서의 Tin_1은Tin_k로대체되며, 마지막 반복 과정에서 결정된 Tin_k이 최종적인 입력 얼굴 영상의 질감 정보인 Tin이 된다. 이와 같은 반복 과정은 Sin_k의 vector norm인 ||Sin_k||가 소정의 문턱값보다 적을 때까지 또는 일정한 반복 횟수가 소정의 횟수 이상이 될 때까지 진행되어 참조 영상에 기반한 입력 얼굴 영상의 형태 정보 Sin을 얻는다(S116).Subsequently, the input face image normalized in the shape information estimation step S112 is an input face image transformed into the shape of the reference image in the inverse warping step S114, and the reference image is replaced with a texture image having the same shape as the reference image. By repeating step S116 in step S112, S in_k (k = 1, ...) is obtained. That is k in the second iteration, S in_1, S in_pre_1, S in_correct_1 of steps S112 and S113 step is replaced by S in_k, S in_pre_k, S in_correct_k respectively, S in_1 at S114 step S in (= S in_1 + ... + S in_k ). In addition, T in_1 in step S115 is replaced with T in_k , and T in_k determined in the last iteration becomes T in which is texture information of the final input face image. This repetition process is performed until S in_k ||, the vector norm of S in_k, is smaller than a predetermined threshold value or until a certain number of repetitions is more than a predetermined number of times. Information S in is obtained (S116).
이후, 입력된 얼굴 영상은 참조 영상에 기반한 입력 얼굴 영상의 형태 정보 Sin및 질감 정보 Tin를 이용하여 복원될 수 있다. 즉, 참조 영상에 기반한 입력 얼굴 영상의 질감 정보 Tin을 참조 영상에 기반한 입력 얼굴 영상의 형태 정보 Sin을 사용하여 변형시킴으로써 입력된 얼굴 영상이 재합성된다.Thereafter, the input face image may be reconstructed using shape information S in and texture information T in of the input face image based on the reference image. That is, the input face image is resynthesized by transforming the texture information T in of the input face image based on the reference image using the shape information S in of the input face image based on the reference image.
이러한 합성 영상의 특성을 활용할 수 있는 대표적인 예로서 얼굴 영상의 캐리커처 생성과 메이크업 디자인 등을 들 수 있다. 얼굴 영상의 캐리커처의 생성 방법은 다시 얼굴 영상의 합성 방법과 표본 영상 대체 방법으로 나눌 수 있다.Representative examples of utilizing the characteristics of the synthesized image include caricature generation and makeup design of the face image. The method of generating a caricature of a face image may be divided into a face image synthesis method and a sample image replacement method.
이하에서 도 5를 참조하여, 본 발명에 의한 얼굴 영상에 기반한 캐릭터 영상 자동 생성 장치(1, 40)에 의해 수행되는 얼굴 영상 합성 방법에 의해 캐리커처 영상 생성 과정을 설명한다.Hereinafter, a caricature image generation process by the face image synthesis method performed by the automatic character image generation apparatuses 1 and 40 based on the face image according to the present invention will be described.
먼저, 영상 처리부(32, 62)의 얼굴 정보 추출부(321, 621)는 사용자 인터페이스 장치(10a, 10b, 50)로부터 입력된 얼굴 영상을 전송받아 미리 정해진 참조 영상에 기반한 입력 얼굴 영상의 형태 정보 Sin및 질감 정보 Tin를 추출한다(S20, S21).First, the face information extracting units 321 and 621 of the image processing units 32 and 62 receive the face images input from the user interface devices 10a, 10b and 50 and receive shape information of the input face images based on a predetermined reference image. S in and texture information T in are extracted (S20 and S21).
이후, 얼굴 영상 합성부(322, 622)는 부가 영상 데이터베이스(332, 632)에 저장된 각종 스타일의 캐리커처 영상들(예컨대, 애니메이션 스타일, 스캐치 스타일, 수채화 스타일 등의 영상들)을 사용자 인터페이스 장치(10a, 10b, 50)를 통해 사용자에게 제시하고, 사용자로부터 원하는 스타일의 캐리커처를 선택받는다(S22). 이때, 부가 영상 데이터베이스(332, 632)에 저장된 각종 스타일의 캐리커처 영상들은 참조 영상과 같은 형태를 갖는 영상들이다.Thereafter, the face image synthesizing unit 322 or 622 displays caricature images of various styles (eg, animation styles, sketch styles, watercolor styles, etc.) stored in the additional image databases 332 and 632. 10a, 10b, and 50) are presented to the user, and the caricature of the desired style is selected from the user (S22). In this case, the caricature images of various styles stored in the additional image databases 332 and 632 are images having the same shape as the reference image.
얼굴 영상 합성 단계(S23)에서는 얼굴 영상 합성부(322, 622)가 사용자에 의해 선택된 스타일의 캐리커처 영상 또는 선택된 캐리커처 영상과 입력 얼굴 영상의 질감 정보 Tin이 반영된 영상의 가중합에 의해 생성된 영상을 입력 얼굴 영상의 형태 정보 Sin과 합성함으로써 사용자 자신의 형태 정보가 반영된 캐리커처 영상을 합성한다.In the face image synthesizing step (S23), the face image synthesizing unit 322 or 622 generates a caricature image of a style selected by a user or an image generated by weighted sum of an image in which texture information T in of a selected caricature image and an input face image is reflected. Is synthesized with the shape information S in of the input face image to synthesize the caricature image reflecting the shape information of the user.
이와 같이 합성된 캐리커처 영상은 사용자 인터페이스 장치(10a, 10b, 50)로 전송되어 출력부(17, 57)에 의해 디스플레이되고, 사용자 인터페이스 장치(10a, 10b, 50)의 사용자 명령 입력부(12, 52)는 사용자로부터 디스플레이된 캐리커처 영상의 형태 정보 변경 여부에 대한 사용자 제어 명령을 입력받는다(S24).The synthesized caricature image is transmitted to the user interface devices 10a, 10b and 50 and displayed by the output units 17 and 57, and the user command input units 12 and 52 of the user interface devices 10a, 10b and 50. ) Receives a user control command for changing the shape information of the displayed caricature image (S24).
사용자 제어 명령에 의해 형태 정보의 변경이 결정된 경우, 입력 영상의 형태 정보 Sin은 형태 정보 변경을 위한 사용자 제어 명령(예를 들어, 재합성되어 디스플레이된 얼굴 영상에서 특정 부위를 마우스로 드래그하여 확대하거나 축소하는 등의 부분 영역별 변형이나, 슬라이드바를 이용하여 얼굴 전체를 과장하는 등의 전체적인 변형을 지시하는 제어 신호)에 따라 변경되고, S22 단계로 진행하여 새로운 캐리커처 영상이 합성된다.When the change of the shape information is determined by the user control command, the shape information S in of the input image is enlarged by dragging a specific part of the face image displayed on the reconstructed and displayed face image with a mouse. Control signal for instructing partial deformation, such as a reduction or reduction, or an overall deformation, such as exaggerating the entire face using a slide bar), and proceeds to step S22 to synthesize a new caricature image.
액세서리 추가 단계(S25)에서는 사용자 제어 명령에 따라 액세서리 영상 추가부(324, 624)가 액세서리 영상 데이터베이스(335, 635)에서 다양한 액세서리(예를 들면, 안경, 헤어스타일, 모자, 귀걸이, 몸체 등의 영상)을 인출하여 캐리커처 영상에 추가한다. 액세서리 영상 추가부(324, 624)가 액세서리 영상을 추가할 때, S21 단계에서 추출된 얼굴 영상의 형태 정보 Sin을 이용하여 자동으로 크기 및 위치 조절을 수행함으로써 보다 자연스러운 결과를 얻을 수 있다. 또한, 부분 영상 대체부(323, 623)가 캐리커처 영상의 특정 부위를 표본 영상 데이터베이스(333, 633)에서 인출한 표본 영상으로 대체함으로써 기쁨, 슬픔, 분노 등의 표정을 나타내거나 표정 변화 과정을 표현한 애니메이션 프레임을 사용하여 동영상 효과를 나타낼 수 있다.In the accessory adding step S25, according to a user control command, the accessory image adding units 324 and 624 may include various accessories (for example, glasses, a hairstyle, a hat, an earring, a body, etc.) in the accessory image database 335, 635. Video) and add it to the caricature image. When the accessory image adding units 324 and 624 add the accessory image, a more natural result can be obtained by automatically adjusting the size and position using the shape information S in of the face image extracted in step S21. In addition, the partial image replacement unit 323 or 623 replaces a specific portion of the caricature image with sample images drawn from the sample image databases 333 and 633, thereby expressing an expression such as joy, sadness, anger, or an expression change process. Animation frames can be used to create video effects.
이후, 영상 처리 장치(30, 60)에서 합성된 캐치커쳐 영상은 사용자 인터페이스 장치(10a, 10b, 50)로 전송되어 사용자에게 디스플레이되고, 영상 보정부(15, 55)는 사용자 명령 입력부(12, 52)를 통해 입력된 사용자 제어 명령(영상 보정 제어 신호)에 따라 캐치커쳐 영상을 최종 보정한다(S26). 영상 보정부(15, 55)에 의해 보정된 캐치커쳐 영상은 영상 저장부(16, 56)에 저장되거나, 출력부(17, 57)에 의해 디스플레이 또는 프린트된다(S27).Thereafter, the catcher image synthesized by the image processing apparatuses 30 and 60 is transmitted to the user interface apparatuses 10a, 10b, and 50 and displayed to the user, and the image correcting units 15 and 55 are connected to the user command input unit 12, The catcher image is finally corrected according to the user control command (image correction control signal) input through 52 (S26). The catcher image corrected by the image correctors 15 and 55 is stored in the image storage units 16 and 56, or displayed or printed by the output units 17 and 57 (S27).
이렇게 얻어진 캐리커처 영상은 바로 특정 용도로 사용되거나, 화가가 캐리커처를 제작할 때 밑그림으로 사용되어 수동 처리시의 생산성을 높일 수도 있다.The caricature image thus obtained may be used for a specific purpose or as a sketch when a painter creates a caricature, thereby increasing productivity in manual processing.
이하에서 도 6을 참조하여, 본 발명에 의한 얼굴 영상에 기반한 캐릭터 영상 자동 생성 장치(1, 40)에 의해 수행되는 표본 영상 대체 방법에 의해 캐리커처 영상 생성 과정을 설명한다.Hereinafter, referring to FIG. 6, a process of generating a caricature image by a sample image replacement method performed by the apparatus for automatically generating character images 1 and 40 based on the face image according to the present invention will be described.
도 6은 도 5에서 유사도 측정 단계(S35)와 부분 영상 대체 단계(S36)가 추가된 것이므로, 다른 단계들(S30 내지 S34, S37 내지 S39)에 대한 중복된 설명은 생략한다. 즉, 도 6에 도시된 방법은 도 5에서와 같은 방법으로 합성된 캐리커처 영상에서 부분 또는 전체 영역을 표본 영상 데이터베이스(333, 633)에 미리 준비해 둔 표본 영상으로 대체하는 방법이다.In FIG. 6, since the similarity measuring step S35 and the partial image replacing step S36 are added in FIG. 5, redundant descriptions of the other steps S30 to S34 and S37 to S39 are omitted. In other words, the method illustrated in FIG. 6 is a method of replacing a partial or entire region with sample images prepared in advance in the sample image databases 333 and 633 in the caricature image synthesized in the same manner as in FIG. 5.
표본 영상 데이터베이스(333, 633)에 저장된 표본 영상들은 다양한 얼굴에 대해 형태 정보에 대한 통계 분석을 수행한 후 이를 기반으로 만들어진다. 표본 영상 구성 방법은 표본 영상의 변형을 허용하는 경우와 허용하지 않는 두 가지 경우로 나눌 수 있다.Sample images stored in the sample image databases 333 and 633 are generated based on the statistical analysis of shape information on various faces. The method of constructing the sample image can be divided into two cases that allow the deformation of the sample image and those that do not.
먼저, 표본 영상의 변형을 허용하는 경우의 표본 영상 구성 방법은, 일정하게 정규화된 표본 영상을 구성하고 S31 단계에서 추출된 입력 얼굴 영상의 형태 정보 Sin을 바탕으로 표본 영상의 크기 및 모양을 변형하여 대체하는 방식이다. 이 방식은 입력 얼굴 영상의 형태를 충실히 반영할 수 있고, 비교적 적은 수의 표본 영상들이 요구된다는 장점이 있으나, 표본 영상의 변형으로 인한 영상의 왜곡 및 전체적인 화질 저하가 발생한다는 단점이 있다.First, in the case of allowing the deformation of the sample image, the method of constructing the sample image constitutes a regular normalized sample image and deforms the size and shape of the sample image based on the shape information S in of the input face image extracted in step S31. To replace it. This method has the advantage of being able to faithfully reflect the shape of the input face image and requiring a relatively small number of sample images, but has the disadvantage of causing distortion of the image and deterioration of overall image quality due to deformation of the sample image.
반면에, 표본 영상의 변형을 허용하지 않는 경우의 표본 영상 구성 방법은, 미리 구성된 표본 영상들만을 사용하여 캐리커처 영상의 부분 또는 전체 영역을 대체하여 새로운 캐리커처 영상을 합성하므로 고화질의 결과를 얻을 수 있다는 장점이 있으나, 입력 얼굴 영상의 형태를 충실히 반영하기가 어려우며, 가능한 모든 변형에 대한 표본 영상들을 미리 준비해야 한다는 단점이 있다.On the other hand, in the case of not allowing the deformation of the sample image, the method of constructing the sample image synthesizes a new caricature image by substituting a portion or the entire area of the caricature image using only preconfigured sample images, thereby obtaining high quality results. Although there is an advantage, it is difficult to faithfully reflect the shape of the input face image, and there is a disadvantage that sample images for all possible deformations must be prepared in advance.
도 6의 유사도 측정 단계(S35)에서 사용되는 유사도 D의 측정 방법은 아래의 수학식 3과 같이 표현될 수 있다.A method of measuring similarity D used in the similarity measuring step S35 of FIG. 6 may be expressed as Equation 3 below.
수학식 3에서, 0≤W≤1이고, Csi(i=1,…,n)는 입력 영상의 형태 정보, Cri(i=1,…,n)는 표본 영상의 형태 정보, Cti(i=1,…,n)는 입력 영상의 질감 정보와 참조 영상의 질감 정보 Tref의 차이, Cqi(i=1,…,n)는 표본 영상의 질감 정보와 참조 영상의 질감 정보 Tref의 차이를 나타낸다. 구현 방법에 따라서는, 수학식 3의 Csi, Cri, Cti, Cqi에 형태 및 질감 정보를 바로 사용하지 않고 수학식 1과 같이 형태 정보 및 질감 정보를 선형 분해하여 얻어진 고유벡터의 계수를 사용할 수도 있다. 이 경우 각각의 계수들은 (m-1)의 차원을 갖는다.In Equation 3, 0≤W≤1, C si (i = 1, ..., n) is the shape information of the input image, C ri (i = 1, ..., n) is the shape information of the sample image, C ti (i = 1,…, n) is the difference between the texture information of the input image and the texture information T ref of the reference image, and C qi (i = 1,…, n) is the texture information of the sample image and the texture information T of the reference image. Represents the difference between ref . According to the implementation method, the coefficient of the eigenvector obtained by linearly decomposing the shape information and the texture information as shown in Equation 1 without directly using the shape and texture information in C si , C ri , C ti , and C qi in Equation 3 You can also use Each coefficient in this case has a dimension of (m-1).
부분 영상 대체부(323, 623)는 입력 영상과 각 표본 영상들과의 유사도 D를 측정하여(S35), 이 값이 최소값이 되는 표본 영상으로 캐리커처 영상의 부분 또는전체 영역을 대체한다(S36).The partial image replacement units 323 and 623 measure the similarity D between the input image and the respective sample images (S35), and replace the partial or entire region of the caricature image with the sample image whose value is the minimum value (S36). .
표본 영상 대체 방법에 의해 캐리커처 영상을 생성하는 경우, 저속의 통신 환경에서 생성된 캐리커처 영상 전체를 전송하지 않고 대체되는 표본 영상의 코드를 압축 전송함으로써 압축률을 획기적으로 높일 수 있다.When the caricature image is generated by the sample image replacement method, the compression rate can be dramatically increased by compressing and transmitting the code of the sample image to be replaced without transmitting the entire caricature image generated in a low speed communication environment.
이하에서 도 7을 참조하여, 본 발명에 의한 얼굴 영상에 기반한 캐릭터 영상 자동 생성 장치(1, 40)에 의해 수행되는 메이크업 디자인 과정을 설명한다.Hereinafter, a makeup design process performed by the character image automatic generation device 1 or 40 based on the face image according to the present invention will be described with reference to FIG. 7.
도 7은 도 5에서의 캐리커처 종류 선택 단계(S22), 얼굴 영상 합성 단계(S23) 및 형태 정보 변경 단계(S24) 대신 메이크업 종류 선택 단계(S42), 얼굴 영상 합성 단계(S43), 메이크업 수정 단계(S44) 및 만족 여부 확인 단계(S45)가 추가된 것이므로, 다른 단계들(S40, S41, S46, S47, S48)에 대한 중복된 설명은 생략한다.FIG. 7 is a makeup type selection step S42, a face image synthesis step S43, and a makeup modification step instead of the caricature type selection step S22, the face image synthesis step S23, and the shape information change step S24 in FIG. 5. Since (S44) and the satisfaction check step (S45) is added, duplicated description of the other steps (S40, S41, S46, S47, S48) will be omitted.
메이크업 종류 선택 단계(S42)에서는 얼굴 영상 합성부(322, 622)가 메이크업 영상 데이터베이스(334, 634)에 저장된 각종의 견본 메이크업 영상들을 사용자 인터페이스 장치(10a, 10b, 50)를 통해 사용자에게 제시하고, 사용자로부터 원하는 메이크업 디자인을 선택받는다. 이때, 견본 메이크업 영상들은 참조 영상과 동일한 형태를 갖는 영상들이다.In the makeup type selection step (S42), the face image synthesizing unit 322, 622 presents various sample makeup images stored in the makeup image database 334, 634 to the user through the user interface devices 10a, 10b, and 50; The user chooses the desired makeup design. In this case, the sample makeup images are images having the same shape as the reference image.
얼굴 영상 합성 단계(S43)에서는 얼굴 영상 합성부(322, 622)가 사용자에 의해 선택된 견본 메이크업 영상 또는 선택된 견본 메이크업 영상과 S41 단계에서 추출된 입력 얼굴 영상의 질감 정보 Tin이 반영된 영상과의 가중합으로 생성된 영상을S41 단계에서 추출된 입력 얼굴 영상의 형태 정보 Sin을 사용하여 변환함으로써 사용자 자신의 얼굴에 선택된 메이크업 디자인이 적용된 얼굴 영상을 합성할 수 있다.In the face image synthesizing step S43, the face image synthesizing unit 322 or 622 weights the sample makeup image selected by the user or the sample makeup image selected by the user and the image reflecting the texture information T in of the input face image extracted in step S41. The image generated by the sum may be converted using the shape information S in of the input face image extracted in step S41 to synthesize a face image to which the selected makeup design is applied to the user's own face.
이와 같이 메이크업 디자인이 적용된 얼굴 영상은 사용자 인터페이스 장치(10a, 10b, 50)로 전송되어 출력부(17, 57)에 의해 디스플레이되고, 사용자 인터페이스 장치(10a, 10b, 50)의 사용자 명령 입력부(12, 52)는 사용자로부터 디스플레이된 얼굴 영상 상의 메이크업 수정을 지시하는 사용자 제어 명령을 입력받는다(S44). 얼굴 영상 합성부(322, 622)는 사용자 제어 명령에 따라 메이크업 디자인이 적용된 얼굴 영상을 수정하고, 수정된 얼굴 영상은 다시 사용자 인터페이스 장치(10a, 10b, 50)로 전송되어 출력부(17, 57)에 의해 디스플레이된다.The face image to which the makeup design is applied is transmitted to the user interface devices 10a, 10b and 50 and displayed by the output units 17 and 57, and the user command input unit 12 of the user interface devices 10a, 10b and 50. (52) receives a user control command for instructing makeup correction on the displayed face image from the user (S44). The face image synthesizing unit 322 or 622 modifies the face image to which the makeup design is applied according to a user control command, and the corrected face image is transmitted to the user interface devices 10a, 10b, and 50 again to output units 17 and 57. Is displayed.
이후, 사용자 인터페이스 장치(10a, 10b, 50)의 사용자 명령 입력부(12, 52)는 사용자로부터 디스플레이된 얼굴 영상에 대한 만족 여부를 확인하는 사용자 제어 명령을 입력받는다(S45). 이때, 사용자 제어 명령이 "만족"을 나타내는 경우, 액세서리 추가 단계(S46)로 진행되지만, 그렇지 않은 경우에는 메이크업 종류 선택 단계(S42)로 진행하여 메이크업 디자인을 다시 수행하게 된다.Thereafter, the user command input units 12 and 52 of the user interface devices 10a, 10b, and 50 receive a user control command for checking whether the face image displayed is satisfied from the user (S45). At this time, if the user control command indicates "satisfaction", but proceeds to the accessory adding step (S46), otherwise proceeds to the makeup type selection step (S42) to perform the makeup design again.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
이상과 같은 본 발명에 의하면, 첫째, 입력 얼굴 영상으로부터 참조 영상에 대한 변형장으로 표시된 입력 얼굴 영상의 형태 정보를 추출하고, 참조 영상과 동일한 형태를 갖고 다양한 질감 정보를 지닌 영상들과 추출된 입력 얼굴 영상의 형태 정보를 사용하여 입력된 얼굴 영상의 형상이 투영되면서 입력 영상의 상태에 무관하게 자연스럽고 고품질인 새로운 영상들을 합성해 낼 수 있으므로, 본 발명은 캐릭터 영상 생성, 가상 메이크업 디자인, 범죄자 검색을 위한 몽타주 작성, 애니메이션 및 오락 등 다양한 분야에서 유용하게 활용될 수 있다.According to the present invention as described above, first, the shape information of the input face image, which is displayed as the deformation length of the reference image, is extracted from the input face image, and the images having the same shape as the reference image and having various texture information are extracted from the input face image. Since the shape of the input face image is projected by using the shape information of the face image, it is possible to synthesize new images of natural and high quality irrespective of the state of the input image. It can be useful in various fields such as montage creation, animation and entertainment.
둘째, 캐리커처 영상 생성의 경우, 사용자의 형태적 특징을 포함하고 있는 다양한 캐리커처들을 즉시 생성해 낼 수 있으며, 생성된 캐리커처들을 부분 또는 전체적으로 과장하거나 변형할 수 있다. 뿐만 아니라, 사용자의 얼굴 형태에 대한 정보를 갖고 있으므로 복잡한 영상 보정 과정을 단순화시키고 자동화시킬 수 있어 캐릭터 생산에 있어 생산성을 향상시킬 수 있다.Second, in the case of caricature image generation, various caricatures including the user's morphological characteristics can be immediately generated, and the generated caricatures can be exaggerated or modified in whole or in part. In addition, since it has information on the shape of the user's face, it is possible to simplify and automate complex image correction processes, thereby improving productivity in character production.
셋째, 메이크업 디자인의 경우, 사용자가 간편하게 자기 자신의 메이크업을 디자인한 후 확인할 수 있으며, 부분 또는 전체적인 수정이 용이하게 수행된다.Third, in the case of makeup design, the user can easily confirm after designing his own makeup, and partial or total modification is easily performed.
넷째, 합성된 새로운 얼굴 영상에 여러 가지 액세서리를 추가한 모습을 즉시 확인할 수 있고, 형태 정보에 기반한 가상 현실에서의 아바타(Avatar) 구현, 3차원얼굴 영상 복원, 비디오 채팅 등과 같이 얼굴 영상을 필요로 하는 수많은 응용분야에 용이하게 적용할 수 있다.Fourth, you can immediately see the appearance of various accessories added to the new synthesized face image, and require face images such as avatar creation in virtual reality based on shape information, 3D face image restoration, video chat, etc. It can be easily applied to many applications.
Claims (20)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000048616 | 2000-08-22 | ||
KR1020000048616A KR20000064110A (en) | 2000-08-22 | 2000-08-22 | Device and method for automatic character generation based on a facial image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20020015642A true KR20020015642A (en) | 2002-02-28 |
KR100407111B1 KR100407111B1 (en) | 2003-11-28 |
Family
ID=19684433
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020000048616A KR20000064110A (en) | 2000-08-22 | 2000-08-22 | Device and method for automatic character generation based on a facial image |
KR10-2001-0040472A KR100407111B1 (en) | 2000-08-22 | 2001-07-06 | Apparatus and method for generating a synthetic facial image based on shape information of a facial image |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020000048616A KR20000064110A (en) | 2000-08-22 | 2000-08-22 | Device and method for automatic character generation based on a facial image |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2004506996A (en) |
KR (2) | KR20000064110A (en) |
CN (1) | CN1447955A (en) |
AU (1) | AU2001269581A1 (en) |
WO (1) | WO2002017234A1 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030091306A (en) * | 2002-05-27 | 2003-12-03 | 이채헌 | The dynamic character and image character making system and the method using face components relationship on face image. |
KR20040049759A (en) * | 2002-12-07 | 2004-06-12 | 김창모 | Caricature to the contents of mobile phone,PDA or Internet |
KR100764130B1 (en) * | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | Method of virtual face shaping based on automatic face extraction and apparatus thereof |
KR100952382B1 (en) * | 2009-07-29 | 2010-04-14 | 숭실대학교산학협력단 | Animation automatic generating apparatus of user-based and its method |
WO2013125915A1 (en) * | 2012-02-23 | 2013-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus for processing information of image including a face |
KR101418878B1 (en) * | 2013-04-22 | 2014-07-17 | 명지대학교 산학협력단 | System for generating montage using facial feature and method therefor |
KR101494880B1 (en) * | 2012-11-07 | 2015-02-25 | 한국과학기술연구원 | Apparatus and method for generating cognitive avatar |
KR20160053612A (en) * | 2014-11-05 | 2016-05-13 | 삼성전자주식회사 | Device and method to generate image using image learning model |
KR102400609B1 (en) * | 2021-06-07 | 2022-05-20 | 주식회사 클레온 | A method and apparatus for synthesizing a background and a face by using deep learning network |
CN115171199A (en) * | 2022-09-05 | 2022-10-11 | 腾讯科技(深圳)有限公司 | Image processing method, image processing device, computer equipment and storage medium |
KR102627033B1 (en) * | 2023-05-08 | 2024-01-19 | 주식회사 알마로꼬 | System and method for generating participatory content using artificial intelligence technology |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100385896B1 (en) * | 1999-12-28 | 2003-06-02 | 김남규 | Method and Apparatus for Providing and Using of 3 Dimensional Image Which Represents the User in Cyber-Space |
KR20010091743A (en) * | 2000-03-17 | 2001-10-23 | 박호성 | A formation method of an automatic caricature |
KR20010092618A (en) * | 2000-03-22 | 2001-10-26 | 이민호 | Automatic generation and output of caricature of a face using image information |
KR20020014176A (en) * | 2000-08-16 | 2002-02-25 | 김세진 | Apparatus and method for instant photographing and characterizing user's feature |
KR20000064110A (en) * | 2000-08-22 | 2000-11-06 | 이성환 | Device and method for automatic character generation based on a facial image |
KR20010000426A (en) * | 2000-09-28 | 2001-01-05 | 김용환 | Method of Intelligent Image Interface |
KR20020057447A (en) * | 2001-01-04 | 2002-07-11 | 심한억 | The Method of Making a 3D Animation Movie By Controling 3D Character Directly |
KR100407685B1 (en) * | 2001-01-12 | 2003-12-01 | 윤경현 | Method for representing Color paper mosaic using computer |
KR100422470B1 (en) * | 2001-02-15 | 2004-03-11 | 비쥬텍쓰리디(주) | Method and apparatus for replacing a model face of moving image |
KR20020069595A (en) * | 2001-02-27 | 2002-09-05 | 강석령 | System and method for producing caricatures |
KR20020082328A (en) * | 2001-04-20 | 2002-10-31 | 김장휘 | The techknowledge maken my animation on network |
KR20010079219A (en) * | 2001-06-23 | 2001-08-22 | 조한수 | Story board game system using video and its method |
KR20030042403A (en) * | 2001-11-22 | 2003-05-28 | 조윤석 | Facial character manufacturing method by fitting facial edgeline |
KR100912872B1 (en) * | 2002-10-09 | 2009-08-19 | 삼성전자주식회사 | Apparatus and method for producing three-dimensional caricature |
CN1313979C (en) | 2002-05-03 | 2007-05-02 | 三星电子株式会社 | Apparatus and method for generating 3-D cartoon |
KR100473593B1 (en) * | 2002-05-03 | 2005-03-08 | 삼성전자주식회사 | Apparatus and method for producing three-dimensional caricature |
KR20040009460A (en) * | 2002-07-23 | 2004-01-31 | 주식회사 페이스쓰리디 | System and method for constructing three dimensional montaged geometric face |
KR101028257B1 (en) * | 2003-06-16 | 2011-04-11 | 엘지전자 주식회사 | Avatar editing method for mobile communication device |
RU2358319C2 (en) * | 2003-08-29 | 2009-06-10 | Самсунг Электроникс Ко., Лтд. | Method and device for photorealistic three dimensional simulation of face based on image |
KR100682889B1 (en) | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | Method and Apparatus for image-based photorealistic 3D face modeling |
KR100791034B1 (en) * | 2004-09-02 | 2008-01-03 | (주)제니텀 엔터테인먼트 컴퓨팅 | Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof |
US8126190B2 (en) | 2007-01-31 | 2012-02-28 | The Invention Science Fund I, Llc | Targeted obstrufication of an image |
US9583141B2 (en) | 2005-07-01 | 2017-02-28 | Invention Science Fund I, Llc | Implementing audio substitution options in media works |
US20080086380A1 (en) * | 2005-07-01 | 2008-04-10 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Alteration of promotional content in media works |
US9230601B2 (en) | 2005-07-01 | 2016-01-05 | Invention Science Fund I, Llc | Media markup system for content alteration in derivative works |
JP5035524B2 (en) * | 2007-04-26 | 2012-09-26 | 花王株式会社 | Facial image composition method and composition apparatus |
US9215512B2 (en) | 2007-04-27 | 2015-12-15 | Invention Science Fund I, Llc | Implementation of media content alteration |
KR100929564B1 (en) * | 2007-08-31 | 2009-12-03 | (주)에프엑스기어 | Specialized virtual avatar providing system reflecting user specified facial image |
KR100929561B1 (en) * | 2007-08-31 | 2009-12-03 | (주)에프엑스기어 | Specialized video contents providing system reflecting user-specified facial image / audio data |
KR100967895B1 (en) * | 2007-08-31 | 2010-07-06 | (주)에프엑스기어 | The system which provide a specialized teaching contents where the data which the user designates is reflected |
KR100902995B1 (en) * | 2007-10-23 | 2009-06-15 | 에스케이 텔레콤주식회사 | Method for making face image of golden ratio, and apparatus applied to the same |
CN102054287B (en) * | 2009-11-09 | 2015-05-06 | 腾讯科技(深圳)有限公司 | Facial animation video generating method and device |
JP2011228936A (en) * | 2010-04-20 | 2011-11-10 | Shiseido Co Ltd | Moving image transmission system, transmitter, receiver, moving image management device, transmission program, reception program, and moving image management program |
CN101847268B (en) * | 2010-04-29 | 2015-03-04 | 北京中星微电子有限公司 | Cartoon human face image generation method and device based on human face images |
WO2012043910A1 (en) * | 2010-10-01 | 2012-04-05 | 엘지전자 주식회사 | Image display device and image displaying method thereof |
JP2014016746A (en) * | 2012-07-06 | 2014-01-30 | Sony Computer Entertainment Inc | Image processing apparatus and image processing method |
KR101374313B1 (en) * | 2012-08-14 | 2014-03-13 | 주식회사 바른기술 | An apparatus for transmitting simplified motion information excluding background images and displaying the information by utilizing avatar and the methods thereof |
KR101635730B1 (en) * | 2014-10-08 | 2016-07-20 | 한국과학기술연구원 | Apparatus and method for generating montage, recording medium for performing the method |
CN104616330A (en) * | 2015-02-10 | 2015-05-13 | 广州视源电子科技股份有限公司 | Picture generation method and device |
CN104751408B (en) * | 2015-03-26 | 2018-01-19 | 广东欧珀移动通信有限公司 | The method of adjustment and device of face head portrait |
CN105184249B (en) | 2015-08-28 | 2017-07-18 | 百度在线网络技术(北京)有限公司 | Method and apparatus for face image processing |
CN105427238B (en) * | 2015-11-30 | 2018-09-04 | 维沃移动通信有限公司 | A kind of image processing method and mobile terminal |
CN107705240B (en) * | 2016-08-08 | 2021-05-04 | 阿里巴巴集团控股有限公司 | Virtual makeup trial method and device and electronic equipment |
US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
CN108492344A (en) * | 2018-03-30 | 2018-09-04 | 中国科学院半导体研究所 | A kind of portrait-cartoon generation method |
US10762665B2 (en) | 2018-05-23 | 2020-09-01 | Perfect Corp. | Systems and methods for performing virtual application of makeup effects based on a source image |
EP3664035B1 (en) * | 2018-12-03 | 2021-03-03 | Chanel Parfums Beauté | Method for simulating the realistic rendering of a makeup product |
CN113780047A (en) * | 2021-01-11 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | Virtual makeup trying method and device, electronic equipment and storage medium |
CN112862920B (en) * | 2021-02-18 | 2024-07-02 | 清华大学 | Human body image generation method and system based on hand-drawn sketch |
KR102623592B1 (en) | 2022-01-06 | 2024-01-11 | (주)키미티즈 | system and method for manufacturing smart character design |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04199474A (en) * | 1990-11-29 | 1992-07-20 | Matsushita Electric Ind Co Ltd | Face picture synthetic device |
JPH07325934A (en) * | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | Method and equipment for provision of graphics enhanced to virtual world |
JP3533717B2 (en) * | 1994-09-27 | 2004-05-31 | 松下電器産業株式会社 | Image synthesis device |
JP3799633B2 (en) * | 1995-06-16 | 2006-07-19 | セイコーエプソン株式会社 | Face image processing method and face image processing apparatus |
US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
JP2918499B2 (en) * | 1996-09-17 | 1999-07-12 | 株式会社エイ・ティ・アール人間情報通信研究所 | Face image information conversion method and face image information conversion device |
US6661906B1 (en) * | 1996-12-19 | 2003-12-09 | Omron Corporation | Image creating apparatus |
JP3551668B2 (en) * | 1996-12-20 | 2004-08-11 | オムロン株式会社 | Portrait transmission device, portrait communication device and method |
KR20010091743A (en) * | 2000-03-17 | 2001-10-23 | 박호성 | A formation method of an automatic caricature |
KR20000037042A (en) * | 2000-04-06 | 2000-07-05 | 김정렬 | Automatic character producing system |
KR20000063344A (en) * | 2000-06-26 | 2000-11-06 | 김성호 | Facial Caricaturing method |
KR100376760B1 (en) * | 2000-07-05 | 2003-03-19 | 케이포테크놀로지 주식회사 | Method for manufacturing caricature |
KR20000059236A (en) * | 2000-07-24 | 2000-10-05 | 조경식 | On the internet, the way of putting photo image on 3D-modeling, bringing each layer object, painting user's face, wearing a wig, putting on glasses, ....etc |
KR20000064110A (en) * | 2000-08-22 | 2000-11-06 | 이성환 | Device and method for automatic character generation based on a facial image |
-
2000
- 2000-08-22 KR KR1020000048616A patent/KR20000064110A/en active Search and Examination
-
2001
- 2001-07-06 KR KR10-2001-0040472A patent/KR100407111B1/en not_active IP Right Cessation
- 2001-07-07 CN CN01814412A patent/CN1447955A/en active Pending
- 2001-07-07 WO PCT/KR2001/001167 patent/WO2002017234A1/en active Application Filing
- 2001-07-07 JP JP2002521224A patent/JP2004506996A/en active Pending
- 2001-07-07 AU AU2001269581A patent/AU2001269581A1/en not_active Abandoned
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030091306A (en) * | 2002-05-27 | 2003-12-03 | 이채헌 | The dynamic character and image character making system and the method using face components relationship on face image. |
KR20040049759A (en) * | 2002-12-07 | 2004-06-12 | 김창모 | Caricature to the contents of mobile phone,PDA or Internet |
KR100764130B1 (en) * | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | Method of virtual face shaping based on automatic face extraction and apparatus thereof |
KR100952382B1 (en) * | 2009-07-29 | 2010-04-14 | 숭실대학교산학협력단 | Animation automatic generating apparatus of user-based and its method |
WO2013125915A1 (en) * | 2012-02-23 | 2013-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus for processing information of image including a face |
US9298971B2 (en) | 2012-02-23 | 2016-03-29 | Samsung Electronics Co., Ltd. | Method and apparatus for processing information of image including a face |
KR101494880B1 (en) * | 2012-11-07 | 2015-02-25 | 한국과학기술연구원 | Apparatus and method for generating cognitive avatar |
US9348487B2 (en) | 2012-11-07 | 2016-05-24 | Korea Institute Of Science And Technology | Apparatus and method for generating cognitive avatar |
KR101418878B1 (en) * | 2013-04-22 | 2014-07-17 | 명지대학교 산학협력단 | System for generating montage using facial feature and method therefor |
KR20160053612A (en) * | 2014-11-05 | 2016-05-13 | 삼성전자주식회사 | Device and method to generate image using image learning model |
US11093780B2 (en) | 2014-11-05 | 2021-08-17 | Samsung Electronics Co., Ltd. | Device and method to generate image using image learning model |
KR102400609B1 (en) * | 2021-06-07 | 2022-05-20 | 주식회사 클레온 | A method and apparatus for synthesizing a background and a face by using deep learning network |
CN115171199A (en) * | 2022-09-05 | 2022-10-11 | 腾讯科技(深圳)有限公司 | Image processing method, image processing device, computer equipment and storage medium |
KR102627033B1 (en) * | 2023-05-08 | 2024-01-19 | 주식회사 알마로꼬 | System and method for generating participatory content using artificial intelligence technology |
KR102658219B1 (en) * | 2023-05-08 | 2024-04-18 | 주식회사 알마로꼬 | System and method for generating participatory content using artificial intelligence technology |
Also Published As
Publication number | Publication date |
---|---|
KR100407111B1 (en) | 2003-11-28 |
WO2002017234A1 (en) | 2002-02-28 |
KR20000064110A (en) | 2000-11-06 |
JP2004506996A (en) | 2004-03-04 |
CN1447955A (en) | 2003-10-08 |
AU2001269581A1 (en) | 2002-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100407111B1 (en) | Apparatus and method for generating a synthetic facial image based on shape information of a facial image | |
Blanz et al. | A morphable model for the synthesis of 3D faces | |
US10789453B2 (en) | Face reenactment | |
CN111127304B (en) | Cross-domain image conversion | |
Thies et al. | Real-time expression transfer for facial reenactment. | |
US6556196B1 (en) | Method and apparatus for the processing of images | |
US20240346780A1 (en) | Delivering virtualized content | |
US7200281B2 (en) | System and method for image-based surface detail transfer | |
US20180253895A1 (en) | System and method for creating a full head 3d morphable model | |
US11024060B1 (en) | Generating neutral-pose transformations of self-portrait images | |
US11954828B2 (en) | Portrait stylization framework using a two-path image stylization and blending | |
US20240029345A1 (en) | Methods and system for generating 3d virtual objects | |
EP3091510B1 (en) | Method and system for producing output images | |
JP2024500896A (en) | Methods, systems and methods for generating 3D head deformation models | |
CN116997933A (en) | Method and system for constructing facial position map | |
JP2024503794A (en) | Method, system and computer program for extracting color from two-dimensional (2D) facial images | |
JP2020149174A (en) | Image processing apparatus, image processing method, and program | |
JP2021073619A (en) | Image generation device, image generation method, and program | |
JP2002525764A (en) | Graphics and image processing system | |
Wang et al. | Uncouple generative adversarial networks for transferring stylized portraits to realistic faces | |
KR102529216B1 (en) | Learning method of face generation deep learning model generating virtual human face and system using the same | |
Ravikumar | Performance driven facial animation with blendshapes | |
Dib et al. | MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading | |
Ma | Real-time Facial Performance Capture and Manipulation | |
KR20230096393A (en) | Apparatus and method for generating conversational digital human based on photo |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |