KR20010073916A - Real time picture mapping device and methode - Google Patents
Real time picture mapping device and methode Download PDFInfo
- Publication number
- KR20010073916A KR20010073916A KR1020000003107A KR20000003107A KR20010073916A KR 20010073916 A KR20010073916 A KR 20010073916A KR 1020000003107 A KR1020000003107 A KR 1020000003107A KR 20000003107 A KR20000003107 A KR 20000003107A KR 20010073916 A KR20010073916 A KR 20010073916A
- Authority
- KR
- South Korea
- Prior art keywords
- video signal
- face
- user
- image
- facial expression
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 실시간 영상맵핑 장치 및 방법에 관한 것으로서, 방송파 영상신호를 입력받아, 실시간으로 화면 등장인물의 얼굴을 사용자의 얼굴로 맵핑하고, 화면 등장인물의 얼굴표정의 변화에 따라 사용자의 얼굴표정도 변화시킬수 있는 실시간 영상맵핑 장치 및 방법에 관한 것이다.The present invention relates to a real-time image mapping apparatus and method, which receives a broadcast wave image signal, maps a face character's face to a user's face in real time, and changes the face expression of the user according to a change in the face expression of the screen character. The present invention relates to a real-time image mapping apparatus and method that can be changed.
종래의 화상처리에 대한 연구는 화상변환, 화상계측, 패턴인식, 화상생성에 대한 많은 연구가 수행되어져 왔다.In the conventional image processing, many studies on image conversion, image measurement, pattern recognition, and image generation have been conducted.
화상변환은 화상처리 시스템에 입력한 화상데이타를 다른 형식의 데이타로 변환한다. 이 분야의 처리에는 콘트라스트가 낮은 화상을 콘트라스트가 높고 보기 쉬운 화상으로 변환하는 농도변환, 잡음제거, 공간 주파수 영역에서 처리하는 2차원 푸우리에 변환 등이 있다.Image conversion converts image data input to an image processing system into data of another format. Processing in this field includes density conversion for converting low contrast images into high contrast and easy to see images, noise reduction, and two-dimensional Fourier transform processing in the spatial frequency domain.
또한, 화상계측은 입력화상 데이타를 측정하여 정량적인 수치 데이터를 얻는다. 이 분야의 처리에는 세포 따위의 갯수의 계수, 반지름의 측정, 면적계산 등이 있다.Image measurement also measures input image data to obtain quantitative numerical data. Treatments in this field include counting the number of cells, measuring the radius, and calculating the area.
또한, 패턴인식은 인간이 행하는 판단기능의 일부를 기계로 할 수 있도록 하는 것이 목적이다. 로보트의 시각으로 사용하는 경우에는 어떠한 물체가 놓여 있는가를 판단할 필요가 있고, 암세포를 검사하는 경우에는 암세포와 정상세포를 구별할 필요가 있다.In addition, the purpose of pattern recognition is to enable a machine to perform part of the judgment function performed by humans. When using the robot's vision, it is necessary to determine what object is placed. When examining cancer cells, it is necessary to distinguish cancer cells from normal cells.
또한, 화상생성은 와이어 프레임 모델, 서페이스 모델, 솔리드 모델, 광선 추적법, 프랙탈 이론 등을 이용하여 화상을 발생시킨다. 자연스러운 느낌을 주는 화상을 발생시키려면 고성능의 미니 컴퓨터를 사용해도 장시간을 필요로 한다.Image generation also generates images using wire frame models, surface models, solid models, ray tracing, fractal theory, and the like. It takes a long time to use a high-performance mini computer to produce a natural-looking image.
와이어 프레임 모델은 3차원 물체의 형상을 선으로 표시한다. 이것은 침금세공에서 물체를 작성하는 것과 아주 비슷하다.The wire frame model displays the shape of a three-dimensional object as a line. This is very similar to creating an object in immersion.
서페이스 모델에서는 3차원 물체의 형상을 면으로 표시한다. 예를 들면, 구의 표면은 다수의 작은 삼각형으로 구성할 수 있다.In the surface model, the shape of a three-dimensional object is represented by a face. For example, the surface of the sphere may consist of a number of small triangles.
솔리드 모델에서는 3차원 물체의 형상을 입방체나 원주 등을 이용하여 표시한다. 이것은 장난감 나무로 물체를 작성하는 것과 아주 비슷하다.In the solid model, the shape of a three-dimensional object is displayed using a cube or a circumference. This is very similar to writing objects out of toy trees.
광선 추적법은 그림자나 빛이 비치는 상태를 고려한 표시를 할 때 사용된다. 이 방법에서는 빛이 나아가는 경로를 시각 지점으로 부터 광원까지 역으로 더듬어 추적한다.Ray tracing is used to display shadows or lights. This method traces the path of the light back from the point of view to the light source.
프랙탈 이론은 산이나 해안선 등 자연계에 존재하는 불규칙한 물체를 생성할 때 이용한다. 이 이론을 이용한 화상생성에는 자연계에 존재하는 불규칙한 물체의 자기동일성을 이용하고 있다.Fractal theory is used to create irregular objects that exist in nature such as mountains and coastlines. The image generation using this theory uses the self-identity of irregular objects in nature.
본 발명은 방송파 영상신호를 입력받아, 실시간으로 화면 등장인물의 얼굴을 사용자의 얼굴로 맵핑하고, 화면 등장인물의 얼굴표정의 변화에 따라 사용자의 얼굴표정도 변화시킬수 있는 실시간 영상맵핑 장치 및 방법을 제공하는데 있다.The present invention is a real-time image mapping apparatus and method that can receive the broadcast wave image signal, map the face of the screen characters to the user's face in real time, and change the degree of facial expression of the user according to the change of the facial expression of the screen characters To provide.
상기 본 발명의 목적을 달성하기 위한 기술적 사상으로, 본 발명은 방송 동영상신호 및 사용자 얼굴 동영상 신호를 입력받는 영상신호 입력부와, 상기 영상신호를 디지탈 영상신호로 변환시키는 영상신호 A/D 변환부와, 상기 입력 얼굴영상에 대한 두부 움직임 및 표정 변화를 분석하는 영상분석부와, 3차원 합성얼굴을 생성하기 위해 영상처리를 수행하는 영상처리부와, 상기 영상분석부에 의해 획득된 입력 얼굴영상에 대한 두부 운동 파라미터 및 얼굴표정 파라미터 등을 저장하는 메모리부와, 맵핑 수행된 영상신호 혹은 원래의 방송 영상신호 중에서 택일하기 위한 영상신호 선택부와, 상기 디지탈 영상신호를 아날로그 영상신호로 변환하는 영상신호 D/A 변환부와, 상기 아날로그 영상신호를 디스플레이하기 위한 영상신호 디스플레이부로 구성되어진다.In order to achieve the object of the present invention, the present invention provides a video signal input unit for receiving a broadcast video signal and a user face video signal, a video signal A / D conversion unit for converting the video signal into a digital video signal; An image analyzer for analyzing head movements and facial expression changes with respect to the input face image, an image processor performing image processing to generate a 3D synthetic face, and an input face image obtained by the image analyzer A memory unit for storing the head motion parameters and facial expression parameters, a video signal selection unit for selecting among the mapped video signal or the original broadcast video signal, and a video signal D for converting the digital video signal into an analog video signal. / A converter and a video signal display for displaying the analog video signal The.
또한, 본 발명의 실시간 얼굴맵핑 방법에 있어서, 동영상 신호를 입력받는 단계와, 상기 영상 신호를 디지탈 영상신호로 변환시키는 단계와, 상기 영상신호가 방송 영상신호 인가를 판별하는 단계와, 상기 영상신호가 방송 영상신호가 아닌 사용자 동영상 신호인 경우, 사용자의 얼굴에 대한 개별 3차원 형상모델을 생성하는 단계와, 상기 사용자의 얼굴영상으로 부터 두부 운동 파라미터 및 얼굴표정 파라미터를 추출하는 단계와, 상기 개별 3차원 형상모델, 두부 운동 파라미터 및 얼굴표정 파라미터를 메모리부에 저장하는 단계와, 상기 영상신호가 방송 영상신호인 경우, 영상 등장인물 중 사용자의 합성얼굴로 맵핑되어질 대상얼굴을 선택하는 단계와, 상기 맵핑 대상얼굴의 두부 움직임 및 표정 변화에 대한 정보 추출 작업을 수행하는 단계와, 상기 정보 추출 작업이 성공적으로 수행되었는지를 확인하는 단계와, 상기 정보 추출 작업이 성공적으로 수행된 경우, 상기 메모리부로 부터 사용자에 대한 개별 3차원 형상모델 , 해당 두부 운동 파라미터 및 얼굴표정 파라미터를 인출하는 단계와, 사용자에 대한 3차원 합성얼굴을 생성하는 단계와, 상기 맵핑 대상얼굴에 상기 3차원 합성얼굴을 맵핑하는 단계와, 상기 맵핑이 완료된 영상신호를 아날로그 영상신호로 변환시키는 단계와, 상기 아날로그신호를 디스플레이하는 단계로 구성되어 진다.In the real-time face mapping method of the present invention, the method includes receiving a video signal, converting the video signal into a digital video signal, determining whether the video signal is a broadcast video signal, and the video signal. Is a user video signal instead of a broadcast video signal, generating an individual three-dimensional shape model of the user's face, extracting the head motion parameters and facial expression parameters from the user's face image, and Storing the 3D shape model, the head movement parameters, and the facial expression parameters in a memory unit; when the video signal is a broadcast video signal, selecting a target face to be mapped to a user's synthetic face from among the video characters; Performing information extraction on head movement and facial expression change of the mapping target face; Checking whether the beam extraction operation has been successfully performed; and if the information extraction operation has been successfully performed, retrieving an individual three-dimensional shape model, a corresponding head motion parameter, and facial expression parameters for the user from the memory unit; Generating a three-dimensional synthetic face for the user, mapping the three-dimensional synthetic face to the mapping target face, converting the mapped video signal into an analog video signal, and converting the analog signal into the analog signal. It is composed of the steps of displaying.
도 1은 본 발명의 실시간 영상맵핑 장치의 전체구성을 나타내는 블럭도이다.1 is a block diagram showing the overall configuration of a real-time image mapping apparatus of the present invention.
도 2는 실시간 영상맵핑 장치에서 방송 동영상 신호를 인가받아, 상기 영상의 등장인물 얼굴을 사용자의 3차원 합성얼굴로 맵핑하는 과정을 보이기 위한 순서도이다.FIG. 2 is a flowchart illustrating a process of mapping a character's face to a 3D synthetic face of a user by receiving a broadcast video signal from a real-time image mapping apparatus.
도 3은 본 발명에 있어서, 대상얼굴의 두부 운동 파라미터 및 얼굴표정 파라미터를 구하기 위해 사용되어 지는 얼굴의 특징점을 보이기 위한 도면이다.FIG. 3 is a diagram for showing feature points of a face used to obtain a head motion parameter and a facial expression parameter of a target face in the present invention.
도 4는 본 발명에 있어서, 표준 3차원 형상모델을 대상얼굴 영상에 정합하여 개별 3차원 형상모델로 변형시키는 과정을 보이기 위한 순서도이다.FIG. 4 is a flowchart illustrating a process of matching a standard three-dimensional shape model to a target face image and transforming the standard three-dimensional shape model into individual three-dimensional shape models.
도 5는 본 발명에 있어서, 대상얼굴로부터 두부 운동 파라미터와 얼굴표정파라미터를 추출하기 위한 과정을 보이는 순서도이다.5 is a flowchart showing a process for extracting the head motion parameters and facial expression parameters from the target face in the present invention.
도 6은 본 발명에 있어서, 사용자의 3차원 합성얼굴을 생성하는 것을 보이는 순서도이다.Figure 6 is a flow chart showing the creation of a three-dimensional synthetic face of the user in the present invention.
도 7은 본 발명에 있어서, 임의의 화소 위치에 대응하는 대응화소 위치를 산출하는 것을 보이기 위한 도면이다.FIG. 7 is a diagram for showing that the corresponding pixel position corresponding to an arbitrary pixel position is calculated in the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100 : 영상신호 입력부 110 : 영상신호 A/D 변환부100: video signal input unit 110: video signal A / D conversion unit
120 : 영상분석부 130 : 영상처리부120: image analysis unit 130: image processing unit
140 : 메모리부 150 : 영상신호 선택부140: memory unit 150: video signal selection unit
160 : 영상신호 D/A변환부 170 : 영상신호 디스플레이부160: video signal D / A converter 170: video signal display
이하 본 발명의 실시예를 첨부한 도면을 참조하면서 그 구성 및 작용에 대하여 상세히 설명하기로 한다.Hereinafter, the configuration and operation of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시간 영상맵핑 장치의 전체구성을 나타내는 블럭도이다.1 is a block diagram showing the overall configuration of a real-time image mapping apparatus of the present invention.
도 1에서 도시된 바와 같이, 본 발명은 방송 동영상신호 및 사용자 얼굴 동영상 신호를 입력받는 영상신호 입력부(100)와, 상기 영상신호를 디지탈 영상신호로 변환시키는 영상신호 A/D 변환부(110)와, 상기 입력 얼굴영상에 대한 두부 움직임 및 표정 변화를 분석하는 영상분석부(120)와, 3차원 합성얼굴을 생성하기 위해 영상처리를 수행하는 영상처리부(130)와, 상기 영상분석부(120)에 의해 획득된 입력 얼굴영상에 대한 두부 운동 파라미터 및 얼굴표정 파라미터 등을 저장하는 메모리부(140)와, 맵핑 수행된 영상신호 혹은 원래의 방송 영상신호 중에서 택일하기위한 영상신호 선택부(150)와, 상기 디지탈 영상신호를 아날로그 영상신호로 변환하는 영상신호 D/A 변환부(160)와, 상기 아날로그 영상신호를 디스플레이하기 위한 영상신호 디스플레이부(170)로 구성되어진다.As shown in FIG. 1, the present invention provides a video signal input unit 100 for receiving a broadcast video signal and a user face video signal, and a video signal A / D converter 110 for converting the video signal into a digital video signal. And an image analyzer 120 analyzing head changes and facial expressions of the input face image, an image processor 130 performing image processing to generate a 3D synthetic face, and the image analyzer 120. Memory unit 140 for storing the head movement parameters and facial expression parameters for the input face image obtained by the step), and the video signal selection unit 150 for selecting between the mapped video signal or the original broadcast video signal And a video signal D / A converter 160 for converting the digital video signal into an analog video signal, and a video signal display unit 170 for displaying the analog video signal. Eojinda.
상기와 같은 구성을 갖는 본 발명의 제 부분에 대한 상호작용을 설명하면 다음과 같다.Referring to the interaction with respect to the first part of the present invention having the above configuration is as follows.
먼저, 사용자가 자신의 얼굴이 포함된 동영상을 상기 영상신호 입력부(100)에 입력시키면, 상기 영상신호 A/D 변환부(110)에서 상기 아날로그 영상신호를 디지탈 영상신호로 변환시키고, 상기 메모리부(140)에서 상기 디지탈신호를 입력받아, 저장한다.First, when a user inputs a video including his face to the video signal input unit 100, the video signal A / D converter 110 converts the analog video signal into a digital video signal, and the memory unit At 140, the digital signal is received and stored.
또한, 상기 영상분석부(120)는 상기 메모리부(140)에 저장된 사용자의 동영상을 입력을 수행하고, 상기 동영상을 분석함으로써, 사용자 개별 3차원 형상모델을 생성시킬수 있도록 한다.In addition, the image analyzer 120 may input a user's video stored in the memory unit 140 and analyze the video to generate a user's individual 3D shape model.
이 때, 상기 개별 3차원 형상모델은 얼굴영상을 점 과 선으로 근사화시키고, 수백개의 꼭지점과 수백개의 삼각형 패치로 이루어지는 3차원 표준 형상모델에 상기 사용자의 동영상의 정면상을 정합시킴으로써 생성되어 진다.At this time, the individual three-dimensional shape model is generated by approximating the face image with points and lines, and matching the front image of the user's video to a three-dimensional standard shape model consisting of hundreds of vertices and hundreds of triangular patches.
또한, 상기 영상분석부(120)는 사용자의 동영상을 입력받아, 사용자의 얼굴영상으로 부터 두부 운동 파라미터 및 얼굴표정 파라미터를 추출한다.In addition, the image analyzer 120 receives a user's video, and extracts the head exercise parameters and facial expression parameters from the user's face image.
상기 두부 운동 파라미터와 얼굴표정 파라미터를 부연하면 다음과 같다.The head exercise parameters and facial expression parameters are further described as follows.
일반적으로, 얼굴의 움직임은 얼굴 전체의 움직임과 안면근육에 의한 얼굴표정의 변화로 나눌 수 있고, 상기 얼굴 전체의 움직임은 회전운동량과 병진운동량에의해 구분되어 진다.In general, the movement of the face can be divided into the movement of the whole face and the change of facial expression by facial muscles, and the movement of the whole face is divided by the rotational momentum and the translational momentum.
또한, 상기 안면 근육에 의한 얼굴표정의 변화는 얼굴 표정에 따라 부호화된 AU(Action unit) 넘버와, AU 강도로서 구분되어 진다.In addition, the facial expression change caused by the facial muscles is classified into an AU (Action unit) number encoded according to the facial expression and an AU intensity.
이 때, 상기 회전운동량 및 병진운동량을 두부 운동 파라미터로 설정하고, 상기 AU 넘버와 AU 강도를 얼굴표정 파라미터로 설정한다.At this time, the rotational movement amount and the translational movement amount are set as head movement parameters, and the AU number and AU intensity are set as facial expression parameters.
또한, 상기 영상분석부(120)로 부터 획득된 사용자에 대한 개별 3차원 형상모델, 두부 운동 파라미터, 얼굴표정 파라미터는 상기 메모리부(140)에 인가되어 저장되어 진다.In addition, an individual three-dimensional shape model, a head motion parameter, and a facial expression parameter for the user acquired from the image analyzer 120 are applied to and stored in the memory unit 140.
또한, 상기 영상처리부(130)는 상기 개별 3차원 형상모델에 상기 얼굴표정 파라미터를 적용하여, 개별 3차원 형상모델의 얼굴표정을 변화시킨후, 상기 두부 운동 파라미터를 적용하여, 개별 3차원 형상모델을 회전 및 병진운동시켜서 사용자가 원하는 3차원 합성얼굴을 생성해낸다.In addition, the image processor 130 applies the facial expression parameter to the individual three-dimensional shape model, changes the facial expression of the individual three-dimensional shape model, and then applies the head motion parameter to the individual three-dimensional shape model. Rotate and translate to create the 3D synthetic face you want.
상기와 같이 사용자에 대한 얼굴영상 정보가 준비되어진 상태에서, 방송 동영상 신호가 상기 영상신호 입력부(100)에 입력이 되면, 상기 영상신호 A/D 변환부(110)는 상기 영상신호를 디지탈 영상신호로 변환시키고, 상기 변환된 영상신호를 메모리부(140)에 인가한다.When the face video information for the user is prepared as described above, when a broadcast video signal is input to the video signal input unit 100, the video signal A / D converter 110 converts the video signal into a digital video signal. And convert the converted video signal to the memory unit 140.
또한, 상기 메모리부(140)는 입력받은 영상신호를 상기 영상분석부(120)에 인가하면, 상기 영상분석부(120)는 인가받은 동영상 중에서 사용자가 맵핑되길 원하는 등장인물의 대상얼굴에 대해 두부 움직임 및 얼굴 표정 변화에 대한 정보를 추출한다.In addition, when the memory unit 140 applies the input image signal to the image analysis unit 120, the image analysis unit 120 is a head to the target face of the character that the user wants to be mapped from the received video Extract information on movement and facial expression changes.
다시 말하면, 맵핑 대상얼굴에 대한 두부 운동 파라미터 및 얼굴표정 파라미터가 추출되어지고, 그 파라미터는 메모리부를 거쳐 상기 영상 처리부(130)에 인가되어진다.In other words, the head motion parameters and facial expression parameters for the face to be mapped are extracted, and the parameters are applied to the image processor 130 via the memory unit.
또한, 상기 영상처리부(130)는 상기 맵핑 대상얼굴에 대한 두부 운동 파라미터 및 얼굴표정 파라미터를 인식하여, 이미 상기 메모리부(140)에 저장되어 있는 사용자에 대한 두부 운동 파라미터 및 얼굴표정 파라미터 테이블로 부터 상기 맵핑 대상얼굴에 대한 두부 운동 파라미터 및 얼굴표정 파라미터에 해당되는 파라미터를 상기 메모리부(140)로 부터 인출해낸다.In addition, the image processing unit 130 recognizes the head motion parameters and facial expression parameters for the mapping target face, from the head motion parameters and facial expression parameters table for the user already stored in the memory unit 140 Parameters corresponding to the head exercise parameter and facial expression parameter for the mapped target face are extracted from the memory unit 140.
이 때, 실시간 얼굴맵핑을 위하여, 방송 영상 등장인물의 두부 움직임 및 표정이 변화되는 순간마다 상기 메모리부(140)로 부터 인출되는 사용자에 대한 두부 운동 파라미터 및 얼굴표정 파라미터는 달라진다.At this time, for real-time face mapping, the head movement parameter and the facial expression parameter for the user withdrawn from the memory unit 140 are changed every time the head movement and facial expression of the broadcast image character change.
또한, 상기 영상신호 선택부(150)는 상기 방송 영상의 맵핑 대상얼굴에 대한 두부 움직임 및 얼굴 표정에 대한 분석이 특수한 상황에 기인하여 제대로 이루지지 않은 경우에 원래의 방송 영상신호를 선택하고, 그러하지 않은 경우는 상기 맵핑 대상얼굴에 사용자의 3차원 합성얼굴이 맵핑된 영상신호를 선택한다.In addition, the video signal selector 150 selects the original broadcast video signal when the analysis of the head movement and facial expression of the broadcast target mapping face is not performed properly due to a special situation. If not, a video signal in which the user's three-dimensional composite face is mapped to the mapping target face is selected.
또한, 상기 영상신호 D/A 변환부(160)는 상기 영상신호 선택부(150)에 의해 선택된 영상신호를 아날로그 영상신호로 변환시키는 역활을 수행한다.Also, the video signal D / A converter 160 converts the video signal selected by the video signal selector 150 into an analog video signal.
또한, 상기 영상신호 디스플레이부(170)는 상기 방송 영상 혹은 맵핑 영상신호가 디스플레이되도록 한다.In addition, the video signal display unit 170 displays the broadcast video or the mapped video signal.
또한, 상기 영상신호 디스플레이부(170)는 터치 스크린 형식을 갖추어서, 사용자가 방송 영상의 등장인물 중 맵핑 대상얼굴을 선택하는 수단으로 사용할 수 있도록 한다.In addition, the video signal display unit 170 has a touch screen format, so that the user can use it as a means for selecting a mapping target face among the characters of the broadcast image.
이 때, 사용자가 상기 영상신호 디스플레이부(170)에서 디스플레이되는 화면에 등장하는 인물 중에서 원하는 맵핑 대상얼굴을 터치하면, 상기 영상신호 디스플레이부(170)는 상기 선택되어진 맵핑 대상얼굴에 대한 분석을 수행 하도록 상기 영상분석부에 지시한다.In this case, when the user touches a desired mapping target face among persons appearing on the screen displayed by the video signal display unit 170, the video signal display unit 170 analyzes the selected mapping target face. Instruct the image analysis unit to
도 2는 실시간 영상맵핑 장치에서 방송 동영상 신호를 인가받아, 상기 영상의 등장인물 얼굴을 사용자의 3차원 합성얼굴로 맵핑하는 과정을 보이기 위한 순서도이다.FIG. 2 is a flowchart illustrating a process of mapping a character's face to a 3D synthetic face of a user by receiving a broadcast video signal from a real-time image mapping apparatus.
도 2에서 도시된 바와 같이, 동영상 신호를 입력받는 단계(S100)와, 상기 영상 신호를 디지탈 영상신호로 변환시키는 단계(S110)와, 상기 영상신호가 방송 영상신호 인가를 판별하는 단계(S120)와, 상기 영상신호가 방송 영상신호가 아닌 사용자 동영상 신호인 경우, 사용자의 얼굴에 대한 개별 3차원 형상모델을 생성하는 단계(S130)와, 상기 사용자의 얼굴영상으로 부터 두부 운동 파라미터 및 얼굴표정 파라미터를 추출하는 단계(S140)와, 상기 개별 3차원 형상모델, 두부 운동 파라미터 및 얼굴표정 파라미터를 메모리부에 저장하는 단계(S150)와, 상기 영상신호가 방송 영상신호인 경우, 영상 등장인물 중 사용자의 합성얼굴로 맵핑되어질 대상얼굴을 선택하는 단계(S160)와, 상기 맵핑 대상얼굴의 두부 움직임 및 표정 변화에 대한 정보 추출 작업을 수행하는 단계(S170)와, 상기 정보 추출 작업이 성공적으로 수행되었는지를 확인하는 단계(S180)와, 상기 정보 추출 작업이 성공적으로 수행된경우, 상기 메모리부로 부터 사용자에 대한 개별 3차원 형상모델 , 해당 두부 운동 파라미터 및 얼굴표정 파라미터를 인출하는 단계(S190)와, 사용자에 대한 3차원 합성얼굴을 생성하는 단계(S200)와, 상기 맵핑 대상얼굴에 상기 3차원 합성얼굴을 맵핑하는 단계(S210)와, 상기 맵핑이 완료된 영상신호를 아날로그 영상신호로 변환시키는 단계(S220)와, 상기 아날로그신호를 디스플레이하는 단계(S230)로 구성되어 진다.As shown in FIG. 2, receiving a video signal (S100), converting the video signal into a digital video signal (S110), and determining whether the video signal is a broadcast video signal (S120). And, if the video signal is a user video signal rather than a broadcast video signal, the step of generating a separate three-dimensional shape model for the user's face (S130), the head motion parameters and facial expression parameters from the user's face image Extracting (S140), storing the individual three-dimensional shape model, the head movement parameters, and the facial expression parameters in a memory unit (S150); and when the video signal is a broadcast video signal, a user among video characters. Selecting a target face to be mapped to the synthetic face of the step (S160) and performing information extraction on the head movement and facial expression change of the target face to be mapped; (S170), checking whether the information extraction operation has been successfully performed (S180), and if the information extraction operation is successfully performed, the individual three-dimensional shape model for the user from the memory unit, the head movement Extracting parameters and facial expression parameters (S190), generating a three-dimensional synthetic face for the user (S200), mapping the three-dimensional synthetic face to the mapping target face (S210), and And converting the mapped video signal into an analog video signal (S220) and displaying the analog signal (S230).
상기 동영상 신호를 입력받는 단계(S100)에 있어서, 입력 동영상 신호는 방송 영상신호일 수도 있고, 사용자가 임의로 입력시키는 동영상 신호일 수도 있다.In the step of receiving the video signal (S100), the input video signal may be a broadcast video signal or a video signal arbitrarily input by a user.
또한, 상기 맵핑되어질 대상얼굴을 선택하는 단계(S160)에 있어서, 상기 영상신호 디스플레이부가 터치 스크린 형식을 취하고 있으므로, 사용자는 원하는 맵핑 대상얼굴을 상기 영상신호 디스플레이부에 터치를 함으로써, 맵핑 대상얼굴을 선택한다.In addition, in the selecting of the target face to be mapped (S160), since the video signal display unit is in the form of a touch screen, the user touches the desired mapping target face to the video signal display unit to select the target face to be mapped. Choose.
이 때, 상기 선택되어진 맵핑 대상얼굴을 인식하고, 이에 대한 분석을 수행하는 것은 상기 영상분석부이다.In this case, the image analyzer recognizes the selected mapping target face and analyzes the selected face.
도 3은 본 발명에 있어서, 대상얼굴의 두부 운동 파라미터 및 얼굴표정 파라미터를 구하기 위해 사용되어 지는 얼굴의 특징점을 보이기 위한 도면이다.FIG. 3 is a diagram for showing feature points of a face used to obtain a head motion parameter and a facial expression parameter of a target face in the present invention.
특징점은 얼굴근육의 수축, 이완에 따르는 표정변화를 잘 표현할 수 있는 점으로 선정되어 지는데, 상기 특징점을 이용하여 얼굴 표정변형규칙을 간단화할 수 있다.The feature point is selected as a point capable of expressing the expression change according to the contraction and relaxation of the facial muscle, and the facial expression deformation rule can be simplified by using the feature point.
또한, 움직임 단위 즉, AU(Action Unit)는 안면근육의 기본동작을 부호화한것으로, 얼굴의 다양한 표정은 상기 AU의 조합으로 이루어질 수 있다.In addition, the motion unit, that is, the AU (Action Unit) is the encoding of the basic motion of the facial muscles, various facial expressions may be made of a combination of the AU.
또한, 안면근육의 위치 및 움직임은 기본적으로 44개의 기본동작으로 분리되어 질 수 있다.In addition, the position and movement of the facial muscles can be basically separated into 44 basic motions.
또한, AU 넘버는 안면근육의 기본동작을 숫자화한 것인데, 예를 들어 AU1은 눈썹 내측을 올리는 것이고, AU2는 눈썹 외측을 올리는 것, AU3는 눈썹을 내리는 것이고, AU4는 윗눈꺼플을 올리는 것 등이다.In addition, the AU number is a digitization of the basic movement of facial muscles, for example, AU1 raises the inner brow, AU2 raises the outer brow, AU3 lowers the eyebrow, AU4 raises the upper eyelid, etc. to be.
또한, AU를 정량적으로 다루기 위해서는 개인차를 흡수할 수 있는 기본량이 필요한데, 얼굴표정에 관계깊은 얼굴부위의 폭 또는 길이를 기준량으로 하는데. 구체적으로, 눈썹, 윗눈꺼풀, 눈의 종폭, 입의 종횡폭등을 이용한다.In addition, in order to deal with AU quantitatively, a basic amount that can absorb individual differences is required. The reference amount is based on the width or length of the facial part that is related to facial expression. Specifically, the eyebrows, the upper eyelids, the width of the eyes, the width of the mouth and the like are used.
AU 강도는 특징점의 이동량을 기준량으로 정규화하는 것으로 한다.The AU intensity shall be normalized by the reference amount by the movement amount of the feature point.
또한, 얼굴 부위의 포함된 특징점 이외의 정점은 특징점의 움직임에 따라서 움직이는데, 이 정점의 위치는 특징점 간을 직선 또는 포물선으로 근사화해서 연결하는 것으로 결정한다.In addition, the vertices other than the included feature points of the face part move in accordance with the movement of the feature points, and the positions of the vertices are determined by approximating and connecting the feature points with a straight line or parabola.
또한, 특정점의 위치는 AU 강도와 관계되는 근육의 위치과 움직임의 방향에 의해서 결정되어 진다.In addition, the position of the specific point is determined by the position of the muscle and the direction of movement related to the AU intensity.
또한, 무표정 얼굴에 대한 3차원 형상모델의 눈썹, 눈, 코, 입, 뺨 및 턱 부분의 변화는 사방 방향에 따라 AU의 강도만큼 움직임에 의해 발생되어지고, 상기 AU 강도를 순차적으로 변환시키면, 얼굴의 자연스러운 표정에 대한 동영상을 구현해 낼 수 있다.In addition, changes in the eyebrows, eyes, nose, mouth, cheeks, and chin of the three-dimensional shape model with respect to the expressionless face are generated by the movement of AU intensity along the four directions, and if the AU intensity is sequentially converted, You can create a video about the natural look of your face.
이 때, 상기 3차원 형상모델은 수백개의 꼭지점과 수백개의 삼각형 패치로이루어져 있다.At this time, the three-dimensional shape model is composed of hundreds of vertices and hundreds of triangular patches.
도 4는 본 발명에 있어서, 표준 3차원 형상모델을 대상얼굴 영상에 정합하여 개별 3차원 형상모델로 변형시키는 과정을 보이기 위한 순서도이다.FIG. 4 is a flowchart illustrating a process of matching a standard three-dimensional shape model to a target face image and transforming the standard three-dimensional shape model into individual three-dimensional shape models.
대상얼굴의 정면상을 입력받는 단계(S300)와, 표준 3차원 형상모델을 상기 대상얼굴의 정면상에 참조시켜 어핀변환을 수행하는 단계(S310)와, 상기 변환된 3차원 형상모델에 대상얼굴의 정면상을 투영하여 비교하는 단계(S320)와, 상기 변환된 3차원 형상모델에 대한 수정을 가하는 단계(S330)로 구성되어 진다.Receiving a front image of the target face (S300), performing affine transformation by referring to a standard three-dimensional shape model on the front face of the target face (S310), and a target face to the converted three-dimensional shape model Projecting and comparing the front image of the (S320) and the step of applying a correction to the converted three-dimensional shape model (S330).
상기 표준 3차원 형상모델을 대상얼굴의 정면상에 참조시켜 어핀변환하는 단계(S310)에 있어서, 상기 어핀변환에 의해 얼굴영상의 크기, 위치, 방향을 조절하는데, 얼굴의 윤곽 및 각 부위는 가능한 정밀하게 정합되어 져야한다.In the step of affine transformation by referring to the standard three-dimensional shape model on the front face of the target face (S310), the size, position, and direction of the face image are adjusted by the affine transform. It must be precisely matched.
이 때, 얼굴의 각 부위는 눈썹, 눈, 코, 입 등을 가리킨다.At this time, each part of the face points to eyebrows, eyes, nose, mouth, and the like.
또한, 상기 변환된 3차원 형상모델에 대상얼굴의 정면상을 투영하여 비교하는 단계(320)에 있어서, 상기 변환된 3차원 형상모델의 표면은 삼각형 패치의 조합으로 이루어져 있는데, 이러한 3차원 형상모델에 대상얼굴의 정면상의 휘도정보를 투영하여, 개별 3차원 형상모델을 구성해낼 수 있다.Further, in the step (320) of comparing the front face of the target face to the converted three-dimensional shape model, the surface of the converted three-dimensional shape model is composed of a combination of triangular patches, such a three-dimensional shape model An individual three-dimensional shape model can be constructed by projecting the luminance information on the front face of the target face onto the object.
이 때, 상기 개별 3차원 형상모델이 신뢰성을 가지기 위해서는 상기 표준 3차원 형상모델이 가능한 충실한 형상모델이어야 한다.At this time, in order for the individual three-dimensional shape model to have reliability, the standard three-dimensional shape model should be a faithful shape model.
또한, 상기 3차원 형상모델에 대한 수정을 가하는 단계(S330)는 상기 투영비교에 의해 상기 3차원 형상모델에 잘못된 부분을 수정을 가한다.In addition, in the step S330 of applying a correction to the 3D shape model, a wrong part is added to the 3D shape model by the projection comparison.
이 때, 상기 비교에 의한 정보외에 다른 많은 정보를 포함하고 있는 대상얼굴의 영상이 있으면, 그것에서 다양한 정보를 추출하여, 상기 3차원 형상모델에 수정을 가하는데 이용하면, 보다 자연스러운 개별 3차원 형상모델을 구성해낼 수 있다.At this time, if there is an image of the target face that contains a lot of information other than the information obtained by the comparison, a variety of information is extracted from it and used to correct the three-dimensional shape model, a more natural individual three-dimensional shape You can construct a model.
도 5는 본 발명에 있어서, 대상얼굴로부터 두부 운동 파라미터와 얼굴 표정파라미터를 추출하기 위한 과정을 보이는 순서도이다.5 is a flowchart showing a process for extracting the head motion parameters and facial expression parameters from the target face in the present invention.
도 5에 도시된 바와 같이, 대상얼굴의 동영상을 입력받는 단계(S400)와, 대상얼굴 영상의 휘도흉배를 생성해내는 단계(S410)와, 상기 휘도흉배에 개별 3차원 형상모델을 결부시키는 단계(S420)와, 두부운동 파라미터를 추출하는 단계(S430)와, 두부운동을 보상한 얼굴영상의 휘도흉배를 생성해내는 단계(S440)와, 상기 보상 휘도흉배에서 표정변화를 추정하는 단계(S450)와, 얼굴표정 파라미터를 추출해내는 단계(S460)로 구성되어 진다.As shown in FIG. 5, a step of receiving a video of a target face (S400), generating a luminance crosstalk of the target face image (S410), and attaching an individual three-dimensional shape model to the luminance crosstalk (S420), extracting the head movement parameter (S430), generating a luminance throb of the face image that compensates for the head movement (S440), and estimating a facial expression change in the compensated luminance thrombus (S450). ), And extracting the facial expression parameters (S460).
상기 두부 운동 파라미터를 추출하는 단계(S430)에 있어서, 두부의 움직임을 강체로 간주하고, 상기 대상얼굴의 휘도흉배로 부터 3차원 두부 운동 파라미터를 추출해낸다.In the step of extracting the head motion parameters (S430), the motion of the head is regarded as a rigid body, and the three-dimensional head motion parameters are extracted from the luminance throb of the target face.
이 때, 두부의 움직임은 크게 회전 및 병진으로 구분되어지고, 그에 따라, 두부 운동 파라미터는 두부 움직임에 대한 회전운동량과 병진운동량으로 구성되어 진다.At this time, the movement of the head is largely divided into rotation and translation, and accordingly, the head motion parameter is composed of the rotational motion and the translational motion for the head motion.
또한, 상기 두부운동 파라미터 추출은 상기 휘도흉배 영역에 존재하는 전 화소를 참조하여 추출해내기 때문에 보다 정확한 정보추출이 가능하다.In addition, the head motion parameter extraction is more accurate information extraction because it is extracted by referring to all the pixels present in the luminance thoracic region.
또한, 상기 얼굴표정 파라미터를 추출하는 단계(S460)에 있어서, 얼굴표정의변화는 비강체로 간주하고, 상기 추출한 두부운동 파라미터를 적용시켜 보상된 얼굴영상의 휘도흉배로 부터 얼굴표정 변화를 추정하여, 얼굴표정 파라미터를 추출해낸다.In addition, in the step of extracting the facial expression parameter (S460), the change of facial expression is regarded as a non-rigid body, and the facial expression change is estimated from the luminance thoracic of the compensated facial image by applying the extracted head motion parameter. Extract facial expression parameters.
도 6은 본 발명에 있어서, 사용자의 3차원 합성얼굴을 생성하는 것을 보이는 순서도이다.Figure 6 is a flow chart showing the creation of a three-dimensional synthetic face of the user in the present invention.
도 6에 도시된 바와 같이, 사용자에 대한 개별 3차원 형상모델을 입력받는 단계(S500)와, 얼굴표정 파라미터를 입력받는 단계(S510)와, 상기 개별 3차원 형상모델에 상기 얼굴표정 파라미터를 적용시켜 변형시키는 단계(S520)와, 두부 운동 파라미터를 입력받는 단계(S530)와, 상기 변형된 개별 3차원 형상모델에 상기 두부 운동 파라미터를 적용시켜 회전 및 병진운동을 수행시키는 단계(S540)와, 상기 변형이 완료된 개별 3차원 형상모델에 텍스쳐 맵핑을 수행하는 단계(S550)로 구성되어 진다.As shown in FIG. 6, a step of receiving an individual three-dimensional shape model for a user (S500), a step of receiving a face expression parameter (S510), and applying the face expression parameter to the individual three-dimensional shape model. Step S520, receiving the head motion parameters (S530), applying the head motion parameters to the deformed individual three-dimensional shape model, and performing rotation and translation motions (S540); In step S550, texture mapping is performed on the individual three-dimensional shape model in which the deformation is completed.
상기 두부 운동 파라미터 및 얼굴표정 파라미터가 3차원 합성얼굴을 하기 위한 수식에 사용되어 지는 것을 보이면 다음과 같다.If the head motion parameters and facial expression parameters are used in the formula for the three-dimensional synthetic face is as follows.
임의의 화소 위치벡터를 Pi, 회전운동 행렬을 R, 병진운동 행렬을 T, 얼굴표정 파라미터를 δ라 할 때, 상기 임의의 화소위치에 대응되는 대응화소 위치벡터 Pi'는 다음 수식과 같이 주어진다.When referred to an arbitrary pixel position vector P i, the rotation matrix R, the translation matrix T, δ the facial expression parameters, corresponding pixels corresponding to the arbitrary pixel position the position vector P i 'has the following formula Is given.
이 때, 상기 수학식 1에서, δPi는 비강체의 움직임 정도, 즉 얼굴표정의 변화 정도를 의미한다.At this time, in Equation 1, δP i means the degree of movement of the non-rigid body, that is, the degree of change in facial expression.
또한, 상기 대응화소 위치벡터 Pi'를 속도벡터 Vi를 이용하여 표현하면 다음식과 같이 주어진다.In addition, when the corresponding pixel position vector P i 'is expressed using the velocity vector V i , it is given by the following equation.
이 때, 상기 수학식 2에서 Ω는 회전운동의 각속도인데, 상기 회전운동 행렬 R을 미분한 값이다.In this equation, Ω is the angular velocity of the rotational motion, which is the value obtained by differentiating the rotational motion matrix R.
또한, u는 병진운동의 속도인데, 상기 병진운동 행렬 T를 미분한 값이다.Further, u is the speed of translation, which is the derivative of the translation matrix T.
또한, 상기 속도벡터 Vi는 다음 수식과 같이 변형되어 질수 있다.In addition, the velocity vector V i may be modified as in the following equation.
Vhi= ΩPi+ uV hi = ΩP i + u
Vfi= ΩδPi V fi = ΩδP i
이 때, 상기 수학식 3에서, 상기 Vhi는 두부 움직임에 대한 속도벡터 성분, 즉, 강체 움직임에 대한 속도벡터 성분이고, 상기 Vfi는 얼굴표정의 변화에 대한 속도벡터 성분 즉, 비강체 움직임에 대한 속도벡터 성분이다.In the above Equation 3, V hi is a velocity vector component for head movement, that is, a velocity vector component for rigid body motion, and V fi is a velocity vector component for change in facial expression, that is, non-rigid motion. The velocity vector component for.
상기와 같이 사용자에 대한 개별 3차원 형상모델에 존재하는 모든 화소 위치벡터에 대해 상기 변환과정을 수행시키면, 상기 개별 3차원 형상모델은 상기 변환에 의한 두부 움직임 및 얼굴표정을 지니는 형상모델로 변환되어 진다.As described above, when the conversion process is performed on all pixel position vectors present in the individual three-dimensional shape model for the user, the individual three-dimensional shape model is converted into a shape model having head movement and facial expression by the transformation. Lose.
또한, 상기 변환 완료된 개별 3차원 형상모델에 텍스쳐 맵핑을 수행함으로써, 사용자 합성얼굴이 완성되어 지는 것이다.In addition, by performing texture mapping on the converted individual three-dimensional shape model, the user composite face is completed.
도 7은 본 발명에 있어서, 임의의 화소 위치에 대응하는 대응화소 위치를 산출하는 것을 보이기 위한 도면이다.FIG. 7 is a diagram for showing that the corresponding pixel position corresponding to an arbitrary pixel position is calculated in the present invention.
도 7에 도시된 바와 같이, 개별 3차원 형상모델에서 임의의 삼각형 패치를 삼각형 PAPBPC, 상기 삼각형 PAPBPC내에 존재하는 임의의 화소 i에 대한 3차원 위치벡터를 Pi, 상기 3차원 위치벡터 Pi와 꼭지점 PA와의 x축 벡터성분의 길이를 ti,y축 벡터성분의 길이를 si, 상기 삼각형 PAPBPC에 대응되는 대응화소 영역에 존재하는 삼각형 패치를 삼각형 PA' PB' PC', 상기 임의의 화소 i에 대한 3차원 위치벡터에 대응되는 대응화소위치 벡터를 Pi', 상기 대응화소 위치벡터 Pi'와 꼭지점 PA'와의 x축 벡터성분의 길이를 ti, y축 벡터성분의 길이를 si로 설정한다.As shown in FIG. 7, in the individual three-dimensional shape model, any triangular patch is a triangle P A P B P C , and a three-dimensional position vector for any pixel i existing in the triangle P A P B P C is P. i , the length of the x-axis vector component between the three-dimensional position vector P i and the vertex P A , t i , the length of the y-axis vector component s i , and exist in the corresponding pixel region corresponding to the triangle P A P B P C The triangle patch is a triangle P A 'P B ' P C ', the corresponding pixel position vector corresponding to the three-dimensional position vector for the arbitrary pixel i P i ', the corresponding pixel position vector P i 'and the vertex P A Set the length of the x-axis vector component to t i and the length of the y-axis vector component to s i
상기 PA, PB,PC는 두부 움직임 및 표정변화를 위한 변환을 수행하기 전의 개별 3차원 형상모델에서의 정점 위치벡터를 나타낸다.P A , P B , and P C represent the vertex position vectors in the individual three-dimensional shape models before the transformation for head movement and facial expression change.
또한, 상기 대응화소 위치벡터 Pi'는 다음 수식과 같이 주어진다.The corresponding pixel position vector P i ′ is given by the following equation.
이 때, 상기 PA' , PB' , PC'는 상기 개별 3차원 형상모델이 변형된 3차원 형상모델에서, 정점 위치벡터를 나타낸다.In this case, P A ', P B ', P C 'represents a vertex position vector in the three-dimensional shape model of the individual three-dimensional shape model is modified.
또한, 상기 Pi'가 삼각형 PA' PB' PC'에 존재함에 있어서, si,ti는 다음 조건을 만족시킨다.In addition, when P i 'is present in the triangle P A ' P B 'P C ', s i , t i satisfies the following condition.
0si,ti 10 s i , t i One
0si+ti 10 s i + t i One
또한, 상기 Pi' 에 대해 Pi를구하기 위한 역변환 수행은 다음 수식과 같이 주어지는데, 상기 변환을 선형변환으로 가정하면 si,ti는 불변이다.In addition, performing inverse transformation to obtain P i for P i 'is given by the following equation, s i , t i is invariant assuming that the transformation is a linear transformation.
또한, 임의의 화소 i에 대한 휘도치 보간을 수행함에 있어서, Pi의 위치가 정수화소 위치라면 Pi'의 휘도치는 Pi의 휘도치와 동일하다.Further, in performing the luminance value interpolation for any pixel i, if the position of P i is the integer pixel position, the luminance value of P i 'is the same as the luminance value of P i .
그러나, 일반적으로 Pi가 정수화소 위치가 아니기 때문에, Pi의 휘도치는 주변 4개 화소로 부터 보간된다.However, in general, since P i is not an integer pixel position, the luminance value of P i is interpolated from the surrounding four pixels.
Pi의 휘도치 I(xi, yi)는 쌍일차 보간을 이용하여 다음과 같이 구해진다.Luminance values I (x i , y i ) of P i are obtained as follows using bilinear interpolation.
이 때, 각 부호는 도 7을 참조하면 이해가 편리하다.At this time, it is convenient to understand each code with reference to FIG.
I(xi, n) = (m+1 - x)I(m,n) + ( xi- m)I(m+1, n)I (x i , n) = (m + 1-x) I (m, n) + (x i -m) I (m + 1, n)
I(xi, n+1) = (n+1-x)I(m,n+1) + ( xi- m)I(m+1, n+1)I (x i , n + 1) = (n + 1-x) I (m, n + 1) + (x i -m) I (m + 1, n + 1)
I(m, yi) = (n+1-y)I(m,n) + (yi -n)I(m, n+1)I (m, y i ) = (n + 1-y) I (m, n) + (y i- n) I (m, n + 1)
I(m+1, yi) = (n+1-y)I(m+1, n)+ (yi- n)I(m+1, n+1)I (m + 1, y i ) = (n + 1-y) I (m + 1, n) + (y i -n) I (m + 1, n + 1)
I(xi, yi) = {(m+1-x)I(n, yi) + (xi- m)I(m+1, yi)I (x i , y i ) = ((m + 1-x) I (n, y i ) + (x i -m) I (m + 1, y i )
+ (n+1-y)I(xi,n) + (yi-n)I(xi, n+1)} / 2+ (n + 1-y) I (x i , n) + (y i -n) I (x i , n + 1)} / 2
= (m+1-x)(n+1-y)I(m,n) + (n+1-y)(xi- m)I(m+1, n)= (m + 1-x) (n + 1-y) I (m, n) + (n + 1-y) (x i -m) I (m + 1, n)
+(m+1-x)(yi- n)I(m, n+1) + (xi- m)(yi- n)I(m+1, n+1)+ (m + 1-x) (y i -n) I (m, n + 1) + (x i -m) (y i -n) I (m + 1, n + 1)
이 때, 상기 I(m,n), I(m,n+1), I(m+1,n), I(m+1, n+1)은 화소 i의 주변 4개 화소들에 대한 각 휘도치이다.In this case, I (m, n), I (m, n + 1), I (m + 1, n), and I (m + 1, n + 1) correspond to the four surrounding pixels of pixel i. Each luminance value.
상기 같은 방법으로 모든 화소에 대해 보간을 수행하면, 두부 움직임 및 표정변화를 포함하는 개별 3차원 형상모델에 휘도치를 부여할 수 있다.When the interpolation is performed on all the pixels in the same manner, luminance values may be given to individual three-dimensional shape models including head movements and facial expression changes.
또한, 한가지 언급해 둘 사항은 상기 기술내용에서는 영상맵핑에 있어서, 얼굴맵핑에 주안점을 두어서 설명을 하였지만, 본 발명은 상기 일부 실시예에 한정되지 않고, 맵핑 대상은 얼굴, 신체 일부 등이 포함되어 질수도 있다.In addition, one point to be mentioned in the above description has been described with an emphasis on face mapping in image mapping, but the present invention is not limited to the above embodiments, and the mapping target includes a face, a body part, and the like. It can be done.
또한, 맵핑 대상이 신체 일부분인 경우는 오히려 맵핑 대상이 얼굴인 경우보다 영상분석이 보다 쉬우므로 보다 간단한 구성을 가진다.In addition, the case where the mapping target is a part of the body, rather than the case where the mapping target is a face, image analysis is easier and thus has a simpler configuration.
이상에서 설명한 바와 같이, 본 발명은 방송 동영상신호 및 사용자 얼굴 동영상 신호를 입력받는 영상신호 입력부와, 상기 영상신호를 디지탈 영상신호로 변환시키는 영상신호 A/D 변환부와, 상기 입력 얼굴영상에 대한 두부 움직임 및 표정 변화를 분석하는 영상분석부와, 3차원 합성얼굴을 생성하기 위해 영상처리를 수행하는 영상처리부와, 상기 영상분석부에 의해 획득된 입력 얼굴영상에 대한 두부 운동 파라미터 및 얼굴표정 파라미터 등을 저장하는 메모리부와, 맵핑 수행된 영상신호 혹은 원래의 방송 영상신호 중에서 택일하기 위한 영상신호 선택부와, 상기 디지탈 영상신호를 아날로그 영상신호로 변환하는 영상신호 D/A 변환부와, 상기 아날로그 영상신호를 디스플레이하기 위한 영상신호 디스플레이부로 구성되어 짐으로써,As described above, the present invention provides a video signal input unit for receiving a broadcast video signal and a user face video signal, a video signal A / D converter for converting the video signal into a digital video signal, and the input face image. An image analyzer analyzing head movement and facial expression change, an image processor performing image processing to generate a three-dimensional synthetic face, and a head motion parameter and facial expression parameter for an input face image obtained by the image analyzer A memory unit for storing an image, a video signal selection unit for selecting among the mapped video signal or the original broadcast video signal, a video signal D / A converter for converting the digital video signal into an analog video signal, and It is composed of a video signal display unit for displaying an analog video signal,
방송파 영상신호를 입력받아, 실시간으로 화면 등장인물의 얼굴을 사용자의 얼굴로 맵핑하고, 화면 등장인물의 얼굴표정의 변화에 따라 사용자의 얼굴표정도 변화시킬수 있는 효과가 있다.By receiving a broadcast wave image signal, it is possible to map a face character's face to a user's face in real time, and to change the face expression of the user as the face expression of the screen character changes.
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000003107A KR20010073916A (en) | 2000-01-22 | 2000-01-22 | Real time picture mapping device and methode |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000003107A KR20010073916A (en) | 2000-01-22 | 2000-01-22 | Real time picture mapping device and methode |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20010073916A true KR20010073916A (en) | 2001-08-03 |
Family
ID=19640724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020000003107A KR20010073916A (en) | 2000-01-22 | 2000-01-22 | Real time picture mapping device and methode |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20010073916A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100411760B1 (en) * | 2000-05-08 | 2003-12-18 | 주식회사 모리아테크놀로지 | Apparatus and method for an animation image synthesis |
| KR20110030869A (en) * | 2009-09-18 | 2011-03-24 | 삼성전자주식회사 | Apparatus and method for extracting user's third dimension facial expression |
| US9700788B2 (en) | 2011-04-22 | 2017-07-11 | Samsung Electronics Co., Ltd. | Video object detecting apparatus, video object deforming apparatus, and methods thereof |
| KR20190089450A (en) | 2018-01-22 | 2019-07-31 | 주식회사 에이펀인터렉티브 | Real-time computing method, device and 3d human character for hologram show |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930019007A (en) * | 1992-02-01 | 1993-09-22 | 조영선 | Image conversion method and image processing support device using volcanic processing technique |
| KR970007631A (en) * | 1995-07-04 | 1997-02-21 | 구자홍 | User Image Nesting Game Device and Method |
| KR19980019441A (en) * | 1998-03-18 | 1998-06-05 | 이준식 | DEVICE AND METHOD FOR IMAGE SYNTHETIC |
| JPH10240908A (en) * | 1997-02-27 | 1998-09-11 | Hitachi Ltd | Video composing method |
| KR19980066044A (en) * | 1997-01-18 | 1998-10-15 | 조영선 | Apparatus and copyrighted work for converting the main character's face and metabolism into a specific person using an image processing technique |
| JPH11306308A (en) * | 1998-04-23 | 1999-11-05 | Toppan Forms Co Ltd | Bankbook with non-contact ic |
-
2000
- 2000-01-22 KR KR1020000003107A patent/KR20010073916A/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930019007A (en) * | 1992-02-01 | 1993-09-22 | 조영선 | Image conversion method and image processing support device using volcanic processing technique |
| KR970007631A (en) * | 1995-07-04 | 1997-02-21 | 구자홍 | User Image Nesting Game Device and Method |
| KR19980066044A (en) * | 1997-01-18 | 1998-10-15 | 조영선 | Apparatus and copyrighted work for converting the main character's face and metabolism into a specific person using an image processing technique |
| JPH10240908A (en) * | 1997-02-27 | 1998-09-11 | Hitachi Ltd | Video composing method |
| KR19980019441A (en) * | 1998-03-18 | 1998-06-05 | 이준식 | DEVICE AND METHOD FOR IMAGE SYNTHETIC |
| JPH11306308A (en) * | 1998-04-23 | 1999-11-05 | Toppan Forms Co Ltd | Bankbook with non-contact ic |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100411760B1 (en) * | 2000-05-08 | 2003-12-18 | 주식회사 모리아테크놀로지 | Apparatus and method for an animation image synthesis |
| KR20110030869A (en) * | 2009-09-18 | 2011-03-24 | 삼성전자주식회사 | Apparatus and method for extracting user's third dimension facial expression |
| US9483860B2 (en) | 2009-09-18 | 2016-11-01 | Samsung Electronics Co., Ltd. | Apparatus and method to extract three-dimensional (3D) facial expression |
| US9700788B2 (en) | 2011-04-22 | 2017-07-11 | Samsung Electronics Co., Ltd. | Video object detecting apparatus, video object deforming apparatus, and methods thereof |
| KR20190089450A (en) | 2018-01-22 | 2019-07-31 | 주식회사 에이펀인터렉티브 | Real-time computing method, device and 3d human character for hologram show |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325437B (en) | Image processing method, device and system | |
| CN108573527B (en) | Expression picture generation method and equipment and storage medium thereof | |
| JP7526412B2 (en) | Method for training a parameter estimation model, apparatus for training a parameter estimation model, device and storage medium | |
| Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
| US8902232B2 (en) | Facial performance synthesis using deformation driven polynomial displacement maps | |
| KR20190110227A (en) | Apparatus and method for generating synthetic learning data for motion recognition | |
| CN113822977A (en) | Image rendering method, device, equipment and storage medium | |
| JP2010507854A (en) | Method and apparatus for virtual simulation of video image sequence | |
| US11055892B1 (en) | Systems and methods for generating a skull surface for computer animation | |
| Thalmann et al. | Modeling of populations | |
| CN108537162A (en) | The determination method and apparatus of human body attitude | |
| Chalás et al. | Generating various composite human faces from real 3D facial images | |
| Marques et al. | Deep Light Source Estimation for Mixed Reality. | |
| CN117333604A (en) | Character face replay method based on semantic perception nerve radiation field | |
| KR20010084996A (en) | Method for generating 3 dimension avatar using one face image and vending machine with the same | |
| US20230273318A1 (en) | System and method of capturing three-dimensional human motion capture with lidar | |
| KR20010073916A (en) | Real time picture mapping device and methode | |
| Whitrow | OpenGL graphics through applications | |
| Winnemoller | Perceptually-motivated non-photorealistic graphics | |
| Dutreve et al. | Real-time dynamic wrinkles of face for animated skinned mesh | |
| US20240242430A1 (en) | Model Reconstruction Method, Model Processing Method and Apparatus, Device, System, and Medium | |
| CN108564648B (en) | Imaging method and device based on human body attitude | |
| Zhang et al. | Synthesis of 3D faces using region‐based morphing under intuitive control | |
| Zhang et al. | Face modeling and editing with statistical local feature control models | |
| Dib et al. | MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| NORF | Unpaid initial registration fee |