KR100682978B1 - System to extract optical characteristic maps from one's photographic face images and its method - Google Patents

System to extract optical characteristic maps from one's photographic face images and its method Download PDF

Info

Publication number
KR100682978B1
KR100682978B1 KR1020050082085A KR20050082085A KR100682978B1 KR 100682978 B1 KR100682978 B1 KR 100682978B1 KR 1020050082085 A KR1020050082085 A KR 1020050082085A KR 20050082085 A KR20050082085 A KR 20050082085A KR 100682978 B1 KR100682978 B1 KR 100682978B1
Authority
KR
South Korea
Prior art keywords
image
map
face
standard
light source
Prior art date
Application number
KR1020050082085A
Other languages
Korean (ko)
Inventor
김해동
이인호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Application granted granted Critical
Publication of KR100682978B1 publication Critical patent/KR100682978B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

A system for extracting an optical characteristic map of a face by using an image and a method therefor are provided to analyze an image acquired after a face of a person is directly photographed, divide the image into maps according to an optical characteristic of a face surface, extract map data, analyze the map data, and combine the analyzed map data to reproduce actual face expression. An image acquiring unit(10) acquires real images of a face by using a reference image sensing device known after an optical characteristic is obtained. A map extracting and reproducing unit(20) analyzes the real face images acquired in the image acquiring unit(10), divides the analyzed faced images into maps according to the optical characteristic, extracts map data, analyzes and combines the extracted map data to be suitable for reproduction conditions, and expresses a real face.

Description

영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그 방법{System to extract optical characteristic maps from one's photographic face images and its method}System to extract optical characteristic maps from one's photographic face images and its method}

도 1은 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템의 일실시예 구성도,1 is a configuration diagram of an optical characteristic map extraction system of a face using an image according to the present invention;

도 2는 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법에 대한 일실시예 전체 흐름도,2 is a flowchart illustrating a method for extracting an optical characteristic map of a face using an image according to the present invention;

도 3은 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법 중 이미지 획득 과정에 대한 일실시예 상세 흐름도,3 is a detailed flowchart illustrating an image acquisition process in an optical characteristic map extraction method of a face using an image according to the present invention;

도 4a 내지 도 4d는 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법 중 환경 설정 과정에 대한 일실시예 상세 설명도,4A to 4D are detailed diagrams illustrating an environment setting process in an optical characteristic map extraction method of a face using an image according to the present invention;

도 5는 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법 중 맵 추출 및 재현 과정에 대한 일실시예 상세 흐름도이다.5 is a detailed flowchart illustrating a map extraction and reproduction process in the optical characteristic map extraction method of the face using the image according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

10 : 이미지 획득부 20 : 맵 추출 및 재현부10: image acquisition unit 20: map extraction and reproduction unit

100 : 표준 광원 발생부 200 : 표준 이미지 센싱 장치100: standard light source generator 200: standard image sensing device

210 : 노출 조절 장치 300 : 얼굴 고정 장치210: exposure control device 300: face lock

400 : 편광필터 동기 장치 500 : 위치 변경 장치400: polarization filter synchronization device 500: position changing device

600 : 이미지 데이터 해석 모듈 700 : 맵 추출 모듈600: image data analysis module 700: map extraction module

800 : 맵 해석 모듈 900 : 반사 장치800: map analysis module 900: reflector

본 발명은 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 사람 얼굴 이미지(또는 영상)를 직접 촬영하고 얼굴 표면의 광학적 특성에 따른 맵들로 분리하는 시스템을 구성하고, 그 시스템을 이용하여 추출한 광학적으로 잘 분리된 맵 데이터를 이용하여 컴퓨터그래픽스(computer graphics) 방식으로 사실적인 얼굴을 표현할 때 맵 데이터를 효과적으로 활용할 수 있도록 하기 위한, 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그 방법에 관한 것이다.The present invention relates to a system for extracting an optical characteristic map of a face using an image and a method thereof, and more particularly, to construct a system for directly photographing a human face image (or image) and separating it into maps according to optical characteristics of a face surface. Using the optically separated map data extracted by the system, the extraction of the optical characteristic map of the face using the image to effectively use the map data when expressing the realistic face by computer graphics method A system and method thereof are provided.

본 발명에서 영상이란 디지털 영상 또는 이미지 데이터(이하 간단히 "이미지"라 칭함)를 의미하며, 이미지 센싱 장치에 의해 생성되는 원본 실사 영상(photograph)과, 시뮬레이션 결과에 의해 생성되는 사실적인 영상(photorealistic image)으로 구분된다.In the present invention, the image refers to digital image or image data (hereinafter simply referred to as "image"), and is an original photorealistic image generated by the image sensing device and a photorealistic image generated by a simulation result. ).

즉, 본 발명에서 원본 실사 영상은 이미지 센싱 장치에 의해 빛 에너지를 인간이 지각해 볼 수 있는 형태로 바꾸어 데이터화한 것으로서, 광원으로부터 방출된 빛 에너지가 물체(본 발명에서는 일예로 얼굴)에 반사되고, 최종적으로 이미지 센싱 장치에 의해 변환되어 표현된 것이고, 사실적인 영상은 본 발명에 따른 시스템을 활용하여 컴퓨터그래픽스 방식을 사용하여 생성되는 결과이다. 즉, 본 발명은 얼굴에 대한 광학적 특성이 포함되도록 원본 실사 영상들을 획득할 수 있는 구성과, 상기 획득된 원본 실사 영상들로부터 필요한 맵 데이터를 추출하고 해석하여 사실적 영상 표현에 활용할 수 있도록 하기 위한 방식에 관한 것이다.That is, in the present invention, the original live-action image is data obtained by converting light energy into a form that can be perceived by a human by an image sensing device, and the light energy emitted from the light source is reflected on an object (face in the present invention). Finally, the image is converted and expressed by the image sensing device, and the realistic image is a result generated by using a computer graphics method using the system according to the present invention. That is, the present invention provides a configuration capable of acquiring original photorealistic images so that optical characteristics of a face are included, and a method for extracting and interpreting necessary map data from the obtained original photorealistic images and using them in a realistic image representation. It is about.

종래에는 디지털 액터의 얼굴 맵 데이터를 추출하기 위해서, 우선 실제 액터의 얼굴을 촬영한 이미지를 얻는다. 그 구체적인 방식으로는, 얼굴의 고유색에 해당하는 얼굴색 맵(face color map) 데이터를 얻기 위하여 최대한 고르게 얼굴에 비치도록 광원을 설치하고 얼굴에 반사가 일어나지 않도록 화장을 하여 얻는 촬영에 의한 방식과, 반사가 있는 이미지로부터 이미지 편집 툴을 이용하여 수작업에 의해 반사 부분을 제거하여 얻는 방식이 있다.Conventionally, in order to extract face map data of a digital actor, first, an image of a face of an actual actor is obtained. As a specific method, in order to obtain face color map data corresponding to an intrinsic color of a face, a method of photographing obtained by installing a light source to be reflected on the face as evenly as possible and applying makeup to prevent reflection on the face, and reflection There is a way to remove the reflections manually by using an image editing tool from the image.

그리고 얼굴을 사실적으로 표현하기 위해서는 얼굴의 모공이나 주름 정보를 포함하는 맵 데이터를 필요로 하고, 얼굴 피부의 검은 정도와 붉은 정도를 나타내는 척도로 멜라닌과 헤모글로빈의 분포를 필요로 한다. 이러한 정보들은 개별적인 이미지 처리 방식에 의해 생성되거나, 사람이 경험에 의한 분포 맵 데이터를 생성함으로써 구현이 가능하다. 그러나 상기 개별적인 이미지 처리 방식은 각 조건에서만 처리되므로 통합되고 일관된 정보를 제공하지 못해 왔고, 상기 경험에 의한 방 식은 부정확한 근사 결과이므로 정확한 얼굴 피부의 반사 모델과 결합되어도 사실적인 이미지 재현에는 한계가 있어 왔다.In order to realistically express the face, map data including information on the pores and wrinkles of the face is required, and the distribution of melanin and hemoglobin is required on a scale representing the blackness and redness of the face skin. Such information may be generated by individual image processing methods, or may be implemented by generating distribution map data based on human experience. However, since the individual image processing methods are processed only in each condition, they have not been able to provide integrated and consistent information, and since the experience method is an inaccurate approximation result, there is a limit to realistic image reproduction even when combined with an accurate facial skin reflection model. come.

종래의 대한민국공개특허공보 제2003-48913호(3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치, 2003. 6. 25일 공개)에는, 정면과 적어도 하나의 측면 영상을 이용하여 필요한 부분을 소정 중심부를 이용하여 확대하고 이미지를 보간하여 텍스쳐를 생성하는 방법이 제시되어 있다. 그러나 이 종래 기술은 광학적 특성 맵 추출 방식이 아니라, 기본 영상을 변형하여 텍스쳐를 생성하는 방법으로, 확대 보간에 의한 왜곡 발생 가능성이 높아 고품질 텍스쳐에는 부적합하다.Korean Patent Laid-Open Publication No. 2003-48913 (Method and Apparatus for Generating Textures for Three-Dimensional Face Models, published on June 25, 2003) uses a front and at least one side image to display a required portion of a predetermined center portion. A method of creating a texture by zooming in and interpolating an image is presented. However, the conventional technique is not an optical characteristic map extraction method, but a method of generating a texture by modifying a basic image, which is not suitable for high quality texture due to high possibility of distortion caused by enlarged interpolation.

그리고 종래의 대한민국공개특허공보 제2003-87866호(얼굴 영상 자동 촬영 시스템 및 그 방법, 2005. 11. 15일 공개)에는, 조명과 카메라 촬영각도를 자동 조정할 수 있는 얼굴 촬영 시스템 및 그 방법이 제시되어 있다. 그러나 이 종래 기술은 조명 및 촬영각도 자동 조정 등과 같이 단순히 편리한 촬영 방법만을 제시하고 있을 뿐, 고품질 텍스쳐 등에 관련된 기술의 제시가 없다.In addition, Korean Patent Laid-Open Publication No. 2003-87866 (a face image automatic photographing system and method thereof, published on November 15, 2005) presents a face photographing system and a method for automatically adjusting lighting and camera photographing angles. It is. However, this conventional technology merely suggests a convenient shooting method such as automatic adjustment of illumination and shooting angle, and there is no suggestion of a technology related to high quality texture.

그리고 종래의 미국특허 제6888634호(Apparatus and method for measuring optical characteristics of an object)는 물체의 특정 지점의 정확한 광학적 특성을 측정하기 위한 시스템으로, 다양한 칼라 분광 포토메터(color spectral photometer) 구성 형태의 방식을 제시하고 있다. 그러나 이 종래 기술은 광(빛) 자체를 측정(주로 특정 지점, point-based)하여 물체의 특정 지점의 정확한 광학적 특성을 찾아내는 기술로, 디지털 콘텐츠와 같은 영역 내의 변위를 갖는 것을 모두 측정해야 하므로 고품질 콘텐츠를 제작하는 장치로 직접 활용하기에는 부적합하고, 대신에 선형(line-based) 또는 영역(area-based) 장치를 위한 참조 데이터로서의 활용에 더 적합하다.In addition, US Pat. No. 6,883,634 (Apparatus and method for measuring optical characteristics of an object) is a system for measuring accurate optical characteristics of a specific point of an object, a method of forming various color spectral photometers Presenting. However, this conventional technique is a technique of measuring the light itself (point-based mainly) to find out the exact optical characteristics of a specific point of an object. It is not suitable for direct use as a device for producing content, but instead is more suitable for use as reference data for a line-based or area-based device.

그리고 종래의 미국특허 제6850274호(Image texture mapping camera)는, 이미지 촬영으로 아트카드(ArtCard)라는 부가적인 이미지를 촬영된 영상에 텍스쳐 매핑한 결과를 생성할 수 있게 카메라를 구성하는 방식을 제시하고 있다. 그러나 이 종래 기술은 아트카드(ArtCard)라는 부가 데이터를 텍스쳐 매핑한 결과로 영상 획득이 가능한 카메라 구성 방식에 대한 것으로, 원 영상을 변경하는 것을 특징으로 할 뿐, 고품질 텍스쳐 방식으로 이용하기 어렵고 구체적인 방식을 제시하지 못하고 있다.In addition, US Patent No. 6850274 (Image texture mapping camera) proposes a method of configuring the camera to generate a result of the texture mapping of an additional image called ArtCard to the photographed image by image capture have. However, this prior art is about a camera configuration method capable of acquiring an image as a result of texture mapping an additional data called an ArtCard, and is characterized by changing the original image, and is difficult to use as a high quality texture method and is a specific method. Has not been presented.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 사람의 얼굴을 직접 촬영하여 획득한 이미지를 분석하여 얼굴 표면의 광학적 특성에 따른 맵들로 분리하여 맵 데이터를 추출하고, 상기 맵 데이터를 해석하여 사실적인 얼굴 표현을 재현할 수 있도록 조합하기 위한, 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, by analyzing an image obtained by directly photographing the face of a person to separate the map data into maps according to the optical characteristics of the surface of the face, and to analyze the map data It is an object of the present invention to provide an optical characteristic map extraction system and a method for extracting a face using an image for combination to reproduce a typical facial expression.

즉, 본 발명은 광학적 특성이 알려진 이미지 센싱 장치를 포함하는 이미지 획득부를 이용하여 얼굴 이미지를 처리하기 좋은 상태로 획득하고, 그 획득한 이미지를 분석하여 광학적 특성에 맞는 맵들로 분리하여 맵 데이터를 추출하고, 상기 추출한 맵 데이터를 사실적으로 얼굴을 표현하기 위해 해석하여 조합하기 위한, 영 상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그 방법을 제공하는데 그 목적이 있다.That is, according to the present invention, a face image is obtained by using an image acquisition unit including an image sensing device of which optical properties are known, and the map data is extracted by analyzing the acquired image and separating the map image into maps suitable for the optical properties. It is an object of the present invention to provide a system for extracting an optical characteristic map of a face using an image and a method for analyzing and combining the extracted map data in order to realistically express a face.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명의 시스템은, 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템에 있어서, 광학적 특성이 구해져 알려진 표준 이미지 센싱 장치를 이용하여 얼굴의 실제 이미지들을 획득하기 위한 이미지 획득 수단; 및 상기 이미지 획득 수단에서 획득한 실제 얼굴 이미지를 분석하여 광학적 특성에 따른 맵들로 분리하여 맵 데이터를 추출하고, 상기 분리하여 추출한 맵 데이터들을 재현 상황에 맞게 해석 및 조합하여 사실적으로 얼굴을 표현하는데 활용되도록 하기 위한 맵 추출 및 재현 수단을 포함한다.A system of the present invention for achieving the above object, the system for extracting the optical characteristic map of the face using the image, the image acquisition means for acquiring the actual images of the face by using a standard image sensing device known optical properties; And extracting map data by analyzing real face images acquired by the image acquiring means into maps according to optical characteristics, and interpreting and combining the separated map data according to a reproduction situation, and using the same to realistically express a face. Map extracting and reproducing means to enable.

한편, 본 발명의 방법은, 영상을 이용한 얼굴의 광학 특성 맵 추출 방법에 있어서, 광학적 특성이 구해져 알려진 표준 이미지 센싱 장치를 이용하여 얼굴의 실제 이미지들을 획득하는 이미지 획득 단계; 상기 획득한 실제 얼굴 이미지를 분석하여 광학적 특성에 따른 맵들로 분리하여 맵 데이터를 추출하는 맵 추출 단계; 및 상기 분리하여 추출한 맵 데이터들을 재현 상황에 맞게 해석 및 조합하여 사실 적으로 얼굴을 표현하는데 활용되도록 하는 맵 해석 단계를 포함한다. On the other hand, the method of the present invention, the method for extracting the optical characteristic map of the face using the image, the image acquisition step of acquiring the actual images of the face using a known standard image sensing device obtained optical properties; A map extraction step of extracting map data by analyzing the obtained real face image and separating the maps into maps based on optical characteristics; And a map analysis step of interpreting and combining the separated and extracted map data according to the reproduction situation so as to be used to realistically express the face.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템의 일실시예 구성도이다.1 is a configuration diagram of an optical characteristic map extraction system of a face using an image according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템은, 광학적 특성이 구해져 알려진 표준 이미지 센싱 장치(200)를 이용하여 얼굴의 실제 이미지들을 처리하기 좋은 상태로 획득하기 위한 이미지 획득부(10)와, 상기 이미지 획득부(10)에서 획득한 실제 얼굴 이미지를 분석하여 광학적 특성에 맞는 맵들로 분리하여 맵 데이터를 추출하고, 상기 분리하여 추출한 맵 데이터들을 재현 상황에 맞게 해석 및 조합하여 사실적으로 얼굴을 표현하는데 활용되도록 하기 위한 맵 추출 및 재현부(20)를 구비한다.As shown in FIG. 1, the system for extracting an optical characteristic map of a face using an image according to an exemplary embodiment of the present invention may be used to process real images of a face by using a standard image sensing device 200 in which an optical characteristic is obtained and known. Analyze the image acquisition unit 10 for acquiring and the real face image acquired by the image acquisition unit 10 to extract map data by dividing the map data into maps suitable for optical characteristics, and reproduce the separated map data. It is provided with a map extraction and reproducing unit 20 to be interpreted and combined to suitably use to realistically express the face.

상기한 바와 같은 구성을 갖는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템의 각 구성 요소에 대하여 좀 더 구체적으로 설명하면 다음과 같다.Each component of the optical characteristic map extraction system of the face using the image having the above configuration will be described in more detail as follows.

먼저, 주로 하드웨어 장치로 구현되어 처리할 데이터를 생성하는 역할을 하 는 이미지 획득부(10)는, 표준 광원을 발생하여 물체에 조명을 제공하기 위한 표준 광원 발생부(100), 이미지를 획득하고 해석을 용이하게 하기 위해 광학적 특성을 알고 있는 표준 이미지 센싱 장치(200)와 노출 조절 장치(210), 대상물인 얼굴을 고정하기 위한 얼굴 고정 장치(300), 처리가 용이한 형태로 조건을 만들기 위해 사용되는 편광필터 동기 장치(400), 및 최적 조건으로 데이터를 획득하기 위하여 구성요소의 위치를 변경하기 위한 위치 변경 장치(500)를 포함한다.First, the image acquisition unit 10, which is mainly implemented as a hardware device and generates data to be processed, obtains a standard light source generation unit 100, an image for generating a standard light source, and provides illumination to an object. In order to facilitate the analysis, a standard image sensing device 200 and an exposure control device 210 that know optical characteristics, a face fixing device 300 for fixing an object face, and an easy-to-process form A polarization filter synchronizing device 400 to be used, and a position changing device 500 for changing the position of the component in order to obtain data under optimum conditions.

여기서, 상기 위치 변경 장치(500)는 상기 표준 이미지 센싱 장치(200)의 위치나 표준 광원 발생부(100)의 위치를 변경시킬 수 있다. 그리고 상기 표준 이미지 센싱 장치(image sensing device)는 이미지 센서를 내장하여 상용화된 장치로서, 일예로 카메라 등이 이에 해당된다.Here, the position change device 500 may change the position of the standard image sensing device 200 or the position of the standard light source generator 100. The standard image sensing device is a commercially available device that incorporates an image sensor. For example, the standard image sensing device corresponds to a camera.

그리고 반사 장치(900)는 본 발명의 부가 구성요소로서, 거울과 같은 반사체를 이용하여 획득하고자 하는 대상체(얼굴)의 특정 부위를 이미지 센싱 장치(200)로 획득할 수 있도록 방향 조절 기능이 포함된 장치이다. 즉, 다수의 표준 이미지 센싱 장치(200)로부터 각 부분의 대상체(얼굴) 부위 데이터 획득 효과를, 상기 반사 장치(900)의 반사체에 반사된 정보를 함께 획득함으로써 하나의 표준 이미지 센싱 장치(200)를 이용하여 한꺼번에 얻을 수 있도록 한다.In addition, the reflecting apparatus 900 is an additional component of the present invention, and includes a direction control function so that the image sensing apparatus 200 may acquire a specific portion of an object (face) to be acquired by using a reflector such as a mirror. Device. That is, one standard image sensing device 200 is obtained by acquiring an object (face) area data acquisition effect of each part from the plurality of standard image sensing devices 200 together with information reflected by the reflector of the reflecting device 900. Use to get all at once.

한편, 상기 획득한 이미지들을 가공 처리하는 역할을 하는 맵 추출 및 재현부(20)는, 상기 이미지 획득부(10)에서 획득한 이미지 데이터를 해석하여 이미지 처리를 위해 필요한 정보(예 : 이미지 크기, 초점 거리, 이미지 색조, 이미지 색분포 등)를 획득하기 위한 이미지 데이터 해석 모듈(600), 상기 이미지 데이터 해석 모듈(600)에서 해석한 이미지 데이터 쌍으로부터 필요한 맵 데이터를 추출하기 위한 맵 추출 모듈(700), 및 상기 맵 추출 모듈(700)에서 추출한 맵들을 조합하여 상황에 맞게 해석하기 위한 맵 해석 모듈(800)을 포함한다. 상기 각 구성요소에 대해서는 도 2에서 좀 더 상세히 후술하기로 한다.Meanwhile, the map extracting and reproducing unit 20, which processes the acquired images, analyzes the image data acquired by the image obtaining unit 10 to obtain information (eg, image size, focus, etc.) necessary for image processing. Image data analysis module 600 for obtaining distance, image color tone, image color distribution, etc., and map extraction module 700 for extracting necessary map data from the image data pair analyzed by the image data analysis module 600. , And a map analysis module 800 for combining the maps extracted by the map extraction module 700 and interpreting them according to a situation. Each component will be described later in more detail with reference to FIG. 2.

도 2는 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법에 대한 일실시예 전체 흐름도이다.2 is a flowchart illustrating a method of extracting an optical characteristic map of a face using an image according to an exemplary embodiment of the present invention.

먼저, 이미지 획득부(10)에서 광학적 특성이 구해져 알려진 표준 이미지 센싱 장치(200)를 이용하여 얼굴의 실제 이미지들을 처리하기 좋은 상태로 획득한다(201).First, an optical characteristic is obtained from the image obtaining unit 10 and obtained using a known standard image sensing device 200 to obtain real images of a face in a state where it is easy to process (201).

이를 좀 더 구체적으로 살펴보면, 이미지 획득부(10)에서 맵 데이터를 생성하기 위한 원본 이미지를 획득하는 방식으로는, 표준 광원 발생부(100)와 표준 이미지 센싱 장치(200)에 동일한 방향의 편광필터를 사용하여 이미지를 획득하는 제 1 방식, 표준 광원 발생부(100)와 표준 이미지 센싱 장치(200)가 서로 직교인 방향의 편광필터를 사용하여 이미지를 획득하는 제 2 방식, 및 표준 광원 발생부(100)와 표준 이미지 센싱 장치(200)에 편광필터를 사용하지 않고 이미지를 획득하는 제 3 방식 등이 있다. 참고적으로, 상기 편광필터를 사용하여 이미지를 획득한다고 함은, 표준 광원 발생부(100)의 빛이 편광필터를 통하여 대상체에 도달하고, 대상체로부터 반사된 빛도 상기 편광필터를 통하여 표준 이미지 센싱 장치(200)에 도달하여 이미지가 획득됨을 의미한다.In more detail, as a method of obtaining an original image for generating map data in the image acquisition unit 10, the polarization filter of the same direction is provided to the standard light source generator 100 and the standard image sensing device 200. A first method of acquiring an image using the second method, a second method of acquiring an image using a polarization filter in which the standard light source generating unit 100 and the standard image sensing device 200 are perpendicular to each other, and the standard light source generating unit A third method of acquiring an image without using a polarization filter in the 100 and the standard image sensing device 200 may be performed. For reference, acquiring an image by using the polarization filter means that the light of the standard light source generator 100 reaches the object through the polarization filter, and the light reflected from the object also senses the standard image through the polarization filter. It means that the device 200 is reached and an image is acquired.

여기서, 상기 제 3 방식은 편광필터의 영향을 배제할 목적으로 선택적으로 활용할 수 있다. 한편, 편광필터의 특성을 알고 그 편광필터에 의한 색의 변화를 제거할 수 있거나, 편광필터에 의한 색 변화가 콘텐츠 제작에 크게 영향을 주지 않는 경우에는 상기 제 1 방식과 제 2 방식에 의해 획득된 이미지로 처리할 수 있다.Here, the third method may be selectively used for the purpose of excluding the influence of the polarization filter. On the other hand, when the characteristics of the polarizing filter are known and the color change by the polarizing filter can be eliminated, or the color change by the polarizing filter does not significantly affect the content production, the first and second methods are acquired. Can be processed into an image.

이후, 상기 이미지 획득부(10)에서 획득한 실제 얼굴 이미지를 분석하여 광학적 특성에 맞는 맵들로 분리하여 맵 데이터를 추출한다(202).Thereafter, the actual face image acquired by the image acquisition unit 10 is analyzed and separated into maps suitable for the optical characteristics to extract map data (202).

이를 좀 더 구체적으로 살펴보면, 맵 추출 과정(202)에서는, 상기 이미지 획득 과정(201)에서 반짝임(specular) 특성이 제거된 경우인 제 1 방식에 의해 획득한 이미지와, 반짝임 특성이 포함된 경우인 제 2 방식에 의해 획득한 이미지의 차를 이용하여 색깔 맵(diffuse color map), 반짝임 맵(specular map), 주름 분포 맵(wrinkle distribution map), 및 모공 분포 맵(pore distribution map) 등을 추출할 수 있다. 그 외에도, 이미지 데이터 분포를 색과 명도에 의해 구한 후, PCA(Principal Component Analysis) 방식을 사용하여 피부에 검은색 특성을 좌우하는 멜라닌 분포 맵(melanin distribution map)과 붉은색 특성을 좌우하는 헤모글로빈 분포 맵(hemoglobin distribution map)을 구할 수 있다.In more detail, in the map extraction process 202, the image obtained by the first method, which is the case where the splicing characteristic is removed in the image acquisition process 201, and the case where the sparkling characteristic is included A color map, a specular map, a wrinkle distribution map, a pore distribution map, and the like may be extracted using the difference of the image acquired by the second method. Can be. In addition, after determining the image data distribution by color and brightness, the melanin distribution map that determines the black characteristics on the skin and the hemoglobin distribution that determines the red characteristics using the Principal Component Analysis (PCA) method. A hemoglobin distribution map can be obtained.

이후, 상기 분리하여 추출한 맵 데이터들을 재현 상황에 맞게 해석 및 조합하여 사실적으로 얼굴을 표현하는데 활용되도록 한다(203).Thereafter, the separated and extracted map data are interpreted and combined according to the reproduction situation to be used to realistically express the face (203).

이를 좀 더 구체적으로 살펴보면, 맵 해석 과정(203)은, 상기 맵 추출 과정(202)에서 추출된 맵들을 역으로 조합하는 과정으로, 광원과 시점에 의해 발생하는 기본적인 밝기인 퐁(Phong), 블린(Blinn)이나 피부광학 모델(skin optics model)과 같은 조명모델(illumination model)에 의해 계산된 결과와, 색깔 맵(diffuse color map)을 포함한 모공 분포 맵, 주름 분포 맵, 멜라닌 분포 맵, 헤모글로빈 분포 맵을 조합하여 최종 색을 표현한다. 그리고 반짝임 맵을 활용하여 법선 분포 맵(normal distribution map)을 구함으로써, 애니메이션이나 광원 또는 시점의 변동에 따른 반짝이는 부분이나 모공, 주름을 강조 또는 완화시키는 작용을 처리할 수 있다.In more detail, the map analysis process 203 is a process of inversely combining the maps extracted in the map extraction process 202, which is a basic brightness generated by a light source and a viewpoint, Phong, and Blin. Results calculated by illumination models such as Blinn and skin optics models, pore distribution maps including diffuse color maps, wrinkle distribution maps, melanin distribution maps, and hemoglobin distributions. The map is combined to represent the final color. In addition, by obtaining a normal distribution map using the glitter map, the function of emphasizing or alleviating glittering parts, pores, and wrinkles caused by animations, light sources, or viewpoint changes can be handled.

전술한 바와 같이, 이미지 획득부(10)에서 획득된 이미지는 맵 추출 및 재현부(20)에 의해 광학 특성별로 분리되는 맵 추출 과정(202)과 추출 결과물을 상황에 맞게 처리하기 위한 맵 해석 과정(203)에 따라 처리되어 고품질 디지털 콘텐츠 제작에 사용된다.As described above, the image acquired by the image acquisition unit 10 is a map extraction process (202) separated by the optical characteristics by the map extraction and reproduction unit 20 and a map analysis process for processing the extraction result according to the situation ( 203) and used for the production of high quality digital content.

도 3은 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법 중 이미지 획득 과정에 대한 일실시예 상세 흐름도이다.3 is a detailed flowchart illustrating an image acquisition process in the method for extracting an optical characteristic map of a face using an image according to the present invention.

먼저, 얼굴을 촬영하기 위한 하드웨어적 시스템의 환경을 설정한다(301). 이에 대해서는 도 4a 내지 도 4d를 참조하여 상세히 후술하기로 한다.First, an environment of a hardware system for photographing a face is set (301). This will be described later in detail with reference to FIGS. 4A to 4D.

이후, 전술한 제 1 내지 제 3 방식(3가지의 이미지 획득 방식으로, 경우에 따라서는 제 1 방식과 제 2 방식을 포함하는 2가지 방식도 가능)에 따라 '필터 사용 또는 필터 미사용'으로 대상체(사람 얼굴)를 촬영하여 이미지 쌍을 획득한다(302). 즉, '필터 사용'은 제 1 방식과 제 2 방식을 의미하는 필수 이미지 쌍이고, '필터 미사용'은 제 3 방식으로 필요에 따라 제 1 방식 또는 제 2 방식과 쌍을 이루어 편광필터의 색변경 효과를 제거하기 위해 사용된다.Subsequently, the object may be set to 'use filter or not use filter' according to the aforementioned first to third methods (three types of image acquisition methods, and in some cases, two methods including the first method and the second method). A person pair is photographed to acquire an image pair (302). That is, 'use filter' is an essential image pair meaning the first method and the second method, and 'no filter use' is the third method, paired with the first method or the second method as necessary to change the color of the polarization filter. It is used to eliminate the effect.

이후, 상기 촬영 결과로 나오는 이미지 쌍을 저장한다(303).Thereafter, the image pair resulting from the photographing result is stored (303).

도 4a 내지 도 4d는 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추 출 방법 중 환경 설정 과정에 대한 일실시예 상세 설명도이다.4A through 4D are detailed diagrams illustrating an environment setting process in the method for extracting an optical characteristic map of a face using an image according to the present invention.

본 발명에서는, 전술한 이미지 획득 과정(201)에서 제시한 제 1 내지 제 3 방식(3가지의 이미지 획득 방식으로, 경우에 따라서는 제 1 방식과 제 2 방식을 포함하는 2가지 방식도 가능)을 만족하면서 원하는 이미지를 얻을 수 있다면, 실시예로 보인 도 4a 내지 도 4d의 환경 설정 예들 중 어느 하나를 선택할 수 있고, 그 외의 다른 방식으로 환경을 설정할 수도 있다.In the present invention, the first to the third method presented in the above-described image acquisition process 201 (three methods of image acquisition, two methods including the first method and the second method may be possible in some cases) If it is possible to obtain a desired image while satisfying the present invention, one of the environment setting examples of FIGS. 4A to 4D shown as an embodiment may be selected, and the environment may be set in other ways.

도 4a 내지 도 4d의 예들은 얼굴의 모든 부위가 이미지상의 크기와 기하학적 크기의 비가 최대한 일정하도록 하기 위한 여러 방식 중, 살아있는 사람의 움직임을 최소로 하면서 상기 일정 비율 유지를 위한 표준 이미지 센싱 장치 배치의 한 예이므로, 배치 방식은 도 4a 내지 도 4d에 제시되는 방식에만 한정되는 것이 아니고 또한 표준 광원 발생부(100)의 수나 표준 이미지 센싱 장치(200)의 수도 도시된 수나 위치에 한정되는 것이 아니다.The examples of FIGS. 4A-4D illustrate a standard image sensing device arrangement for maintaining the ratio while minimizing the movement of a living person, among other ways to ensure that all parts of the face have a constant ratio of size and geometric size on the image. As an example, the layout method is not limited to the method shown in FIGS. 4A to 4D, and the number of the standard light source generators 100 and the number of the standard image sensing devices 200 are not limited to the illustrated number or positions.

도 4a는 표준 이미지 센싱 장치(200)와 표준 광원 발생부(100)를 한 쌍으로 하여 동일한 위치에 배치한 경우를 나타내는 도면으로, 대상체를 고정하고, 표준 이미지 센싱 장치(200)와 표준 광원 발생부(100)를 한 쌍으로 하여 동일한 위치에 배치하며, 대상체 전체에 대한 이미지 데이터를 얻을 수 있는 위치들에 표준 이미지 센싱 장치(200)를 복수로 배치하거나 그에 상응하게 배치하고, 이미지 쌍을 구할 때 대상체의 기하학적 변화가 최소화되고 대상체에 그림자가 생기지 않게 광원 세기나 광원을 배치한 경우를 나타난다.4A is a diagram illustrating a case in which the standard image sensing device 200 and the standard light source generating unit 100 are disposed in the same position by pairing the object, and the object is fixed and the standard image sensing device 200 and the standard light source are generated. A plurality of standard image sensing devices 200 may be disposed or correspondingly disposed at positions where the image 100 for the entire object may be obtained by arranging the unit 100 in pairs, and an image pair may be obtained. When the geometric change of the object is minimized and the light source intensity or the light source is arranged so that no shadow occurs on the object.

도 4b는 표준 이미지 센싱 장치(200)와 표준 광원 발생부(100)를 각각 서로 다른 위치에 배치한 경우를 나타내는 도면으로, 대상체를 고정하고, 표준 이미지 센싱 장치(200)와 표준 광원 발생부(100)를 각각 서로 다른 위치에 배치하며, 대상체 전체에 대한 이미지 데이터를 얻을 수 있는 위치들에 표준 이미지 센싱 장치(200)를 복수로 배치하거나 그에 상응하게 배치하고, 이미지 쌍을 구할 때 대상체의 기하학적 변화가 최소화되고 대상체에 그림자가 생기지 않게 광원 세기나 광원을 배치한 경우를 나타낸다.4B is a diagram illustrating a case in which the standard image sensing device 200 and the standard light source generating unit 100 are disposed at different positions, respectively, and the object is fixed and the standard image sensing device 200 and the standard light source generating unit ( 100) at different positions, and a plurality of standard image sensing devices 200 are disposed or correspondingly positioned at positions where image data of the entire object can be obtained, and the geometric of the object is obtained when obtaining the image pairs. This is a case where the light source intensity or the light source is arranged so that the change is minimized and no shadow is generated on the object.

도 4c는 고속의 라인 스캔이 가능한 표준 이미지 센싱 장치(200)를 이용하여 데이터를 획득하는 방식을 나타내는 도면으로, 대상체를 회전시켜 대상체 전체에 대한 이미지 데이터를 획득하고, 표준 이미지 센싱 장치(200)와 표준 광원 발생부(100)를 한 쌍으로 하여 동일한 위치에 배치하며, 고속의 라인 스캔이 가능한 표준 이미지 센싱 장치(200)를 단수로 고정하여 데이터를 획득하고, 이미지 쌍을 구할 때 대상체의 기하학적 변화가 최소화되도록 대상체의 회전 부분을 제외하고는 고정하며, 180도 왕복 회전 또는 2회 360도 회전시킬 수 있도록 환경을 설정한 경우를 나타낸다.4C is a diagram illustrating a method of acquiring data using a standard image sensing device 200 capable of high-speed line scan. The image is rotated to obtain image data of the entire object, and the standard image sensing device 200 is illustrated. And a pair of standard light source generators 100 are disposed at the same position, and the standard image sensing device 200 capable of high-speed line scanning is fixed in a single number to acquire data, and the geometric change of the object when obtaining an image pair It is fixed except for the rotating part of the object to minimize the, and indicates that the environment is set to be rotated 180 degrees reciprocating rotation or 360 degrees twice.

도 4d는 반사 장치(900)를 이용하는 경우를 나타내는 도면으로, 대상체를 고정하고, 원하는 대상체 부분이 획득될 수 있도록 반사 장치(900)의 방향을 조정한 후, 대상체에 그림자가 생기지 않게 광원 세기와 위치를 고려하여 표준 광원 발생부(100)를 배치하고, 하나의 표준 이미지 센싱 장치(200)를 이용하여 정면에서 직접 획득되는 대상체 영상 데이터와 반사 장치(900)로부터 오는 영상 데이터를 한꺼번에 획득할 수 있도록 환경을 설정한 경우를 나타낸다. 같은 크기의 맵 데이터를 획득하고자 한다면, 도 4d의 표준 이미지 센싱 장치(200)는 전술한 도 4a, 도 4b, 도 4c에서 사용하는 표준 이미지 센싱 장치(200)의 영상 획득 능력(해상도)보다 커야 하고, 특히 평면 반사체를 이용한 경우, 획득된 영상 데이터 내에서도 직접 획득된 영상 데이터는 반사된 영상 데이터보다 획득 거리가 짧기 때문에 영상이 확대되어 획득되므로, 반사된 영상 데이터 크기로 축소하여 맵을 생성하는 것이 필요하다. 즉, 상기 반사 장치가 평면 반사체인 경우, 획득된 영상 데이터 내에서도 직접 획득된 영상 데이터와 반사된 영상 데이터의 획득 거리 차와 색상 차를 줄이기 위해, 획득 거리가 짧아 확대된 직접 획득된 영상 데이터를 반사된 영상 데이터 크기로 축소하고, 반사체에 의해 흡수되는 양을 고려하여 직접 획득된 영상 데이터 크기를 변경해야 한다.4D is a diagram illustrating a case of using the reflector 900. After fixing an object and adjusting a direction of the reflector 900 to obtain a desired object part, the light source intensity and the shadow of the object are not generated. In consideration of the position, the standard light source generator 100 may be disposed, and the object image data directly acquired from the front and the image data from the reflector 900 may be simultaneously acquired using one standard image sensing device 200. This is the case when the environment is set. If the same sized map data is to be obtained, the standard image sensing device 200 of FIG. 4D should be larger than the image capturing capability (resolution) of the standard image sensing device 200 used in FIGS. 4A, 4B, and 4C described above. In particular, in the case of using a planar reflector, since the acquired image data is shorter than the reflected image data even in the obtained image data, the image is enlarged and acquired. Therefore, it is preferable to reduce the size of the reflected image data to generate a map. need. That is, when the reflecting apparatus is a planar reflector, even in the acquired image data, in order to reduce the acquisition distance difference and the color difference between the directly acquired image data and the reflected image data, the directly acquired image data having a shorter acquisition distance is reflected. It is necessary to reduce the size of the acquired image data and change the size of the acquired image data directly in consideration of the amount absorbed by the reflector.

전술한 바와 같이, 도 4a, 도 4b, 및 도 4d의 환경 설정 방식은 대상체가 고정되어 있지만 도 4c의 환경 설정 방식은 대상체가 회전한다는 점이 크게 다르며, 특히, 도 4d는 새로운 추가 장치인 반사 장치(900)를 이용하여 대상체 다른 부분을 한꺼번에 얻을 수 있다는 점에 차이가 있다. 그리고 도 4a 내지 도 4d의 네 가지 방식은 모두 이미지 획득 과정(201)에서 제시한 3가지 이미지 획득 방식으로 이미지들을 획득할 수 있고, 이미지 쌍을 구할 때 기하학적 변화가 최소화되고 얼굴에 그림자가 생기지 않게 광원 세기나 배치가 쉬운 환경 설정 방식을 선택하면 맵 추출 및 재현부(20)에서 쉽게 처리될 수 있다.As described above, the configuration method of FIGS. 4A, 4B, and 4D differs greatly from the fact that the object is fixed, but the configuration method of FIG. 4C rotates the object, and in particular, FIG. 4D is a new additional device. The difference is that different parts of the object can be obtained at one time using the 900. 4A to 4D can acquire images using the three image acquisition methods presented in the image acquisition process 201, and the geometrical change is minimized when the image pairs are obtained, and the face is not shadowed. Selecting a light source intensity or an easy environment setting method can be easily processed by the map extraction and reproducing unit 20.

도 5는 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 방법 중 맵 추출 및 재현 과정에 대한 일실시예 상세 흐름도이다.5 is a detailed flowchart illustrating a map extraction and reproduction process in the optical characteristic map extraction method of the face using the image according to the present invention.

먼저, 이미지 데이터 해석 모듈(600)이 상기 이미지 획득 과정(201)에서 획득한 입력 이미지 데이터를 해석하여 이미지 처리를 위해 필요한 정보(예 : 이미지 크기, 초점 거리, 이미지 색조, 이미지 색분포 등)를 획득한다(501).First, the image data analysis module 600 interprets the input image data acquired in the image acquisition process 201 to obtain information (eg, image size, focal length, image color tone, image color distribution, etc.) necessary for image processing. Obtain (501).

이후, 맵 추출 모듈(700)이 상기 획득한 정보를 바탕으로 이미지 쌍간 차를 계산하여 도 2에서 전술한 색깔 맵, 반짝임 맵과 같은 광학적 특성을 나타내는 정보와 주름 분포 맵, 모공 분포 맵 등과 같은 기하학 특성을 나타내는 정보를 획득한다(502).Subsequently, the map extraction module 700 calculates the difference between the pair of images based on the obtained information, and indicates the optical characteristics such as the color map and the glitter map described above with reference to FIG. 2, and geometry such as a wrinkle distribution map and a pore distribution map. Information indicative of the characteristic is obtained (502).

이후, 맵 추출 모듈(700)이 상기 획득한 광학 및 기하 특성 정보를 이용하여 픽셀 단위 처리를 하여 픽셀 정보를 획득한다(503). 즉, 각 픽셀의 법선 방향 및 크기, 그리고 각 픽셀 정보를 총괄한 후 PCA 방식을 이용하여 각 픽셀의 멜라닌과 헤모글로빈 성분량을 규정(예 : 색조 등)한 픽셀 정보를 획득한다.Thereafter, the map extraction module 700 performs pixel-by-pixel processing using the obtained optical and geometric characteristic information to obtain pixel information (503). That is, after the normal direction and size of each pixel and each pixel information are collectively obtained, pixel information that defines (eg, color tone) the melanin and hemoglobin content of each pixel is obtained using the PCA method.

이후, 맵 추출 모듈(700)이 상기 획득한 픽셀 정보를 이용하여 맵 데이터를 구성하여 광학 특성 맵들을 구한다(504).Thereafter, the map extraction module 700 constructs map data using the obtained pixel information to obtain optical property maps (504).

이후, 맵 해석 모듈(800)이 상기 맵 추출 모듈(700)에서 추출한 맵(맵 데이터)들을 입력받아 입력 맵 데이터를 해석하여 맵 정보를 구하고(511), 각 맵에 대하여 파리미터를 설정하여 각 맵 정보에 가중값으로 활용하는 방식으로 맵에 대한 새로운 해석 정보를 구한 후에(512), 상기 구한 맵 해석 정보를 조명 모델(illumination model)에 의해 계산한 결과와 결합하여 최종 픽셀 색을 결정한다(513).Thereafter, the map analysis module 800 receives maps (map data) extracted by the map extraction module 700, analyzes input map data to obtain map information (511), sets a parameter for each map, and sets each map. After the new analysis information about the map is obtained by using the information as a weighting value (512), the final pixel color is determined by combining the obtained map analysis information with a result calculated by an illumination model (513). .

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, ROM, RAM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 광학적으로 보다 정확히 분리된 맵 데이터를 추출한 후에 그를 재현 상황에 맞게 해석 및 조합하여 사실적으로 얼굴을 표현하는데 활용할 수 있도록 하고, 그에 따라 고품질 디지털 콘텐츠 제작에 활용할 수 있는 효과가 있다.As described above, the present invention extracts map data that is optically separated more accurately, and then interprets and combines them according to the reproduction situation so that they can be used to realistically express a face, and thus can be utilized for producing high quality digital content. have.

이처럼, 본 발명은 광학적 특성이 알려진 장치들로 구현한 촬영 시스템(이미지 획득부)을 이용하여 체계적 절차에 의해 원본 데이터를 획득하고, 광학적 특성 맵 데이터를 기존 방법보다 정확하게 추출하고, 새로운 상황에 맞게 맵 데이터를 보다 정확하게 해석할 수 있기 때문에 보다 사실적인 이미지 재현이 가능하다.As described above, the present invention obtains original data by a systematic procedure using a photographing system (image acquisition unit) implemented by devices having known optical characteristics, extracts optical characteristic map data more accurately than existing methods, and fits a new situation. Map data can be interpreted more accurately, resulting in more realistic image reproduction.

또한 본 발명은 이미지 센싱 장치가 분광 데이터(spectral data)를 획득하거나 추정할 수 있다면, RGB 칼라 시스템뿐만 아니라 확장된 채널(channel)에 대해서 도 적용이 가능하다.In addition, the present invention can be applied to an extended channel as well as an RGB color system if the image sensing device can acquire or estimate spectral data.

따라서 본 발명에 따른 영상을 이용한 얼굴의 광학 특성 맵 추출 및 재현 방식을 이용하면, 현재 디지털 액터의 얼굴 맵으로 사용하기 위해 수작업에 의해 처리하여 만들어 내는 맵 소스를 대체할 수 있다. 그리고 실제 이미지를 훼손하는 수작업보다 이미지 훼손을 줄이면서 정확한 광학적 특성 및 기하학적 특성을 추출해 낼 수 있기 때문에, 사실적인 묘사를 위한 맵 데이터로서의 가치가 높다.Therefore, by using the optical characteristic map extraction and reproduction method of the face using the image according to the present invention, it is possible to replace the map source generated by manual processing for use as the face map of the current digital actor. And since it is possible to extract the correct optical and geometric characteristics while reducing the image damage than the manual work that damages the actual image, it is highly valuable as map data for realistic depiction.

또한 종래에는 주로 콘텐츠 제작자의 경험에 의해 맵 소스 생성이 수작업으로 처리됨으로써 품질의 편차가 많았으나, 본 발명을 활용하면 광학적 특성에 따라 사실성 높은 맵 소스를 획득할 수 있어 맵 소스 생성에서 생기는 품질의 편차를 줄일 수 있는 장점이 있다.In addition, in the past, the map source generation was mainly processed by the content creator's experience, and thus there were many variations in the quality. However, the present invention can obtain a map source with high fidelity according to the optical characteristics. There is an advantage to reduce the deviation.

또한 본 발명은 요즘처럼 디지털 콘텐츠가 많이 쓰이는 영화나 게임에서 실제 액터를 대체하는 디지털 액터 얼굴을 사실적으로 표현하고자 할 때 요구되는 고품질 맵 소스 이미지를 제공하는데 활용되어 보다 사실적인 디지털 액터를 표현할 수 있는 효과가 있다.In addition, the present invention can be used to provide a high-quality map source image that is required to realistically represent the digital actor face that replaces the actual actor in a movie or game that is a lot of digital content, these days can represent a more realistic digital actor It works.

Claims (23)

영상을 이용한 얼굴의 광학 특성 맵 추출 시스템에 있어서,In the optical characteristic map extraction system of the face using the image, 광학적 특성이 구해져 알려진 표준 이미지 센싱 장치를 이용하여 얼굴의 실제 이미지들을 획득하기 위한 이미지 획득 수단; 및Image acquiring means for acquiring actual images of a face by using a standard image sensing device from which optical characteristics are obtained; And 상기 이미지 획득 수단에서 획득한 실제 얼굴 이미지를 분석하여 광학적 특성에 따른 맵들로 분리하여 맵 데이터를 추출하고, 상기 분리하여 추출한 맵 데이터들을 재현 상황에 맞게 해석 및 조합하여 사실적으로 얼굴을 표현하는데 활용되도록 하기 위한 맵 추출 및 재현 수단Analyze the real face image acquired by the image acquisition means, extract the map data by dividing it into maps according to the optical characteristics, and interpret and combine the separated extracted map data according to the reproduction situation to be used to realistically express the face. Map Extraction and Reproduction Means 을 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.Optical characteristic map extraction system of the face using the image comprising a. 제 1 항에 있어서,The method of claim 1, 상기 이미지 획득 수단은,The image acquisition means, 표준 광원을 발생하여 물체(대상체)에 조명을 제공하기 위한 표준 광원 발생부;A standard light source generator for generating a standard light source to provide illumination to an object (object); 이미지를 획득하고 해석을 용이하게 하기 위해 광학적 특성을 알고 있는 상기 표준 이미지 센싱 장치 및 노출 조절 장치;The standard image sensing device and exposure control device, the optical image sensing device of which optical properties are known to obtain an image and to facilitate interpretation; 대상체인 얼굴을 고정하기 위한 얼굴 고정 장치;A face fixing device for fixing a face that is an object; 처리 조건을 만들기 위해 사용되는 편광필터 동기 장치; 및A polarizing filter synchronizing device used to create processing conditions; And 데이터 획득 조건에 따라 구성요소의 위치를 변경하기 위한 위치 변경 장치Position change device for changing the position of the component in accordance with the data acquisition conditions 를 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.Optical characteristic map extraction system of the face using the image comprising a. 제 2 항에 있어서,The method of claim 2, 상기 이미지 획득 수단은,The image acquisition means, 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치에 동일한 방향의 편광필터를 사용하여 이미지를 획득하는 제 1 방식, 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치가 서로 직교인 방향의 편광필터를 사용하여 이미지를 획득하는 제 2 방식, 및 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치에 편광필터를 사용하지 않고 이미지를 획득하는 제 3 방식으로 이미지를 획득하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.A first method of acquiring an image using a polarization filter in the same direction in the standard light source generating unit and the standard image sensing device, and using a polarization filter in a direction orthogonal to the standard light source generating unit and the standard image sensing device Optical characteristics of a face using an image, wherein the image is acquired in a second manner of acquiring an image and in a third manner of acquiring an image without using a polarization filter in the standard light source generator and the standard image sensing device. Map Extraction System. 제 2 항에 있어서,The method of claim 2, 상기 이미지 획득 수단은,The image acquisition means, 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치에 동일한 방향의 편광필터를 사용하여 이미지를 획득하는 제 1 방식, 및 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치가 서로 직교인 방향의 편광필터를 사용하여 이미지를 획득하는 제 2 방식으로 이미지를 획득하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.A first method of acquiring an image using a polarization filter in the same direction in the standard light source generator and the standard image sensing device, and a polarization filter in a direction orthogonal to the standard light source generator and the standard image sensing device Optical image map extraction system using the image, characterized in that for acquiring the image in a second manner to obtain an image. 제 2 항에 있어서,The method of claim 2, 상기 이미지 획득 수단은,The image acquisition means, 다수의 상기 표준 이미지 센싱 장치를 통하여 다양한 부분의 대상체(얼굴) 부위 데이터를 한번에 획득하도록 하기 위한 반사 장치Reflector for acquiring data of various parts of an object (face) at once through a plurality of the standard image sensing devices 를 더 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.Optical characteristic map extraction system of the face using the image further comprising. 제 2 항에 있어서,The method of claim 2, 상기 위치 변경 장치는,The position change device, 상기 표준 이미지 센싱 장치의 위치나 상기 표준 광원 발생부의 위치를 변경시키는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.And an optical characteristic map extraction system of a face using an image, wherein the position of the standard image sensing device or the position of the standard light source generator is changed. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 6, 상기 맵 추출 및 재현 수단은,The map extraction and reproduction means, 상기 이미지 획득 수단에서 획득한 실제 이미지 데이터를 해석하여 이미지 처리를 위해 필요한 정보를 획득하기 위한 이미지 데이터 해석 수단;Image data analysis means for analyzing the actual image data acquired by the image acquisition means to obtain information necessary for image processing; 상기 이미지 데이터 해석 수단에서 해석한 이미지 데이터 쌍으로부터 필요한 맵 데이터를 추출하기 위한 맵 추출 수단; 및Map extracting means for extracting necessary map data from the image data pair analyzed by the image data analyzing means; And 상기 맵 추출 수단에서 추출한 맵(맵 데이터)들을 조합하여 재현 상황에 맞게 해석하여 사실적으로 얼굴을 표현하는데 활용되도록 하기 위한 맵 해석 수단Map analysis means for combining the maps (map data) extracted by the map extraction means and interpreting them according to the reproduction situation to be used to realistically express the face. 을 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.Optical characteristic map extraction system of the face using the image comprising a. 제 7 항에 있어서,The method of claim 7, wherein 상기 맵 추출 수단은,The map extraction means, 상기 이미지 획득 수단에서 반짝임(specular) 특성이 제거되어 획득된 이미지와, 반짝임 특성이 포함되어 획득된 이미지의 차를 이용하여 색깔 맵(diffuse color map), 반짝임 맵(specular map), 주름 분포 맵(wrinkle distribution map), 및 모공 분포 맵(pore distribution map)을 추출하고,By using the difference between the image obtained by removing the specular characteristic from the image acquiring means and the image obtained by including the specular characteristic, a color map, a specular map, and a wrinkle distribution map ( extract a wrinkle distribution map, and a pore distribution map, 이미지 데이터 분포를 색과 명도에 의해 구한 후, PCA(Principal Component Analysis) 방식을 사용하여 피부에 검은색 특성을 좌우하는 멜라닌 분포 맵(melanin distribution map)과 붉은색 특성을 좌우하는 헤모글로빈 분포 맵(hemoglobin distribution map)을 구하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.After the image data distribution is obtained by color and brightness, the melanin distribution map that determines the black characteristics on the skin and the hemoglobin distribution map that determines the red characteristics using the Principal Component Analysis (PCA) method. System for extracting optical characteristic map of a face using an image, characterized by obtaining a distribution map. 제 8 항에 있어서,The method of claim 8, 상기 맵 해석 수단은,The map analysis means, 광원과 시점에 의해 발생하는 기본적인 피부광학 모델(skin optics model)이나 조명 모델(illumination model)에 의해 계산된 결과와, 색깔 맵(diffuse color map)을 포함한 모공 분포 맵, 주름 분포 맵, 멜라닌 분포 맵, 헤모글로빈 분포 맵을 조합하여 최종 색을 표현하고,Results calculated from basic skin optics models or illumination models generated by light sources and viewpoints, pore distribution maps including color maps, wrinkle distribution maps, and melanin distribution maps. , Combine the hemoglobin distribution map to represent the final color, 반짝임 맵을 활용하여 법선 분포 맵(normal distribution map)을 구하여 애니메이션이나 광원 또는 시점의 변동에 따른 반짝이는 부분이나 모공, 주름을 강조 또는 완화시키는 작용을 처리하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템.The normal distribution map is used to obtain a normal distribution map by processing a function of emphasizing or alleviating sparkles, pores, and wrinkles caused by animations, light sources, or viewpoint changes. Property Map Extraction System. 영상을 이용한 얼굴의 광학 특성 맵 추출 방법에 있어서,In the optical characteristic map extraction method of the face using the image, 광학적 특성이 구해져 알려진 표준 이미지 센싱 장치를 이용하여 얼굴의 실제 이미지들을 획득하는 이미지 획득 단계;An image acquiring step of acquiring actual images of a face using a known standard image sensing device by obtaining optical characteristics; 상기 획득한 실제 얼굴 이미지를 분석하여 광학적 특성에 따른 맵들로 분리하여 맵 데이터를 추출하는 맵 추출 단계; 및A map extraction step of extracting map data by analyzing the obtained real face image and separating the maps into maps based on optical characteristics; And 상기 분리하여 추출한 맵 데이터들을 재현 상황에 맞게 해석 및 조합하여 사실적으로 얼굴을 표현하는데 활용되도록 하는 맵 해석 단계Map analysis step of interpreting and combining the extracted map data according to the reproduction situation to be used to realistically express the face 를 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.Optical characteristic map extraction method of the face using the image comprising a. 제 10 항에 있어서,The method of claim 10, 상기 이미지 획득 단계는,The image acquisition step, 표준 광원 발생부와 상기 표준 이미지 센싱 장치에 동일한 방향의 편광필터를 사용하여 이미지를 획득하는 제 1 방식, 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치가 서로 직교인 방향의 편광필터를 사용하여 이미지를 획득하는 제 2 방식, 및 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치에 편광필터를 사용하지 않고 이미지를 획득하는 제 3 방식으로 이미지를 획득하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.A first method of acquiring an image using a polarization filter in the same direction to a standard light source generating unit and the standard image sensing device, and an image using a polarization filter in a direction orthogonal to the standard light source generating unit and the standard image sensing device. An optical characteristic map of a face using an image, wherein the image is acquired by a second method of acquiring an image and a third method of acquiring an image without using a polarization filter in the standard light source generator and the standard image sensing device. Extraction method. 제 10 항에 있어서,The method of claim 10, 상기 이미지 획득 단계는,The image acquisition step, 표준 광원 발생부와 상기 표준 이미지 센싱 장치에 동일한 방향의 편광필터를 사용하여 이미지를 획득하는 제 1 방식, 및 상기 표준 광원 발생부와 상기 표준 이미지 센싱 장치가 서로 직교인 방향의 편광필터를 사용하여 이미지를 획득하는 제 2 방식으로 이미지를 획득하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.A first method of acquiring an image using a polarization filter in the same direction in a standard light source generating unit and the standard image sensing device, and a polarization filter in a direction orthogonal to the standard light source generating unit and the standard image sensing device And extracting an image in a second manner of acquiring the image. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,The method according to any one of claims 10 to 12, 상기 이미지 획득 단계는,The image acquisition step, 대상체를 촬영하기 위한 하드웨어적 시스템의 환경을 설정하는 환경 설정 단계;An environment setting step of setting an environment of a hardware system for photographing an object; '필터사용' 또는 '필터미사용'으로 대상체(사람 얼굴)를 촬영하여 이미지 쌍을 획득하는 단계; 및Obtaining an image pair by photographing an object (human face) with 'filter use' or 'filter not use'; And 상기 촬영 결과로 나오는 이미지 쌍을 저장하는 단계Storing an image pair resulting from the photographing result 를 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.Optical characteristic map extraction method of the face using the image comprising a. 제 13 항에 있어서,The method of claim 13, 상기 환경 설정 단계는,The environment setting step, 대상체를 고정하고, 상기 표준 이미지 센싱 장치와 상기 표준 광원 발생부를 한 쌍으로 하여 동일한 위치에 배치하며, 대상체 전체에 대한 이미지 데이터를 얻을 수 있는 위치들에 상기 표준 이미지 센싱 장치를 복수로 배치하거나 그에 상응하게 배치하고, 이미지 쌍을 구할 때 대상체의 기하학적 변화가 최소화되고 대상체에 그림자가 생기지 않게 광원 세기나 광원을 배치하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.The object is fixed, the standard image sensing device and the standard light source generating unit are disposed in the same position, and a plurality of the standard image sensing devices are disposed at positions where the image data of the entire object can be obtained, or And arranging correspondingly, and arranging the light source intensity or the light source such that the geometrical change of the object is minimized and the shadow is not generated on the object when obtaining an image pair. 제 13 항에 있어서,The method of claim 13, 상기 환경 설정 단계는,The environment setting step, 대상체를 고정하고, 상기 표준 이미지 센싱 장치와 상기 표준 광원 발생부를 각각 서로 다른 위치에 배치하며, 대상체 전체에 대한 이미지 데이터를 얻을 수 있는 위치들에 상기 표준 이미지 센싱 장치를 복수로 배치하거나 그에 상응하게 배치하고, 이미지 쌍을 구할 때 대상체의 기하학적 변화가 최소화되고 대상체에 그림자가 생기지 않게 광원 세기나 광원을 배치하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.The object may be fixed, the standard image sensing device and the standard light source generating unit may be disposed at different positions, and the standard image sensing device may be disposed in multiple positions or correspondingly at positions where image data of the entire object may be obtained. And arranging the light source intensity or the light source such that the geometrical change of the object is minimized and the shadow is not generated on the object when obtaining the image pair. 제 13 항에 있어서,The method of claim 13, 상기 환경 설정 단계는,The environment setting step, 대상체를 회전시켜 대상체 전체에 대한 이미지 데이터를 획득하고, 상기 표준 이미지 센싱 장치와 상기 표준 광원 발생부를 한 쌍으로 하여 동일한 위치에 배치하며, 고속의 라인 스캔이 가능한 상기 표준 이미지 센싱 장치를 단수로 고정하여 데이터를 획득하고, 이미지 쌍을 구할 때 대상체의 기하학적 변화가 최소화되도록 대상체의 회전 부분을 제외하고는 고정하며, 180도 왕복 회전 또는 2회 360도 회전시킬 수 있도록 환경을 설정하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.Rotating an object to obtain image data for the entire object, by placing a pair of the standard image sensing device and the standard light source generating unit in the same position, by fixing a single number of the standard image sensing device capable of high-speed line scan Images are obtained by acquiring data, fixing them except the rotating part of the object to minimize geometric changes of the object when obtaining an image pair, and setting an environment to rotate 180 degrees reciprocally or two times 360 degrees. Extraction method of optical characteristic map of face using 제 13 항에 있어서,The method of claim 13, 상기 환경 설정 단계는,The environment setting step, 대상체를 고정하고, 원하는 대상체 부분이 획득될 수 있도록 반사 장치의 방향을 조정한 후, 대상체에 그림자가 생기지 않게 광원 세기와 위치를 고려하여 상기 표준 광원 발생부를 배치하고, 하나의 상기 표준 이미지 센싱 장치를 이용하여 정면에서 직접 획득되는 대상체 영상 데이터와 상기 반사 장치로부터 오는 영상 데이터를 한꺼번에 획득할 수 있도록 환경을 설정한 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.After fixing the object, adjusting the direction of the reflecting device so that a desired object portion can be obtained, the standard light source generating unit is disposed in consideration of the light source intensity and position so that no shadow occurs on the object, and the one standard image sensing device Method for extracting the optical characteristic map of the face using the image, characterized in that the environment is set so as to acquire the object image data directly obtained from the front and the image data coming from the reflecting device at a time. 제 17 항에 있어서,The method of claim 17, 상기 반사 장치가 평면 반사체인 경우, 획득된 영상 데이터 내에서도 직접 획득된 영상 데이터와 반사된 영상 데이터의 획득 거리 차와 색상 차를 줄이기 위해, 획득 거리가 짧아 확대된 직접 획득된 영상 데이터를 반사된 영상 데이터 크기로 축소하고, 반사체에 의해 흡수되는 양을 고려하여 직접 획득된 영상 데이터 크기를 변경하는 기능을 더 수행하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.When the reflecting apparatus is a planar reflector, even in the acquired image data, in order to reduce the acquisition distance difference and the color difference between the directly acquired image data and the reflected image data, the image obtained by directly reflecting the directly acquired image data enlarged with a shorter acquisition distance is reflected. A method of extracting an optical characteristic map of a face using an image which reduces the data size and further performs a function of directly changing the image data size directly in consideration of the amount absorbed by the reflector. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,The method according to any one of claims 10 to 12, 상기 맵 추출 단계는,The map extraction step, 상기 획득한 이미지 데이터를 해석하여 이미지 처리를 위해 필요한 정보를 획득하는 단계;Analyzing the acquired image data to obtain information necessary for image processing; 상기 획득한 이미지 처리 정보를 바탕으로 이미지 쌍간 차를 계산하여 색깔 맵, 반짝임 맵과 같은 광학적 특성을 나타내는 정보와 주름 분포 맵, 모공 분포 맵과 같은 기하학 특성을 나타내는 정보를 획득하는 단계;Calculating the difference between the pairs of images based on the acquired image processing information to obtain information representing optical characteristics such as color maps and glitter maps and information representing geometric characteristics such as wrinkle distribution maps and pore distribution maps; 상기 획득한 광학 및 기하 특성 정보를 이용하여 픽셀 단위 처리를 하여 픽셀 정보를 획득하는 픽셀 정보 획득 단계; 및A pixel information obtaining step of obtaining pixel information by performing pixel-by-pixel processing using the obtained optical and geometric characteristic information; And 상기 획득한 픽셀 정보를 이용하여 맵 데이터를 추출하는 단계Extracting map data using the obtained pixel information 를 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.Optical characteristic map extraction method of the face using the image comprising a. 제 19 항에 있어서,The method of claim 19, 상기 맵 추출 단계는,The map extraction step, 상기 이미지 획득 단계에서 반짝임(specular) 특성이 제거되어 획득된 이미지와, 반짝임 특성이 포함되어 획득된 이미지의 차를 이용하여 색깔 맵(diffuse color map), 반짝임 맵(specular map), 주름 분포 맵(wrinkle distribution map), 및 모공 분포 맵(pore distribution map)을 추출하고,In the image acquisition step, a color map, a specular map, and a wrinkle distribution map may be obtained by using a difference between an image obtained by removing the specular characteristic and an image obtained by including the specular characteristic. extract a wrinkle distribution map, and a pore distribution map, 이미지 데이터 분포를 색과 명도에 의해 구한 후, PCA(Principal Component Analysis) 방식을 사용하여 피부에 검은색 특성을 좌우하는 멜라닌 분포 맵 (melanin distribution map)과 붉은색 특성을 좌우하는 헤모글로빈 분포 맵(hemoglobin distribution map)을 구하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.After the image data distribution is obtained by color and brightness, the melanin distribution map that determines the black characteristics on the skin and the hemoglobin distribution that determines the red characteristics using the Principal Component Analysis (PCA) method. A method for extracting an optical characteristic map of a face using an image, characterized by obtaining a distribution map. 제 19 항에 있어서,The method of claim 19, 상기 픽셀 정보 획득 단계는,The pixel information obtaining step, 상기 획득한 광학 및 기하 특성 정보를 이용하여 각 픽셀의 법선 방향 및 크기, 그리고 각 픽셀 정보를 총괄한 후 PCA 방식을 이용하여 각 픽셀의 멜라닌과 헤모글로빈 성분량을 규정한 픽셀 정보를 획득하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.After the general direction and size of each pixel and the respective pixel information by using the obtained optical and geometric characteristic information, the pixel information defining the melanin and hemoglobin component amount of each pixel is obtained by using the PCA method. An optical characteristic map extraction method of a face using an image. 제 19 항에 있어서,The method of claim 19, 상기 맵 해석 단계는,The map analysis step, 상기 추출한 맵 데이터들을 해석하여 맵 정보를 구하는 단계;Analyzing the extracted map data to obtain map information; 각 맵에 대하여 파리미터를 설정하여 맵 해석 정보를 구하는 단계; 및Setting a parameter for each map to obtain map analysis information; And 상기 구한 맵 해석 정보를 조명 모델(illumination model)에 의해 계산한 결과와 결합하여 픽셀 색을 결정하는 단계Determining the pixel color by combining the obtained map analysis information with a result calculated by an illumination model. 를 포함하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.Optical characteristic map extraction method of the face using the image comprising a. 제 22 항에 있어서,The method of claim 22, 상기 맵 해석 단계는,The map analysis step, 광원과 시점에 의해 발생하는 기본적인 피부광학 모델(skin optics model)이나 조명 모델(illumination model)에 의해 계산된 결과와, 색깔 맵(diffuse color map)을 포함한 모공 분포 맵, 주름 분포 맵, 멜라닌 분포 맵, 헤모글로빈 분포 맵을 조합하여 최종 색을 표현하고,Results calculated from basic skin optics models or illumination models generated by light sources and viewpoints, pore distribution maps including color maps, wrinkle distribution maps, and melanin distribution maps. , Combine the hemoglobin distribution map to represent the final color, 반짝임 맵을 활용하여 법선 분포 맵(normal distribution map)을 구하여 애니메이션이나 광원 또는 시점의 변동에 따른 반짝이는 부분이나 모공, 주름을 강조 또는 완화시키는 작용을 처리하는 것을 특징으로 하는 영상을 이용한 얼굴의 광학 특성 맵 추출 방법.The normal distribution map is used to obtain a normal distribution map by processing a function of emphasizing or alleviating sparkles, pores, and wrinkles caused by animations, light sources, or viewpoint changes. Property map extraction method.
KR1020050082085A 2005-08-19 2005-09-05 System to extract optical characteristic maps from one's photographic face images and its method KR100682978B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050076481 2005-08-19
KR1020050076481 2005-08-19

Publications (1)

Publication Number Publication Date
KR100682978B1 true KR100682978B1 (en) 2007-02-15

Family

ID=38106420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050082085A KR100682978B1 (en) 2005-08-19 2005-09-05 System to extract optical characteristic maps from one's photographic face images and its method

Country Status (1)

Country Link
KR (1) KR100682978B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102408198B1 (en) * 2022-01-14 2022-06-13 (주)이브이알스튜디오 Method and apparatus for rendering 3d object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050021493A (en) * 2002-07-18 2005-03-07 마우나 케이 테크놀로지스 Method for processing an image acquired through a guide consisting of a plurality of optical fibers
JP2005157921A (en) 2003-11-27 2005-06-16 Sony Corp Image processing device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050021493A (en) * 2002-07-18 2005-03-07 마우나 케이 테크놀로지스 Method for processing an image acquired through a guide consisting of a plurality of optical fibers
JP2005157921A (en) 2003-11-27 2005-06-16 Sony Corp Image processing device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102408198B1 (en) * 2022-01-14 2022-06-13 (주)이브이알스튜디오 Method and apparatus for rendering 3d object

Similar Documents

Publication Publication Date Title
US11516412B2 (en) Image processing method, image processing apparatus and electronic device
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20180357819A1 (en) Method for generating a set of annotated images
JP2010508571A (en) Digital image processing using face detection and skin tone information
Cao et al. Sparse photometric 3D face reconstruction guided by morphable models
JP2004289829A (en) Method for generating stylized image
KR20170017911A (en) Methods and systems for color processing of digital images
Winnemöller et al. Light waving: Estimating light positions from photographs alone
Pintus et al. State‐of‐the‐art in Multi‐Light Image Collections for Surface Visualization and Analysis
Dellepiane et al. Improved color acquisition and mapping on 3d models via flash-based photography
Palma et al. A statistical method for svbrdf approximation from video sequences in general lighting conditions
CN106296789B (en) It is a kind of to be virtually implanted the method and terminal that object shuttles in outdoor scene
CN104159023A (en) Image processing apparatus and method
JP5059503B2 (en) Image composition apparatus, image composition method, and image composition program
Wang et al. Sunstage: Portrait reconstruction and relighting using the sun as a light stage
KR100682978B1 (en) System to extract optical characteristic maps from one's photographic face images and its method
WO2021128593A1 (en) Facial image processing method, apparatus, and system
KR100740879B1 (en) System for image representation of real objects using their photographic images and its method
KR20020067088A (en) Method and apparatus for replacing a model face of moving image
CN117319807B (en) Light and shadow imaging method and system for karst cave dome
JP2005092549A (en) Three-dimensional image processing method and device
JP4171354B2 (en) Color image processing apparatus and method
CN117459700B (en) Color luminosity three-dimensional imaging method, system, electronic equipment and medium
JP7116767B2 (en) Image processing device and method
US11380048B2 (en) Method and system for determining a spectral representation of a color

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190131

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 14