KR20180089022A - Optimized Compositing Technology Using the Plurality of Similar Images - Google Patents
Optimized Compositing Technology Using the Plurality of Similar Images Download PDFInfo
- Publication number
- KR20180089022A KR20180089022A KR1020170013568A KR20170013568A KR20180089022A KR 20180089022 A KR20180089022 A KR 20180089022A KR 1020170013568 A KR1020170013568 A KR 1020170013568A KR 20170013568 A KR20170013568 A KR 20170013568A KR 20180089022 A KR20180089022 A KR 20180089022A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- shape
- similar images
- selecting
- feature
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims description 37
- 210000001747 pupil Anatomy 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 7
- 210000000216 zygoma Anatomy 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 210000001061 forehead Anatomy 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 235000021178 picnic Nutrition 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06K9/00208—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/003—Deblurring; Sharpening
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
Description
본 발명은 복수의 유사 영상들을 이용한 최적화된 영상 합성 기술에 관한 것으로, 더 구체적으로 영상의 2차원 특징점들을 이용하여 얻어진 3차원 얼굴 프로파일을 이용하는 복수의 유사 영상들을 이용한 최적화된 영상 합성 기술에 관한 것이다.The present invention relates to an optimized image synthesis technique using a plurality of similar images, and more particularly to an optimized image synthesis technique using a plurality of similar images using a three-dimensional face profile obtained by using two-dimensional feature points of an image .
일반적으로 사용자가 카메라(camera)를 사용하는 경우, 피사체가 된 사람이 셔터(shutter) 타이밍(timing)에 눈을 감아 버리거나, 표정이 좋지 않게 되어, 그다지 마음에 드는 바람직한 촬영 영상이 아니게 되는 경우가 있다. 특히, 단체 사진을 찍었을 때에, 피사체인 사람들 중 일부 사람이 눈을 감아 버리는 등의 촬영 영상이 되는 경우가 많이 있다.In general, when a user uses a camera, a person who is a subject closes his / her eyes at a shutter timing, becomes poor in facial expression, and is not a desirable desirable photographed image have. Particularly, when a group picture is taken, there are many cases in which some of the people who are the subject are taken close to the eyes.
눈의 깜빡임이나 표정의 변화를 고려하여, 양호한 표정으로 사람을 촬영하기 위해서는, 예를 들어, 촬영 장치 측에서 피사체가 된 사함의 웃는 얼굴 검출이나 눈의 깜빡임 검출을 해하는 것도 고려되고 있다. 이는 촬영 장치 측에서 셔터 타이밍 전의 모니터(monitor) 상태에 있어서, 받아들이는 영상 데이터(data)에 대해 얼굴 화상에 대한 해석을 수행하고, 웃는 얼굴이 된 순간에 셔터가 눌리는 제어를 수행하거나, 또한 눈의 깜빡인 등으로 눈을 감고 있는 동안은 셔터가 눌리지 않도록 제어하는 것이다. 그런데 이와 같은 기술은 피사체가 한 명인 경우에는 문제가 없다고 생각되지만, 단체 사진으로 복수의 사람들을 찍는 경우에는, 좀처럼 셔터가 눌리지 않는 경우도 발생한다.In order to shoot a person with a good expression in consideration of a flicker of eyes or a change of a facial expression, for example, it is considered to solve the detection of a smile face of a subject and a blink of eyes which are objects on the photographing apparatus side. This is because, in the monitor state before the shutter timing on the photographing apparatus side, the face image is analyzed with respect to the received image data (data), the shutter is pressed at the moment when it becomes a smiling face, The shutter is not pressed while the eyes are closed. However, such a technique is not considered to be a problem when there is only one subject, but when a plurality of people are photographed with a group photograph, the shutter may not be pressed easily.
또한, 피사체로 하는 목적의 사람이나 물건 이외의 사람이나 물건이 찍혀, 영상에 대한 만족도가 저하되는 경우나, 햇볕이나 조명에 의한 명암의 관계에 의해 부분적으로 지나치게 어둡거나 지나치게 밝은 영상이 되는 경우도 있다.In addition, when a person or object other than the intended person or object is photographed and the satisfaction with the image is lowered, or when the image is too dark or too bright due to sunlight or light and darkness due to illumination have.
이와 같이, 통상적으로 촬영을 수행하였을 때에는, 촬영자에게 있어 만족하지 않는 영상이 되는 경우가 많다.In this manner, when the photographing is normally performed, there are many cases that the photograph is not satisfactory to the photographer.
본 발명이 해결하고자 하는 과제는 촬영 장비로 연속적으로 촬영된 복수의 유사한 영상들을 이용하여 사용자의 취향에 최적화된 영상을 합성할 수 있는 영상 합성 기술을 제공하는 데 있다.An object of the present invention is to provide an image synthesis technique capable of synthesizing images optimized for a user's taste by using a plurality of similar images successively photographed by a photographing equipment.
본 발명이 해결하고자 하는 과제는 이상에 언급한 과제들에 제한되지 않으며, 언급되지 않는 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.
상기한 과제를 달성하기 위하여, 본 발명은 영상 합성 기술을 제공한다. 이 영상 합성 기술은 연속적으로 촬영된 복수의 유사한 영상들 중 적어도 하나의 영상의 2차원 특징점들을 이용하여 3차원 얼굴 프로파일을 획득하는 단계, 복수의 유사한 영상들에서 잘못된 영상 부위를 선택하는 단계, 피사체의 영상 데이터에서 최적의 얼굴 모양을 선택하여 구체화 및 사용자 경험을 채택하는 단계, 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정하는 단계, 및 복수의 유사한 영상들 각각의 최적화된 특징 사항을 사용자가 선택 조정하여 변화된 피사체의 얼굴 모양에 대한 변화된 영상을 인식하는 단계를 포함할 수 있다.In order to achieve the above object, the present invention provides a video synthesis technique. The image synthesis technique includes acquiring a three-dimensional face profile using two-dimensional feature points of at least one of a plurality of similar images continuously photographed, selecting a wrong image region in a plurality of similar images, Selecting at least one of the plurality of similar images in accordance with the features of the three-dimensional face profile corresponding to at least one feature of the optimal face shape; And a step of selecting and adjusting the optimized features of each of the plurality of similar images by the user to recognize a changed image of the changed face shape of the subject.
적어도 하나의 영상의 2차원 특징점들을 이용하여 3차원 얼굴 프로파일을 획득하는 단계는 단안 비디오를 이용한 고화질의 얼굴 영상 자동 포착 방법을 이용할 수 있다.The step of acquiring a three-dimensional face profile using the two-dimensional feature points of at least one image may utilize a method of automatic acquisition of a high-quality face image using monocular video.
잘못된 영상 부위는 피사체가 눈을 감은 경우 또는 흐릿한 경우일 수 있다.The wrong image portion may be the subject's eyes closed or blurred.
복수의 유사한 영상들에서 잘못된 영상 부위를 선택하는 단계는 사용자가 잘못된 영상 부위를 선택하거나 또는 잘못된 영상 부위가 자동으로 선택되는 것일 수 있다.The step of selecting a wrong image portion in a plurality of similar images may be that the user selects a wrong image portion or a wrong image portion is automatically selected.
피사체의 영상 데이터에서 최적의 얼굴 모양을 선택하는 것은 피사체의 영상 데이터의 선명도, 눈동자, 눈 모양 또는 입 모양을 이용하는 것일 수 있다.The optimum face shape may be selected from the image data of the subject by using the sharpness of the image data of the subject, the pupil, the eye shape, or the mouth shape.
이 영상 합성 기술은 선명도, 눈동자, 눈 모양 및 입 모양 순으로 우선 순위를 두는 기본 설정을 가질 수 있다. 기본 설정은 사용자의 기호에 따라 변경 가능한 것일 수 있다.This image compositing technology can have a preference setting priority in order of sharpness, pupil, eye shape and mouth shape. The default setting may be changeable according to the user's preference.
선명도는 에지 검출 방식을 이용하여 구해질 수 있다.The sharpness can be obtained by using the edge detection method.
눈동자는 기본 설정으로 가운데를 선택하는 것일 수 있다.The pupil may be to select the center as the default setting.
눈 모양은 기본 설정으로 가로와 세로의 비율로 선택하는 것일 수 있다.The eye shape can be a choice of the horizontal and vertical ratio as the default setting.
입 모양은 기본 설정으로 일자를 선택하는 것일 수 있다.The mouth shape can be a date by default.
이 영상 합성 기술은 복수의 다른 영상 데이터에 대한 학습을 통해 최적의 얼굴 모양을 선택하는 것을 더 포함할 수 있다.The image synthesis technique may further include selecting an optimal face shape through learning of a plurality of different image data.
최적의 얼굴 모양의 적어도 하나의 특징 사항은 얼굴 윤곽선, 눈동자, 눈 모양, 코 모양, 입 모양, 이마 모양, 광대뼈 모양 또는 턱 모양일 수 있다.At least one feature of the optimal facial shape may be facial contour, pupil, eye shape, nose shape, mouth shape, forehead shape, cheekbones shape or chin shape.
최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞추는 것은 랜삭 알고리즘에 의해 에러들을 제거하는 것을 포함할 수 있다.Fitting to the features of the three-dimensional face profile corresponding to at least one feature of the optimal face shape may include eliminating errors by a random algorithm.
상술한 바와 같이, 본 발명의 과제의 해결 수단에 따르면 연속적으로 촬영된 복수의 유사한 영상들 중 적어도 하나의 영상의 2차원 특징점들을 이용하여 3차원 얼굴 프로파일을 획득한 후, 피사체의 영상 데이터에서 선택된 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정함으로써, 복수의 유사한 영상들 각각의 최적화된 특징 사항을 사용자가 선택 조정하여 피사체의 얼굴 모양에 대한 최적화된 영상이 합성될 수 있다. 이에 따라, 사용자의 취향에 최적화된 영상을 합성할 수 있는 영상 합성 기술이 제공될 수 있다.As described above, according to the solution of the problem of the present invention, after acquiring the three-dimensional face profile using the two-dimensional feature points of at least one of the plurality of similar images continuously photographed, By modifying at least one image of a plurality of similar images in accordance with features of a three-dimensional face profile corresponding to at least one feature of an optimal facial shape, An optimized image for the face shape of the subject can be synthesized. Accordingly, a video synthesis technique capable of synthesizing an image optimized for a user's taste can be provided.
도 1은 본 발명의 일 실시예에 따른 영상 합성 기술을 설명하기 위한 블록 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상 합성 기술의 일부 과정을 설명하기 위한 사진들이다.1 is a block flow diagram illustrating an image synthesis technique according to an embodiment of the present invention.
FIG. 2 is a picture for explaining a part of the image synthesis technique according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면들과 함께 상세하게 후술 되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예에 한정되는 것이 아니라 서로 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein but may be embodied in different forms. Rather, the embodiments disclosed herein are provided so that the disclosure can be thorough and complete, and will fully convey the concept of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.
명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 따라서, 동일한 참조 부호 또는 유사한 참조 부호들은 해당 도면에서 언급 또는 설명되지 않았더라도, 다른 도면을 참조하여 설명될 수 있다. 또한, 참조 부호가 표시되지 않았더라도, 다른 도면들을 참조하여 설명될 수 있다.Like reference numerals refer to like elements throughout the specification. Accordingly, although the same reference numerals or similar reference numerals are not mentioned or described in the drawings, they may be described with reference to other drawings. Further, even if the reference numerals are not shown, they can be described with reference to other drawings.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 장치는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 장치의 존재 또는 추가를 배제하지 않는다. 또한, 바람직한 실시예에 따른 것이기 때문에, 설명의 순서에 따라 제시되는 참조 부호는 그 순서에 반드시 한정되지는 않는다. 이에 더하여, 본 명세서에서, 어떤 막이 다른 막 또는 기판 상에 있다고 언급되는 경우에 그것은 다른 막 또는 기판 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 막이 개재될 수도 있다는 것을 의미한다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is to be understood that the terms 'comprises' and / or 'comprising' as used herein mean that an element, step, operation, and / or apparatus is referred to as being present in the presence of one or more other elements, Or additions. In addition, since they are in accordance with the preferred embodiment, the reference numerals presented in the order of description are not necessarily limited to the order. In addition, in this specification, when it is mentioned that a film is on another film or substrate, it means that it may be formed directly on another film or substrate, or a third film may be interposed therebetween.
하나의 구성 요소(element)가 다른 구성 요소와 '접속된(connected to)' 또는 '결합한(coupled to)'이라고 지칭되는 것은, 다른 구성 요소와 직접적으로 연결된 또는 결합한 경우, 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 '직접적으로 접속된(directly connected to)' 또는 '직접적으로 결합한(directly coupled to)'으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. '및/또는'은 언급된 아이템(item)들의 각각 및 하나 이상의 모든 조합을 포함한다.It is to be understood that one element is referred to as being 'connected to' or 'coupled to' another component if it is directly connected or coupled to another component, As shown in Fig. On the other hand, when an element is referred to as being " directly coupled to " or " directly coupled to " another element, it means that it does not intervene in the other element. &Quot; and / or " include each and every combination of one or more of the mentioned items.
공간적으로 상대적인 용어인 '아래(below)', '밑(beneath)', '하부(lower)', '위(above)', '상부(upper)' 등은 도면에 도시되어 있는 바와 같이 하나의 장치 또는 구성 요소들과 다른 장치 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 장치의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 장치를 뒤집을 경우, 다른 장치의 '아래(below)' 또는 '밑(beneath)'으로 기술된 장치는 다른 장치의 '위(above)'에 놓일 수 있다. 따라서, 예시적인 용어인 '아래'는 아래와 위의 방향을 모두 포함할 수 있다. 장치는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The terms 'below', 'beneath', 'lower', 'above', 'upper' and the like, which are spatially relative terms, May be used to easily describe a device or a relationship with components and other devices or components. Spatially relative terms should be understood in terms of the directions shown in the drawings, including the different directions of the device during use or operation. For example, when inverting a device shown in the figures, a device described as "below" or "beneath" of another device may be placed "above" another device. Thus, the exemplary term " below " may include both the downward and upward directions. The device can also be oriented in different directions, so that spatially relative terms can be interpreted according to orientation.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 식각 영역은 라운드지거나(rounded) 소정 곡률을 가지는 형태일 수 있다. 따라서, 도면에서 예시된 영역들은 개략적인 속성을 가지며, 도면에서 예시된 영역들의 모양은 장치의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다.In addition, the embodiments described herein will be described with reference to cross-sectional views and / or plan views, which are ideal illustrations of the present invention. In the drawings, the thicknesses of the films and regions are exaggerated for an effective description of the technical content. Thus, the shape of the illustrations may be modified by manufacturing techniques and / or tolerances. Accordingly, the embodiments of the present invention are not limited to the specific forms shown, but also include changes in the shapes that are generated according to the manufacturing process. For example, the etched areas shown at right angles can be rounded and shaped with a certain curvature. Thus, the regions illustrated in the figures have schematic attributes, and the shapes of the regions illustrated in the figures are intended to illustrate specific forms of regions of the apparatus and are not intended to limit the scope of the invention.
도 1은 본 발명의 일 실시예에 따른 영상 합성 기술을 설명하기 위한 블록 흐름도이고, 그리고 도 2는 본 발명의 일 실시예에 따른 영상 합성 기술의 일부 과정을 설명하기 위한 사진들이다.FIG. 1 is a block flow diagram for explaining an image synthesis technique according to an embodiment of the present invention, and FIG. 2 is a photograph for explaining a part of the image synthesis technique according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 영상 합성 기술은 연속적으로 촬영된 복수의 유사한 영상들 중 적어도 하나의 영상의 2차원 특징점들을 이용하여 3차원 얼굴 프로파일(profile)을 획득하는 단계(S110), 복수의 유사한 영상들에서 잘못된 영상 부위를 선택하는 단계(S120), 피사체의 영상 데이터에서 최적의 얼굴 모양을 선택하여 구체화 및 사용자 경험(User Experience : UX)을 채택하는 단계(S130), 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정하는 단계(S140), 및 복수의 유사한 영상들 각각의 최적화된 특징 사항을 사용자가 선택 조정하여 변화된 피사체의 얼굴 모양에 대한 변화된 영상을 인식하는 단계(S150)를 포함할 수 있다. 여기서 피사체는 사람 또는 동물일 수 있다.Referring to FIGS. 1 and 2, an image synthesis technique includes obtaining a three-dimensional (3D) face profile using two-dimensional feature points of at least one of a plurality of consecutively captured images (S110) A step S120 of selecting a wrong image part in similar images of the face image S120, a step S130 of selecting an optimal face shape from the image data of the subject and implementing the user experience (UX) (S140) of modifying at least one image of a plurality of similar images according to a feature of a three-dimensional face profile corresponding to at least one feature of the plurality of similar images, And a step S150 of recognizing the changed image of the changed face shape of the subject. Here, the subject may be a person or an animal.
연속적으로 촬영된 복수의 유사한 영상들 중 적어도 하나의 영상의 2차원 특징점들을 이용하여 3차원 얼굴 프로파일을 획득하는 단계(S110)는 단안 비디오를 이용한 고화질의 얼굴 영상 자동 포착(Automatic Acquisition of High-fidelity Facial Performances Using Monocular Videos, Fuhao Shi 외 3인, ACM Transactions on Graphics (TOG) Vol. 33 No. 6 1p ~ 13p 0730-0301 SCI(E), 2014) 방법을 이용할 수 있다. 이러한 단안 비디오를 이용한 고화질의 얼굴 영상 자동 포착 방법의 결과물들이 도 2에 보이고 있다.(S110) of acquiring a 3D face profile using 2D feature points of at least one of a plurality of consecutively captured images is performed using Automatic Acquisition of High-fidelity Facial Performances Using Monocular Videos, Fuhao Shi et al., ACM Transactions on Graphics (TOG) Vol. 33 No. 6 1p ~ 13p 0730-0301 SCI (E), 2014). FIG. 2 shows the results of the method of automatically capturing a high-quality face image using the monocular video.
복수의 유사한 영상들에서 잘못된 영상 부위를 선택하는 단계(S120)에서 잘못된 영상 부위는 피사체가 눈을 감은 경우 또는 흐릿한 경우일 수 있다. 복수의 유사한 영상들에서 잘못된 영상 부위를 선택하는 단계(S120)는 사용자가 잘못된 영상 부위를 선택하거나 또는 잘못된 영상 부위가 자동으로 선택되는 것일 수 있다.In a step S120 of selecting a wrong image portion in a plurality of similar images, a wrong image portion may be a case where the subject eyes are blinded or blurred. In step S120, a user may select a wrong image part or a wrong image part may be automatically selected in the step of selecting a wrong image part in a plurality of similar images.
피사체의 영상 데이터에서 최적의 얼굴 모양을 선택하여 구체화 및 사용자 경험을 채택하는 단계(S130)는 피사체의 영상 데이터의 선명도, 눈동자, 눈 모양 또는 입 모양을 이용하는 것일 수 있다. 영상 합성 기술은 선명도, 눈동자, 눈 모양 및 입 모양 순으로 우선 순위를 두는 기본 설정을 가질 수 있다. 하지만, 이에 한정되는 것은 아니다. 기본 설정은 사용자의 기호에 따라 변경 가능한 것일 수 있다. 선명도는 에지 검출(edge detection) 방식을 이용하여 구해질 수 있다. 즉, 에지가 가장 질 좋은 것이 선명한 것으로 판단될 수 있다. 눈동자는 기본 설정으로 가운데를 선택하는 것일 수 있다. 눈 모양은 기본 설정으로 가로와 세로의 비율로 선택하는 것일 수 있다. 입 모양은 기본 설정으로 일자를 선택하는 것일 수 있다. 하지만, 이에 한정되는 것은 아니다. 예를 들어, 증명 사진일 경우에는 입 모양이 일자인 것을 기본 설정으로 선택하지만, 산행 또는 야유회 등과 같은 자연스러운 상황에 대한 사진일 경우에는 입 모양 중 꼬리 부분이 위로 올라가는 모양인 것을 기본 설정으로 선택할 수 있다.The step S130 of selecting the optimal face shape from the image data of the subject and embodying the specification and the user experience may be to use the sharpness of the image data of the subject, the pupil, the eye shape, or the mouth shape. Video synthesis techniques can have preferences that prioritize in order of sharpness, pupil, eye shape, and mouth shape. However, the present invention is not limited thereto. The default setting may be changeable according to the user's preference. The sharpness can be obtained using an edge detection method. That is, it can be judged that the edge has the best quality. The pupil may be to select the center as the default setting. The eye shape can be a choice of the horizontal and vertical ratio as the default setting. The mouth shape can be a date by default. However, the present invention is not limited thereto. For example, in the case of ID photographs, the default setting is that the mouth shape is a date, but in the case of photographs of a natural situation such as a hill or a picnic, have.
이 영상 합성 기술은 연예인 화보 기반의 데이터베이스(DataBase : DB) 등과 같은 복수의 다른 영상 데이터에 대한 학습을 통해 최적의 얼굴 모양을 선택하는 것을 더 포함할 수 있다.The image synthesis technique may further include selecting an optimal face shape through learning about a plurality of other image data such as a data base (DB) based on a celebrity picture.
최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정하는 단계(S140)에서 최적의 얼굴 모양의 적어도 하나의 특징 사항은 얼굴 윤곽선, 눈동자, 눈 모양, 코 모양, 입 모양, 이마 모양, 광대뼈 모양 또는 턱 모양일 수 있다. 여기서 3차원 얼굴 프로파일은 결혼식 촬영, 증명 사진 촬영, 산행 또는 야유회 등과 같은 자연스러운 상황에 대한 촬영 등과 같은 다양한 상황들에 따라 적절히 선택될 수 있다. 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞추는 것은 랜삭 알고리즘(RANdom SAmple Consensus algorithm : RANSAC algorithm)에 의해 에러(error)들을 제거하는 것을 포함할 수 있다.(S140) of modifying at least one image of a plurality of similar images according to features of a three-dimensional face profile corresponding to at least one feature of an optimal face shape, Can be facial contour, pupil, eye shape, nose shape, mouth shape, forehead shape, cheekbones shape or chin shape. Here, the three-dimensional face profile can be appropriately selected according to various situations such as a wedding photographing, a proof photographing, a photographing of a natural situation such as a hill or a picnic, and the like. Fitting to the features of the three-dimensional face profile corresponding to at least one feature of the optimal face shape may include eliminating errors by the RANDAM SAmple Consensus algorithm (RANSAC algorithm).
즉, 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정하는 단계(S140)는 얼굴 윤곽선, 눈동자, 눈 모양, 코 모양, 입 모양, 이마 모양, 광대뼈 모양 또는 턱 모양을 포함하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정하는 것일 수 있다.That is, the step (S140) of modifying at least one image among a plurality of similar images in accordance with the features of the three-dimensional face profile corresponding to at least one feature of the optimal face shape may include a step of generating a face contour, a pupil, It may be to modify at least one image of a plurality of similar images to match the features of the three-dimensional face profile including nose, mouth, forehead, cheekbones, or chin shapes.
복수의 유사한 영상들 각각의 최적화된 특징 사항을 사용자가 선택 조정하여 변화된 피사체의 얼굴 모양에 대한 변화된 영상을 인식하는 단계(S150)는 사용자의 촬영 장비의 화면으로 사용자의 취향에 최적화된 피사체에 대한 영상을 보여주는 것일 수 있다.In operation S150, the user may select and adjust optimized features of each of the plurality of similar images to recognize a changed image of the changed face shape of the subject, It can be showing video.
본 발명의 일 실시예에 따른 영상 합성 기술은 연속적으로 촬영된 복수의 유사한 영상들 중 적어도 하나의 영상의 2차원 특징점들을 이용하여 3차원 얼굴 프로파일을 획득한 후, 피사체의 영상 데이터에서 선택된 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 3차원 얼굴 프로파일의 특징 사항에 맞춰 복수의 유사한 영상들 중 적어도 하나의 영상을 수정함으로써, 복수의 유사한 영상들 각각의 최적화된 특징 사항을 사용자가 선택 조정하여 피사체의 얼굴 모양에 대한 최적화된 영상이 합성될 수 있다. 이에 따라, 사용자의 취향에 최적화된 영상을 합성할 수 있는 영상 합성 기술이 제공될 수 있다.The image synthesis technique according to an embodiment of the present invention acquires a three-dimensional face profile using two-dimensional feature points of at least one of a plurality of consecutively captured images, A user may select and adjust optimized features of each of a plurality of similar images by modifying at least one of the plurality of similar images according to features of the three-dimensional face profile corresponding to at least one feature of the face shape So that an optimized image of the face shape of the subject can be synthesized. Accordingly, a video synthesis technique capable of synthesizing an image optimized for a user's taste can be provided.
이상, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood. It is therefore to be understood that the above-described embodiments are illustrative and non-restrictive in every respect.
Claims (14)
상기 복수의 유사한 영상들에서 잘못된 영상 부위를 선택하는 단계;
피사체의 영상 데이터에서 최적의 얼굴 모양을 선택하여 구체화 및 사용자 경험을 채택하는 단계;
상기 최적의 얼굴 모양의 적어도 하나의 특징 사항에 해당하는 상기 3차원 얼굴 프로파일의 특징 사항에 맞춰 상기 복수의 유사한 영상들 중 적어도 하나의 영상을 수정하는 단계; 및
상기 복수의 유사한 영상들 각각의 최적화된 상기 특징 사항을 사용자가 선택 조정하여 변화된 상기 피사체의 상기 얼굴 모양에 대한 변화된 영상을 인식하는 단계를 포함하는 얼굴 영상 합성 기술.Obtaining a three-dimensional face profile using two-dimensional feature points of at least one of a plurality of consecutive similar images;
Selecting an incorrect image portion in the plurality of similar images;
Selecting an optimal face shape from the image data of the subject to embody the specification and user experience;
Modifying at least one image of the plurality of similar images according to a feature of the 3D face profile corresponding to at least one feature of the optimal face shape; And
And a step of the user selecting and adjusting the optimized feature of each of the plurality of similar images to recognize a changed image of the changed face shape of the subject.
상기 적어도 하나의 영상의 상기 2차원 특징점들을 이용하여 상기 3차원 얼굴 프로파일을 획득하는 단계는 단안 비디오를 이용한 고화질의 얼굴 영상 자동 포착 방법을 이용하는 영상 합성 기술.The method according to claim 1,
Wherein the step of acquiring the three-dimensional face profile using the two-dimensional feature points of the at least one image comprises a method of automatically acquiring a high-quality face image using monocular video.
상기 잘못된 영상 부위는 상기 피사체가 눈을 감은 경우 또는 흐릿한 경우인 영상 합성 기술.The method according to claim 1,
Wherein the erroneous image portion is a case where the subject eyes are blinded or blurred.
상기 복수의 유사한 영상들에서 상기 잘못된 영상 부위를 선택하는 단계는 상기 사용자가 상기 잘못된 영상 부위를 선택하거나 또는 상기 잘못된 영상 부위가 자동으로 선택되는 것인 영상 합성 기술.The method according to claim 1,
Wherein the step of selecting the erroneous image portion in the plurality of similar images comprises the step of the user selecting the erroneous image portion or the erroneous portion of the image being automatically selected.
상기 피사체의 상기 영상 데이터에서 상기 최적의 얼굴 모양을 선택하는 것은 상기 피사체의 상기 영상 데이터의 선명도, 눈동자, 눈 모양 또는 입 모양을 이용하는 것인 영상 합성 기술.The method according to claim 1,
Wherein the selecting of the optimal face shape from the image data of the subject uses the sharpness, pupil, eye shape or mouth shape of the image data of the subject.
상기 선명도, 상기 눈동자, 상기 눈 모양 및 상기 입 모양 순으로 우선 순위를 두는 기본 설정을 갖는 영상 합성 기술.6. The method of claim 5,
And a basic setting that sets priorities in the order of the sharpness, the pupil, the eye shape, and the mouth shape.
상기 기본 설정은 상기 사용자의 기호에 따라 변경 가능한 것인 영상 합성 기술.The method according to claim 6,
Wherein the basic setting is changeable according to a preference of the user.
상기 선명도는 에지 검출 방식을 이용하여 구해지는 영상 합성 기술.6. The method of claim 5,
Wherein the sharpness is obtained using an edge detection method.
상기 눈동자는 기본 설정으로 가운데를 선택하는 것인 영상 합성 기술.6. The method of claim 5,
Wherein the pupil selects a center in a default setting.
상기 눈 모양은 기본 설정으로 가로와 세로의 비율로 선택하는 것인 영상 합성 기술.6. The method of claim 5,
Wherein the eye shape is selected in a ratio of horizontal to vertical by a default setting.
상기 입 모양은 기본 설정으로 일자를 선택하는 것인 영상 합성 기술.6. The method of claim 5,
Wherein said mouth shape selects a date as a default setting.
복수의 다른 영상 데이터에 대한 학습을 통해 상기 최적의 얼굴 모양을 선택하는 것을 더 포함하는 영상 합성 기술.The method according to claim 1,
And selecting the optimal face shape through learning about a plurality of different image data.
상기 최적의 얼굴 모양의 적어도 하나의 상기 특징 사항은 얼굴 윤곽선, 눈동자, 눈 모양, 코 모양, 입 모양, 광대뼈 모양 또는 턱 모양인 영상 합성 기술.The method according to claim 1,
Wherein the at least one feature of the optimal facial shape is a facial contour, a pupil, an eye, a nose, a mouth, a cheek bone or a jaw.
상기 최적의 얼굴 모양의 적어도 하나의 상기 특징 사항에 해당하는 상기 3차원 얼굴 프로파일의 상기 특징 사항에 맞추는 것은 랜삭 알고리즘에 의해 에러들을 제거하는 것을 포함하는 영상 합성 기술.The method according to claim 1,
Wherein fitting the feature of the three-dimensional face profile corresponding to at least one feature of the optimal face shape comprises eliminating errors by a random algorithm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170013568A KR101954103B1 (en) | 2017-01-31 | 2017-01-31 | Compositing Technology Using the Plurality of Similar Images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170013568A KR101954103B1 (en) | 2017-01-31 | 2017-01-31 | Compositing Technology Using the Plurality of Similar Images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180089022A true KR20180089022A (en) | 2018-08-08 |
| KR101954103B1 KR101954103B1 (en) | 2019-05-17 |
Family
ID=63230003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170013568A KR101954103B1 (en) | 2017-01-31 | 2017-01-31 | Compositing Technology Using the Plurality of Similar Images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101954103B1 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000105815A (en) * | 1998-09-28 | 2000-04-11 | Yasuhiko Arakawa | Method and device for human face image processing |
| JP2003143464A (en) * | 2001-10-31 | 2003-05-16 | Konica Corp | Imaging apparatus for certificate photograph and picture processing method |
| KR20030091306A (en) * | 2002-05-27 | 2003-12-03 | 이채헌 | The dynamic character and image character making system and the method using face components relationship on face image. |
| JP3556439B2 (en) * | 1997-08-12 | 2004-08-18 | 三菱電機株式会社 | Face image processing device |
| KR20060074410A (en) * | 2004-12-27 | 2006-07-03 | 학교법인 성균관대학 | An adaptive realtime face detecting method based on training |
| KR20090119640A (en) * | 2008-05-16 | 2009-11-19 | 엘지전자 주식회사 | An apparatus for displaying a preference level for an image and a method thereof |
| JP2010103980A (en) * | 2008-09-09 | 2010-05-06 | Nec (China) Co Ltd | Image processing method, image processing apparatus, and system |
| JP2010226485A (en) * | 2009-03-24 | 2010-10-07 | Nikon Corp | Image processing apparatus and digital camera |
| KR20120052596A (en) * | 2010-11-16 | 2012-05-24 | 엘지이노텍 주식회사 | Camera module and method for processing image thereof |
| KR20160045404A (en) * | 2014-10-17 | 2016-04-27 | 주식회사 케이티 | Video thumbnail extraction method and server and video provision system |
-
2017
- 2017-01-31 KR KR1020170013568A patent/KR101954103B1/en active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3556439B2 (en) * | 1997-08-12 | 2004-08-18 | 三菱電機株式会社 | Face image processing device |
| JP2000105815A (en) * | 1998-09-28 | 2000-04-11 | Yasuhiko Arakawa | Method and device for human face image processing |
| JP2003143464A (en) * | 2001-10-31 | 2003-05-16 | Konica Corp | Imaging apparatus for certificate photograph and picture processing method |
| KR20030091306A (en) * | 2002-05-27 | 2003-12-03 | 이채헌 | The dynamic character and image character making system and the method using face components relationship on face image. |
| KR20060074410A (en) * | 2004-12-27 | 2006-07-03 | 학교법인 성균관대학 | An adaptive realtime face detecting method based on training |
| KR20090119640A (en) * | 2008-05-16 | 2009-11-19 | 엘지전자 주식회사 | An apparatus for displaying a preference level for an image and a method thereof |
| JP2010103980A (en) * | 2008-09-09 | 2010-05-06 | Nec (China) Co Ltd | Image processing method, image processing apparatus, and system |
| JP2010226485A (en) * | 2009-03-24 | 2010-10-07 | Nikon Corp | Image processing apparatus and digital camera |
| KR20120052596A (en) * | 2010-11-16 | 2012-05-24 | 엘지이노텍 주식회사 | Camera module and method for processing image thereof |
| KR20160045404A (en) * | 2014-10-17 | 2016-04-27 | 주식회사 케이티 | Video thumbnail extraction method and server and video provision system |
Non-Patent Citations (2)
| Title |
|---|
| "얼굴 인식을 위한 얼굴의 특징 추출 (Facial Feature Extraction Fro Face Recognition)." 한국통신학회 공개발표회 및 토론회 (1997)* * |
| "Automatic Acquisition of High-fidelity Facial Performances Using Monocular Videos", ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH Asia 2014 TOG Homepage Volume 33 Issue 6(2014)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101954103B1 (en) | 2019-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103945121B (en) | A kind of information processing method and electronic equipment | |
| US9692964B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
| EP3358835B1 (en) | Improved method and system for video conferences with hmds | |
| US8957943B2 (en) | Gaze direction adjustment for video calls and meetings | |
| US9129381B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
| CN105989577B (en) | Image correction method and device | |
| US10623633B2 (en) | Image synthesis device and image synthesis method | |
| CN107167924B (en) | A kind of lens adjusting method of virtual reality device and virtual reality device | |
| CN105100625A (en) | Figure image auxiliary shooting method and system based on image aesthetics | |
| CN103369214A (en) | An image acquiring method and an image acquiring apparatus | |
| KR20150053730A (en) | Method and system for image processing in video conferencing for gaze correction | |
| WO2007142621A1 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
| US11962746B2 (en) | Wide-angle stereoscopic vision with cameras having different parameters | |
| US8903162B2 (en) | Method and apparatus for separating an image object from an image using three-dimensional (3D) image depth | |
| US20210203850A1 (en) | Image stabilization apparatus, method of controlling the same, and storage medium | |
| CN101771815B (en) | Digital image shooting method | |
| Leipner et al. | 3D mug shot—3D head models from photogrammetry for forensic identification | |
| US11843862B2 (en) | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor | |
| JPWO2019187808A1 (en) | Information processing equipment, information processing methods, and programs | |
| CN111213375B (en) | Information processing apparatus, information processing method, and program | |
| JP3970573B2 (en) | Facial image recognition apparatus and method | |
| JP4983643B2 (en) | Imaging apparatus and correction program | |
| WO2015130309A1 (en) | Customizable profile to modify an identified feature in video feed | |
| KR101954103B1 (en) | Compositing Technology Using the Plurality of Similar Images | |
| CN113012042B (en) | Display device, virtual photo generation method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |