WO2014003507A1 - 영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법 - Google Patents

영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법 Download PDF

Info

Publication number
WO2014003507A1
WO2014003507A1 PCT/KR2013/005810 KR2013005810W WO2014003507A1 WO 2014003507 A1 WO2014003507 A1 WO 2014003507A1 KR 2013005810 W KR2013005810 W KR 2013005810W WO 2014003507 A1 WO2014003507 A1 WO 2014003507A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
user
image
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/005810
Other languages
English (en)
French (fr)
Inventor
김성완
이재호
임경민
이상윤
황진규
김수연
반유석
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Discovery Co Ltd
Original Assignee
Intellectual Discovery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120071259A external-priority patent/KR101370706B1/ko
Priority claimed from KR1020120071261A external-priority patent/KR101351745B1/ko
Application filed by Intellectual Discovery Co Ltd filed Critical Intellectual Discovery Co Ltd
Publication of WO2014003507A1 publication Critical patent/WO2014003507A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding

Definitions

  • the present invention relates to an apparatus and method for encoding and decoding an image using difference image information. More particularly, the present invention relates to an apparatus for encoding and decoding an image by preprocessing difference image information based on a Burrows-Wheeler transform (BWT) technique. And to a method.
  • BWT Burrows-Wheeler transform
  • the present invention also relates to an apparatus and method for generating a 3D face, and more particularly, to an apparatus and method for generating a 3D face by extracting feature points from an image including a face.
  • the method of transmitting an image includes encoding and transmitting difference image information representing a difference between a prediction image and an original image, and prediction information for predicting the image, and correcting the image predicted with the prediction information with the difference image information to decode the original image.
  • a 3D face is generated using a point cloud composed of all 3D points corresponding to the face and texture information corresponding to the point cloud. That is, since the number of 3D points required to generate the 3D face is large, time is delayed in the process of generating the 3D face.
  • one image may include only one face, a plurality of images photographed at various viewpoints are required to generate a 3D face.
  • the present invention provides an apparatus and method for improving the encoding efficiency of difference image information by adding a preprocessing process to classify the difference image information according to a string of difference image information.
  • the present invention provides a device and method for generating a three-dimensional face corresponding to the user at a high speed by generating a three-dimensional face corresponding to the user using only the feature points of the user's face.
  • the present invention generates a three-dimensional face corresponding to the user by generating a three-dimensional face corresponding to the user based on an image of the user's right and left faces together with the front face of the user using a mirror. It provides an apparatus and a method for generating.
  • the present invention also provides an apparatus and method for generating a three-dimensional face model corresponding to the molded face by deforming the three-dimensional basic model to a shape desired by the user when the user wants the molded face.
  • An apparatus for preprocessing an image encoder includes an array converter for converting difference image information representing a difference between a predicted image and an original image into a one-dimensional array; A conversion value determination unit determining a conversion value of each of the strings by applying a conversion function to the strings included in the array; And a grouping unit that sequentially groups the strings using the converted values of each of the strings.
  • the grouping unit of the preprocessor of the image encoder may group strings having a smaller transform value than the transform value of the first string of each group into each group.
  • the grouping unit of the pre-processing apparatus of the image encoder generates a new group when there is a string having a transform value larger than the transform value of the first string of each group, and creates a new group and converts the string having the transform value into a new group. Can be set to the first string of.
  • the transform value determiner of the preprocessor of the image encoder may determine the transform value of each of the strings using a transform function including an absolute value function.
  • the conversion value determiner of the preprocessor of the image encoder may determine a conversion value of the first string among the strings included in the array as 0.
  • the pre-processing apparatus of the image encoder according to the embodiment of the present invention may further include a BWT converter that applies a bijective-BWT transform to groups grouped by the grouper.
  • a post-processing apparatus of an image decoder includes a conversion value identification unit for identifying a conversion value of a first string of each group; An array generator for generating a one-dimensional array by sequentially combining groups according to the size of the transform value of the first string; And a difference image information converter for converting the one-dimensional array into difference image information.
  • the post-processing apparatus of the image decoder may further include an inverse BWT transform unit which applies an inverse BWT transform to encoding information and provides the transform value to the transform value identifying unit.
  • a pre-processing method of an image encoder comprises the steps of converting the difference image information representing the difference between the prediction image and the original image to a one-dimensional array; Determining a conversion value of each of the strings by applying a conversion function to the strings included in the array; And sequentially grouping the strings using the transform value of each of the strings.
  • a post-processing method of an image decoder includes the steps of identifying the transform value of the first string of each group; Generating a one-dimensional array by sequentially combining the groups according to the size of the transform value of the first string; And converting the one-dimensional array into difference image information.
  • 3D face generating apparatus comprises a feature point extraction unit for extracting a feature point of the user's face from the image including the user's face; A three-dimensional model generator for generating a three-dimensional face model corresponding to the user by applying the extracted feature points to the three-dimensional basic model; And a 3D face generator that generates a 3D face of the user by mapping a texture to the 3D face model.
  • the feature point extracting unit of the 3D face generating apparatus may extract the feature points of the front face, the left face, and the right face of the user from an image including the front face image, the left face image, and the right face image of the user. Can be extracted.
  • the three-dimensional model generator of the three-dimensional face generating apparatus comprises a cost function setting unit for setting the cost function using the difference between the two-dimensional coordinates of the extracted feature points and the two-dimensional coordinates of the three-dimensional basic model; And a model deformation unit for transforming the 3D basic model into a 3D face model corresponding to a user using a cost function.
  • the model deformation unit of the apparatus for generating a three-dimensional face may transform the three-dimensional basic model into a three-dimensional face model corresponding to a user by using a model parameter with a minimum cost function.
  • the three-dimensional face generation unit of the three-dimensional face generation device cylinder generation unit for generating a virtual cylinder in the appearance of the three-dimensional face model;
  • a texture map determiner configured to determine a texture map by converting a position of each vertex of the virtual cylinder into a circumferential coordinate system;
  • a texture map mapping unit for mapping a texture map to the 3D face model.
  • 3D face generating unit may further include a texture correction unit for correcting the texture located at the boundary of the front face, left face, and right face of the user with a blending algorithm.
  • a photographing apparatus includes: a first mirror displaying a right face of a user at a right side of a user; A second mirror displaying a left face of the user at a left side of the user; And a camera for photographing a user's right face displayed by the first mirror and the user's left face displayed by the second mirror, and a front face of the user located between the first mirror and the second mirror.
  • 3D face generation method comprises the steps of extracting the feature points of the user's face from the image including the user's face; Generating a 3D face model corresponding to a user by applying the extracted feature points to the 3D basic model; And generating a 3D face of the user by mapping a texture to the 3D face model.
  • the encoding efficiency of the difference image information may be improved by adding a preprocessing process classified according to the string of the difference image information before encoding the difference image information.
  • the 3D basic model may be modified into a shape desired by the user, thereby generating a 3D face model corresponding to the molded face.
  • FIG. 1 is a diagram illustrating an image encoder including a preprocessor of an image encoder according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a preprocessor of an image encoder according to an embodiment of the present invention.
  • 3 is an example of a process of grouping strings of an array by a grouping unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an image decoder according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a post processor of an image decoder according to an embodiment of the present invention.
  • 6 is an example of a process of generating, by the post-processing unit, one-dimensional array using decryption information according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a preprocessing method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a post-processing method according to an embodiment of the present invention.
  • FIG. 11 is a block diagram illustrating a three-dimensional face generation apparatus according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a photographing apparatus according to an embodiment of the present invention.
  • FIG. 13 is an example of an image photographed by a photographing apparatus according to an embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating a three-dimensional model generator according to an embodiment of the present invention.
  • 15 is an example of a process of generating a three-dimensional face model according to an embodiment of the present invention.
  • 16 is a block diagram illustrating a three-dimensional face generator according to an embodiment of the present invention.
  • 17 is a flowchart illustrating a 3D face generation method according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a 3D model generation method according to an embodiment of the present invention.
  • 19 is a flowchart illustrating a 3D face generation method according to an embodiment of the present invention.
  • the preprocessing method of the image encoder according to an embodiment of the present invention may be performed by the preprocessor of the image encoder.
  • the three-dimensional face generation method according to an embodiment of the present invention may be performed by the three-dimensional face generation apparatus.
  • FIG. 1 is a diagram illustrating an image encoder according to an embodiment of the present invention.
  • an image encoder may include a predictive image generator 110, a difference image information generator 120, a difference image information converter 130, a preprocessor 140, and The entropy encoder 150 may be included.
  • the prediction image generator 110 may generate a prediction image by predicting a value of a next frame of the original image in at least one of prediction modes.
  • the prediction mode is a macroblock of various sizes, and each macroblock may include at least one of an intra mode or an inter mode.
  • the prediction image generator 110 may select an optimal prediction mode to use when generating the prediction image from among the prediction modes, and generate the prediction image using the optimal prediction mode.
  • the difference image information generation unit 120 may generate difference image information indicating a difference between the prediction image and the original image by comparing the prediction image generated by the prediction image generation unit 110 with the next frame of the original image.
  • the difference image information converter 130 may apply discrete cosine transform (DCT) and quantization to the difference image information generated by the difference image information generator 120.
  • DCT discrete cosine transform
  • the preprocessor 140 may preprocess the difference image information converted by the difference image information converter 130 based on a bijective-BWT (Burrows-Wheeler transform) technology.
  • the entropy encoder 150 may encode difference image information preprocessed by the preprocessor 140.
  • FIG. 2 is a block diagram illustrating a preprocessor 140 of an image encoder according to an embodiment of the present invention.
  • the preprocessor 140 of the image encoder 100 includes an array converter 210, a transform value determiner 220, a grouper 230, and a BWT converter. 240 may be included.
  • the array converter 210 may convert difference image information representing a difference between the predicted image and the original image into a one-dimensional array.
  • the array converter 210 may scan the difference image information converted by the difference image information converter 130 in a direction from high frequency to low frequency and convert the difference image information into a one-dimensional array.
  • the conversion value determiner 220 may determine a conversion value of each of the strings by applying a conversion function to strings included in the array.
  • the conversion value determiner 220 may determine the conversion value of each of the strings using the conversion function T satisfying the equation (1).
  • the abs () function is an absolute value function
  • a and b may be one of strings in the array. That is, the conversion value of the first string among the strings included in the array may be zero.
  • the conversion value determiner 220 may use other functions satisfying Equation 1 as the conversion function T.
  • the conversion value determiner 220 may use log (abs (x)) or floor (x ⁇ 2 / c) as the conversion function T.
  • the grouping unit 230 may sequentially group the strings using the converted values of the strings determined by the converted value determiner 220.
  • the grouping unit 230 may group the strings so that each group satisfies Equation 2.
  • f 0 may be the first string of each group
  • f i may be the i-th string of each group.
  • the grouping unit 230 may group strings having a smaller conversion value than the conversion value of the first string of each group into each group. In addition, when there is a string having a larger conversion value than the conversion value of the first string of each group, the grouping unit 230 may generate a new group and set the string having the larger conversion value as the first string of the new group. .
  • the grouping unit 230 and the process of grouping the strings will be described in detail with reference to FIG. 3.
  • the BWT converter 240 may apply similar BWT transforms to groups grouped by the grouper 230 to collect similar coefficients included in the groups for each similarity coefficient.
  • 3 is an example of a process of grouping strings of a grouper array according to an embodiment of the present invention.
  • the grouping unit 230 may compare the converted value 0 of the first string 301 among the strings included in the array 300 with the converted value 5 of the second string 302.
  • the grouping unit 230 groups the first string 301 into the first group 310, and A second group 320 may be generated in which the second string 302 is set as the first string.
  • the grouping unit 230 may compare the converted value 5 of the second string 302 with the converted value 4 of the third string 303.
  • the grouping unit 230 may include the third string 303 in the second group 320. .
  • the grouping unit 230 compares the converted values of the strings after the third string 303 with the converted values 5 of the second strings 302, respectively, and compares the strings having less than 5 converted values with the second group 320. Can be included in
  • the grouping unit 230 includes the second string 302 to the fifth string 304.
  • Strings up to the fourth string 305 positioned immediately before may be grouped into the second group 320 and a third group 330 may be generated in which the fifth string 304 is set as the first string.
  • the grouping unit 230 repeats the above process to determine the third group 330 and sets the sixth string 306 having a larger conversion value than the conversion value 6 of the fifth string 304 as the first string.
  • Four groups 340 may be created.
  • the first group 310 may be a group that always includes only the first string of the array regardless of the original value of the string.
  • last non-zero position information used by the entropy encoder 150 may be preserved.
  • the operation time may be reduced since the strings having the converted value of 0 may be excluded from the operation.
  • FIG. 4 is a diagram illustrating an image decoder according to an embodiment of the present invention.
  • the image decoder 400 includes an entropy decoder 410, a post processor 420, a predictive image generator 430, and an original image generator 440. It may include.
  • the entropy decoder 410 may generate decoding information by decoding the encoding information received from the image encoder 100.
  • the post processor 420 may inversely convert the decoding information generated by the entropy decoder 410 to decode the difference image information input to the preprocessor 140.
  • the post processor 420 may apply inverse discrete cosine transform and inverse quantization to the inversely transformed difference image information.
  • the prediction image generator 430 may generate a prediction image by predicting a value of a next frame of the original image in at least one of prediction modes.
  • the original image is an image decoded from the encoding information of the previous frame
  • the prediction mode is a macroblock of various sizes, and each macroblock may include at least one of an intra mode or an inter mode. .
  • the original image generator 430 may generate the original image using the difference image information decoded by the post processor 420 and the predicted image generated by the predictive image generator 430.
  • the original image generator 430 uses the difference image information in the prediction image, The next frame can be decoded.
  • FIG. 5 is a block diagram illustrating a post processor of an image decoder according to an embodiment of the present invention.
  • the post processor 420 of the image decoder 400 may include a BWT inverse transform unit 510, a transform value identifier 520, an array generator 530, and a difference.
  • the image information converter 540 may be included.
  • the BWT inverse transform unit 510 may decode the groups grouped by the grouping unit 230 by applying an inverse BWT transform to encoding information.
  • the transform value identification unit 520 may identify the transform value of the first string of each of the groups decoded by the BWT inverse transform unit 510.
  • the array generator 530 may generate a one-dimensional array by sequentially combining the groups according to the magnitude of the transform value of the first string identified by the transform value identifier 520.
  • the array generator 530 may sort the groups in the order of the smallest magnitude of the transform value of the first string identified by the transform value identifier 520, and generate the one-dimensional array by combining the sorted groups. .
  • a process of generating the one-dimensional array by the post processor 420 will be described in detail with reference to FIG. 6.
  • the difference image information converter 540 may convert the one-dimensional array generated by the array generator 530 into difference image information.
  • the difference image information converter 540 may reverse-scan a one-dimensional array from low frequency to high frequency to convert it into difference image information.
  • 6 is an example of a process of generating, by the post-processing unit, one-dimensional array using decryption information according to an embodiment of the present invention.
  • the transform value identifying unit 520 decodes the decryption information including the first group 611, the second group 612, the third group 613, and the fourth group 614 from the entropy decoding unit 410. 610 may be received.
  • the conversion value identifying unit 520 converts the converted values of the first strings of the first group 611, the second group 612, the third group 613, and the fourth group 614 to 0, 5, Can be identified as 7, 6
  • the array generator 530 sets the position of the first group 611 having the smallest transform value 0 to the forefront, the second group 612 having a transform value 5, and the fourth group having a transform value 6
  • Each group may be arranged in the order of 614 and the third group 6130 having the transform value of 7.
  • the array generator 530 may combine the sorted groups 620 according to the sort order to generate the one-dimensional array 630.
  • the post-processing unit 420 combines the groups according to the size of the transform value of the first string of each group, thereby corresponding to the difference image information without additional information for identifying the position of the groups. You can create an array of dimensions.
  • FIG. 7 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • the prediction image generator 110 may generate a prediction image by predicting a value of a next frame of the original image in at least one of prediction modes.
  • the difference image information generation unit 120 may generate difference image information indicating a difference between the prediction image and the original image by comparing the prediction image generated in operation 710 with the next frame of the original image.
  • the difference image information converter 130 may apply discrete cosine transform (DCT) and quantization to the difference image information generated in operation 720.
  • DCT discrete cosine transform
  • the preprocessor 140 may preprocess the difference image information converted in operation 730 based on a Burrows-Wheeler transform (BWT) technique.
  • BWT Burrows-Wheeler transform
  • the entropy encoder 150 may encode difference image information preprocessed in operation 740.
  • steps 810 to 840 may be included in step 740 of FIG. 7.
  • the array converter 210 may convert difference image information representing a difference between the predicted image and the original image into a one-dimensional array.
  • the array converter 210 may scan the difference image information converted by the difference image information converter 130 in a direction from high frequency to low frequency and convert the difference image information into a one-dimensional array.
  • the conversion value determiner 220 may determine the conversion value of each of the strings by applying a conversion function to the strings of the array converted in operation 820.
  • the grouping unit 230 may sequentially group the strings using the conversion value of each of the strings determined in operation 820.
  • the grouping unit 230 may group strings having a smaller conversion value than the conversion value of the first string of each group into each group. In addition, when there is a string having a larger conversion value than the conversion value of the first string of each group, the grouping unit 230 may generate a new group and set the string having the larger conversion value as the first string of the new group. .
  • the BWT converter 240 may apply the bijective-BWT transform to the groups grouped in operation 830 to collect similar coefficients included in the groups for each similarity coefficient.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the entropy decoder 410 may decode the encoding information received from the image encoder 100 to generate decoding information.
  • the post processor 420 may inversely convert the decoding information generated in operation 910 to decode the difference image information input to the preprocessor 140.
  • the prediction image generator 430 may generate a prediction image by predicting a value of a next frame of the original image in at least one of prediction modes.
  • the original image generator 430 may generate an original image using the difference image information decoded in operation 920 and the prediction image generated in operation 930.
  • steps 1010 to 1040 may be included in step 920 of FIG. 9.
  • the BWT inverse transform unit 510 may decode the groups grouped by the grouping unit 230 by applying an inverse BWT transform to encoding information.
  • the conversion value identification unit 520 may identify the conversion value of the first string of each of the groups decoded in operation 1010.
  • the array generator 530 may sequentially combine the groups according to the size of the transform value of the first string identified in operation 1020 to generate the one-dimensional array.
  • the difference image information converter 540 may convert the one-dimensional array generated in operation 1030 into difference image information.
  • the difference image information converter 540 may reverse-scan a one-dimensional array from low frequency to high frequency to convert it into difference image information.
  • the encoding efficiency of the difference image information may be improved by adding a preprocessing process to classify the difference image information according to the string of the difference image information.
  • the present invention can be applied to various video encoding methods by improving encoding efficiency only by adding a preprocessing difference video information.
  • FIG. 11 is a block diagram illustrating a 3D face generating apparatus 1100 according to an embodiment of the present invention.
  • the apparatus for generating a 3D face 1100 includes a feature point extractor 1110, a 3D model generator 1120, and a 3D face generator 1130. can do.
  • the feature point extractor 1110 may extract feature points of the front face, the left face, and the right face of the user from an image including the front face image, the left face image, and the right face image of the user.
  • the image may be an image including a left face image of a user displayed by a mirror located on the left side of the user, a right face image of the user displayed by a mirror located on the right side of the user, and a front face image of the actual user.
  • the 3D model generator 1120 may generate the 3D face model corresponding to the user by applying the feature points extracted by the feature point extractor 1110 to the 3D basic model.
  • the 3D basic model may include a feature vector and an average face appearance extracted based on a database related to a 3D face shape.
  • the database may include three-dimensional coordinates of feature points extracted from three-dimensional faces of the real world.
  • the three-dimensional faces of the real world may be images acquired by a three-dimensional laser scanner.
  • the feature vector may be a vector extracted from a database through a learning process.
  • the 3D model generator 1120 may generate a 3D face model corresponding to the user by modifying the 3D basic model by adjusting the weights of the feature vectors included in the 3D basic model.
  • the 3D face generator 1130 may generate a 3D face of the user by mapping a texture to the 3D face model generated by the 3D model generator 1120.
  • FIG. 12 is a diagram illustrating a photographing apparatus according to an embodiment of the present invention.
  • the photographing apparatus includes a first mirror 1220 positioned on the right side of the user 1210, a second mirror 1230 positioned on the left side of the user 1210, and the user ( 1210 may include a camera 1200 for photographing.
  • the camera 1200 may photograph the face of the user 1210 positioned between the first mirror 1220 and the second mirror 1230.
  • the first mirror 1220 may display a right face 1221 of the user.
  • the first mirror 1220 may be inclined at an angle toward the camera 1200 so that the camera 1200 may photograph the user's right face 1221 together with the user's face 1210.
  • the second mirror 1230 may display a left face 1231 of the user.
  • the second mirror 1230 may be inclined at a predetermined angle toward the camera 1200 so that the camera 1200 may photograph the left face 1231 of the user together with the face 1210 of the user.
  • the second mirror 1230 may be installed at an inclination such that the right face 1221 of the user displayed by the first mirror 1210 is not displayed.
  • the camera 1200 may include the user's right face 1221 indicated by the first mirror 1220 and the user's left face 1231 indicated by the second mirror 1230, and the first mirror 1220 and the first mirror 1220.
  • an image including the front face image, the left face image, and the right face image of the user may be captured.
  • FIG. 13 is an example of an image photographed by a photographing apparatus according to an embodiment of the present invention.
  • the image 1300 captured by the camera 1200 of the photographing apparatus is a front face image 1310, a right face image 1321, and a left face image of a user. 1133 may be included.
  • the right face image 1321 may be a virtual image included in the first mirror 1320. That is, since the right face image 1321 is an image reflected by the first mirror 1320, the right face image 1321 may be an image representing the right face of the user and look like the left face of the user.
  • the left face image 1331 may be a virtual image included in the second mirror 1330. That is, since the left face image 1331 is an image reflected by the second mirror 1330, the left face image 1331 may be an image representing the left face of the user and look like the right face of the user.
  • FIG. 14 is a block diagram illustrating a three-dimensional model generator according to an embodiment of the present invention.
  • the 3D model generator 1120 may include a cost function setting unit 1410 and a model deformation unit 1420.
  • the cost function setting unit 1410 may set a cost function using a difference between two-dimensional coordinates of the feature points extracted by the feature point extractor 1110 and two-dimensional coordinates of the three-dimensional basic model. In this case, the cost function setting unit 1410 may extract the two-dimensional coordinates of the three-dimensional basic model by projecting the three-dimensional basic model onto an image plane.
  • the cost function setting unit 1410 may generate a three-dimensional basic model corresponding to the right face displayed on the first mirror, the left face displayed on the second mirror, and the front face of the user, respectively.
  • the cost function setting unit 1410 may determine a difference between the two-dimensional coordinates of the feature points extracted from the right face and the two-dimensional coordinates of the three-dimensional basic model corresponding to the right face, and the two-dimensional coordinates of the feature points extracted from the left face and the left face.
  • the total cost function can be calculated using the difference between the two-dimensional coordinates of the corresponding three-dimensional basic model and the difference between the two-dimensional coordinates of the feature points extracted from the front face and the two-dimensional coordinates of the three-dimensional basic model corresponding to the front face.
  • the cost function may be the number of operations required to transform the 3D basic model to correspond to the feature points.
  • the cost function set by the cost function setting unit 1410 may include model parameter adjustment and rotation of the 3D basic model required to transform the 3D basic model into a 3D face model corresponding to the user. rotation, and the degree of translation of the three-dimensional basic model, or the number of applications.
  • the model deformation unit 1420 may transform the 3D basic model into a 3D face model corresponding to the user by using the cost function set by the cost function setting unit 1410.
  • the model deformation unit 1420 may transform the 3D basic model into a 3D face model corresponding to the user by using a model parameter having a minimum cost function.
  • model deformer 1420 may deform the 3D basic model such that at least one of the 2D coordinates of the feature points extracted by the feature point extractor 1110 is the same as the 2D coordinate of the 3D basic model.
  • model deformer 1420 may deform the 3D basic model by rotating the 3D basic model or by modifying the 2D coordinates included in the 3D basic model.
  • the model deformer 1420 may compare the two-dimensional coordinates of the deformed model with the two-dimensional coordinates of the feature points extracted by the feature point extractor 1110 and further deform the two-dimensional coordinates of the three-dimensional basic model according to the comparison result. have.
  • the model deformer 1420 may determine the deformed model as a 3D face model corresponding to a user when the number of feature points having the same two-dimensional coordinates as the deformed model is a predetermined number or more. In addition, when the difference between the two-dimensional coordinates of the deformed model and the two-dimensional coordinates of the feature point is equal to or less than a predetermined interval, the model deformation unit 1420 may determine that the two-dimensional coordinates of the deformed model and the two-dimensional coordinates of the feature point are the same. .
  • 15 is an example of a process of generating a three-dimensional face model according to an embodiment of the present invention.
  • the 3D model generator 1120 may project the deformable 3D basic model 1510 onto the image 1520 from which the feature points are extracted. In this case, the 3D model generator 1120 may compare the 2D coordinates 1522 of the 3D basic model 1510 and the 2D coordinates 1521 of the feature point.
  • the 3D model generation unit 1120 deforms and transforms the 3D basic model 1510 according to a comparison result between the 2D coordinates 1522 of the 3D basic model 1510 and the 2D coordinates 1521 of the feature point.
  • the model 1530 may be generated.
  • the 3D model generator 1120 may modify model parameters of the 3D basic model 1510, rotate the 3D basic model 1510, or two-dimensional coordinates included in the 3D basic model 1510.
  • the deformation model 1530 may be generated by modifying the position of the 1522.
  • the 3D model generator 1120 may project the deformation model 1530 onto the image 1520.
  • the 3D model generator 1120 may compare the 2D coordinates 1542 of the deformation model 1530 with the 2D coordinates 1541 of the feature point.
  • the image 1540 may be the same as the image 1520, and the two-dimensional coordinates 1541 of the feature point may be the same as the two-dimensional coordinates 1521 of the feature point.
  • the image 1540 displays the two-dimensional coordinates 1542 of the deformation model 1530 represented by x at the same position as the two-dimensional coordinates 1521 of the feature points marked with +.
  • Point 1543 may be included.
  • the 3D model generator 1120 repeats the above process to increase the point 1543 indicated by *, thereby generating a 3D face model 1550 having the same feature points and 2D coordinates and corresponding to the user. can do.
  • 16 is a block diagram illustrating a three-dimensional face generator according to an embodiment of the present invention.
  • the 3D face generator 1130 may include a cylinder generator 1610, a texture map determiner 1620, a texture corrector 1630, and a texture map mapper ( 1640).
  • the cylinder generator 1610 may generate a virtual cylinder in an appearance of the 3D face model generated by the 3D model generator 1120.
  • the texture map determiner 1620 may determine the texture map by converting the positions of the respective vertices of the virtual cylinder generated by the cylinder generator 1610 into cylindrical coordinates.
  • the texture corrector 1630 may correct a texture located at the boundary between the front face and the left face of the user and the boundary between the front face and the right face of the user among the texture maps determined by the texture map determiner 1620 using a blending algorithm. Can be.
  • the texture corrector 1630 corrects the texture located at the boundary, so that the texture between the right face displayed by the first mirror and the left face reflected by the second mirror by the illumination and reflection and the front face photographed by the camera directly. The difference can be reduced.
  • the texture map mapping unit 1630 may map the texture map determined by the texture map determiner 1620 to the 3D face model generated by the 3D model generator 1120.
  • 17 is a flowchart illustrating a 3D face generation method according to an embodiment of the present invention.
  • the feature point extractor 1110 may extract the feature points of the front face, the left face, and the right face of the user from an image including the front face image, the left face image, and the right face image of the user.
  • the image may be an image including a left face image of a user displayed by a mirror located on the left side of the user, a right face image of the user displayed by a mirror located on the right side of the user, and a front face image of the actual user.
  • the 3D model generator 1120 may generate the 3D face model corresponding to the user by applying the feature points extracted in operation 1710 to the 3D basic model.
  • the 3D model generator 1120 may generate a 3D face model corresponding to the user by modifying the 3D basic model by adjusting the weights of the feature vectors included in the 3D basic model.
  • the 3D face generator 1130 may generate a 3D face of the user by mapping a texture to the 3D face model generated in operation 1720.
  • steps 1810 to 1820 in FIG. 18 may be included in step 1720 shown in FIG. 17.
  • the cost function setting unit 1410 may set the cost function using the difference between the two-dimensional coordinates of the feature points extracted in operation 1710 and the two-dimensional coordinates of the three-dimensional basic model.
  • the cost function setting unit 1410 may extract the two-dimensional coordinates of the three-dimensional basic model by projecting the three-dimensional basic model onto an image plane.
  • the model deformer 1420 may transform the 3D basic model into a 3D face model corresponding to the user using the cost function set in operation 1810.
  • the model deformation unit 1420 may transform the 3D basic model into a 3D face model corresponding to the user by using a model parameter having a minimum cost function.
  • model deformer 1420 may deform the 3D basic model such that at least one of the 2D coordinates of the feature points extracted by the feature point extractor 1110 is the same as the 2D coordinate of the 3D basic model.
  • model deformer 1420 may deform the 3D basic model by rotating the 3D basic model or by modifying the 2D coordinates included in the 3D basic model.
  • the model deformer 1420 may compare the two-dimensional coordinates of the deformed model with the two-dimensional coordinates of the feature points extracted by the feature point extractor 1110 and further deform the two-dimensional coordinates of the three-dimensional basic model according to the comparison result. have.
  • the model deformer 1420 may determine the deformed model as a 3D face model corresponding to a user when the number of feature points having the same two-dimensional coordinates as the deformed model is a predetermined number or more. In addition, when the difference between the two-dimensional coordinates of the deformed model and the two-dimensional coordinates of the feature point is equal to or less than a predetermined interval, the model deformation unit 1420 may determine that the two-dimensional coordinates of the deformed model and the two-dimensional coordinates of the feature point are the same. .
  • steps 1910 to 1940 in FIG. 19 may be included in step 1730 illustrated in FIG. 17.
  • the cylinder generator 1610 may generate a virtual cylinder in an appearance of the 3D face model generated in operation 1720.
  • the texture map determiner 1620 may determine the texture map by converting the positions of the respective vertices of the virtual cylinder generated in operation 1910 into cylindrical coordinates.
  • the texture correction unit 1630 uses a blending algorithm to determine a texture located at the boundary between the front face and the left face of the user and the boundary between the front face and the right face of the user from the texture map determined in operation 1920. You can correct it.
  • the texture map mapping unit 1630 may map the texture map corrected in operation 1930 to the 3D face model generated in operation 1720.
  • the present invention can generate a three-dimensional face corresponding to the user at a high speed by generating a three-dimensional face corresponding to the user using only feature points among the user's face.
  • the present invention generates a three-dimensional face corresponding to the user by using a mirror to generate a three-dimensional face corresponding to the user based on the image of the user's right and left face with the front face of the user. Can be generated.
  • the 3D basic model is deformed to generate a 3D face model corresponding to the user, if the user desires a molded face, the 3D basic model is transformed into a desired shape and the 3D corresponding to the molded face You can also create a face model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

차영상 정보를 전처리하여 영상을 부호화 및 복호화하는 장치와 얼굴이 포함된 영상에서 특징점을 추출하여 3차원 얼굴을 생성하는 장치 및 방법이 개시된다. 영상 부호화기의 전처리 장치는 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환하는 배열 변환부; 상기 배열에 포함된 스트링들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정하는 변환값 결정부; 및 스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화하는 그룹화부를 포함할 수 있다. 또한, 3차원 얼굴 생성 장치는 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 특징점 추출부; 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 3차원 모델 생성부; 및 상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 3차원 얼굴 생성부를 포함할 수 있다.

Description

영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법
본 발명은 차영상 정보를 사용하여 영상을 부호화 및 복호화하는 장치 및 방법에 관한 것으로, 보다 상세하게는 BWT(Burrows-Wheeler transform) 기술을 기초로 차영상 정보를 전처리하여 영상을 부호화 및 복호화하는 장치 및 방법에 관한 것이다.
또한, 본 발명은 3차원 얼굴을 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴이 포함된 영상에서 특징점을 추출하여 3차원 얼굴을 생성하는 장치 및 방법에 관한 것이다.
영상을 전송하는 방법에는 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보와 영상을 예측하기 위한 예측 정보를 부호화하여 전송하고, 예측 정보로 예측한 영상을 차영상 정보로 보정하여 원본 영상을 복호화하는 기술이 있다.
이때, 영상의 해상도가 증가하면, 예측 정보로 생성한 예측 영상과 원본 영상의 차이가 커질 수 있다. 따라서, 영상의 해상도 증가에 따라 부호화하여 전송하는 정보에서 차영상 정보의 비중이 증가하고 있다.
따라서, 차영상 정보의 부호화 효율을 증가시킬 수 있는 방법이 요청되고 있다.
또한, 카메라로부터 취득된 영상을 이용하여 3차원 얼굴을 생성하는 기술이 개발되고 있다.
종래의 3차원 얼굴을 생성하는 기술은 얼굴에 대응하는 모든 3D 포인트(point)로 구성된 포인트 클라우드(point cloud)와 포인트 클라우드에 대응하는 텍스처 정보를 이용하여 3차원 얼굴을 생성하고 있었다. 즉, 3차원 얼굴을 생성하기 위하여 필요한 3D 포인트의 개수가 많으므로 3차원 얼굴을 생성하는 과정에서 시간이 지연되고 있었다.
또한, 하나의 영상은 한 면의 얼굴만을 포함할 수 있으므로, 3차원 얼굴을 생성하기 위해서는 다양한 시점에서 촬영한 복수의 영상이 필요하였다.
따라서, 3차원 얼굴을 빠르게 생성할 수 있으며, 하나의 영상으로 다양한 시점에 대응하는 3차원 얼굴을 생성할 수 있는 방법이 요청되고 있다.
본 발명은 차영상 정보를 부호화하기 전에 차영상 정보의 스트링에 따라 분류하는 전처리 과정을 추가함으로써 차영상 정보의 부호화 효율을 향상시키는 장치 및 방법을 제공한다.
또한, 본 발명은 사용자의 얼굴 중에서 특징점 만을 사용하여 사용자에 대응하는 3차원 얼굴을 생성함으로써, 빠른 속도로 사용자에 대응하는 3차원 얼굴을 생성하는 장치 및 방법을 제공한다.
그리고, 본 발명은 거울을 사용하여 사용자의 우측 얼굴과 좌측 얼굴을 사용자의 정면 얼굴과 함께 촬영한 영상을 기초로 사용자에 대응하는 3차원 얼굴을 생성함으로써, 다양한 시점에 대응할 수 있는 3차원 얼굴을 생성하는 장치 및 방법을 제공한다.
또한, 본 발명은 사용자가 성형한 얼굴을 원하는 경우, 3차원 기본 모델을 사용자가 원하는 형태로 변형함으로써 성형한 얼굴에 대응하는 3차원 얼굴 모델을 생성하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치는 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환하는 배열 변환부; 상기 배열에 포함된 스트링들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정하는 변환값 결정부; 및 스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화하는 그룹화부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치의 그룹화부는 각 그룹의 첫 번째 스트링의 변환값보다 변환값이 작은 스트링들을 각 그룹으로 그룹화할 수 있다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치의 그룹화부는 각 그룹의 첫 번째 스트링의 변환값보다 변환값이 큰 스트링이 있는 경우, 신규 그룹을 생성하고, 상기 변환값이 큰 스트링을 신규 그룹의 첫 번째 스트링으로 설정할 수 있다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치의 변환값 결정부는 절대값 함수를 포함하는 변환 함수를 사용하여 스트링들 각각의 변환값을 결정할 수 있다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치의 변환값 결정부는 상기 배열에 포함된 스트링들 중 첫 번째 스트링의 변환값을 0으로 결정할 수 있다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치는 그룹화부가 그룹화한 그룹들에 bijective-BWT 변환을 적용하는 BWT 변환부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 영상 복호화기의 후처리 장치는 그룹들 각각의 첫 번째 스트링의 변환값을 식별하는 변환값 식별부; 첫 번째 스트링의 변환값의 크기에 따라 순차적으로 그룹을 결합하여 일 차원 배열을 생성하는 배열 생성부; 및 일 차원 배열을 차영상 정보로 변환하는 차영상 정보 변환부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 복호화기의 후처리 장치는 부호화 정보에 역BWT 변환을 적용하여 변환값 식별부에 제공하는 역BWT 변환부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 영상 부호화기의 전처리 방법은 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환하는 단계; 상기 배열에 포함된 스트링들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정하는 단계; 및 스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 복호화기의 후처리 방법은 그룹들 각각의 첫 번째 스트링의 변환값을 식별하는 단계; 첫 번째 스트링의 변환값의 크기에 따라 순차적으로 그룹을 결합하여 일 차원 배열을 생성하는 단계; 및 일 차원 배열을 차영상 정보로 변환하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치는 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 특징점 추출부; 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 3차원 모델 생성부; 및 상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 3차원 얼굴 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 특징점 추출부는, 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 3차원 모델 생성부는 추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정하는 비용 함수 설정부; 및 비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 모델 변형부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 모델 변형부는 비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치의 3차원 얼굴 생성부는 상기 3차원 얼굴 모델의 외형에 가상의 실린더를 생성하는 실린더 생성부; 가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정하는 텍스처 맵 결정부; 및 상기 3차원 얼굴 모델에 텍스처 맵을 매핑하는 텍스처 맵 매핑부를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 장치 3차원 얼굴 생성부는 블랜딩 알고리즘으로 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 경계에 위치한 텍스처를 보정하는 텍스처 보정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 촬영 장치는 사용자의 우측에서 사용자의 우측 얼굴을 표시하는 제1 거울; 사용자의 좌측에서 사용자의 좌측 얼굴을 표시하는 제2 거울; 및 제1 거울이 표시하는 사용자의 우측 얼굴과 제2 거울이 표시하는 사용자의 좌측 얼굴, 및 제1 거울과 제2 거울 사이에 위치한 사용자의 정면 얼굴을 촬영하는 카메라를 포함할 수 있다.
본 발명의 일실시예에 따른 3차원 얼굴 생성 방법은 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 단계; 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 단계; 및 상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 차영상 정보를 부호화하기 전에 차영상 정보의 스트링에 따라 분류하는 전처리 과정을 추가함으로써 차영상 정보의 부호화 효율을 향상시킬 수 있다.
또한, 본 발명의 일실시예에 의하면, 사용자의 얼굴 중에서 특징점 만을 사용하여 사용자에 대응하는 3차원 얼굴을 생성함으로써, 빠른 속도로 사용자에 대응하는 3차원 얼굴을 생성할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 거울을 사용하여 사용자의 우측 얼굴과 좌측 얼굴을 사용자의 정면 얼굴과 함께 촬영한 영상을 기초로 사용자에 대응하는 3차원 얼굴을 생성함으로써, 다양한 시점에 대응할 수 있는 3차원 얼굴을 생성할 수 있다.
또한, 본 발명의 일실시예에 의하면, 사용자가 성형한 얼굴을 원하는 경우, 3차원 기본 모델을 사용자가 원하는 형태로 변형함으로써, 성형한 얼굴에 대응하는 3차원 얼굴 모델을 생성할 수도 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치가 포함된 영상 부호화기를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 부호화기의 전처리 장치를 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 그룹화부가 배열의 스트링들을 그룹화하는 과정의 일례이다.
도 4는 본 발명의 일실시예에 따른 영상 복호화기를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 복호화기의 후처리부를 도시한 블록 다이어그램이다.
도 6은 본 발명의 일실시예에 따른 후처리부가 복호화 정보를 사용하여 일 차원 배열을 생성하는 과정의 일례이다.
도 7은 본 발명의 일실시예에 따른 영상 부호화 방법을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 전처리 방법을 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따른 영상 복호화 방법을 도시한 플로우차트이다.
도 10은 본 발명의 일실시예에 따른 후처리 방법을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따른 3차원 얼굴 생성 장치를 도시한 블록 다이어그램이다.
도 12는 본 발명의 일실시예에 따른 촬영 장치를 나타내는 도면이다.
도 13은 본 발명의 일실시예에 따른 촬영 장치가 촬영한 영상의 일례이다.
도 14는 본 발명의 일실시예에 따른 3차원 모델 생성부를 도시한 블록 다이어그램이다.
도 15는 본 발명의 일실시예에 따라 3차원 얼굴 모델을 생성하는 과정의 일례이다.
도 16은 본 발명의 일실시예에 따른 3차원 얼굴 생성부를 도시한 블록 다이어그램이다.
도 17은 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다.
도 18은 본 발명의 일실시예에 따른 3차원 모델 생성 방법을 도시한 플로우차트이다.
도 19는 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 영상 부호화기의 전처리 방법은 영상 부호화기의 전처리 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법은 3차원 얼굴 생성 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화기를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 영상 부호화기는 예측 영상 생성부(110), 차영상 정보 생성부(120), 차영상 정보 변환부(130), 전처리부(140), 및 엔트로피 부호화부(150)를 포함할 수 있다.
예측 영상 생성부(110)는 예측 모드 중 적어도 하나로 원본 영상의 다음 프레임의 값을 예측하여 예측 영상을 생성할 수 있다. 이때, 예측 모드는 다양한 크기의 매크로 블록이며, 각각의 매크로 블록마다 인트라(intra) 모드, 또는 인터(inter) 모드 중 적어도 하나가 포함될 수 있다.
또한, 예측 영상 생성부(110)는 예측 모드 중에서 예측 영상을 생성할 때 사용할 최적의 예측 모드를 선택하고, 최적의 예측 모드를 사용하여 예측 영상을 생성할 수 있다.
차영상 정보 생성부(120)는 예측 영상 생성부(110)가 생성한 예측 영상과 원본 영상의 다음 프레임을 비교하여 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 생성할 수 있다.
차영상 정보 변환부(130)는 차영상 정보 생성부(120)가 생성한 차영상 정보에 이산 코사인 변환(DCT: discrete cosine transform) 및 양자화(quantization)를 적용할 수 있다.
전처리부(140)는 bijective-BWT(Burrows-Wheeler transform) 기술을 기초로 차영상 정보 변환부(130)가 변환한 차영상 정보를 전처리할 수 있다.
엔트로피 부호화부(150)는 전처리부(140)가 전처리한 차영상 정보를 부호화할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 부호화기의 전처리부(140)를 도시한 블록 다이어그램이다.
도 2을 참고하면, 본 발명의 일실시예에 따른 영상 부호화기(100)의 전처리부 (140)는 배열 변환부(210), 변환값 결정부(220), 그룹화부(230) 및 BWT 변환부(240)를 포함할 수 있다.
배열 변환부(210)는 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환할 수 있다.
구체적으로 배열 변환부(210)는 차영상 정보 변환부(130)가 변환한 차영상 정보를 고주파부터 저주파의 방향으로 스캐닝하여 일 차원 배열로 변환할 수 있다.
변환값 결정부(220)는 배열에 포함된 스트링(string)들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정할 수 있다.
이때, 변환값 결정부(220)는 수학식 1을 만족하는 변환 함수 T를 사용하여 스트링들 각각의 변환값을 결정할 수 있다.
Figure PCTKR2013005810-appb-I000001
이때, abs() 함수는 절대값 함수이고, a, b는 배열의 스트링 중 하나일 수 있다. 즉, 배열에 포함된 스트링들 중 첫 번째 스트링의 변환값은 0일 수 있다.
그리고, 변환값 결정부(220)는 수학식 1을 만족하는 다른 함수들을 변환 함수 T로 사용할 수도 있다. 예를 들어 변환값 결정부(220)는 log(abs(x)) 또는 floor(x^2/c)를 변환 함수 T로 사용할 수도 있다.
그룹화부(230)는 변환값 결정부(220)가 결정한 스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화할 수 있다.
이때, 그룹화부(230)는 그룹 각각이 수학식 2를 만족하도록 스트링들을 그룹화할 수 있다
Figure PCTKR2013005810-appb-I000002
이때, f0은 각 그룹의 첫 번째 스트링이고, fi는 각 그룹의 i 번째 스트링일 수 있다.
즉, 그룹화부(230)는 각 그룹의 첫 번째 스트링의 변환값보다 변환값이 작은 스트링들을 각 그룹으로 그룹화할 수 있다. 또한, 그룹화부(230)는 각 그룹의 첫 번째 스트링의 변환값보다 변환값이 큰 스트링이 있는 경우, 신규 그룹을 생성하고, 상기 변환값이 큰 스트링을 신규 그룹의 첫 번째 스트링으로 설정할 수 있다.
그룹화부(230)과 스트링들을 그룹화하는 과정은 이하 도 3을 참조하여 상세히 설명한다.
BWT 변환부(240)는 그룹화부(230)가 그룹화한 그룹들에 BWT 변환을 적용하여 그룹들 전체에 포함된 유사 계수들을 유사 계수 별로 모을 수 있다.
도 3은 본 발명의 일실시예에 따른 그룹화부 배열의 스트링들을 그룹화하는 과정의 일례이다.
먼저, 그룹화부(230)는 배열(300)에 포함된 스트링들 중 제1 스트링(301)의 변환값 0을 제2 스트링(302)의 변환값 5와 비교할 수 있다.
이때, 제2 스트링(302)의 변환값 5는 제1 스트링(301)의 변환값 0보다 크므로 그룹화부(230)는 제1 스트링(301)를 제1 그룹(310)으로 그룹화하고, 제2 스트링(302)를 첫 번째 스트링으로 설정한 제2 그룹(320)을 생성할 수 있다.
다음으로, 그룹화부(230)는 제2 스트링(302)의 변환값 5을 제3 스트링(303)의 변환값 4와 비교할 수 있다.
이때, 제3 스트링(303)의 변환값 4는 제2 스트링(302)의 변환값 5보다 작으므로 그룹화부(230)는 제3 스트링(303)를 제2 그룹(320)에 포함시킬 수 있다.
그리고, 그룹화부(230)는 제3 스트링(303) 이후의 스트링의 변환값들을 각각 제2 스트링(302)의 변환값 5와 비교하고, 변환값이 5보다 적은 스트링들을 제2 그룹(320)에 포함시킬 수 있다.
또한, 그룹화부(230)는 제5 스트링(304)와 같이 변환값이 제2 스트링(302)의 변환값 5보다 큰 스트링이 존재하는 경우, 제2 스트링(302)부터 제5 스트링(304) 직전에 위치한 제4 스트링(305)까지의 스트링들을 제2 그룹(320)으로 그룹화하고, 제5 스트링(304)를 첫 번째 스트링으로 설정한 제3 그룹(330)을 생성할 수 있다.
그룹화부(230)는 상기 과정을 반복하여 제3 그룹(330)을 확정하고, 제5 스트링(304)의 변환값 6보다 변환값이 큰 제6스트링(306)을 첫 번째 스트링으로 설정한 제4 그룹(340)을 생성할 수 있다.
이때, 변환값들은 양수이므로 제1 스트링(301)의 변환값 0보다 변환값이 작은 스트링은 없다. 따라서, 제1 그룹(310)는 스트링의 원본값과 상관 없이 항상 배열의 첫 번째 스트링만 포함하는 그룹일 수 있다.
즉, 배열의 첫 번째 스트링의 위치가 보존되므로 엔트로피 부호화부(150)에서 사용하는 Last non-zero position 정보가 보존될 수 있다.
또한, BWT 연산을 수행할 경우, 변환값이 0인 스트링들을 연산에서 제외할 수 있으므로 연산 시간을 감소시킬 수 있다.
도 4는 본 발명의 일실시예에 따른 영상 복호화기를 나타내는 도면이다.
도 4를 참고하면, 본 발명의 일실시예에 따른 영상 복호화기(400)는 엔트로피 복호화부(410), 후처리부(420), 예측 영상 생성부(430), 및 원본 영상 생성부(440)를 포함할 수 있다.
엔트로피 복호화부(410)는 영상 부호화기(100)로부터 수신한 부호화 정보를 복호화하여 복호화 정보를 생성할 수 있다.
후처리부(420)는 엔트로피 복호화부(410)가 생성한 복호화 정보를 역변환하여 전처리부(140)에 입력된 차영상 정보를 복호화할 수 있다.
이때, 후처리부(420)는 역변환한 차영상 정보에 역 이산 코사인 변환 및 역양자화를 적용할 수 있다.
예측 영상 생성부(430)는 예측 모드 중 적어도 하나로 원본 영상의 다음 프레임의 값을 예측하여 예측 영상을 생성할 수 있다. 이때, 원본 영상은 이전 프레임의 부호화 정보에서 복호화한 영상이고, 예측 모드는 다양한 크기의 매크로 블록이며, 각각의 매크로 블록마다 인트라(intra) 모드, 또는 인터(inter) 모드 중 적어도 하나가 포함될 수 있다.
원본 영상 생성부(430)는 후처리부(420)가 복호화한 차영상 정보와 예측 영상 생성부(430)가 생성한 예측 영상을 사용하여 원본 영상을 생성할 수 있다.
이때, 예측 영상 생성부(430)가 생성한 예측 영상과 원본 영상의 실제 프레임 간의 차이는 차영상 정보에 포함되므로 원본 영상 생성부(430)는 예측 영상에 차영상 정보를 사용하여, 원본 영상의 다음 프레임을 복호화할 수 있다.
도 5는 본 발명의 일실시예에 따른 영상 복호화기의 후처리부를 도시한 블록 다이어그램이다.
도 5를 참고하면, 본 발명의 일실시예에 따른 영상 복호화기(400)의 후처리부 (420)는 BWT 역변환부(510), 변환값 식별부(520), 배열 생성부(530) 및 차영상 정보 변환부(540)를 포함할 수 있다.
BWT 역변환부(510)는 부호화 정보에 역 BWT 변환을 적용하여 그룹화부(230)가 그룹화한 그룹들을 복호화할 수 있다.
변환값 식별부(520)는 BWT 역변환부(510)가 복호화한 그룹들 각각의 첫 번째 스트링의 변환값을 식별할 수 있다.
배열 생성부(530)는 변환값 식별부(520)가 식별한 첫 번째 스트링의 변환값의 크기에 따라 순차적으로 그룹을 결합하여 일 차원 배열을 생성할 수 있다.
구체적으로 배열 생성부(530)는 변환값 식별부(520)가 식별한 첫 번째 스트링의 변환값의 크기가 작은 순서부터 그룹들을 정렬하고, 정렬한 그룹들을 결합하여 일 차원 배열을 생성할 수 있다.
후처리부(420)가 일 차원 배열을 생성하는 과정은 이하 도 6을 참조하여 상세히 설명한다.
차영상 정보 변환부(540)는 배열 생성부(530)가 생성한 일 차원 배열을 차영상 정보로 변환할 수 있다.
예를 들어 차영상 정보 변환부(540)는 일 차원 배열을 저주파부터 고주파 방향으로 역스캐닝하여 차영상 정보로 변환할 수 있다.
도 6은 본 발명의 일실시예에 따른 후처리부가 복호화 정보를 사용하여 일 차원 배열을 생성하는 과정의 일례이다.
먼저, 변환값 식별부(520)는 엔트로피 복호화부(410)로부터 제1 그룹(611), 제2 그룹(612), 제3 그룹(613) 및 제4 그룹(614)를 포함하는 복호화 정보(610)를 수신할 수 있다.
다음으로 변환값 식별부(520)는 제1 그룹(611), 제2 그룹(612), 제3 그룹(613) 및 제4 그룹(614)의 첫 번째 스트링들의 변환값이 각각 0, 5, 7, 6 임을 식별할 수 있다.
그 다음으로 배열 생성부(530) 변환값이 가장 작은 0인 제1 그룹(611)의 위치를 가장 앞으로 설정하고, 변환 값이 5인 제2 그룹(612), 변환값이 6인 제4 그룹(614) 및 변환값이 7인 제3그룹(6130)의 순서로 각 그룹들을 정렬할 수 있다.
마지막으로 배열 생성부(530)는 정렬한 그룹(620)들을 정렬 순서에 따라 결합하여 일 차원 배열(630)을 생성할 수 있다.
본 발명의 일실시예에 따른 후처리부(420)는 그룹들 각각의 첫 번째 스트링의 변환값의 크기에 따라 그룹들을 결합함으로써, 그룹들의 위치를 식별하기 위한 추가 정보 없이도 차영상 정보에 대응하는 일 차원 배열을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 영상 부호화 방법을 도시한 플로우차트이다.
단계(710)에서 예측 영상 생성부(110)는 예측 모드 중 적어도 하나로 원본 영상의 다음 프레임의 값을 예측하여 예측 영상을 생성할 수 있다.
단계(720)에서 차영상 정보 생성부(120)는 단계(710)에서 생성한 예측 영상과 원본 영상의 다음 프레임을 비교하여 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 생성할 수 있다.
단계(730)에서 차영상 정보 변환부(130)는 단계(720)에서 생성한 차영상 정보에 이산 코사인 변환(DCT: discrete cosine transform) 및 양자화(quantization)를 적용할 수 있다.
단계(740)에서 전처리부(140)는 BWT(Burrows-Wheeler transform) 기술을 기초로 단계(730)에서 변환한 차영상 정보를 전처리할 수 있다.
단계(750)에서 엔트로피 부호화부(150)는 단계(740)에서 전처리한 차영상 정보를 부호화할 수 있다.
도 8은 본 발명의 일실시예에 따른 전처리 방법을 도시한 플로우차트이다. 이때, 단계(810) 내지 단계(840)는 도 7의 단계(740)에 포함될 수 있다.
단계(810)에서 배열 변환부(210)는 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환할 수 있다. 구체적으로 배열 변환부(210)는 차영상 정보 변환부(130)가 변환한 차영상 정보를 고주파부터 저주파의 방향으로 스캐닝하여 일 차원 배열로 변환할 수 있다.
단계(820)에서 변환값 결정부(220)는 단계(820)에서 변환한 배열의 스트링들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정할 수 있다.
단계(830)에서 그룹화부(230)는 단계(820)에서 결정한 스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화할 수 있다.
이때, 그룹화부(230)는 각 그룹의 첫 번째 스트링의 변환값보다 변환값이 작은 스트링들을 각 그룹으로 그룹화할 수 있다. 또한, 그룹화부(230)는 각 그룹의 첫 번째 스트링의 변환값보다 변환값이 큰 스트링이 있는 경우, 신규 그룹을 생성하고, 상기 변환값이 큰 스트링을 신규 그룹의 첫 번째 스트링으로 설정할 수 있다.
단계(840)에서 BWT 변환부(240)는 단계(830)에서 그룹화한 그룹들에 bijective-BWT 변환을 적용하여 그룹들 전체에 포함된 유사 계수들을 유사 계수 별로 모을 수 있다.
도 9는 본 발명의 일실시예에 따른 영상 복호화 방법을 도시한 플로우차트이다.
단계(910)에서 엔트로피 복호화부(410)는 영상 부호화기(100)로부터 수신한 부호화 정보를 복호화하여 복호화 정보를 생성할 수 있다.
단계(920)에서 후처리부(420)는 단계(910)에서 생성한 복호화 정보를 역변환하여 전처리부(140)에 입력된 차영상 정보를 복호화할 수 있다.
단계(930)에서 예측 영상 생성부(430)는 예측 모드 중 적어도 하나로 원본 영상의 다음 프레임의 값을 예측하여 예측 영상을 생성할 수 있다.
단계(940)에서 원본 영상 생성부(430)는 단계(920)에서 복호화한 차영상 정보와 단계(930)에서 생성한 예측 영상을 사용하여 원본 영상을 생성할 수 있다.
도 10은 본 발명의 일실시예에 따른 차영상 정보 복호화 방법을 도시한 플로우차트이다. 이때, 단계(1010) 내지 단계(1040)는 도 9의 단계(920)에 포함될 수 있다.
단계(1010)에서 BWT 역변환부(510)는 부호화 정보에 역 BWT 변환을 적용하여 그룹화부(230)가 그룹화한 그룹들을 복호화할 수 있다.
단계(1020)에서 변환값 식별부(520)는 단계(1010)에서 복호화한 그룹들 각각의 첫 번째 스트링의 변환값을 식별할 수 있다.
단계(1030)에서 배열 생성부(530)는 단계(1020)에서 식별한 첫 번째 스트링의 변환값의 크기에 따라 순차적으로 그룹을 결합하여 일 차원 배열을 생성할 수 있다.
단계(1040)에서 차영상 정보 변환부(540)는 단계(1030)에서 생성한 일 차원 배열을 차영상 정보로 변환할 수 있다. 예를 들어 차영상 정보 변환부(540)는 일 차원 배열을 저주파부터 고주파 방향으로 역스캐닝하여 차영상 정보로 변환할 수 있다.
본 발명은 차영상 정보를 부호화하기 전에 차영상 정보의 스트링에 따라 분류하는 전처리 과정을 추가함으로써 차영상 정보의 부호화 효율을 향상시킬 수 있다. 또한, 본 발명은 차영상 정보를 전처리 하는 과정의 추가만으로 부호화 효율을 향상시킴으로써 다양한 영상 부호화 방법에 적용할 수 있다.
도 11은 본 발명의 일실시예에 따른 3차원 얼굴 생성 장치(1100)를 도시한 블록 다이어그램이다.
도 11을 참고하면, 본 발명의 일실시예에 따른 3차원 얼굴 생성 장치(1100)는 특징점 추출부(1110), 3차원 모델 생성부(1120), 및 3차원 얼굴 생성부(1130)를 포함할 수 있다.
특징점 추출부(1110)는 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출할 수 있다.
이때, 영상은 사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상일 수 있다.
특징점 추출부(1110)가 특징점을 추출하는 영상은 이하 도 12와 도 13을 참조하여 상세히 설명한다.
3차원 모델 생성부(1120)는 특징점 추출부(1110)가 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
이때, 3차원 기본 모델은 3차원 얼굴 형상과 관련된 데이터베이스를 기반으로 추출한 특징 벡터 및 평균 얼굴 외형을 포함할 수 있다. 이때, 데이터베이스는 현실 세계의 3차원 얼굴들에서 추출한 특징점들의 3차원 좌표들을 포함할 수 있다. 또한, 현실 세계의 3차원 얼굴들은 3차원 레이저 스캐너로 획득한 이미지일 수 있다. 그리고, 특징 벡터는 학습 과정을 거쳐 데이터베이스에서 추출한 벡터일 수 있다.
또한, 3차원 모델 생성부(1120)는 3차원 기본 모델에 포함된 특징 벡터의 가중치를 조정함으로써, 3차원 기본 모델을 변형하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
3차원 모델 생성부(1120)의 구체적인 구성과 동작은 이하 도 14를 참조하여 상세히 설명한다.
3차원 얼굴 생성부(1130)는 3차원 모델 생성부(1120)가 생성한 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성할 수 있다.
3차원 얼굴 생성부(1130)의 구체적인 구성과 동작은 이하 도 16을 참조하여 상세히 설명한다.
도 12는 본 발명의 일실시예에 따른 촬영 장치를 나타내는 도면이다.
본 발명의 일실시예에 따른 촬영 장치는 도 12에 도시된 바와 같이 사용자(1210)의 우측에 위치한 제1 거울(1220), 사용자(1210)의 좌측에 위치한 제2 거울(1230) 및 사용자(1210)를 촬영하는 카메라(1200)를 포함할 수 있다.
카메라(1200)는 도 12에 도시된 바와 같이 제1 거울(1220)와 제2 거울(1230) 사이에 위치한 사용자(1210)의 얼굴을 촬영할 수 있다.
이때, 제1 거울(1220)는 사용자의 우측 얼굴(1221)을 표시할 수 있다. 또한, 제1 거울(1220)는 카메라(1200)를 향하여 일정 각도로 기울어 짐으로써, 카메라(1200)가 사용자의 얼굴(1210)과 함께 사용자의 우측 얼굴(1221)을 촬영하도록 할 수 있다.
또한, 제2 거울(1230)는 사용자의 좌측 얼굴(1231)을 표시할 수 있다. 이때, 제2 거울(1230)는 카메라(1200)를 향하여 일정 각도로 기울어 짐으로써, 카메라(1200)가 사용자의 얼굴(1210)과 함께 사용자의 좌측 얼굴(1231)을 촬영하도록 할 수 있다. 또한, 제2 거울(1230)는 제1 거울(1210)이 표시하는 사용자의 우측 얼굴(1221)가 표시되지 않는 기울기로 설치될 수 있다.
즉, 카메라(1200)는 제1 거울(1220)이 표시하는 사용자의 우측 얼굴(1221)과 제2 거울(1230)이 표시하는 사용자의 좌측 얼굴(1231), 및 제1 거울(1220)과 제2 거울(1230) 사이에 위치한 사용자(1210)의 정면 얼굴을 촬영함으로써, 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상을 촬영할 수 있다.
도 13은 본 발명의 일실시예에 따른 촬영 장치가 촬영한 영상의 일례이다.
본 발명의 일실시예에 따른 촬영 장치의 카메라(1200)가 촬영한 영상(1300)은 도 13에 도시된 바와 같이 사용자의 정면 얼굴 이미지(1310), 우측 얼굴 이미지(1321), 및 좌측 얼굴 이미지(1331)를 포함할 수 있다.
이때, 우측 얼굴 이미지(1321)는 제1 거울(1320) 안에 포함된 가상 이미지일 수 있다. 즉, 우측 얼굴 이미지(1321)는 제1 거울(1320)에 반사된 이미지이므로, 사용자의 우측 얼굴을 나타내는 이미지이면서 사용자의 좌측 얼굴처럼 보일 수 있다.
또한, 좌측 얼굴 이미지(1331)는 제2 거울(1330) 안에 포함된 가상 이미지일 수 있다. 즉, 좌측 얼굴 이미지(1331)는 제2 거울(1330)에 반사된 이미지이므로, 사용자의 좌측 얼굴을 나타내는 이미지이면서 사용자의 우측 얼굴처럼 보일 수 있다.
도 14는 본 발명의 일실시예에 따른 3차원 모델 생성부를 도시한 블록 다이어그램이다.
도 14를 참고하면, 본 발명의 일실시예에 따른 3차원 모델 생성부(1120)는 비용 함수 설정부(1410), 및 모델 변형부(1420)를 포함할 수 있다.
비용 함수 설정부(1410)는 특징점 추출부(1110)가 추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정할 수 있다. 이때, 비용 함수 설정부(1410)는 3차원 기본 모델을 이미지 플레인(image plane)에 투영하여 3차원 기본 모델의 2차원 좌표를 추출할 수 있다.
또한, 비용 함수 설정부(1410)는 제1 거울에 표시되는 우측 얼굴과 제2 거울에 표시되는 좌측 얼굴 및 사용자의 정면 얼굴에 대응하는 3차원 기본 모델을 각각 생성할 수 있다. 다음으로, 비용 함수 설정부(1410)는 우측 얼굴에서 추출한 특징점들의 2차원 좌표와 우측 얼굴에 대응하는 3차원 기본 모델의 2차원 좌표 간의 차이, 좌측 얼굴에서 추출한 특징점들의 2차원 좌표와 좌측 얼굴에 대응하는 3차원 기본 모델의 2차원 좌표 간의 차이, 및 정면 얼굴에서 추출한 특징점들의 2차원 좌표와 정면 얼굴에 대응하는 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 총 비용 함수를 계산할 수 있다.
이때, 비용 함수는 3차원 기본 모델을 특징점들에 대응하도록 변형하기 위하여 필요한 동작들의 개수일 수 있다. 예를 들어, 비용 함수 설정부(1410)가 설정한 비용 함수는 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하기 위하여 필요한 모델 파라미터 수정(model parameter adjustment), 3차원 기본 모델의 회전(rotation), 및 3차원 기본 모델의 변형(translation)의 정도, 또는 적용 회수일 수 있다.
모델 변형부(1420)는 비용 함수 설정부(1410)가 설정한 비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
이때, 모델 변형부(1420)는 비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
또한, 모델 변형부(1420)는 특징점 추출부(1110)가 추출한 특징점들의 2차원 좌표 중 적어도 하나가 3차원 기본 모델의 2차원 좌표와 동일하도록 3차원 기본 모델을 변형할 수 있다. 구체적으로, 모델 변형부(1420)는 3차원 기본 모델을 회전하거나, 3차원 기본 모델에 포함된 2차원 좌표들을 변형하여 3차원 기본 모델을 변형할 수 있다.
다음으로 모델 변형부(1420)는 변형한 모델의 2차원 좌표와 특징점 추출부(1110)가 추출한 특징점들의 2차원 좌표를 비교하고 비교 결과에 따라 3차원 기본 모델의 2차원 좌표를 더 변형할 수 있다.
모델 변형부(1420)는 변형한 모델과 2차원 좌표가 동일한 특징점들의 개수가 일정 개수 이상인 경우, 변형한 모델을 사용자에 대응하는 3차원 얼굴 모델로 판단할 수 있다. 또한, 모델 변형부(1420)는 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표 간의 차이가 일정 간격 이하인 경우, 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표가 동일한 것으로 판단할 수 있다.
도 15는 본 발명의 일실시예에 따라 3차원 얼굴 모델을 생성하는 과정의 일례이다.
3차원 모델 생성부(1120)는 변형 가능한 3차원 기본 모델(1510)을 특징점을 추출한 영상(1520)에 투영(projection)할 수 있다. 이때, 3차원 모델 생성부(1120)는 3차원 기본 모델(1510)의 2차원 좌표(1522)와 특징점의 2차원 좌표(1521)를 비교할 수 있다.
다음으로 3차원 모델 생성부(1120)는 3차원 기본 모델(1510)의 2차원 좌표(1522)와 특징점의 2차원 좌표(1521) 간의 비교 결과에 따라 3차원 기본 모델(1510)을 변형하여 변형 모델(1530)을 생성할 수 있다. 예를 들어, 3차원 모델 생성부(1120)는 3차원 기본 모델(1510)의 모델 파라미터를 수정하거나, 3차원 기본 모델(1510)을 회전 또는 3차원 기본 모델(1510)에 포함된 2차원 좌표(1522)의 위치를 변형하여 변형 모델(1530)을 생성할 수 있다.
그 다음으로 3차원 모델 생성부(1120)는 변형 모델(1530)을 영상(1520)에 투영할 수 있다. 그리고, 3차원 모델 생성부(1120)는 변형 모델(1530)의 2차원 좌표(1542)와 특징점의 2차원 좌표(1541)를 비교할 수 있다. 이때, 영상(1540)는 영상(1520)와 동일하고, 특징점의 2차원 좌표(1541)는 특징점의 2차원 좌표(1521)와 동일할 수 있다.
이때, 영상(1540)에는 도 15에 도시된 바와 같이 +로 표시한 특징점의 2차원 좌표(1521)와 동일한 위치에 x로 표시한 변형 모델(1530)의 2차원 좌표(1542)가 표시되어 *로 표시되는 점(1543)이 포함될 수 있다.
다음으로 3차원 모델 생성부(1120)는 상기 과정을 반복하여 *로 표시되는 점(1543)을 증가 시킴으로써, 특징점들과 2차원 좌표가 동일하며 사용자에 대응하는 3차원 얼굴 모델(1550)을 생성할 수 있다.
도 16은 본 발명의 일실시예에 따른 3차원 얼굴 생성부를 도시한 블록 다이어그램이다.
도 16을 참고하면, 본 발명의 일실시예에 따른 3차원 얼굴 생성부(1130)는 실린더 생성부(1610), 텍스처 맵 결정부(1620), 텍스처 보정부(1630) 및 텍스처 맵 매핑부(1640)를 포함할 수 있다.
실린더 생성부(1610)는 3차원 모델 생성부(1120)가 생성한 3차원 얼굴 모델의 외형에 가상의 실린더를 생성할 수 있다.
텍스처 맵 결정부(1620)는 실린더 생성부(1610)가 생성한 가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정할 수 있다.
텍스처 보정부(1630)는 블랜딩 알고리즘을 사용하여 텍스처 맵 결정부(1620)가 결정한 텍스처 맵 중에서 사용자의 정면 얼굴과 좌측 얼굴 간의 경계, 및 사용자의 정면 얼굴과 우측 얼굴 간의 경계에 위치한 텍스처를 보정할 수 있다.
텍스처 보정부(1630)는 경계에 위치한 텍스처를 보정함으로써, 조명과 반사에 의하여 제1 거울에서 반사되어 표시된 우측 얼굴 및, 제2 거울에서 반사되어 표시된 좌측 얼굴과 직접 카메라로 촬영한 정면 얼굴 간에 텍스처 차이를 감소시킬 수 있다.
텍스처 맵 매핑부(1630)는 3차원 모델 생성부(1120)가 생성한 3차원 얼굴 모델에 텍스처 맵 결정부(1620)가 결정한 텍스처 맵을 매핑할 수 있다.
도 17은 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다.
단계(1710)에서 특징점 추출부(1110)는 사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출할 수 있다.
이때, 영상은 사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상일 수 있다.
단계(1720)에서 3차원 모델 생성부(1120)는 단계(1710)에서 추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
이때, 3차원 모델 생성부(1120)는 3차원 기본 모델에 포함된 특징 벡터의 가중치를 조정함으로써, 3차원 기본 모델을 변형하여 사용자에 대응하는 3차원 얼굴 모델을 생성할 수 있다.
단계(1730)에서 3차원 얼굴 생성부(1130)는 단계(1720)에서 생성한 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성할 수 있다.
도 18은 본 발명의 일실시예에 따른 3차원 모델 생성 방법을 도시한 플로우차트이다. 이때, 도 18에서 단계(1810) 내지 단계(1820)는 도 17에 표시된 단계(1720)에 포함될 수 있다.
단계(1810)에서 비용 함수 설정부(1410)는 단계(1710)에서 추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정할 수 있다. 이때, 비용 함수 설정부(1410)는 3차원 기본 모델을 이미지 플레인(image plane)에 투영하여 3차원 기본 모델의 2차원 좌표를 추출할 수 있다.
단계(1820)에서 모델 변형부(1420)는 단계(1810)에서 설정한 비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
이때, 모델 변형부(1420)는 비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형할 수 있다.
또한, 모델 변형부(1420)는 특징점 추출부(1110)가 추출한 특징점들의 2차원 좌표 중 적어도 하나가 3차원 기본 모델의 2차원 좌표와 동일하도록 3차원 기본 모델을 변형할 수 있다. 구체적으로, 모델 변형부(1420)는 3차원 기본 모델을 회전하거나, 3차원 기본 모델에 포함된 2차원 좌표들을 변형하여 3차원 기본 모델을 변형할 수 있다.
다음으로 모델 변형부(1420)는 변형한 모델의 2차원 좌표와 특징점 추출부(1110)가 추출한 특징점들의 2차원 좌표를 비교하고 비교 결과에 따라 3차원 기본 모델의 2차원 좌표를 더 변형할 수 있다.
모델 변형부(1420)는 변형한 모델과 2차원 좌표가 동일한 특징점들의 개수가 일정 개수 이상인 경우, 변형한 모델을 사용자에 대응하는 3차원 얼굴 모델로 판단할 수 있다. 또한, 모델 변형부(1420)는 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표 간의 차이가 일정 간격 이하인 경우, 변형한 모델의 2차원 좌표와 특징점의 2차원 좌표가 동일한 것으로 판단할 수 있다.
도 19는 본 발명의 일실시예에 따른 3차원 얼굴 생성 방법을 도시한 플로우차트이다. 이때, 도 19에서 단계(1910) 내지 단계(1940)는 도 17에 표시된 단계(1730)에 포함될 수 있다.
단계(1910)에서 실린더 생성부(1610)는 단계(1720)에서 생성한 3차원 얼굴 모델의 외형에 가상의 실린더를 생성할 수 있다.
단계(1920)에서 텍스처 맵 결정부(1620)는 단계(1910)에서 생성한 가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정할 수 있다.
단계(1930)에서 텍스처 보정부(1630)는 블랜딩 알고리즘을 사용하여 단계(1920)에서 결정한 텍스처 맵 중에서 사용자의 정면 얼굴과 좌측 얼굴 간의 경계, 및 사용자의 정면 얼굴과 우측 얼굴 간의 경계에 위치한 텍스처를 보정할 수 있다.
단계(1940)에서 텍스처 맵 매핑부(1630)는 단계(1720)에서 생성한 3차원 얼굴 모델에 단계(1930)에서 보정한 텍스처 맵을 매핑할 수 있다.
본 발명은 사용자의 얼굴 중에서 특징점 만을 사용하여 사용자에 대응하는 3차원 얼굴을 생성함으로써, 빠른 속도로 사용자에 대응하는 3차원 얼굴을 생성할 수 있다.
또한, 본 발명은 거울을 사용하여 사용자의 우측 얼굴과 좌측 얼굴을 사용자의 정면 얼굴과 함께 촬영한 영상을 기초로 사용자에 대응하는 3차원 얼굴을 생성함으로써, 다양한 시점에 대응할 수 있는 3차원 얼굴을 생성할 수 있다.
그리고, 3차원 기본 모델을 변형하여 사용자에 대응하는 3차원 얼굴 모델을 생성함으로써, 사용자가 성형한 얼굴을 원하는 경우, 3차원 기본 모델을 사용자가 원하는 형태로 변형하여 성형한 얼굴에 대응하는 3차원 얼굴 모델을 생성할 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (31)

  1. 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환하는 배열 변환부;
    상기 배열에 포함된 스트링들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정하는 변환값 결정부; 및
    스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화하는 그룹화부
    를 포함하는 영상 부호화기의 전처리 장치.
  2. 제1항에 있어서,
    상기 그룹화부는,
    각 그룹의 첫 번째 스트링의 변환값보다 변환값이 작은 스트링들을 각 그룹으로 그룹화하는 영상 부호화기의 전처리 장치.
  3. 제1항에 있어서,
    상기 그룹화부는,
    각 그룹의 첫 번째 스트링의 변환값보다 변환값이 큰 스트링이 있는 경우, 신규 그룹을 생성하고, 상기 변환값이 큰 스트링을 신규 그룹의 첫 번째 스트링으로 설정하는 영상 부호화기의 전처리 장치.
  4. 제1항에 있어서,
    상기 변환값 결정부는,
    절대값 함수를 포함하는 변환 함수를 사용하여 스트링들 각각의 변환값을 결정하는 영상 부호화기의 전처리 장치.
  5. 제1항에 있어서,
    상기 변환값 결정부는,
    상기 배열에 포함된 스트링들 중 첫 번째 스트링의 변환값을 0으로 결정하는 영상 부호화기의 전처리 장치.
  6. 제1항에 있어서,
    상기 그룹화부가 그룹화한 그룹들에 bijective-BWT 변환을 적용하는 BWT 변환부
    를 더 포함하는 영상 부호화기의 전처리 장치.
  7. 그룹들 각각의 첫 번째 스트링의 변환값을 식별하는 변환값 식별부;
    첫 번째 스트링의 변환값의 크기에 따라 순차적으로 그룹을 결합하여 일 차원 배열을 생성하는 배열 생성부; 및
    일 차원 배열을 차영상 정보로 변환하는 차영상 정보 변환부
    를 포함하는 영상 복호화기의 후처리 장치.
  8. 제7항에 있어서,
    부호화 정보에 역BWT 변환을 적용하여 변환값 식별부에 제공하는 역BWT 변환부
    를 더 포함하는 영상 복호화기의 후처리 장치.
  9. 예측 영상과 원본 영상의 차이를 나타내는 차영상 정보를 일 차원 배열로 변환하는 단계;
    상기 배열에 포함된 스트링들에 변환 함수를 적용하여 스트링들 각각의 변환값을 결정하는 단계; 및
    스트링들 각각의 변환값을 사용하여 스트링들을 순차적으로 그룹화하는 단계
    를 포함하는 영상 부호화기의 전처리 방법.
  10. 제9항에 있어서,
    상기 그룹화하는 단계는,
    각 그룹의 첫 번째 스트링의 변환값보다 변환값이 작은 스트링들을 각 그룹으로 그룹화하는 영상 부호화기의 전처리 방법.
  11. 제9항에 있어서,
    상기 그룹화하는 단계는,
    각 그룹의 첫 번째 스트링의 변환값보다 변환값이 큰 스트링이 있는 경우, 신규 그룹을 생성하고, 상기 변환값이 큰 스트링을 신규 그룹의 첫 번째 스트링으로 설정하는 영상 부호화기의 전처리 방법.
  12. 제9항에 있어서,
    상기 변환값을 결정하는 단계는,
    절대값 함수를 포함하는 변환 함수를 사용하여 스트링들 각각의 변환값을 결정하는 영상 부호화기의 전처리 방법.
  13. 제9항에 있어서,
    상기 변환값을 결정하는 단계는,
    상기 배열에 포함된 스트링들 중 첫 번째 스트링의 변환값을 0으로 결정하는 영상 부호화기의 전처리 방법.
  14. 제9항에 있어서,
    그룹화한 그룹들에 bijective-BWT 변환을 적용하는 단계
    를 더 포함하는 영상 부호화기의 전처리 방법.
  15. 그룹들 각각의 첫 번째 스트링의 변환값을 식별하는 단계;
    첫 번째 스트링의 변환값의 크기에 따라 순차적으로 그룹을 결합하여 일 차원 배열을 생성하는 단계; 및
    일 차원 배열을 차영상 정보로 변환하는 단계
    를 포함하는 영상 복호화기의 후처리 방법.
  16. 제15항에 있어서,
    부호화 정보에 역BWT 변환을 적용하는 단계를 더 포함하고,
    상기 변환값을 식별하는 단계는
    역BWT 변환이 적용된 부호화 정보 중에서 그룹들 각각의 첫 번째 스트링의 변환값을 식별하는 영상 복호화기의 후처리 방법.
  17. 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 특징점 추출부;
    추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 3차원 모델 생성부; 및
    상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 3차원 얼굴 생성부
    를 포함하는 3차원 얼굴 생성 장치.
  18. 제17항에 있어서,
    상기 특징점 추출부는,
    사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출하는 3차원 얼굴 생성 장치.
  19. 제18항에 있어서,
    상기 영상은,
    사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상인 3차원 얼굴 생성 장치.
  20. 제17항에 있어서,
    상기 3차원 모델 생성부는,
    추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정하는 비용 함수 설정부; 및
    비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 모델 변형부
    를 포함하는 3차원 얼굴 생성 장치.
  21. 제20항에 있어서,
    상기 모델 변형부는,
    비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 3차원 얼굴 생성 장치.
  22. 제17항에 있어서,
    상기 3차원 얼굴 생성부는,
    상기 3차원 얼굴 모델의 외형에 가상의 실린더를 생성하는 실린더 생성부;
    가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정하는 텍스처 맵 결정부; 및
    상기 3차원 얼굴 모델에 텍스처 맵을 매핑하는 텍스처 맵 매핑부
    를 포함하는 3차원 얼굴 생성 장치.
  23. 제22항에 있어서,
    상기 3차원 얼굴 생성부는,
    블랜딩 알고리즘으로 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 경계에 위치한 텍스처를 보정하는 텍스처 보정부
    를 더 포함하는 3차원 얼굴 생성 장치.
  24. 사용자의 우측에서 사용자의 우측 얼굴을 표시하는 제1 거울;
    사용자의 좌측에서 사용자의 좌측 얼굴을 표시하는 제2 거울; 및
    제1 거울이 표시하는 사용자의 우측 얼굴과 제2 거울이 표시하는 사용자의 좌측 얼굴, 및 제1 거울과 제2 거울 사이에 위치한 사용자의 정면 얼굴을 촬영하는 카메라
    를 포함하는 촬영 장치.
  25. 사용자의 얼굴을 포함한 영상에서 사용자의 얼굴의 특징점을 추출하는 단계;
    추출한 특징점들을 3차원 기본 모델에 적용하여 사용자에 대응하는 3차원 얼굴 모델을 생성하는 단계; 및
    상기 3차원 얼굴 모델에 텍스처를 매핑하여 사용자의 3차원 얼굴을 생성하는 단계
    를 포함하는 3차원 얼굴 생성 방법.
  26. 제25항에 있어서,
    상기 특징점을 추출하는 단계는,
    사용자의 정면 얼굴 이미지, 좌측 얼굴 이미지, 및 우측 얼굴 이미지를 포함한 영상에서 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 특징점을 추출하는 3차원 얼굴 생성 방법.
  27. 제26항에 있어서,
    상기 영상은,
    사용자의 좌측에 위치한 거울이 표시하는 사용자의 좌측 얼굴 이미지와, 사용자의 우측에 위치한 거울이 표시하는 사용자의 우측 얼굴 이미지, 및 실제 사용자의 정면 얼굴 이미지가 포함된 영상인 3차원 얼굴 생성 방법.
  28. 제25항에 있어서,
    상기 3차원 얼굴 모델을 생성하는 단계는,
    추출한 특징점들의 2차원 좌표와 3차원 기본 모델의 2차원 좌표 간의 차이를 사용하여 비용 함수를 설정하는 단계; 및
    비용 함수를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 단계
    를 포함하는 3차원 얼굴 생성 방법.
  29. 제28항에 있어서,
    상기 3차원 얼굴 모델로 변형하는 단계는,
    비용 함수가 최소가 되는 모델 파라미터를 사용하여 3차원 기본 모델을 사용자에 대응하는 3차원 얼굴 모델로 변형하는 3차원 얼굴 생성 방법.
  30. 제25항에 있어서,
    상기 사용자의 3차원 얼굴을 생성하는 단계는,
    상기 3차원 얼굴 모델의 외형에 가상의 실린더를 생성하는 단계;
    가상의 실린더의 각 정점의 위치를 원주 좌표계(cylindrical coordinate)로 변환하여 텍스처 맵을 결정하는 단계; 및
    상기 3차원 얼굴 모델에 텍스처 맵을 매핑하는 단계
    를 포함하는 3차원 얼굴 생성 방법.
  31. 제30항에 있어서,
    상기 사용자의 3차원 얼굴을 생성하는 단계는,
    블랜딩 알고리즘으로 사용자의 정면 얼굴, 좌측 얼굴, 및 우측 얼굴의 경계에 위치한 텍스처를 보정하는 단계
    를 더 포함하는 3차원 얼굴 생성 방법.
PCT/KR2013/005810 2012-06-29 2013-07-01 영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법 Ceased WO2014003507A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020120071259A KR101370706B1 (ko) 2012-06-29 2012-06-29 영상 부호화기의 전처리 장치 및 방법
KR10-2012-0071259 2012-06-29
KR1020120071261A KR101351745B1 (ko) 2012-06-29 2012-06-29 ３차원 얼굴 생성 장치 및 방법
KR10-2012-0071261 2012-06-29

Publications (1)

Publication Number Publication Date
WO2014003507A1 true WO2014003507A1 (ko) 2014-01-03

Family

ID=49783552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005810 Ceased WO2014003507A1 (ko) 2012-06-29 2013-07-01 영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2014003507A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10326972B2 (en) 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
CN114531561A (zh) * 2022-01-25 2022-05-24 阿里巴巴（中国）有限公司 一种面部视频编码方法、解码方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020085669A (ko) * 2001-05-09 2002-11-16 (주)하니존 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
KR20090078156A (ko) * 2008-01-14 2009-07-17 (주)테크팩솔루션 거울 광학계를 이용한 용기 측면 촬상 장치
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
WO2010047492A2 (ko) * 2008-10-22 2010-04-29 에스케이텔레콤 주식회사 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020085669A (ko) * 2001-05-09 2002-11-16 (주)하니존 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법
KR20090078156A (ko) * 2008-01-14 2009-07-17 (주)테크팩솔루션 거울 광학계를 이용한 용기 측면 촬상 장치
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
WO2010047492A2 (ko) * 2008-10-22 2010-04-29 에스케이텔레콤 주식회사 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10326972B2 (en) 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
CN114531561A (zh) * 2022-01-25 2022-05-24 阿里巴巴（中国）有限公司 一种面部视频编码方法、解码方法及装置

Similar Documents

Publication Publication Date Title
WO2022071695A1 (ko) 영상을 처리하는 디바이스 및 그 동작 방법
WO2021256781A1 (ko) 영상을 처리하는 디바이스 및 그 동작 방법
WO2019074252A1 (en) METHOD AND ELECTRONIC DEVICE FOR PROCESSING A CAMERA-ACQUIRED RAW IMAGE USING AN EXTERNAL ELECTRONIC DEVICE
WO2020013631A1 (ko) 3차원 영상을 부호화 하는 방법 및 장치, 및 3차원 영상을 복호화 하는 방법 및 장치
WO2021133139A1 (en) Electronic apparatus and control method thereof
WO2019156428A1 (en) Electronic device and method for correcting images using external electronic device
WO2023182676A1 (ko) 메시 및 포인트 클라우드 코딩을 위한 방법 및 장치
WO2019225903A1 (ko) 워터마크 기반의 이미지 무결성 검증 방법 및 장치
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2018070793A1 (en) Method, apparatus, and recording medium for processing image
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2022225374A2 (ko) 비디오 신원 복원 모델을 이용한 얼굴 이미지 재구성 방법 및 장치
WO2024063217A1 (ko) Ai 물체 인식 학습용 라벨링 데이터 자동 수집 장치 및 이를 이용한 ai 물체 인식 학습용 라벨링 데이터 자동 수집 방법
WO2011087249A2 (ko) 객체 인식시스템 및 이를 이용하는 객체 인식 방법
WO2014003507A1 (ko) 영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법
WO2021235641A1 (ko) 나이 추정 장치 및 나이를 추정하는 방법
WO2011019248A2 (en) Method and apparatus for encoding and decoding an image by using rotational transform
WO2019160262A1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
WO2026015009A1 (en) Method, apparatus, and system for video enhancement, and storage medium
WO2023172017A1 (ko) 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
WO2023146286A1 (ko) 이미지의 화질을 개선하기 위한 전자 장치 및 방법
WO2022225375A1 (ko) 병렬처리 파이프라인을 이용한 다중 dnn 기반 얼굴 인식 방법 및 장치
WO2024196160A1 (ko) 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
WO2025192865A1 (ko) 이미지 처리 장치 및, 이미지의 인코딩 및 디코딩 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13809855

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13809855

Country of ref document: EP

Kind code of ref document: A1