WO2006129791A1 - 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム - Google Patents

画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム Download PDF

Info

Publication number
WO2006129791A1
WO2006129791A1 PCT/JP2006/311087 JP2006311087W WO2006129791A1 WO 2006129791 A1 WO2006129791 A1 WO 2006129791A1 JP 2006311087 W JP2006311087 W JP 2006311087W WO 2006129791 A1 WO2006129791 A1 WO 2006129791A1
Authority
WO
WIPO (PCT)
Prior art keywords
individual
illumination
image
general
parameter
Prior art date
Application number
PCT/JP2006/311087
Other languages
English (en)
French (fr)
Inventor
Rui Ishiyama
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to EP06747117A priority Critical patent/EP1887511A1/en
Priority to US11/921,315 priority patent/US8320660B2/en
Priority to JP2007519086A priority patent/JP4793698B2/ja
Publication of WO2006129791A1 publication Critical patent/WO2006129791A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Definitions

  • Image processing system 3D shape estimation system, object position and orientation estimation system, and image generation system
  • the present invention relates to an image processing system, an image processing method, and an image processing program for processing an input image.
  • an input image whose position and orientation and lighting conditions are unknown, a three-dimensional shape of an object that is reflected in the input image and whose shape and texture are not divided, or a position Z and posture of the object are determined.
  • the present invention relates to a 3D shape estimation system, an object position / orientation estimation system, a 3D shape estimation method, and an object position / orientation estimation method.
  • the present invention also relates to an image generation system and an image generation method for generating a reproduction image that reproduces an input image.
  • a method for preparing a predetermined deformation model in advance and generating a 3D shape and texture has been developed.
  • a general-purpose deformation model is prepared by measuring a certain number of objects in advance for a set of objects similar to various human faces. Then, by giving appropriate numerical parameters to the prepared general-purpose deformation model, 3D shapes and textures of individual objects that have not been measured are generated.
  • an example of a technique for estimating a 3D shape and a texture using a predetermined deformation model Is described in Non-Patent Document 2.
  • the 3D shape and texture of a large number of human faces are measured in advance using a three-dimensional shape measuring device, and measured from the measured data group.
  • a general-purpose 3D face model that can generate the 3D shape and texture of the face is generated.
  • This general-purpose face model stores the average values of the 3D shapes and textures of a large number of human faces and the basis vector group representing the amount of change from these average values.
  • the 3D shape and texture of an arbitrary person's face are approximated by adding the product multiplied by to the average value. In other words, if the parameters for shape and texture are specified, 3D shape data and texture of individual human faces can be obtained.
  • Non-Patent Document 2 When the general-purpose face model described in Non-Patent Document 2 and the CG technique described in Non-Patent Document 1 are combined, a desired image can be reproduced.
  • the desired image can be reproduced by designating each 3D shape, texture, position and orientation, and lighting condition parameters for an individual object.
  • FIG. 11 is a block diagram showing an example of the configuration of a 3D shape estimation system that estimates the 3D shape of an object based on a general-purpose face model.
  • the conventional three-dimensional shape estimation system based on the general-purpose face model includes general-purpose face model generation means 900, illumination condition initial value input means 901, position and orientation initial value input means 902, face model generation means. 903, perspective transformation means 904, shadow shadow generation means 905, and parameter update means 906 are included.
  • the conventional 3D shape estimation system having such a configuration operates as follows.
  • General-purpose face model generation means 900 generates a general-purpose face model (also referred to as a general-purpose 3D face model) in advance. Further, the general-purpose face model generation means 900 outputs the generated general-purpose 3D face model to the face model generation means 903.
  • a general-purpose face model also referred to as a general-purpose 3D face model
  • Illumination condition initial value input means 901 provides an approximate value of an illumination parameter indicating an illumination state when an input image is captured of an input image in which an object whose 3D shape is to be estimated is captured. Enter as initial value.
  • the illumination condition initial value input means 901 has, as an example, the direction of a point light source located at one infinity as (1 0, 1 ⁇ ), and the three-dimensional point light source The direction vector 1, intensity L, and the value a indicating the intensity of diffused light are input as illumination parameters.
  • an input image and a three-dimensional image generated by the CG technique described in Non-Patent Document 1 are used as a computer terminal. Display them side by side. Then, while watching the screen of the computer terminal, it is possible for the user (for example, an operator) to input lighting parameters by manually adjusting so that the shadow and shadow as close as possible to the input image are displayed. it can.
  • Position / orientation initial value input means 902 inputs an approximate value of a parameter (referred to as a position / orientation parameter) indicating the position and orientation of an object shown in the input image as an initial value.
  • a position / orientation parameter indicating the position and orientation of an object shown in the input image as an initial value.
  • the position / orientation initial value input means 902 for example, when the position of the object is a three-dimensional coordinate vector o and the direction of the object is represented by rotation angles ⁇ , 0, and ⁇ around the x, y, and z axes. Then, the matrix R indicating the rotation of these rotation angles is input as a position and orientation parameter.
  • a 3D image generated by the CG technique described in Non-Patent Document 1 is displayed along with the input image on the computer terminal. . Then, while viewing the screen of the computer terminal, the user can input the position and orientation parameters by manually adjusting the object so that the object is displayed as close as possible to the input image.
  • the user selects the position of a characteristic part of the object and inputs the position of the selected part on the image. Then, the three-dimensional coordinate data of each part is stored in advance, and the position and orientation parameters of the object are calculated using the three-dimensional coordinate data of the part corresponding to the input position among the three-dimensional coordinate data stored in advance. It is also possible.
  • the face model generation unit 903 stores the general-purpose 3D face model calculated in advance by the general-purpose face model generation unit 900. Further, the face model generation means 903 inputs the 3D shape parameter and the texture parameter, and uses the general-purpose 3D face model to obtain the individual 3D shape unique to the person described in the input parameter and the individual texture data. Calculate and output.
  • the general-purpose 3D face model is an average value ⁇ bar S calculated from the three-dimensional shape ⁇ S ' ⁇ and texture data ⁇ ' ⁇ of a large number of people (for example, about 200 people) measured in advance. , Bar ⁇ and the basis vector group ⁇ S, ⁇ indicating the deviation from the average value.
  • the means 900 creates a matrix (covariance matrix) S in which three-dimensional shape vectors obtained by subtracting the average value are arranged using Equation (1).
  • the general-purpose face model generation means 900 obtains eigenvalues and eigenvalues of the covariance matrix S, and corresponds to ⁇ (for example, about 100) from the obtained eigenvalue ⁇ 2 having a large value.
  • the basis vector group ⁇ S ⁇ to be stored is stored. Then the row with n eigenvalues in the diagonal component
  • General-purpose face model generation means 9 where ⁇ is a column and V is a matrix of basis vectors ⁇ S ⁇ .
  • the general-purpose face model generation unit 900 calculates a total of about 100 eigenvalues ⁇ 2 and basis vectors ⁇ by calculating ⁇ and ij by calculating the texture in exactly the same way as the 3D shape data. And remember.
  • the basis vector, the eigenvalue data, and the force general-purpose 3D face model obtained by the general-purpose face model generation unit 900 are obtained.
  • the three-dimensional shape data of a face of an individual person is obtained from three-dimensional coordinate values (X, y.
  • Equation (3) ⁇ s ⁇ is a shape parameter, and ⁇ t ⁇ is a texture parameter. That is, the face model generation means 103 receives the shape parameter ⁇ s ⁇ and the texture parameter ⁇ t ⁇ , and calculates the individual 3D shape S and the individual texture T using Equation (3). Output.
  • the 3D shape estimation system shown in FIG. 11 repeatedly performs update processing of each parameter, and outputs each parameter value when a predetermined convergence condition is satisfied as a 3D shape estimation result. .
  • the face model generation means 903 calculates the individual 3D shape S and the individual texture T using the value 0 as the initial values of the shape parameter and the texture parameter at the first processing of the iterative processing.
  • the perspective transformation means 904 receives the individual 3D shape S, the individual texture T, and the position / orientation meter of the object as input, and determines which pixel in the reproduced image to generate each data point of the 3D shape. The correspondence table shown is calculated. If the focal length of the camera that captured the input image is f and the center of the image is (c, c), the perspective transformation means 904 calculates the image coordinates (u, V) of the point i of the 3D face model as ) To calculate.
  • the perspective transformation means 904 divides the entire surface of the three-dimensional shape into triangular polygons, calculates (u,) for each vertex of the polygon, fills the points inside the polygon, and uses the value of Z Perform hidden surface removal.
  • This hidden surface removal process is a standard technique of CG technology and can be performed using various graphics library programs.
  • the perspective conversion means 904 can obtain a correspondence table indicating the correspondence relationship of the polygon j corresponding to each pixel i of the reproduced image.
  • the shadow shadow generation means 905 receives the individual 3D shape, the correspondence table, and the individual texture, and calculates the luminance value of each pixel of the reproduced image.
  • the shadow generation unit 905 can perform a shadow generation process using a standard method of CG technology described in Non-Patent Document 1, for example.
  • the shadow shadow generating means 905 calculates a normal vector n for each data point i of the individual three-dimensional shape S.
  • the other two vertex data points of the triangular polygon to which point i belongs on the object surface are set to (j, k) counterclockwise and point (i, j, p, p, a 3D vector representing the 3D coordinates of k)
  • the shadow shadow generating means 905 calculates the luminance value I of the pixel i by the equation (6) using the Phong reflection model (Non-patent Reference 1).
  • ⁇ ⁇ ) is the texture luminance value of polygon j corresponding to pixel i indicated by the correspondence table.
  • K is the specular reflection constant (fixed value)
  • V is the specular reflection characteristic (fixed value).
  • C is a value indicating whether or not the polygon j is covered with a shadow with respect to the light source direction 1, and takes a value of 0 or 1.
  • the shadow shadow generation means 905 can determine the cast shadow by calculating using a standard method of CG technology such as a ray tracing method.
  • the shadow shadow generation unit 905 calculates a luminance value for each pixel of the reproduced image, and generates a reproduced image based on the calculation result.
  • I (I, I,..., I) is a vector in which the luminance values of the pixels where the corresponding shape data points exist are arranged.
  • the parameter update unit 906 compares the input image with the reproduction image generated by the shadow shadow generation unit 905, and the position and orientation, illumination, three-dimensional shape, and texture of the reproduction image are close to the input image. Change each parameter.
  • the three-dimensional shape estimation system repeats the process using the face model generation unit 903, the perspective conversion unit 904, the shadow shadow generation unit 905, and the meter update unit 906 described above, thereby obtaining an optimum parameter value. Explore.
  • the parameter updating means 906 first calculates the cost function E related to the similarity of images by the equation (7).
  • the parameter updating unit 906 obtains a cost function E for the shape parameter and the texture parameter according to the model prior probability distribution using Equation (8).
  • the meter updating means 906 searches for a parameter that minimizes the cost function E by the stochastic descent method. Therefore, the parameter update means 906 calculates the differential city of E for each parameter of shape, texture, illumination, and position and orientation using equation (9).
  • Meter updating means 906 updates the parameter to a new value a * using equation (10).
  • the meter update unit 906 determines that the iterative process has converged and ends the process. Further, for example, the parameter updating unit 906 has a smaller error between the reproduced image generated using the updated parameter and the input image than the error between the reproduced image generated using the parameter before the update and the input image. If not, it is determined that the repeated process has converged, and the process ends.
  • the 3D shape estimation system is the closest to the input image during the iterative process! ⁇ The individual 3D shape when the image can be generated is output as the 3D shape estimation result.
  • Non-patent literature l Manson Woo, Jackie Neider, Tom Davis, "OpenGL Programming Guide (Original 2nd Edition)", Addison 'Wesley'Publicishers' Japan, p. 16
  • Non-Patent Document 2 Volker Blanz, Thomas Vetter, "Face Recognition Based on Fitting a 3D Morphable Model", PAMI, 2003, vol. 25, No. 9, pp.1063— 1074
  • the first problem is that the initial value of the illumination condition meter is required and the input burden of the initial value of the illumination parameter is large.
  • the illumination parameter must be a physical parameter that represents the intensity of the diffuse light source and the direction and intensity of the point light source, and should describe the actual illumination environment in which the input image was taken.
  • the position and orientation parameters of an object are easy to understand sensuously, so it is not difficult to input initial values of position and orientation parameters.
  • a user for example, an operator manually determines lighting parameter values that approximate this shooting environment. Is a difficult and laborious task.
  • the second problem is that the relationship between the brightness value of the image to be generated and the illumination parameter is non-linear, and the processing load is large. In other words, many iterations are required to search for the optimum parameters for the nonlinear model, so the processing time is large and the processing burden is large. Also, since many iterations are required for a nonlinear model, it falls into a local solution and it is difficult to accurately estimate parameters immediately.
  • the present invention examines the initial values of the illumination condition parameters in advance, Image processing system that can process images without input by moving, 3D shape estimation system, object position and orientation estimation system, image generation system, image processing method, 3D shape estimation method, object position and orientation estimation method
  • An object of the present invention is to provide an image generation method and an image processing program.
  • the present invention speeds up the process by reducing the number of iterations, and also enables an image processing system, a three-dimensional shape estimation system, and an object position / orientation estimation that can avoid a local solution and estimate an accurate parameter.
  • An object is to provide a system, an image generation system, an image processing method, a three-dimensional shape estimation method, an object position and orientation estimation method, an image generation method, and an image processing program.
  • the present invention provides an image processing system, a three-dimensional shape estimation system, an object position / posture estimation system, an image generation system, an image processing method, a three-dimensional shape, which can speed up the calculation processing of shadows and shadows in image generation.
  • An object is to provide an estimation method, an object position / posture estimation method, an image generation method, and an image processing program.
  • the present invention provides an image processing system, a three-dimensional shape estimation system, an object position / posture estimation system, an image generation system, which can perform high-speed calculation of an illumination base required when using a linear illumination model,
  • An object is to provide an image processing method, a three-dimensional shape estimation method, an object position and orientation estimation method, an image generation method, and an image processing program.
  • the image processing system uses a general-purpose 3D object model obtained based on 3D shape data and texture data of a plurality of similar objects, to generate 3D shape parameters and texture parameters.
  • the individual data generation means for example, realized by the face model generation means 103 that generates individual three-dimensional shape data indicating the three-dimensional shape of the individual object and individual texture data indicating the texture of the individual object.
  • the first illumination basis calculation means (for example, realized by the illumination basis calculation means 201) and the first illumination basis calculation means Using the individual illumination basis group, a reproduced image which is an image reproducing the same illumination condition as the input image 3D shape parameters given to the general-purpose 3D object model so that the reproduced image generated by the reproduced image generating means (for example, realized by the illumination correction means 203) and the reproduced image generated by the reproduced image generating means are close to the input image.
  • the “3D shape parameter” is a parameter that indicates what deformation is applied to the standard shape data and texture data to obtain the 3D shape of the object.
  • the “texture parameter” is a parameter that indicates what kind of variation is given to the standard shape data and the texture data to form the texture of the object.
  • the first illumination basis calculation means obtains an individual illumination base using a spherical harmonic function based on the individual three-dimensional shape data generated by the individual data generation means.
  • the first illumination basis calculation means includes: illumination condition setting means for setting a plurality of different illumination conditions (for example, realized by a CPU of an information processing device that operates according to a program); Luminance calculation means (for example, realized by a CPU of an information processing device that operates according to a program) that calculates the luminance value of each part of the object surface under each illumination condition set by the illumination condition setting means, and the luminance calculation means It may also include a calculation means (for example, realized by a CPU of an information processing device that operates according to a program) for obtaining an individual illumination base group based on the measured luminance value.
  • the image processing system uses a general-purpose 3D object model obtained based on 3D shape data and texture data of a plurality of similar objects, and based on the 3D shape parameter and the texture parameter.
  • Individual data generation means for generating individual 3D shape data indicating the three-dimensional shape of individual objects and individual texture data indicating the texture of individual objects, and individual objects corresponding to general-purpose three-dimensional object models
  • a general-purpose illumination base model generator for generating a general-purpose illumination base model for generating an illumination base, which is data indicating basic fluctuations in the degree of reflection due to differences in the direction and intensity of the illumination applied to 3D surfaces of individual objects in different lighting conditions using a stage (for example, realized by the general lighting base model generation means 300) and a general lighting base model generated by the general lighting base model generation means
  • second illumination basis calculation means for example, realized by the illumination basis model calculation means 301 for obtaining individual illumination bases each indicating a variation in the luminance value of each part.
  • the image processing system includes an output unit that outputs the individual 3D shape data generated by the individual data generation unit and the individual illumination basis generated by the second illumination basis calculation unit. May be.
  • the image processing system uses the individual illumination basis group obtained by the second illumination basis calculation means to generate a reproduction image generation means for generating a reproduction image that is an image that reproduces the same illumination condition as the input image.
  • Parameter updating means for repeatedly updating the three-dimensional shape parameter and texture parameter given to the general-purpose three-dimensional object model until a predetermined convergence condition is satisfied so that the reproduced image generated by the reproduced image generating means is close to the input image. May be provided.
  • the second illumination basis calculation means includes an individual illumination base corresponding to individual 3D shape data generated by the general illumination basis model generation means using the general-purpose 3D object model, It may be obtained using the same parameters as the 3D shape parameters given to the general 3D object shape model.
  • the general-purpose illumination base model generation means is realized by a parameter setting means (for example, a sample parameter setting means 3001) for setting a random three-dimensional shape parameter to be given to the general-purpose three-dimensional object model. And the illumination base group corresponding to each parameter is obtained based on the sample 3D shape group generated by applying the parameter group set by the parameter setting means to the general-purpose 3D object model.
  • 3 illumination basis calculation means for example, realized by the illumination basis calculation means 3002), the illumination basis group obtained by the third illumination basis calculation means, the basis vectors and eigenvalues of the general-purpose 3D object model, Is used to calculate the basis vector of the general illumination basis model (for example, realized by the basis model calculation means 3003). That) and even those, including,.
  • the third illumination basis calculation means may obtain an individual illumination basis using a spherical harmonic function based on the individual three-dimensional shape data.
  • the third illumination basis calculation means includes: illumination condition setting means for setting a plurality of different illumination conditions (for example, realized by a CPU of an information processing device that operates according to a program); Luminance calculation means (for example, realized by a CPU of an information processing device that operates according to a program) that calculates the luminance value of each part of the object surface under each illumination condition set by the illumination condition setting means, and the luminance calculation means Calculation means (for example, realized by a CPU of an information processing device that operates according to a program) that obtains an individual illumination basis group by principal component analysis based on the calculated luminance value may be included.
  • illumination condition setting means for setting a plurality of different illumination conditions
  • Luminance calculation means for example, realized by a CPU of an information processing device that operates according to a program
  • the luminance calculation means Calculation means for example, realized by a CPU of an information processing device that operates according to a program
  • the three-dimensional shape estimation system is a three-dimensional shape estimation system that estimates the three-dimensional shape of an object using an image processing system, and when a predetermined convergence condition is satisfied, Based on 3D shape parameters and texture parameters, equipped with shape output means (for example, output means provided in an information processing apparatus for realizing an image processing system) that outputs a 3D shape generated by a general-purpose 3D object model It is characterized by that.
  • shape output means for example, output means provided in an information processing apparatus for realizing an image processing system
  • An object position / orientation estimation system is an object position / orientation estimation system that uses an image processing system to estimate the position and orientation of an object, and when a predetermined convergence condition is satisfied, A position / orientation output unit that outputs a position / orientation parameter indicating the position and orientation of an object (for example, an output unit included in an information processing apparatus that implements an image processing system) is provided.
  • An image generation system is an image generation system that uses an image processing system to generate a reproduced image that is an image that reproduces the same illumination conditions as an input image, and when a predetermined convergence condition is satisfied. And an image output means for outputting a reproduced image at the time of convergence (for example, an output means included in an information processing apparatus for realizing an image processing system).
  • An image processing method is a method for processing three-dimensional shape data and text of a plurality of similar objects.
  • the general-purpose 3D object model obtained based on the imager data based on the 3D shape parameter and the texture parameter, the individual 3D shape data indicating the 3D shape of the individual object and the texture of the individual object Based on the generated individual 3D shape data and the individual texture data, and the brightness value of each part of the 3D surface of the individual object under a plurality of different illumination conditions.
  • a reproduction image generation that generates a reproduction image that is an image that reproduces the same illumination conditions as the input image Steps and 3D shape parameters and text given to the general-purpose 3D object model so that the generated reproduced image is close to the input image.
  • the parameters characterized in that it comprises a parameter update step of repeatedly updated until a predetermined convergence condition is satisfied.
  • the image processing method is to obtain an individual illumination basis using a spherical harmonic function based on the individual three-dimensional shape data generated in the individual data generation step in the first illumination base calculation step.
  • the first illumination basis calculation step a plurality of different illumination conditions are set, the brightness values of the respective parts of the object surface under each set illumination condition are obtained, and the obtained brightness values are obtained. Based on this, the individual illumination base group may be obtained.
  • the image processing method uses a general-purpose 3D object model obtained based on 3D shape data and texture data of a plurality of similar objects, and converts a 3D shape parameter and a texture parameter. Based on the individual data generation step for generating individual 3D shape data indicating the three-dimensional shape of the individual object and individual texture data indicating the texture of the individual object, and corresponding to the general-purpose three-dimensional object model.
  • the second may include an illumination basis calculation step of obtaining is.
  • the image processing method includes individual 3D shape data generated in the individual data generation step. And an output step for outputting the individual illumination basis generated in the second illumination basis calculation step.
  • the image processing method uses the individual illumination basis group obtained in the second illumination basis calculation step to generate a reproduction image generation step that generates a reproduction image that is an image that reproduces the same illumination condition as the input image.
  • a parameter updating step that repeatedly updates the 3D shape parameters and texture parameters given to the general-purpose 3D object model until a predetermined convergence condition is satisfied so that the generated reproduced image is close to the input image.
  • the individual illumination base corresponding to the individual 3D shape data generated using the general-purpose 3D object model in the general-purpose illumination base model generation step in the second illumination base calculation step It may be obtained using the same parameters as the 3D shape parameters given to the general 3D object shape model.
  • the image processing method is generated by setting a random three-dimensional shape parameter to be given to the general-purpose three-dimensional object model, and giving the set parameter group to the general-purpose three-dimensional object model.
  • a third illumination basis calculation step for obtaining an illumination basis group corresponding to each parameter based on the sample 3D shape group to be obtained, the obtained illumination basis group, the basis vectors and eigenvalues of the general-purpose 3D object model, And a basis calculation step for obtaining a basis vector of the general illumination basis model.
  • the image processing method may obtain the individual illumination base using a spherical harmonic function based on the individual 3D shape data in the third illumination basis calculation step.
  • the third illumination basis calculation step a plurality of different illumination conditions are set, the brightness values of the respective parts of the object surface under each set illumination condition are obtained, and the obtained brightness values are obtained.
  • the individual illumination basis group may be obtained by principal component analysis.
  • the three-dimensional shape estimation method according to the present invention is a three-dimensional shape estimation method that uses an image processing method to estimate the three-dimensional shape of an object.
  • the three-dimensional shape estimation method 3 General purpose cubic based on dimensional shape parameters and texture parameters It includes a shape output step for outputting a 3D shape generated by the original object model.
  • the object position / orientation estimation method is an object position / orientation estimation method for estimating the position and orientation of an object using an image processing method, and when a predetermined convergence condition is satisfied, And a position / orientation output step of outputting a position / orientation parameter indicating the position and orientation of the object.
  • An image generation method is an image generation method that uses an image processing method to generate a reproduced image that is an image that reproduces the same illumination conditions as an input image, and when a predetermined convergence condition is satisfied. And an image output step of outputting a reproduced image at the time of convergence.
  • An image processing program uses a general-purpose three-dimensional object model obtained based on three-dimensional shape data and texture data of a plurality of similar objects on a computer, and uses a three-dimensional shape parameter and a texture parameter.
  • a first illumination base calculation process for obtaining individual illumination bases each indicating a variation in luminance value of each part of the three-dimensional surface of an individual object under a plurality of different illumination conditions, and the obtained individual illumination base
  • a reproduction image generation process that generates a reproduction image that reproduces the same illumination conditions as the input image, and the generated reproduction image are input. It is characterized by executing a parameter update process that repeatedly updates the 3D shape parameters and texture parameters given to the general-purpose 3D object model until a predetermined convergence condition is satisfied, so that it is close to a force image. To do.
  • the image processing program uses a general-purpose 3D object model obtained based on 3D shape data and texture data of a plurality of similar objects on a computer, and uses a 3D shape parameter and a texture parameter. Based on the above, individual data generation processing for generating individual 3D shape data indicating the 3D shape of individual objects and individual texture data indicating the texture of individual objects, and general-purpose 3D object models are supported. Demonstrate basic variations in the degree of reflection due to differences in the direction and intensity of illumination applied to individual objects.
  • a second illumination base calculation process for obtaining individual illumination bases each indicating a change in luminance value of each part of the surface may be executed.
  • the luminance value of the reproduced image is calculated using the illumination base. Since processing is performed using a linear illumination model that shows the change in image luminance value due to illumination as a linear sum of the illumination bases, the initial value of the illumination parameter is not required, and the luminance value of the image under any lighting condition can be calculated. Can be reproduced. Therefore, it is possible to process the image without checking the initial values of the illumination condition parameters in advance or manually inputting them by the user.
  • the illumination parameters that approximate the shooting environment as compared with the case where the position and orientation parameter values are input. It is difficult for a user (for example, an operator) to input the value of.
  • the input image can be processed without inputting the initial value of the illumination norm, the operation burden on the user can be reduced.
  • the linear illumination model by using the linear illumination model, it is not necessary to search for the illumination parameter by the probabilistic descent method. This eliminates the need to perform nonlinear optimization processing that repeats image generation for illumination parameters. Accordingly, it is possible to reduce the number of iterations for estimating the three-dimensional shape parameter and the texture parameter, to speed up the processing, and to avoid the local solution and to estimate the accurate parameter.
  • the general-purpose illumination base model is used to obtain the illumination base by performing only a simple linear operation from the three-dimensional shape parameters. be able to. Therefore, by calculating the individual illumination basis using the general-purpose illumination basis model, it is possible to eliminate the generation of learning vectors necessary for normal vector calculation and individual illumination basis calculation including shadows. it can. Therefore, it is possible to speed up the calculation processing of shadows and shadows in image generation, and it is possible to perform the calculation of the illumination base necessary when using the linear illumination model at high speed.
  • t 1] is a block diagram showing an example of the configuration of an image processing system according to the present invention.
  • FIG. 2 is a block diagram showing an example of the configuration of illumination basis calculation means.
  • FIG. 3 is a flowchart showing an example of processing in which the image processing system processes an input image and obtains each parameter.
  • FIG. 4 is a block diagram showing another configuration example of the image processing system.
  • FIG. 5 is a block diagram showing an example of a configuration of general-purpose illumination base model generation means.
  • FIG. 6 is a flowchart showing an example of processing in which the image processing system generates a general-purpose illumination base model in advance.
  • FIG. 7 is a flowchart showing another example of processing in which the image processing system processes an input image and obtains each parameter.
  • FIG. 8 is a block diagram showing still another configuration example of the image processing system.
  • FIG. 9 is an explanatory diagram showing a specific example of an image processing system.
  • FIG. 10 is an explanatory diagram showing an example of an input image and a reproduced image generated by the CG technique.
  • FIG. 11 is a block diagram illustrating a configuration example of a conventional three-dimensional shape estimation system.
  • FIG. 1 is a block diagram showing an example of the configuration of an image processing system according to the present invention.
  • the image processing system includes a position / orientation initial value input means 102, a face model generation means 103, an illumination basis calculation means 201, a perspective transformation means 202, an illumination correction means 203, a parameter update. Means 204.
  • the image processing system is realized by an information processing apparatus such as a workstation or a personal computer.
  • the image processing system is used for, for example, a 3D shape estimation system that estimates the 3D shape and texture of an object.
  • the image processing system is used for an object position / orientation estimation system that estimates the position and orientation of an object, for example.
  • the image processing system is used for, for example, an application of an image generation system that generates a predetermined reproduction image (for example, a CG image) that reproduces an input image.
  • the position / posture initial value input means 102 is specifically realized by a CPU of an information processing device that operates according to a program and an input device such as a mouse or a keyboard.
  • the position / orientation initial value input means 102 has a function of inputting an initial value of a position / orientation parameter, which is a parameter indicating the position and orientation of an object in the input image.
  • a position / orientation parameter which is a parameter indicating the position and orientation of an object in the input image.
  • the position of the object is a three-dimensional coordinate vector o and the direction of the object is represented by rotation angles ⁇ , ⁇ , and ⁇ around the x, y, and z axes.
  • the position / orientation initial value input means 102 inputs a matrix R indicating the rotation of the rotation angles ⁇ , ⁇ , and ⁇ as a position / orientation parameter.
  • an initial position / orientation value is input.
  • the means 102 displays a three-dimensional image (also referred to as a CG screen) generated using CG technology along with the input image on a display device such as a display device.
  • a user for example, an operator
  • operates an input device such as a keyboard or a mouse while looking at the display screen to change the orientation of the object in the CG screen so that it is close to the orientation of the object in the input image.
  • the initial value of the position and orientation parameter is instructed to input.
  • the position / orientation initial value input means 102 inputs the initial value of the position / orientation parameter according to the input instruction of the user.
  • face model generation means 103 is realized by a CPU of an information processing device that operates according to a program.
  • the face model generation means 103 receives a 3D shape parameter and a texture parameter as input, and uses a general-purpose 3D face model to indicate an individual 3D shape indicating the 3D shape of an individual object (person) and an individual object. It has a function to calculate an individual texture indicating the texture of and.
  • the "three-dimensional shape parameter” is a parameter indicating what deformation is applied to the standard shape data and texture data to obtain the three-dimensional shape of the object.
  • the “3D shape parameter” is used to determine what kind of deformation is applied to the average shape shown in the general-purpose 3D face model to obtain the 3D shape of the person's face. It is a numerical parameter shown.
  • the “3D shape parameter” is a parameter for describing the 3D shape of an individual's face using a general-purpose 3D face model.
  • the "texture parameter” is a parameter indicating what kind of variation is given to the standard shape data and texture data to make the texture of the object.
  • the “texture parameter” is a numerical parameter that indicates what kind of variation the average texture shown in the general-purpose 3D face model gives to the texture of the person's face. is there.
  • the “texture parameter” is a parameter for describing the texture of the surface of an individual's face using a general-purpose 3D face model.
  • the “general-purpose 3D face model (general-purpose 3D face model)” is a model in which the 3D shape of various human faces and the texture of the face surface are described by parameters.
  • the “general-purpose 3D model” consists of basic 3D shape of human face and texture (reflectance or color) of the face surface, and data indicating the deformation of these 3D shape and texture. This embodiment Then, the “general-purpose 3D model” indicates the average value calculated from the 3D shape and texture data of multiple persons (for example, about 200 people) that have been measured in advance, and the deviation from the average value. It consists of basis vectors.
  • the 3D shape parameter and the texture parameter for an individual person are known, the 3D shape parameter and the texture data are applied to the general-purpose 3D face model, so that the individual person's A face model can be obtained.
  • the 3D shape parameters and texture data are applied to the general-purpose 3D face model to obtain individual human face models. Also expressed.
  • the image processing system includes general-purpose face model generation means (not shown) that generates a general-purpose three-dimensional face model in advance.
  • the general-purpose face model generation means generates a general-purpose three-dimensional face model in advance using the equations (1) and (2) according to the same process as the general-purpose face model generation means 900 shown in FIG.
  • the image processing system includes, for example, face model storage means (not shown) that stores a general-purpose three-dimensional face model generated by a general-purpose face model generation unit.
  • the general-purpose face model generation means is specifically realized by a CPU of an information processing device that operates according to a program.
  • the face model storage means is specifically realized by a database device such as a magnetic disk device or an optical disk device.
  • the face model generation unit 103 uses a general-purpose 3D face model stored in advance by the face model storage unit, and uses an individual person's face model (specifically, an individual 3D shape). And individual texture). In this case, the face model generation unit 103 calculates an individual three-dimensional shape and an individual texture using Expression (3) according to the same processing as the face model generation unit 903 shown in FIG.
  • Illumination base calculation means 201 is specifically realized by a CPU of an information processing device that operates according to a program.
  • the illumination basis calculation means 201 receives the individual 3D shape and the individual texture obtained by the face model generation means 103 as input, and describes the variation of the luminance value of each position (polygon) on the surface of the individual object under various illumination conditions. It has a function to calculate the individual illumination base.
  • the “illumination base” is data that describes the basic variation in the degree of reflection (luminance value) due to the difference in the direction and intensity of illumination applied to the face.
  • the illumination basis calculation means 201 calculates an individual 3D shape data force normal vector and further uses the individual texture to determine the illumination base. Calculate analytically.
  • the calculation method of the above illumination base is, for example, “Ronen Basri, David W. Jacobs, Lambertian Reflectance and Linear bubspaces, IEEE Trans. PAMI, 2003, Vol. 25, No. 2, pp.218-233 ( Reference A) ”.
  • the illumination basis calculation means 201 uses the illumination basis calculation technique described in these documents A and B for an image processing system (for example, a three-dimensional shape estimation system).
  • the individual illumination base is calculated from the individual 3D shape data and individual texture generated by giving the 3D shape parameters and texture parameters to the general-purpose face model.
  • FIG. 2 is a block diagram showing an example of the configuration of the illumination base calculation means 201. As shown in FIG. As shown in FIG. 2, the illumination basis calculation means 201 includes a normal vector calculation means 2011 and a harmonic function calculation means 2012.
  • the normal vector calculation means 2011 has a function for obtaining a normal vector based on the individual three-dimensional shape obtained by the face model generation means 103.
  • the normal vector calculation means 2011 calculates a normal vector n for each polygon i having an individual three-dimensional shape using equation (11).
  • the harmonic function calculation means 2012 has a function of obtaining an individual illumination base using a predetermined spherical harmonic function based on an individual three-dimensional shape and an individual texture.
  • the harmonic function calculation means 2012 uses a predetermined spherical harmonic function based on the normal vector obtained by the normal vector calculation means 2011 and the individual texture obtained by the face model generation means 103. Find the individual illumination basis.
  • the polygon i component of the jth individual illumination base in the j-th dimension is b
  • the texture brightness is t (i) .
  • the harmonic function calculation means 2012 can calculate the illumination base using equation (12).
  • the harmonic function calculation means 2012 may obtain the illumination base by reducing the number of dimensions for high-speed calculation.
  • the harmonic function calculation means 2012 can obtain the illumination base by increasing the number of dimensions in order to improve accuracy.
  • the illumination base calculation unit 201 first sets various illumination conditions when calculating the individual illumination base. Also, the illumination base calculation means 201 obtains the luminance value of each part of the object surface under each set illumination condition. Then, the illumination basis calculation means 201 obtains an individual illumination basis group based on the obtained luminance value.
  • the perspective conversion means 202 is realized by a CPU of an information processing apparatus that operates according to a program.
  • the perspective transformation means 202 uses the three-dimensional coordinates of the three shape data, the position Z posture of the face, and the parameters of the camera (input image capturing means) to determine the position on the three-dimensional surface and the coordinates on the image.
  • the function of determining the correspondence relationship is provided.
  • the perspective conversion means 202 obtains a correspondence table indicating which pixel in the reproduced image each data point of the three-dimensional shape can be seen.
  • the “reproduced image” is an image reproduced by a computer by a calculation process using the estimated 3D face shape, texture, lighting conditions, and position and orientation so as to be the same as the input image.
  • the “perspective conversion unit 202” further has a function of rearranging the elements of the illumination base vector b.
  • Illumination correction means 203 is specifically realized by a CPU of an information processing apparatus that operates according to a program.
  • the illumination correction means 203 has a function of correcting the coefficient of the linear sum so that it is the same as the shadow of the input image when calculating the luminance value of the face surface in the image by the linear sum of the illumination bases.
  • the illumination correction unit 203 includes an illumination basis calculation unit 20. Using the individual illumination basis group obtained in 1 above, it has a function to generate a reproduction image that is an image that reproduces the same illumination conditions as the input image.
  • the illumination correction means 203 receives the individual illumination basis group ⁇ b ⁇ and the input image I as input, and calculates the luminance value of the reproduced image I by the equation (13).
  • ⁇ is a coefficient indicating illumination
  • the illumination correction unit 203 uniquely obtains the coefficient ⁇ straightforward by the linear least square method without requiring an iterative search. be able to.
  • the meter updating means 204 is realized by a CPU of an information processing device that operates according to a program.
  • the parameter update unit 204 has a function of updating each parameter (three-dimensional shape parameter, texture parameter, and position / orientation parameter) based on the input image and the reproduced image generated by the illumination correction unit 203.
  • the parameter updating unit 204 compares the reproduced image I with the input image I to obtain a reproduced image.
  • the position and orientation, 3D shape, and texture parameters are changed so that the image is close to the input image. Then, the image processing system repeats the processing executed by each unit after the face model generation unit 103 until a predetermined convergence condition is satisfied, and searches for an optimal parameter value.
  • the meter updating means 204 calculates a cost function E related to the similarity of images using equation (7) according to the same processing as the parameter updating means 906 shown in FIG. In addition
  • the “cost function” is a function indicating the cost of error between the reproduced image and the input image.
  • the “cost function” indicates how much the estimated three-dimensional face shape, texture, illumination condition, and position / posture match with the input image.
  • the parameter updating means 204 searches for a parameter that minimizes the cost function E by the stochastic descent method. Therefore, the parameter updating means 204 calculates the differential value of E for each parameter of the three-dimensional shape, the texture, and the position / orientation using the equation (14).
  • the meter updating unit 204 determines whether or not the update amount of each of the obtained parameters (three-dimensional shape parameter, texture meter, and position / orientation parameter) is larger than a predetermined threshold value. If the calculated parameter update amount is smaller than a predetermined threshold, the parameter update unit 204 determines that the iterative process has converged and ends the process. Further, for example, the meter updating means 204 has a smaller error between the reproduced image generated using the updated parameter and the input image than the error between the reproduced image generated using the parameter before the updating and the input image. If not, it is determined that the iterative process has converged, and the process ends.
  • the image processing system When the image processing system is applied to a 3D shape estimation system, the image processing system is closest to the input image in the process of iterative processing! When an image can be generated (when processing is converged) ) Individual 3D shape and texture are output as 3D shape estimation results. In this case, when determining that the iterative process has converged, the meter updating unit 204 outputs the updated three-dimensional shape parameter and texture parameter as a three-dimensional shape estimation result.
  • the image processing system When the image processing system is applied to the object position and orientation estimation system, the image processing system The position Z posture when the image was generated is output as the position and posture estimation result. In this case, when the parameter updating unit 204 determines that the iterative process has converged, the updated position / orientation parameter is output as a position / orientation estimation result.
  • the image processing system When the image processing system is applied to an image generation system, the image processing system is closest to the input image in the process of iterative processing! ⁇ Outputs a reproducible image when an image can be generated. In this case, when the meter updating unit 204 determines that the repeated processing has converged, the illumination correcting unit 203 outputs the generated reproduced image.
  • an information processing apparatus that implements an image processing system is an output device that outputs a 3D shape estimation result, a position / orientation estimation result, and a reproduced image to a storage medium such as a CD-ROM (operates according to a program). Realized by CPU and input / output unit of information processing equipment Provided).
  • An information processing apparatus that implements an image processing system may display a 3D shape estimation result, a position / orientation estimation result, and a reproduced image on a display device such as a display device, for example.
  • the storage device (not shown) of the information processing apparatus that implements the image processing system stores various programs for processing the input image.
  • a storage device of an information processing device uses a general-purpose 3D object model obtained based on 3D shape data and texture data of a plurality of similar objects to a computer, and uses 3D shape parameters and texture parameters.
  • individual data processing that generates individual 3D shape data that indicates the 3D shape of individual objects and individual texture data that indicates the texture of individual objects, and the generated individual 3D shape data and individual texture data
  • the first illumination basis calculation processing for obtaining individual illumination bases each indicating the variation of the luminance value of each part of the three-dimensional surface of an individual object under various illumination conditions, and using the obtained individual illumination basis group
  • the reproduction image generation process that generates a reproduction image that reproduces the same illumination conditions as the input image, and the generated reproduction image is close to the input image.
  • an image processing program for executing a parameter update process for repeatedly updating a 3D shape parameter and a texture parameter given to a general-purpose 3D face model until a predetermined convergence condition is satisfied is stored. .
  • FIG. 3 is a flowchart showing an example of processing in which the image processing system processes the input image and obtains each parameter.
  • the image processing system includes imaging means such as a camera, for example. Then, for example, when an input image is captured using an imaging unit in accordance with a user's imaging operation, the image processing system starts processing the input image and obtains the value of each parameter.
  • the position / posture initial value input means 102 of the image processing system inputs initial values of the position / posture parameters ⁇ p, y, ⁇ , ⁇ in accordance with a user input instruction (step SI 1).
  • the face model generation means 103 uses the current face value of the three-dimensional shape parameter ⁇ and the texture parameter ⁇ t ⁇ , and uses the general-purpose face model shown in Equation (3), An individual texture is calculated (step S12).
  • the face model generation means 103 when performing the first process of the repetition process, uses the value 0 (the initial value of each parameter ⁇ s ⁇ and ⁇ t ⁇ Zero) to obtain individual 3D shape and individual texture.
  • the illumination base calculation unit 201 uses the individual three-dimensional shape and the individual texture obtained by the face model generation unit 103 to obtain a normal vector using equation (11). Further, the illumination basis calculation means 201 calculates the individual illumination basis group using the equation (12) (step S13).
  • the perspective transformation means 202 uses the individual 3D shape obtained by the face model generation means 103 and the current position / orientation parameter, based on the relationship shown in Expression (4), and A correspondence relationship with the polygon having a three-dimensional shape is obtained (step S14).
  • the perspective transformation means 202 uses the initial values of the position / orientation parameters input by the position / orientation initial value input means 102 when performing the first process of the iterative process, and the reproduced image pixels and individual 3D shapes. Find the relationship with the polygon.
  • the perspective conversion unit 202 obtains a vector group ⁇ b ⁇ in which the values of the individual illumination bases of the polygons corresponding to each pixel of the reproduced image are arranged, and generates them as an individual illumination base image group.
  • the illumination correction means 203 includes the input image I and the individual illumination generated by the illumination basis calculation means 201.
  • the meter update means 204 is a reproduction image generated by the input image I and the illumination correction means 203.
  • the parameter updating unit 204 updates each parameter of the three-dimensional shape, texture, and position / orientation using the stochastic descent method so as to minimize the cost function (step S16).
  • the parameter update means 204 determines whether or not the parameter search by the probabilistic descent method has converged (step S17). If the difference between the new updated parameter calculated in step S16 and the original parameter before the update is smaller than a predetermined threshold, the parameter update unit 204 determines that the iterative process has converged and ends the process. If the cost function E is not smaller than the value before the parameter update, the parameter update unit 204 determines that the iterative process has converged and ends the process. If it does not converge, the process returns to step S12, and the image processing system repeats the processes in and after step S12 using the updated parameter ⁇ *.
  • the image processing system determines each estimation result.
  • the updated parameters (3D shape parameters, texture parameters, position and orientation parameters) and reproduced images are output (step S18).
  • the image processing system outputs each updated parameter and reproduced image to a storage medium such as a CD-ROM. Further, for example, the image processing system displays the updated parameters and reproduced images on the display device.
  • the image processing system includes the illumination base calculation unit 201 and the illumination correction unit 203, and calculates the luminance value of the reproduced image using the illumination base. Since the brightness value of the reproduced image can be calculated without using the illumination parameter, the user does not need to input the initial value of the illumination parameter. Therefore, the image can be processed without checking the initial values of the illumination condition parameters in advance or manually inputting them by the user.
  • FIG. 4 is a block diagram showing another configuration example of the image processing system.
  • the image processing system includes a general-purpose illumination base model generation unit 300, a position / orientation initial value input unit 102, a face model generation unit 103, and an illumination base model calculation unit 301. And a perspective conversion means 202, an illumination correction means 203, and a meter update means 204.
  • the present embodiment includes an illumination base model generation means 300 in addition to the components shown in the first embodiment of the image processing system capability. Further, the present embodiment is different from the first embodiment in that the image processing system includes an illumination base model calculation unit 301 instead of the illumination basis calculation unit 201.
  • the general-purpose illumination base model generation means 300 is realized by a CPU of an information processing device that operates according to a program.
  • the illumination base model generation means 300 is a preliminary step before generating each parameter and reproduction image using the image processing system. Therefore, it has a function to generate a general-purpose illumination base model using a general-purpose 3D face model.
  • the "illumination base model” is a model that describes individual lighting bases of individuals using predetermined parameters.
  • the “illumination basis model” includes an average individual illumination basis and data indicating how the individual illumination basis of each individual's face varies depending on the shape of the face from the average individual illumination basis. Including.
  • the general-purpose illumination base model corresponds to the general-purpose three-dimensional object shape model, and indicates the basic variation in the degree of reflection due to differences in the direction and intensity of illumination applied to individual objects. Used to generate
  • the general-purpose illumination base model generation means 300 generates a general-purpose illumination base model in advance using the general-purpose three-dimensional model stored by the face model storage means included in the image processing system.
  • the image processing system includes an illumination base model storage unit (not shown) that stores the general illumination base model generated by the general illumination base model generation unit 300.
  • the illumination basis model storage means is specifically realized by a database device such as a magnetic disk device or an optical disk device.
  • FIG. 5 is a block diagram showing an example of the configuration of the general-purpose illumination base model generation means 300. As shown in FIG.
  • the illumination base model generation means 300 includes sample parameter setting means 3001, illumination base calculation means 3002, and base model calculation means 3003.
  • the sample parameter setting means 3001 has a function of setting a random three-dimensional shape parameter to be given to the general-purpose three-dimensional object shape model.
  • the sample parameter setting means 3001 sets various shape parameters for the general-purpose 3D face model, and generates a set of many sample 3D shapes and sample textures.
  • the sample parameter setting means 3001 can determine these parameters using various determination methods.
  • the sample parameter setting unit 300 1 assumes that the three-dimensional shape parameter ⁇ s ⁇ is a random number according to a Gaussian distribution with an average of zero and a variance of eigenvalues ⁇ and ⁇ . decide. Also sample ti
  • n is determined, and n samples of 3D shape data are generated using equation (4).
  • the illumination basis calculation means 3002 corresponds to each parameter based on the sample 3D shape group generated by applying the parameter group set by the sample parameter setting means 3001 to the general-purpose 3D object model. A function for obtaining the illumination base group is provided.
  • the illumination basis calculation means 3002 obtains an individual illumination base using a predetermined spherical harmonic function based on the individual three-dimensional shape.
  • the illumination basis calculation unit 3002 calculates the sample illumination basis group by using t (i) as 1 in equation (12) without using texture data. This is different from the harmonic function calculation means 2012 shown in the embodiment. That is, the illumination basis calculation means 3002 has only a component that changes depending on the three-dimensional shape among the brightness variations of the image.
  • the illumination base calculation means 3002 first sets various illumination conditions when calculating the individual illumination base. Also, the illumination base calculation means 3002 obtains the luminance value of each part of the object surface under each set illumination condition. Then, the illumination basis calculation means 3002 obtains an individual illumination basis group based on the obtained luminance value.
  • the basis model calculation means 3003 has a function for obtaining the basis vector of the general illumination basis model using the illumination basis group obtained by the illumination basis calculation means 3002, the basis vector and the eigenvalue of the general purpose 3D object model. .
  • the basis model calculation unit 3003 calculates a basis vector that represents the sample illumination basis group ⁇ b ⁇ generated by the basis model calculation unit 3003 by a linear model.
  • B be the vector in which the elements of the illumination basis group ⁇ b ⁇ of sample 3D shape data k are arranged, and let B be its average vector.
  • a predetermined matrix B is defined by equation (15).
  • Basis model calculation means 3003 uses a predetermined matrix U, ⁇ (for general-purpose 3D face model calculation). Use the value of matrix U, ⁇ ) shown in equation (2) to use and calculate matrix C using equation (16)
  • the basis model calculation means 3003 stores the column vectors of the matrix C in the illumination basis model storage means as basis vector groups ⁇ c ⁇ of the general-purpose illumination basis model.
  • the illumination basis model calculation means 301 has the individual illumination basis group ⁇ b of the object whose 3D shape parameter is ⁇ s ⁇ and the individual texture card T ⁇ .
  • (k) indicates the value of the k-th element.
  • Illumination base model calculation means 301 is specifically realized by a CPU of an information processing device that operates according to a program.
  • the illumination base model calculation means 301 receives the current three-dimensional shape parameter ⁇ s ⁇ and the individual texture ⁇ T ⁇ obtained by the face model generation means 103 as inputs, and the general-purpose illumination base model generation means 300 generates the general-purpose A function to calculate the illumination base using the illumination basis model is provided.
  • the illumination basis model calculation means 301 obtains an individual illumination basis group using Equation (17).
  • the illumination basis model calculation means 301 calculates the equation (17) that does not require the calculation of an individual three-dimensional shape force normal vector.
  • the individual illumination basis group ⁇ b ⁇ can be obtained only by the simple linear operation used.
  • the illumination base model calculation means 301 uses a general-purpose 3D object corresponding to the individual 3D shape generated by the general-purpose illumination base model generation means 300 using the general-purpose 3D object shape model. Use the same parameters as the 3D shape parameters given to the shape model.
  • the functions of the position / posture initial value input means 102, the face model generation means 103, the perspective conversion means 104, the illumination correction means 203, and the parameter update means 204 are the same as those shown in the first embodiment. It is.
  • FIG. 6 is a flowchart showing an example of processing in which the image processing system generates a general-purpose illumination base model in advance.
  • the general-purpose illumination base model generation means 300 determines an appropriate number of sets of random three-dimensional shape parameters for the general-purpose three-dimensional face model (step S21). In addition, the general-purpose illumination base model generation means 300 calculates an individual 3D shape from each set of the determined 3D shape parameters using a general-purpose 3D face model, and obtains a normal vector of the obtained individual 3D shape. Calculate Further, the general-purpose illumination basis model generation means 300 calculates an illumination basis vector group on the assumption that all the luminances of the texture are 1 (step S22).
  • the general-purpose illumination base model generation means 300 calculates a base vector group of the general-purpose illumination base model for the obtained illumination base vector group using the equation (16) (step S23). Further, the general-purpose illumination base model generation means 300 stores the obtained base solid group of the general-purpose illumination base model in the illumination base model storage means.
  • a general-purpose illumination base model is generated in advance and stored in the illumination base model storage unit.
  • the image processing system performs the following processing after performing the illumination base model generation processing described above.
  • FIG. 7 is a flowchart showing another example of processing in which the image processing system processes an input image and obtains each parameter.
  • the image processing system starts processing the input image and obtains the value of each parameter when the input image is captured using the imaging means, for example, according to the user's photographing operation.
  • the position / orientation initial value input means 102 of the image processing system inputs initial values of the position / orientation parameters ⁇ , ⁇ , ⁇ , ⁇ from the input image in accordance with a user input instruction (step S31).
  • the face model generation means 103 uses the current three-dimensional shape parameter ⁇ s ⁇ and the value of the texture parameter ⁇ t ⁇ and uses the general-purpose face model shown in Equation (3) to generate the individual three-dimensional shape. as well as An individual texture is calculated (step S32). In this case, the face model generation unit 103 uses the value 0 (zero) as the initial value of each parameter ⁇ s ⁇ and ⁇ t ⁇ when performing the first process of the iterative process, Find the texture.
  • the illumination basis model calculation means 301 is based on the three-dimensional shape parameter ⁇ s ⁇ obtained by the face model generation means 103 and the general illumination basis model accumulated by the illumination basis model accumulation means. ) To calculate the individual illumination basis group (step S33).
  • the perspective conversion means 202 uses the individual 3D shape obtained by the face model generation means 103 and the current position / orientation parameter, based on the relationship shown in Equation (4), and A correspondence relationship with the polygon having a three-dimensional shape is obtained (step S34).
  • the perspective transformation means 202 uses the initial values of the position / orientation parameters input by the position / orientation initial value input means 102 when performing the first process of the iterative process, and the reproduced image pixels and individual 3D shapes. Find the relationship with the polygon. Further, the perspective conversion unit 202 obtains a vector group ⁇ b ⁇ in which the values of the individual illumination bases of the polygons corresponding to each pixel of the reproduced image are arranged, and generates them as an individual illumination base image group.
  • the illumination correction means 203 is generated by the input image I and the illumination base model calculation means 301.
  • the luminance value I of the reproduced image is calculated using Equation (13) (
  • the meter update means 204 is a reproduction image generated by the input image I and the illumination correction means 203.
  • the parameter updating unit 204 updates each parameter of the three-dimensional shape, texture, and position / orientation using the stochastic descent method so as to minimize the cost function (step S36).
  • the meter updating means 204 determines whether or not the parameter search by the stochastic descent method has converged (step S37).
  • the parameter updating means 204 determines that the iterative process has converged when the difference between the new updated parameter calculated in step S36 and the original parameter before the update is smaller than a predetermined threshold, and ends the process. To do. If the cost function E is not smaller than the value before the parameter update, the parameter update unit 204 determines that the iterative process has converged and ends the process. If it does not converge, the process returns to step S32, and the image processing system repeats the processes after step S32 using the updated parameter *. Do it back.
  • the image processing system When it is determined that the iterative processing has converged, the image processing system outputs each updated parameter (three-dimensional shape parameter, texture parameter, position / orientation parameter) and reproduced image as each estimation result. (Step S38). For example, the image processing system outputs each updated parameter and reproduced image to a storage medium such as a CD-ROM. Further, for example, the image processing system displays the updated parameters and reproduced images on the display device.
  • each updated parameter three-dimensional shape parameter, texture parameter, position / orientation parameter
  • the image processing system includes the general-purpose illumination base model generation unit 300, and calculates the general-purpose illumination base model in advance.
  • An illumination base can be obtained by performing only a simple linear operation from a three-dimensional shape parameter using a general illumination basis model.
  • 3D shape data can be processed at high speed without the need to calculate normal vectors. Therefore, in addition to the effects shown in the first embodiment, it is possible to speed up the calculation processing of shadows and shadows in image generation, and to calculate the lighting base required when using the linear lighting model at high speed. .
  • FIG. 8 is a block diagram showing still another configuration example of the image processing system.
  • the image processing system includes a face model generation unit 103, a general-purpose illumination base model generation unit 300, an illumination among the components shown in the second embodiment.
  • the image processing system receives 3D shape parameters and texture parameters of a person's face, and outputs individual 3D shapes and individual illumination base groups.
  • general-purpose illumination base model generation means 300 generates a general-purpose illumination base model corresponding to the general-purpose 3D face model in advance according to the same processing as in the second embodiment. Further, according to the same processing as in the second embodiment, the face model generation unit 103 receives the 3D shape parameter and texture parameter of the individual face to be processed, and uses a general-purpose 3D face model, Individual 3D shape and texture are calculated. In addition, the illumination base model calculation means 301 follows the same process as in the second embodiment, The general illumination basis model is input and the individual illumination basis group is calculated.
  • the image processing system outputs output means (in accordance with a program) that outputs the individual three-dimensional shape generated by the face model generation means 103 and the individual illumination basis group generated by the illumination basis model calculation means 301. It is implemented by the CPU and input / output unit of the information processing device that operates.
  • the individual 3D shape and the individual illumination base are calculated based on the 3D shape parameter and the texture parameter. Therefore, a 3D face model (a set of 3D shape data and illumination base group) that can generate face images in various positions, orientations, and Z lighting conditions can be calculated at high speed.
  • the individual 3D shape and the individual illumination basis group are required for processing in the face matching system described in Document B, for example.
  • the image processing system has a function as a 3D face model generation system that generates and provides 3D shape data of an individual's face and an illumination base at high speed with each parameter force.
  • the face matching system described in Document B individual 3D shape data and individual illumination bases measured by various persons are stored in a database, and each image is input to the input image. A reproduction image is generated using human data. Then, the person when the reproduction image closest to the input image can be generated is determined as the person.
  • the image processing system shown in the present embodiment can be used in place of the database of the face matching system described in Document B. That is, in the face matching system, the 3D shape parameters and texture parameters of each person are stored in the database instead of the individual 3D shape data and the individual illumination base. Then, by using the image processing system shown in the present embodiment, if the individual 3D shape data and the individual illumination base of each individual are calculated, the face matching system described in Document B can be operated.
  • FIG. 9 is an explanatory diagram showing a specific example of the image processing system.
  • the image processing system includes an image input device 401 that captures and inputs an input image, a computer 402 that executes various processes, a storage device 403 that stores various data, an estimation And a storage medium 404 for recording and outputting the result data.
  • the computer 402 includes the position / orientation initial value input means 102, face model generation means 103, illumination base calculation means 201, perspective transformation means 202, illumination correction means 203, and parameter update means 204 shown in the first embodiment. Is provided.
  • the storage device 403 stores a general-purpose 3D face model in advance.
  • the storage device 403 stores 100 shape basis vectors, 100 texture basis vectors, and eigenvalues corresponding to the shape basis vectors and the texture basis vectors, respectively, as general-purpose 3D face model data.
  • the image processing system may improve estimation accuracy by using more than 100 bases.
  • the image processing system can also improve the processing speed by reducing the base number from 100.
  • the image input device 401 captures a human face image in accordance with a user input instruction, and outputs an input image 411 to the computer 402. Then, the computer 402 inputs the input image 411 from the image input device 401.
  • the computer 402 displays an input image 411 in which one light hits the face at an angle of 60 degrees to the right and 80 degrees to the right, and the brightness intensity of the entire room is about half that of the light. Suppose you enter it. Of course, at the stage when the input image 411 is input, the exact orientation of the face and the arrangement of the illumination are unknown to the image processing system.
  • the position / orientation initial value input means 102 of the computer 402 inputs initial values of the position / orientation parameters ⁇ , ⁇ , ⁇ , ⁇ of the input image 411 in accordance with an input instruction from the user of the image processing system.
  • the position and orientation initial value input means 102 is displayed on the screen of the display device of the computer 402.
  • an image generated by CG technology using the average 3D face shape and average texture is displayed.
  • the position / orientation initial value input means 102 displays the input image 411 and the CG image 412 side by side on the display screen of the display device.
  • the user changes the values of the position and orientation parameters ⁇ p, ⁇ , ⁇ , ⁇ while comparing the CG image 412 with the input image 411, and manually inputs a value close to the input image 411.
  • the position / orientation initial value input means 102 inputs initial values of the position / orientation parameters ⁇ , ,, ⁇ , ⁇ in accordance with the input instruction of the user.
  • the face model generation means 103 uses the general-purpose 3D face model shown in Equation (3) using the current 3D shape parameter ⁇ s ⁇ and the value of the texture parameter ⁇ t ⁇ . Calculate individual 3D shapes and textures.
  • the face model generation means 103 reads the general-purpose 3D face model stored in advance in the storage device 403 from the storage device 403 and uses it to calculate the individual 3D shape and the individual texture. Further, the face model generation unit 103 obtains an individual three-dimensional shape and an individual texture using the value 0 (zero) as the initial value of each parameter ⁇ s ⁇ and ⁇ t ⁇ when performing the first process of the iterative process. .
  • the illumination base calculation means 201 uses the individual 3D shape and the individual texture obtained by the face model generation means 103 to obtain a normal vector using equation (11). Further, the illumination basis calculation means 201 calculates the individual illumination basis group using Expression (12). In the present embodiment, the illumination base calculation means 201 obtains an individual illumination base group with nine illumination bases. Note that the number of illumination bases obtained by the illumination base calculation means 201 can be changed to various values, and the number of illumination bases to be obtained may be reduced in order to improve the processing speed. In addition, in order to improve the parameter estimation accuracy, the number of illumination bases to be obtained can be increased.
  • the perspective conversion means 202 uses the individual 3D shape and the position / orientation parameter to obtain the correspondence between the pixel of the reproduced image and the polygon of the individual 3D shape based on the relationship shown in Equation (4). . Further, the perspective conversion means 202 generates a vector group ⁇ b ⁇ in which individual illumination base values of polygons corresponding to each pixel of the reproduced image are arranged as an individual illumination base image group. As an example, if the number of pixels of the input image corresponding to the individual 3D shape is 100, the perspective change The conversion unit 202 generates a vector group ⁇ b ⁇ including 100-dimensional vectors.
  • the illumination correction means 203 includes the input image I and the individual illumination generated by the illumination basis calculation means 201.
  • the luminance value I of the reproduced image is calculated using Equation (13).
  • the meter update means 204 is a reproduction image generated by the input image I and the illumination correction means 203.
  • the cost function ⁇ is calculated using the image I and the eigenvalues ⁇ and ⁇ of the general-purpose face model.
  • si ti The cost function ⁇ is calculated using the image I and the eigenvalues ⁇ and ⁇ of the general-purpose face model.
  • the parameter updating unit 204 updates each parameter of the three-dimensional shape, texture, and position / orientation using the stochastic descent method so as to minimize the cost function.
  • the parameter updating means 204 determines whether or not the parameter search by the probabilistic descent method has converged. When the difference between the calculated new updated parameter and the original parameter before update is smaller than a predetermined threshold value, the meter update unit 204 determines that the iterative process has converged and ends the process. If the cost function E is not smaller than the value before the parameter update, the parameter update unit 204 determines that the iterative process has converged and ends the process. As an example, the meter updating means 204 uses, for example, the threshold “lcm” of the element P and the thresholds “1 °” of the face angles ⁇ , 0, and ⁇ as the threshold for the parameter update amount. Then, it is determined whether or not the parameter search has converged.
  • the parameter updating means 204 determines that the parameter search has converged when the amount of change is smaller than these threshold values. If the image does not converge, the image processing system uses the updated parameters to execute each of the face model generation unit 103, the illumination base calculation unit 201, the perspective conversion unit 202, the illumination correction unit 203, and the parameter update unit 204. Repeat the process.
  • the image processing system stores the individual 3D face shape and the individual texture generated by the face model generation unit 103 from the 3D shape parameters and the texture parameters at the time of convergence. Record and output.
  • the image processing system may generate a CG image using the individual three-dimensional shape and the individual texture, and output the generated CG image to the storage medium 404.
  • the image processing system may output the position and posture parameters when converged! /.
  • image processing A description will be given of a case where the physical system is applied to an object position / orientation estimation system that estimates the position and orientation of a person's face in the face image based on the face image. Note that the configuration of the image processing system shown in the present embodiment corresponds to the configuration shown in the second embodiment of the present invention (that is, the configuration shown in FIG. 4).
  • the computer 402 includes the general-purpose illumination base model generation means 300, the position / orientation initial value input means 102, the face model generation means 103, and the illumination base model calculation means shown in the second embodiment. 301, perspective conversion means 202, illumination correction means 203, and parameter update means 204.
  • the storage device 403 stores a general-purpose three-dimensional face model in advance.
  • the force using only the basis vectors and eigenvalues of the general-purpose face model.
  • the matrix US that is, the matrix shown in Equation (2)
  • the value of US is also stored in the storage means 403.
  • the general-purpose illumination base model generation means 300 of the computer 402 performs in advance processing for calculating a general-purpose illumination base model as a preparation. .
  • the sample parameter setting means 3001 determines an appropriate number of sets of random 3D shape parameters for the general-purpose 3D face model.
  • the sample parameter setting means 3001 sets 100 sets of parameters at random. Note that the number of parameters can be variously changed.
  • the illumination basis calculation means 3002 calculates the individual 3D shape from each set of 3D shape parameters determined by the sample parameter setting means 3001 using a general-purpose 3D face model, and obtains the obtained individual 3D Calculate the normal vector of the shape. Furthermore, the illumination basis calculation means 3002 calculates the illumination basis vectors, assuming that the texture brightness is all 1.
  • the basis vector calculation means 3003 calculates the basis vector group of the general-purpose illumination basis model using the equation (16) for the illumination basis beta group obtained by the illumination basis calculation means 3002. Further, the basis model calculation means 3003 stores the basis vector group of the obtained general-purpose illumination basis model in the storage device 403. In this example, the number of 3D shape parameters is 100. Therefore, the basis model calculation means 3003 calculates a basis vector group including 100 basis vectors.
  • the image processing system performs the following processing after performing the processing described above in advance.
  • the position / orientation initial value input means 102 of the computer 402 inputs initial values of the position / orientation parameters ⁇ p, y, ⁇ , ⁇ from the input image in accordance with a user input instruction.
  • the user manually inputs while viewing the CG image.
  • the positions of both eyes and the edge of the mouth with respect to the input image 411 Explain the case where the user gives an input instruction while looking at the screen.
  • the corresponding point position is also given to the average three-dimensional shape data in advance (for example, the position information of the corresponding point is stored in advance in the storage device 403).
  • the position / orientation initial value input unit 102 calculates the face / orientation using the three-dimensional coordinates stored in advance and the position data of the points input according to the user's operation.
  • the face model generation means 103 uses the values of the current shape parameter ⁇ s ⁇ and the texture parameter ⁇ t ⁇ and uses the general-purpose face model shown in Equation (3) to generate an individual 3D shape. And calculate the individual texture. In this case, the face model generation unit 103 obtains an individual three-dimensional shape and an individual texture by using the value 0 (zero) as an initial value of each parameter ⁇ s ⁇ and ⁇ t ⁇ in the first process of the iterative process. .
  • the illumination base model calculation means 301 uses equation (17) based on the three-dimensional shape parameter ⁇ s ⁇ obtained by the face model generation means 103 and the general-purpose illumination base model stored in the storage device 403. To calculate an individual illumination basis group.
  • the perspective conversion means 202 uses the individual 3D shape obtained by the face model generation means 103 and the current position / orientation parameter, based on the relationship shown in Equation (4), and Find the correspondence with a 3D polygon. Further, the perspective conversion means 202 obtains a vector group ⁇ b ⁇ in which the values of the individual illumination bases of the polygons corresponding to each pixel of the reproduced image are arranged, and generates them as an individual illumination base image group.
  • the illumination correction means 203 is generated by the input image I and the illumination base model calculation means 301.
  • the luminance value I of the reproduced image is calculated using Equation (13).
  • the parameter update means 204 is the input image I and the regenerated image generated by the illumination correction means 203.
  • the cost function ⁇ is calculated using the current image I and the eigenvalues ⁇ and ⁇ of the general-purpose face model model si ti
  • the parameter updating unit 204 updates each parameter of the three-dimensional shape, texture, and position / orientation using the stochastic descent method so as to minimize the cost function.
  • the parameter updating means 204 determines whether or not the parameter search by the probabilistic descent method has converged.
  • the meter updating means 204 determines that the iterative process has converged when the difference between the new updated parameter calculated in step S36 shown in FIG. 7 and the original parameter before updating is smaller than a predetermined threshold value. The process ends. If the cost function E is not smaller than the value before the parameter update, the parameter update means 204 determines that the iterative process has converged and ends the process. If not converged, the processes executed by the face model generation unit 103, the illumination base model calculation unit 301, the perspective transformation unit 202, the illumination correction unit 203, and the parameter update unit 204 are repeatedly performed using the updated parameters.
  • the image processing system If it is determined that the iterative process has converged, the image processing system outputs the position / orientation parameter value at the time of convergence as an estimated value of the position / orientation of the face in the input image. As an example, the image processing system records and outputs data (position and orientation parameters) indicating the position and orientation on the storage medium 404, for example.
  • the program code to be used and the recording medium for recording the program code are within the scope of the present invention.
  • the program code in this case includes those program codes when the above functions are realized in cooperation with the operating system and other application software.
  • a recording medium for example, a disc type (optical disk, magneto-optical disk, magnetic disk, etc.), a tape type (magnetic tape, etc.), a card type (memory card, etc.), etc. can be used. .
  • the present invention can be applied to the use of a three-dimensional shape estimation system that estimates a three-dimensional shape of a human face from one or a plurality of face images.
  • the present invention can also be applied to the use of an object position / posture estimation system that estimates the orientation of a person's face by outputting estimated posture parameters.
  • the present invention can be applied to the use of an image generation system that generates a reproduction image (for example, a CG image) that reproduces an input image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　照明条件のパラメータの初期値を事前に調べたり、利用者が手動で入力したりしなくても、画像を処理できるようにする。画像処理システムは、汎用照明基底モデル生成手段３００と、位置姿勢初期値入力手段１０２と、顔モデル生成手段１０３と、照明基底モデル計算手段３０１と、透視変換手段２０２と、照明補正手段２０３と、パラメータ更新手段２０４とを備える。汎用照明基底モデル生成手段３００は、予め汎用照明基底モデルを計算しておく。また、顔モデル生成手段１０３は、汎用３次元顔モデルから個別３次元形状とテクスチャとを生成する。また、照明基底モデル計算手段３０１は、同じパラメータを用いて汎用照明基底モデルから個別照明基底を生成する。そして、パラメータ更新手段２０４は、入力画像を再現したときの誤差が最小となる形状、テクスチャ及び位置姿勢のパラメータを探索する。

Description

明 細 書
画像処理システム、 3次元形状推定システム、物体位置姿勢推定システ ム及び画像生成システム
技術分野
[0001] 本発明は、入力した画像を処理する画像処理システム、画像処理方法及び画像処 理プログラムに関する。特に、本発明は、位置姿勢や照明条件の分からない入力画 像から、その入力画像に写っており且つ形状やテクスチャが分力つていない物体の 3 次元形状、又はその物体の位置 Z姿勢を推定する 3次元形状推定システム、物体位 置姿勢推定システム、 3次元形状推定方法及び物体位置姿勢推定方法に関する。 また、本発明は、入力画像を再現した再現画像を生成する画像生成システム及び画 像生成方法に関する。
背景技術
[0002] 近年、 3次元形状データを用いて画像を生成するコンピュータグラフィクス (CG)の 技術が発展し、実際の画像に近いリアルな画像を生成することが行われている（例え ば、非特許文献 1参照)。例えば、非特許文献 1に記載された CG技術を用いる場合 、個別の物体の 3次元形状データ（3D形状とも 、う）と表面の色情報 (テクスチャ）とを 用意する。そして、カメラに対する位置姿勢を指定し、撮影環境に存在する照明の位 置や種類、強度を指定すれば、実際の画像に近いリアルな画像を生成することがで きる。
[0003] 一般に、人間の顔等の設計図のな!、物体の場合、個別の物体の 3D形状とテクス チヤとを得るために、特殊な計測装置を用いる必要がある。そこで、予め所定の変形 モデルを用意し、 3D形状とテクスチャとを生成する方法が開発されている。この場合 、様々な人物の顔等に類似した物体の集合に対して、予めある程度の数の物体につ いて計測を行い汎用の変形モデルを用意する。そして、用意した汎用の変形モデル に適当な数値パラメータを与えることによって、計測していない個別の物体の 3D形 状とテクスチャとを生成する。
[0004] 例えば、所定の変形モデルを用いて 3D形状とテクスチャとを推定する技術の一例 が非特許文献 2に記載されている。非特許文献 2に記載された技術では、予め多数 の人物の顔の 3D形状とテクスチャとを 3次元形状計測装置を用いて計測し、計測し たデータ群から計測して 、な 、任意の人物の顔の 3次元形状とテクスチャとを生成で きる汎用 3次元顔モデルを生成する。この汎用顔モデルは、多数の人物の顔の 3D 形状とテクスチャとのそれぞれの平均値と、それら平均値からの変化量を表す基底べ タトル群とを記憶しておき、基底ベクトル群に係数パラメータをかけたものをそれら平 均値に加算することによって、任意の人物の顔の 3D形状とテクスチャとを近似するも のである。すなわち、形状及びテクスチャそれぞれのパラメータを指定すれば、個別 の人物の顔の 3D形状データとテクスチャとが得られる。
[0005] この非特許文献 2に記載された汎用顔モデルと、非特許文献 1に記載された CG技 術とを組み合わせると、所望の画像を再現できることになる。この場合、ある個別の物 体について、その 3D形状、テクスチャ、位置姿勢及び照明条件のそれぞれのパラメ 一タ群を指定すると、所望の画像を再現できる。
[0006] また、非特許文献 2に記載された技術を利用して、ある個別物体の 1枚の入力画像 力 その個別物体の 3次元形状とテクスチャとを推定することもできる。図 11は、汎用 顔モデルに基づいて物体の 3次元形状を推定する 3次元形状推定システムの構成の 一例を示すブロック図である。図 11に示すように、従来の汎用顔モデルに基づく 3次 元形状推定システムは、汎用顔モデル生成手段 900、照明条件初期値入力手段 90 1、位置姿勢初期値入力手段 902、顔モデル生成手段 903、透視変換手段 904、陰 影シャドウ生成手段 905及びパラメータ更新手段 906を含む。このような構成を有す る従来の 3次元形状推定システムは、以下のように動作する。
[0007] 汎用顔モデル生成手段 900は、予め汎用顔モデル (汎用 3D顔モデルともいう）を 生成する。また、汎用顔モデル生成手段 900は、生成した汎用 3D顔モデルを顔モ デル生成手段 903に出力する。
[0008] 照明条件初期値入力手段 901は、 3次元形状を推定しょうとする物体が写っている 入力画像について、その入力画像を撮影したときの照明の状態を示す照明パラメ一 タの概略値を初期値として入力する。例えば、照明条件初期値入力手段 901は、一 例として、 1個の無限遠方にある点光源の方向を (1 0 , 1 φ )とし、その点光源の 3次元 方向ベクトル 1、強度 L及び拡散光の強度を示す値 aを、照明パラメータとして入力す る。
[0009] また、照明条件初期値入力手段 901を用いた入力方法の例として、例えば、入力 画像と、非特許文献 1に記載された CG技術によって生成した 3次元画像とをコンビュ ータ端末に並べて表示させる。そして、コンピュータ端末の画面を見ながら、入力画 像にできるだけ近い陰影とシャドウとが表示されるように、利用者 (例えば、オペレー タ）が手動で調整することによって、照明パラメータを入力することができる。
[0010] 位置姿勢初期値入力手段 902は、入力画像に写っている物体の位置と姿勢とを示 すパラメータ (位置姿勢パラメータという）の概略値を初期値として入力する。例えば、 位置姿勢初期値入力手段 902は、一例として、物体の位置を 3次元座標ベクトル oと し、物体の向きを x、 y、 z軸周りの回転角 γ、 0、 φで表した場合に、それら回転角の 回転を示す行列 Rを、位置姿勢パラメータとして入力する。
[0011] また、顔モデル生成手段 903を用いた入力方法の一例として、例えば、非特許文 献 1に記載された CG技術によって生成した 3次元画像を入力画像と並べてコンビュ ータ端末に表示させる。そして、コンピュータ端末の画面を見ながら、入力画像にで きるだけ近い向きで物体が表示されるように、利用者が手動で調整することによって、 位置姿勢パラメータを入力することができる。また、他の入力方法の例として、例えば 、利用者は、物体の特徴的な部位の位置を選択して、その選択した部位の画像上の 位置を入力する。そして、予め各部位の 3次元座標データを記憶しておき、予め記憶 する 3次元座標データのうち、入力位置に該当する部位の 3次元座標データを用 、 て、物体の位置姿勢パラメータを計算することも可能である。
[0012] 顔モデル生成手段 903は、汎用顔モデル生成手段 900が予め計算した汎用 3D顔 モデルを記憶する。また、顔モデル生成手段 903は、 3次元形状パラメータとテクス チヤパラメータとを入力し、汎用 3D顔モデルを用いて、入力したパラメータに記述さ れる人物固有の個別 3次元形状と個別テクスチャデータとを算出して出力する。
[0013] 汎用 3D顔モデルは、予め計測を行った多数 (例えば、 200名程度）の人物の 3次 元形状 {S ' }とテクスチャデータ {Τ ' }とから計算された平均値 {バー S,バー Τ}と、そ れら平均値からのずれを示す基底ベクトル群 {S , Τ }とカゝらなる。汎用顔モデル生成 手段 900は、まず、平均値を引いた 3次元形状ベクトルを並べた行列 (共分散行列） Sを、式（1)を用いて作成する。
[0014] [数 1]
S = [(S' S)t(S'2-S)F-,(S'„-S)] 式 (ί)
[0015] また、汎用顔モデル生成手段 900は、その共分散行列 Sの固有値及び固有べタト ルを求め、求めた固有値 σ 2が大きいものから η個（例えば、 100個程度)分、対応
S, i P
する基底ベクトル群 {S }を記憶しておく。すると、 n個の固有値を対角成分にもつ行
] P
列を∑ とし、基底ベクトル群 {S }を並べた行列を Vとして、汎用顔モデル生成手段 9
S j S
00は、式（2)に示す近似を行ったことになる。
[0016] [数 2]
S»US∑SVST 式 (2)
[0017] また、汎用顔モデル生成手段 900は、テクスチャについても 3次元形状データと全 く同様に計算することによって、 100個程度の固有値 σ 2と基底ベクトル {Τ}とを計 τ, i j 算し記憶しておく。
[0018] 以上に示す計算によって、汎用顔モデル生成手段 900が求めた基底ベクトルと固 有値データと力 汎用 3D顔モデルとなる。
[0019] ある個別の人物の顔の 3次元形状データは、顔表面の各点 iの 3次元座標値 (X , y.
, z )を へたへク卜ノレ S= [x , y , z , x , v , z , ... , x , v , z ]Tとテクスチャの i 0 0 0 1 1 1 n n n
輝度値 tとを並べたベクトルを、 τ= [t , t , ... , t ]とすると、式（3)で表される。
i 0 1 n
[0020] [数 3]
S S + SsjSj'T-T + ZtjTj 式 (3)
i j
[0021] ここで、式（3)において、 {s }は形状パラメータであり、 {t }はテクスチャパラメータで ある。すなわち、顔モデル生成手段 103は、形状パラメータ {s }及びテクスチャパラメ ータ {t}を入力し、式 (3)を用いて、個別 3次元形状 S及び個別テクスチャ Tを算出し 出力する。なお、図 11に示す 3次元形状推定システムは、後述するように、繰り返し 各パラメータの更新処理を行 、、所定の収束条件が成立した場合の各パラメータ値 を 3次元形状の推定結果として出力する。この場合、顔モデル生成手段 903は、繰り 返し処理の初回の処理時には、形状パラメータとテクスチャパラメータとの初期値とし て値 0を用いて、個別 3次元形状 S及び個別テクスチャ Tを算出する。
[0022] 透視変換手段 904は、個別 3次元形状 S、個別テクスチャ T及び物体の位置姿勢 ノ メータを入力とし、 3次元形状の各データ点が、生成する再現画像中のどの画素 に見えるかを示す対応テーブルを計算する。入力画像を撮影したカメラの焦点距離 を fとし、画像中心を (c , c )とすると、透視変換手段 904は、 3次元顔モデルの点 iの 画像座標 (u , V )を、式 (4)を用いて計算する。
[0023] [数 4]
U[ - cu + f -, Vi = cv + f ;
Figure imgf000007_0001
[0024] 透視変換手段 904は、 3次元形状の表面全体を三角形のポリゴンに分割し、ポリゴ ンの各頂点について (u , )を計算し、ポリゴン内部の点を埋めて Zの値を用いた陰 面消去処理を行う。この陰面消去処理は CG技術の標準的手法であり、様々なグラフ イクスライブラリプログラムを利用して行うことができる。この陰面消去処理の結果、透 視変換手段 904は、再現画像の各画素 iに対応するポリゴン jの対応関係を示す対応 テーブルを求めることができる。
[0025] 陰影シャドウ生成手段 905は、個別 3次元形状、対応テーブル及び個別テクスチャ を入力とし、再現画像の各画素の輝度値を計算する。陰影シャドウ生成手段 905は、 例えば、一例として、非特許文献 1に記載された CG技術の標準的手法を利用して、 陰影の生成処理を行うことが可能である。まず、陰影シャドウ生成手段 905は、個別 3 次元形状 Sの各データ点 iについて法線ベクトル nを計算する。また、物体表面上で 点 iの属する 3角ポリゴンの他の 2頂点のデータ点を反時計回りに (j, k)とし、点 (i, j, k)の 3次元座標を表す 3次元ベクトルを p、 p
j、 pとすると、陰影シャドウ生成手段 905 i k
は、式（5)を用いて、法線ベクトル nを計算できる。
[0026] [数 5]
_ ς、 rij - 式（5)
Figure imgf000008_0001
[0027] また、陰影シャドウ生成手段 905は、全てのデータ点について法線ベクトルを求め ると、画素 iの輝度値 Iを、 Phongの反射モデルを用いて式 (6)によって計算する（非 特許文献 1参照)。
[0028] I = (a+Lnl)T(j) +c kL (rv )v
i j j j j
r = 2 (nl) n -l 式（6)
j j j
[0029] ただし、式（6)において、 Τϋ)は、対応テーブルによって示される画素 iに対応するポ リゴン jのテクスチャ輝度値である。また、 kは鏡面反射定数（固定値)であり、 Vは鏡面 反射特性（固定値)である。また、 cは、ポリゴン jが光源方向 1に対してシャドウに覆わ れるか否かを示す値であり、 0又は 1の値をとる。陰影シャドウ生成手段 905は、光線 追跡法等 CG技術の標準的手法を用いて計算することによって、キャストシャドウの判 定を行うことができる。
[0030] 以上の処理によって、陰影シャドウ生成手段 905は、再現画像の各画素について 輝度値を計算し、計算結果に基づいて再現画像を生成する。以下、対応する形状デ ータ点が存在する画素の輝度値を並べたベクトルを、 I = (I , I , . . . , I )
model 0 1 nとする
。また、各画素に対応する入力画像の輝度値を並べたベクトルを I
inputとする。
[0031] パラメータ更新手段 906は、入力画像と陰影シャドウ生成手段 905が生成した再現 画像とを比較し、再現画像が入力画像に近くなるように、位置姿勢、照明、 3次元形 状及びテクスチャの各パラメータを変化させる。 3次元形状推定システムは、上記に 示す顔モデル生成手段 903、透視変換手段 904、陰影シャドウ生成手段 905及び ノ メータ更新手段 906を用いた処理を繰り返し実行することによって、最適なパラメ 一タ値を探索する。
[0032] パラメータ更新手段 906は、まず、画像の類似度に関するコスト関数 Eを、式（7)を
I
用いて求める。 [0033] E = I
I I -I
model input I 2 式 (7)
[0034] 次に、パラメータ更新手段 906は、モデルの事前確率分布に従った形状パラメータ とテクスチャパラメータとに対するコスト関数 Eを、式 (8)を用いて求める。
[0035] [数 6] 式 <
Figure imgf000009_0001
[0036] ノ メータ更新手段 906は、確率的降下法によって、コスト関数 Eを最小化するよう なパラメータを探索する。そのため、パラメータ更新手段 906は、形状、テクスチャ、 照明及び位置姿勢のそれぞれのパラメータに対する Eの微分街を、式 (9)を用いて 計算する。
[0037] [数 7] dE] idE I dE dE dE dE dE dE dE dE
J = 式 (9)
[0038] 全パラメータを並べたベクトルを a = [s , t , 1 , 1 , a, ρ, θ , γ , φ ]とすると、ノ ラ
i i θ φ
メータ更新手段 906は、式（10)を用いてパラメータを新しい値 a *に更新する。
[0039] a * = a - aTJ) _ 1JE 式（10)
[0040] ノ メータ更新手段 906は、計算したパラメータの更新量が予め定めた閾値より小 さい場合、繰り返し処理が収束したと判定し処理を終了する。また、例えば、パラメ一 タ更新手段 906は、更新前のパラメータを用いて生成した再現画像と入力画像との 誤差より、更新後のパラメータを用いて生成した再現画像と入力画像との誤差が小さ くならない場合、繰り返し処理が収束したと判定し処理を終了する。そして、 3次元形 状推定システムは、繰り返し処理の過程で最も入力画像に近！ヽ画像を生成できた時 の個別 3次元形状を、 3次元形状推定結果として出力する。
[0041] 非特許文献 l : Manson Woo, Jackie Neider, Tom Davis, "OpenGLプログラミングガ イド (原著第 2版) "，アジソン 'ウェスレイ'パブリツシヤーズ 'ジャパン株式会社， p. 16 非特許文献 2 : Volker Blanz, Thomas Vetter, "Face Recognition Based on Fitting a 3D Morphable Model", PAMI, 2003, vol. 25, No. 9, pp.1063— 1074
発明の開示
発明が解決しょうとする課題
[0042] 図 11に示す従来の 3次元形状推定システムでは、第 1の課題として、照明条件の ノ メータの初期値が必要であり、照明パラメータの初期値の入力負担が大きいとい う課題がある。また、照明パラメータは、拡散光源の強度や点光源の方向及び強度を 表す物理的なパラメータであることによって、入力画像が撮影された現実の照明環境 を記述するものでなければならない。一般に、物体の位置姿勢のパラメータは感覚的 に理解しやす 、ので、位置姿勢パラメータの初期値を入力することは困難ではな 、。 しかし、現実の撮影環境では多数の位置に多様な種類の光源が存在して 、るので、 この撮影環境を近似する照明パラメータの値を、利用者 (例えば、オペレータ）が人 手によって決定するのは困難で手間の力かる作業である。
[0043] また、従来の 3次元形状推定システムでは、第 2の課題として、生成する画像の輝 度値と照明パラメータとの関係が非線形であり、処理負担が大きいという課題がある。 すなわち、非線形なモデルに対して最適なパラメータを探索するために多くの繰り返 し処理を要するので、処理時間が力かり処理負担が大きい。また、非線形なモデル に対して多くの繰り返し処理を要するので、局所解に陥りやすぐパラメータの正確な 推定が困難である。
[0044] また、従来の 3次元形状推定システムでは、第 3の課題として、 CG技術によって陰 影を再現するために法線ベクトルの計算処理が必要となり、またシャドウの生成のた めに光線追跡処理が必要となるので、処理負担が大きいという課題がある。すなわち 、これら法線ベクトルの計算処理や光線追跡処理は極めて計算量が多いので、処理 時間が力かり処理負担が大きい。また、図 11に示す 3次元形状推定システムの場合 、確率的降下法によって 3次元形状のパラメータを変化させながら画像の生成を繰り 返す。そのため、繰り返しの度に画像生成を行う 3次元形状が変化し、法線ベクトル やシャドウの状態が変化する。
[0045] そこで、本発明は、照明条件のパラメータの初期値を事前に調べたり、利用者が手 動で入力したりしなくても、画像を処理できる画像処理システム、 3次元形状推定シス テム、物体位置姿勢推定システム、画像生成システム、画像処理方法、 3次元形状 推定方法、物体位置姿勢推定方法、画像生成方法及び画像処理プログラムを提供 することを目的とする。
[0046] また、本発明は、繰り返し処理の回数を少なくして処理を高速化するとともに、局所 解を回避し正確なパラメータを推定できる画像処理システム、 3次元形状推定システ ム、物体位置姿勢推定システム、画像生成システム、画像処理方法、 3次元形状推 定方法、物体位置姿勢推定方法、画像生成方法及び画像処理プログラムを提供す ることを目的とする。
[0047] また、本発明は、画像生成における陰影やシャドウの計算処理を高速化できる画像 処理システム、 3次元形状推定システム、物体位置姿勢推定システム、画像生成シス テム、画像処理方法、 3次元形状推定方法、物体位置姿勢推定方法、画像生成方 法及び画像処理プログラムを提供することを目的とする。さらに、本発明は、線形照 明モデルを用いる際に必要となる照明基底の計算を高速に行うことができる画像処 理システム、 3次元形状推定システム、物体位置姿勢推定システム、画像生成システ ム、画像処理方法、 3次元形状推定方法、物体位置姿勢推定方法、画像生成方法 及び画像処理プログラムを提供することを目的とする。
課題を解決するための手段
[0048] 本発明による画像処理システムは、類似した複数の物体の 3次元形状データとテク スチヤデータとに基づいて求めた汎用 3次元物体モデルを用いて、 3次元形状パラメ ータとテクスチャパラメータとに基づいて、個別の物体の 3次元形状を示す個別 3次 元形状データと、個別の物体のテクスチャを示す個別テクスチャデータとを生成する 個別データ生成手段 (例えば、顔モデル生成手段 103によって実現される）と、個別 データ生成手段が生成した個別 3次元形状データと個別テクスチャデータとに基づ いて、複数の異なる照明条件における個別の物体の 3次元表面各部位の輝度値の 変動を示す個別照明基底をそれぞれ求める第 1の照明基底計算手段 (例えば、照明 基底計算手段 201によって実現される）と、第 1の照明基底計算手段が求めた個別 照明基底群を用いて、入力画像と同じ照明条件を再現する画像である再現画像を 生成する再現画像生成手段 (例えば、照明補正手段 203によって実現される）と、再 現画像生成手段が生成した再現画像が入力画像に近くなるように、汎用 3次元物体 モデルに与える 3次元形状パラメータ及びテクスチャパラメータを、所定の収束条件（ 例えば、各パラメータの更新量が所定の閾値より小さくなること）が成立するまで繰り 返し更新するパラメータ更新手段 (例えば、パラメータ更新手段 204によって実現さ れる）とを備えたことを特徴とする。なお、「3次元形状パラメータ」とは、標準的な形状 データとテクスチャデータとに、どのような変形を与えると物体の 3次元形状になるか を示すパラメータである。また、「テクスチャパラメータ」とは、標準的な形状データとテ タスチヤデータとに、どのような変動を与えると物体のテクスチャになるかを示すパラメ ータである。
[0049] また、画像処理システムにおいて、第 1の照明基底計算手段は、個別データ生成 手段が生成した個別 3次元形状データに基づいて、球面調和関数を用いて個別照 明基底を求めるものであってもよ 、。
[0050] また、画像処理システムにおいて、第 1の照明基底計算手段は、複数の異なる照明 条件を設定する照明条件設定手段 (例えば、プログラムに従って動作する情報処理 装置の CPUによって実現される）と、照明条件設定手段が設定した各照明条件にお ける物体表面各部位の輝度値をそれぞれ求める輝度計算手段 (例えば、プログラム に従って動作する情報処理装置の CPUによって実現される）と、輝度計算手段が求 めた輝度値に基づいて、個別照明基底群を求める計算手段 (例えば、プログラムに 従って動作する情報処理装置の CPUによって実現される）とを含むものであってもよ い。
[0051] また、画像処理システムは、類似した複数の物体の 3次元形状データとテクスチャ データとに基づいて求めた汎用 3次元物体モデルを用いて、 3次元形状パラメータと テクスチャパラメータとに基づいて、個別の物体の 3次元形状を示す個別 3次元形状 データと、個別の物体のテクスチャを示す個別テクスチャデータとを生成する個別デ ータ生成手段と、汎用 3次元物体モデルに対応する、個別の物体にあてられた照明 の方向及び強度の違いによる反射の具合の基本的な変動を示すデータである照明 基底を生成するための汎用照明基底モデルを生成する汎用照明基底モデル生成手 段 (例えば、汎用照明基底モデル生成手段 300によって実現される）と、汎用照明基 底モデル生成手段が生成した汎用照明基底モデルを用いて、複数の異なる照明条 件における個別の物体の 3次元表面各部位の輝度値の変動を示す個別照明基底を それぞれ求める第 2の照明基底計算手段 (例えば、照明基底モデル計算手段 301に よって実現される）とを備えたものであってもよい。
[0052] また、画像処理システムは、個別データ生成手段が生成した個別 3次元形状デー タと、第 2の照明基底計算手段が生成した個別照明基底とを出力する出力手段を備 えたものであってもよい。
[0053] また、画像処理システムは、第 2の照明基底計算手段が求めた個別照明基底群を 用いて、入力画像と同じ照明条件を再現する画像である再現画像を生成する再現画 像生成手段と、再現画像生成手段が生成した再現画像が入力画像に近くなるように 、汎用 3次元物体モデルに与える 3次元形状パラメータ及びテクスチャパラメータを、 所定の収束条件が成立するまで繰り返し更新するパラメータ更新手段とを備えたもの であってもよい。
[0054] また、画像処理システムにおいて、第 2の照明基底計算手段は、汎用照明基底モ デル生成手段が汎用 3次元物体モデルを用いて生成する個別 3次元形状データに 対応する個別照明基底を、汎用 3次元物体形状モデルに与える 3次元形状パラメ一 タと同一のパラメータを用いて求めるものであってもよ 、。
[0055] また、画像処理システムにおいて、汎用照明基底モデル生成手段は、汎用 3次元 物体モデルに与えるためのランダムな 3次元形状パラメータを設定するパラメータ設 定手段 (例えば、サンプルパラメータ設定手段 3001によって実現される）と、パラメ一 タ設定手段が設定したパラメータ群を汎用 3次元物体モデルに与えることによって生 成されるサンプル 3次元形状群に基づいて、各パラメータそれぞれに対応する照明 基底群を求める第 3の照明基底計算手段 (例えば、照明基底計算手段 3002によつ て実現される）と、第 3の照明基底計算手段が求めた照明基底群と、汎用 3次元物体 モデルの基底ベクトル及び固有値とを用いて、汎用照明基底モデルの基底ベクトル を求める基底計算手段 (例えば、基底モデル計算手段 3003によって実現される）と を含むものであってもよ 、。 [0056] また、画像処理システムにおいて、第 3の照明基底計算手段は、個別 3次元形状デ ータに基づいて、球面調和関数を用いて個別照明基底を求めるものであってもよい
[0057] また、画像処理システムにおいて、第 3の照明基底計算手段は、複数の異なる照明 条件を設定する照明条件設定手段 (例えば、プログラムに従って動作する情報処理 装置の CPUによって実現される）と、照明条件設定手段が設定した各照明条件にお ける物体表面各部位の輝度値をそれぞれ求める輝度計算手段 (例えば、プログラム に従って動作する情報処理装置の CPUによって実現される）と、輝度計算手段が求 めた輝度値に基づいて、主成分分析によって個別照明基底群を求める計算手段 (例 えば、プログラムに従って動作する情報処理装置の CPUによって実現される）とを含 むものであってもよい。
[0058] 本発明による 3次元形状推定システムは、画像処理システムを用いた、物体の 3次 元形状を推定する 3次元形状推定システムであって、所定の収束条件が成立すると 、収束した時点における 3次元形状パラメータ及びテクスチャパラメータに基づいて、 汎用 3次元物体モデルによって生成される 3次元形状を出力する形状出力手段 (例 えば、画像処理システムを実現する情報処理装置が備える出力手段)を備えたことを 特徴とする。
[0059] 本発明による物体位置姿勢推定システムは、画像処理システムを用いた、物体の 位置及び姿勢を推定する物体位置姿勢推定システムであって、所定の収束条件が 成立すると、収束した時点における、物体の位置及び姿勢を示す位置姿勢パラメ一 タを出力する位置姿勢出力手段 (例えば、画像処理システムを実現する情報処理装 置が備える出力手段)を備えたことを特徴とする。
[0060] 本発明による画像生成システムは、画像処理システムを用いた、入力画像と同じ照 明条件を再現する画像である再現画像を生成する画像生成システムであって、所定 の収束条件が成立すると、収束した時点における再現画像を出力する画像出力手 段 (例えば、画像処理システムを実現する情報処理装置が備える出力手段)を備え たことを特徴とする。
[0061] 本発明による画像処理方法は、類似した複数の物体の 3次元形状データとテクスチ ャデータとに基づいて求めた汎用 3次元物体モデルを用いて、 3次元形状パラメータ とテクスチャパラメータとに基づいて、個別の物体の 3次元形状を示す個別 3次元形 状データと、個別の物体のテクスチャを示す個別テクスチャデータとを生成する個別 データ生成ステップと、生成した個別 3次元形状データと個別テクスチャデータとに 基づいて、複数の異なる照明条件における個別の物体の 3次元表面各部位の輝度 値の変動を示す個別照明基底をそれぞれ求める第 1の照明基底計算ステップと、求 めた個別照明基底群を用いて、入力画像と同じ照明条件を再現する画像である再 現画像を生成する再現画像生成ステップと、生成した再現画像が入力画像に近くな るように、汎用 3次元物体モデルに与える 3次元形状パラメータ及びテクスチャパラメ ータを、所定の収束条件が成立するまで繰り返し更新するパラメータ更新ステップと を含むことを特徴とする。
[0062] また、画像処理方法は、第 1の照明基底計算ステップで、個別データ生成ステップ で生成した個別 3次元形状データに基づいて、球面調和関数を用いて個別照明基 底を求めるものであってもよ 、。
[0063] また、画像処理方法は、第 1の照明基底計算ステップで、複数の異なる照明条件を 設定し、設定した各照明条件における物体表面各部位の輝度値をそれぞれ求め、 求めた輝度値に基づいて、個別照明基底群を求めるものであってもよい。
[0064] また、画像処理方法は、類似した複数の物体の 3次元形状データとテクスチャデー タとに基づいて求めた汎用 3次元物体モデルを用いて、 3次元形状パラメータとテク スチヤパラメータとに基づいて、個別の物体の 3次元形状を示す個別 3次元形状デー タと、個別の物体のテクスチャを示す個別テクスチャデータとを生成する個別データ 生成ステップと、汎用 3次元物体モデルに対応する、個別の物体にあてられた照明 の方向及び強度の違いによる反射の具合の基本的な変動を示すデータである照明 基底を生成するための汎用照明基底モデルを生成する汎用照明基底モデル生成ス テツプと、生成した汎用照明基底モデルを用いて、複数の異なる照明条件における 個別の物体の 3次元表面各部位の輝度値の変動を示す個別照明基底をそれぞれ 求める第 2の照明基底計算ステップとを含むものであってもよい。
[0065] また、画像処理方法は、個別データ生成ステップで生成した個別 3次元形状データ と、第 2の照明基底計算ステップで生成した個別照明基底とを出力する出力ステップ を含むものであってもよ 、。
[0066] また、画像処理方法は、第 2の照明基底計算ステップで求めた個別照明基底群を 用いて、入力画像と同じ照明条件を再現する画像である再現画像を生成する再現画 像生成ステップと、生成した再現画像が入力画像に近くなるように、汎用 3次元物体 モデルに与える 3次元形状パラメータ及びテクスチャパラメータを、所定の収束条件 が成立するまで繰り返し更新するパラメータ更新ステップとを含むものであってもよい
[0067] また、画像処理方法は、第 2の照明基底計算ステップで、汎用照明基底モデル生 成ステップで汎用 3次元物体モデルを用いて生成する個別 3次元形状データに対応 する個別照明基底を、汎用 3次元物体形状モデルに与える 3次元形状パラメータと 同一のパラメータを用いて求めるものであってもよ 、。
[0068] また、画像処理方法は、汎用 3次元物体モデルに与えるためのランダムな 3次元形 状パラメータを設定するパラメータ設定ステップと、設定したパラメータ群を汎用 3次 元物体モデルに与えることによって生成されるサンプル 3次元形状群に基づいて、各 ノ ラメータそれぞれに対応する照明基底群を求める第 3の照明基底計算ステップと、 求めた照明基底群と、汎用 3次元物体モデルの基底ベクトル及び固有値とを用いて 、汎用照明基底モデルの基底ベクトルを求める基底計算ステップとを含むものであつ てもよい。
[0069] また、画像処理方法は、第 3の照明基底計算ステップで、個別 3次元形状データに 基づいて、球面調和関数を用いて個別照明基底を求めるものであってもよい。
[0070] また、画像処理方法は、第 3の照明基底計算ステップで、複数の異なる照明条件を 設定し、設定した各照明条件における物体表面各部位の輝度値をそれぞれ求め、 求めた輝度値に基づいて、主成分分析によって個別照明基底群を求めるものであつ てもよい。
[0071] 本発明による 3次元形状推定方法は、画像処理方法を用いた、物体の 3次元形状 を推定する 3次元形状推定方法であって、所定の収束条件が成立すると、収束した 時点における 3次元形状パラメータ及びテクスチャパラメータに基づいて、汎用 3次 元物体モデルによって生成される 3次元形状を出力する形状出力ステップを含むこと を特徴とする。
[0072] 本発明による物体位置姿勢推定方法は、画像処理方法を用いた、物体の位置及 び姿勢を推定する物体位置姿勢推定方法であって、所定の収束条件が成立すると、 収束した時点における、物体の位置及び姿勢を示す位置姿勢パラメータを出力する 位置姿勢出力ステップを含むことを特徴とする。
[0073] 本発明による画像生成方法は、画像処理方法を用いた、入力画像と同じ照明条件 を再現する画像である再現画像を生成する画像生成方法であって、所定の収束条 件が成立すると、収束した時点における再現画像を出力する画像出力ステップを含 むことを特徴とする。
[0074] 本発明による画像処理プログラムは、コンピュータに、類似した複数の物体の 3次元 形状データとテクスチャデータとに基づいて求めた汎用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ 、て、個別の物体の 3次元形状 を示す個別 3次元形状データと、個別の物体のテクスチャを示す個別テクスチャデー タとを生成する個別データ処理と、生成した個別 3次元形状データと個別テクスチャ データとに基づいて、複数の異なる照明条件における個別の物体の 3次元表面各部 位の輝度値の変動を示す個別照明基底をそれぞれ求める第 1の照明基底計算処理 と、求めた個別照明基底群を用いて、入力画像と同じ照明条件を再現する画像であ る再現画像を生成する再現画像生成処理と、生成した再現画像が入力画像に近くな るように、汎用 3次元物体モデルに与える 3次元形状パラメータ及びテクスチャパラメ ータを、所定の収束条件が成立するまで繰り返し更新するパラメータ更新処理とを実 行させることを特徴とする。
[0075] また、画像処理プログラムは、コンピュータに、類似した複数の物体の 3次元形状デ ータとテクスチャデータとに基づいて求めた汎用 3次元物体モデルを用いて、 3次元 形状パラメータとテクスチャパラメータとに基づ 、て、個別の物体の 3次元形状を示す 個別 3次元形状データと、個別の物体のテクスチャを示す個別テクスチャデータとを 生成する個別データ生成処理と、汎用 3次元物体モデルに対応する、個別の物体に あてられた照明の方向及び強度の違いによる反射の具合の基本的な変動を示すデ ータである照明基底を生成するための汎用照明基底モデルを生成する汎用照明基 底モデル生成処理と、生成した汎用照明基底モデルを用いて、複数の異なる照明条 件における個別の物体の 3次元表面各部位の輝度値の変動を示す個別照明基底を それぞれ求める第 2の照明基底計算処理とを実行させるものであってもよい。
発明の効果
[0076] 本発明によれば、照明基底を用いて再現画像の輝度値を計算する。照明による画 像輝度値の変動を照明基底の線形和で示す線形照明モデルを利用して処理を実 行するので、照明パラメータの初期値を必要とせず、任意の照明条件の画像の輝度 値を再現することができる。従って、照明条件のパラメータの初期値を事前に調べた り、利用者が手動で入力したりしなくても、画像を処理することができる。
[0077] 例えば、一般に、現実の撮影環境では多数の位置に多様な種類の光源が存在し ているので、位置姿勢パラメータの値を入力する場合と比較して、撮影環境を近似す る照明パラメータの値を利用者 (例えば、オペレータ）が入力することは難しい。本発 明によれば、照明ノラメータの初期値を入力しなくても入力画像を処理できるので、 利用者の操作負担を低減することができる。
[0078] また、本発明によれば、線形照明モデルを用いることによって、照明パラメータを確 率的降下法によって探索する必要がなくなる。そのため、照明パラメータに関して画 像生成を繰り返す非線形最適化処理を行う必要をなくすことができる。従って、 3次 元形状パラメータ及びテクスチャパラメータの推定のための繰り返し処理の回数を少 なくして処理を高速ィ匕するとともに、局所解を回避し正確なパラメータを推定すること ができる。
[0079] また、本発明において、予め汎用照明基底モデルを計算するように構成すれば、 汎用照明基底モデルを用いて、 3次元形状パラメータから簡単な線形演算のみを行 うことによって照明基底を得ることができる。そのため、汎用照明基底モデルを用いて 個別照明基底の計算を行うことによって、法線ベクトルの計算や、シャドウを含めた個 別照明基底の計算に必要な学習画像の生成処理を不要とすることができる。従って 、画像生成における陰影やシャドウの計算処理を高速化でき、線形照明モデルを用 いる際に必要となる照明基底の計算を高速に行うことができる。 図面の簡単な説明
[図 〇
t 1]本発明による画像処理システムの構成の一例を示すブロック図である。
[図 2]照明基底計算手段の構成の一例を示すブロック図である。
[図 3]画像処理システムが入力画像を処理し各パラメータを求める処理の一例を示す 流れ図である。
[図 4]画像処理システムの他の構成例を示すブロック図である。
[図 5]汎用照明基底モデル生成手段の構成の一例を示すブロック図である。
[図 6]画像処理システムが予め汎用照明基底モデルを生成する処理の一例を示す流 れ図である。
[図 7]画像処理システムが入力画像を処理し各パラメータを求める処理の他の例を示 す流れ図である。
[図 8]画像処理システムのさらに他の構成例を示すブロック図である。
[図 9]画像処理システムの一具体例を示す説明図である。
[図 10]入力画像、及び入力画像を CG技術によって生成した再現画像の例を示す説 明図である。
[図 11]従来の 3次元形状推定システムの構成例を示すブロック図である。
符号の説明
位置姿勢初期値入力手段
103 顔モデル生成手段
201 照明基底計算手段
202 透視変換手段
203 照明補正手段
204 パラメータ更新手段
300 汎用照明基底モデル生成手段
301 照明基底モデル計算手段
401 画像入力装置
402 処理用コンピュータ
403 記憶装置 404 記憶媒体
2011 法線ベクトル計算手段
2012 調和関数計算手段
3001 サンプルパラメータ設定手段
3002 照明基底計算手段
3003 基底モデル計算手段
発明を実施するための最良の形態
[0082] (実施の形態 1)
以下、本発明の第 1の実施の形態について図面を参照して説明する。図 1は、本発 明による画像処理システムの構成の一例を示すブロック図である。図 1に示すように、 画像処理システムは、位置姿勢初期値入力手段 102と、顔モデル生成手段 103と、 照明基底計算手段 201と、透視変換手段 202と、照明補正手段 203と、パラメータ更 新手段 204とを含む。
[0083] 画像処理システムは、具体的には、ワークステーションやパーソナルコンピュータ等 の情報処理装置によって実現される。また、本実施の形態において、画像処理シス テムは、例えば、物体の 3次元形状及びテクスチャを推定する 3次元形状推定システ ムの用途に用いられる。また、画像処理システムは、例えば、物体の位置や姿勢を推 定する物体位置姿勢推定システムの用途に用いられる。また、画像処理システムは、 例えば、入力画像を再現した所定の再現画像 (例えば、 CG画像)を生成する画像生 成システムの用途に用いられる。
[0084] 位置姿勢初期値入力手段 102は、具体的には、プログラムに従って動作する情報 処理装置の CPU、及びマウスやキーボード等の入力装置によって実現される。位置 姿勢初期値入力手段 102は、入力画像中の物体の位置及び姿勢を示すパラメータ である位置姿勢パラメータの初期値を入力する機能を備える。例えば、物体の位置 を 3次元座標ベクトル oとし、物体の向きを x、 y、 z軸周りの回転角 γ、 θ、 φで表すと する。この場合に、位置姿勢初期値入力手段 102は、回転角 γ、 θ、 φの回転を示 す行列 Rを、位置姿勢パラメータとして入力する。
[0085] また、例えば、位置姿勢パラメータの初期値の入力の際に、位置姿勢初期値入力 手段 102は、 CG技術を用いて生成した 3次元画像 (CG画面とも 、う）を入力画像と 並べて、ディスプレイ装置等の表示装置に表示させる。この場合、利用者 (例えば、 オペレータ）は、表示画面を見ながら、キーボードやマウス等の入力装置を操作して 、入力画像中の物体の向きに近くなるように CG画面中の物体の向きを調整すること によって、位置姿勢パラメータの初期値を入力指示する。そして、位置姿勢初期値入 力手段 102は、利用者の入力指示に従って、位置姿勢パラメータの初期値を入力す る。
[0086] 顔モデル生成手段 103は、具体的には、プログラムに従って動作する情報処理装 置の CPUによって実現される。顔モデル生成手段 103は、 3次元形状パラメータとテ タスチヤパラメータを入力とし、汎用 3次元顔モデルを用いて、個別の物体 (人物）の 3 次元形状を示す個別 3次元形状と、個別の物体のテクスチャを示す個別テクスチャと を計算する機能を備える。
[0087] 「3次元形状パラメータ」とは、標準的な形状データとテクスチャデータとに、どのよう な変形を与えると物体の 3次元形状になるかを示すパラメータである。本実施の形態 では、「3次元形状パラメータ」は、汎用 3次元顔モデルに示される平均的な形状に対 して、どのような変形を与えるとその人物の顔の 3次元形状になるかを示す数値パラメ ータである。また、「3次元形状パラメータ」は、汎用 3次元顔モデルを用いて、個人の 顔の 3次元形状を記述するためのパラメータである。
[0088] また、「テクスチャパラメータ」とは、標準的な形状データとテクスチャデータとに、ど のような変動を与えると物体のテクスチャになるかを示すパラメータである。本実施の 形態では、「テクスチャパラメータ」は、汎用 3次元顔モデルに示される平均的なテク スチヤに対して、どのような変動を与えるとその人物の顔のテクスチャになるかを示す 数値パラメータである。また、「テクスチャパラメータ」は、汎用 3次元顔モデルを用い て、個人の顔の表面のテクスチャを記述するためのパラメータである。
[0089] 「汎用 3次元顔モデル (汎用 3D顔モデル)」とは、様々な人物の顔の 3次元形状と 顔表面のテクスチャとを、パラメータによって記述したモデルである。また、「汎用 3次 元モデル」は、基本的な人の顔の 3次元形状及び顔表面のテクスチャ (反射率又は 色）と、それら 3次元形状やテクスチャの変形を示すデータとからなる。本実施の形態 では、「汎用 3次元モデル」は、予め計測を行った複数の人物（例えば、 200名程度） の 3次元形状とテクスチャデータとから計算された平均値と、それら平均値からのず れを示す基底ベクトル群とからなる。
[0090] 本実施の形態では、個別の人物に対する 3次元形状パラメータとテクスチャパラメ ータとが分かれば、 3次元形状パラメータ及びテクスチャデータを汎用 3次元顔モデ ルに当てはめることによって、個別の人物の顔モデルを求めることができる。以下、 3 次元形状パラメータ及びテクスチャデータを汎用 3次元顔モデルに当てはめることに よって、個別の人物の顔モデルを求めることを、「汎用 3次元顔モデルに 3次元形状 ノ ラメータ及びテクスチャパラメータを与える」とも表現する。
[0091] 例えば、画像処理システムは、予め汎用 3次元顔モデルを生成する汎用顔モデル 生成手段（図示せず)を備える。汎用顔モデル生成手段は、式（1)及び式 (2)を用い て、図 11に示した汎用顔モデル生成手段 900と同様の処理に従って、予め汎用 3次 元顔モデルを生成する。また、画像処理システムは、例えば、汎用顔モデル生成手 段が生成した汎用 3次元顔モデルを蓄積する顔モデル蓄積手段 (図示せず)を備え る。なお、汎用顔モデル生成手段は、具体的には、プログラムに従って動作する情報 処理装置の CPUによって実現される。また、顔モデル蓄積手段は、具体的には、磁 気ディスク装置や光ディスク装置等のデータベース装置によって実現される。
[0092] 本実施の形態では、顔モデル生成手段 103は、顔モデル蓄積手段が予め蓄積す る汎用 3次元顔モデルを用いて、個別の人物の顔モデル (具体的には、個別 3次元 形状及び個別テクスチャ）を求める。この場合、顔モデル生成手段 103は、図 11に示 した顔モデル生成手段 903と同様の処理に従って、式（3)を用いて個別 3次元形状 及び個別テクスチャを算出する。
[0093] なお、画像処理システムは、後述するように、所定の収束条件が成立するまで、繰り 返し各パラメータの更新処理を行うことによって、各パラメータ（3次元形状パラメータ 、テクスチャパラメータ及び位置姿勢パラメータ）の値の推定値を求める。本実施の形 態では、顔モデル生成手段 103は、繰り返し処理の初回の処理時には、 3次元形状 ノ《ラメ一タとテクスチャパラメータとの初期値として値 0 (ゼロ）を用いて、個別 3次元形 状及び個別テクスチャを算出する。 [0094] 照明基底計算手段 201は、具体的には、プログラムに従って動作する情報処理装 置の CPUによって実現される。照明基底計算手段 201は、顔モデル生成手段 103 が求めた個別 3次元形状と個別テクスチャとを入力とし、様々な照明条件における個 別物体表面の各位置 (ポリゴン)の輝度値の変動を記述する個別照明基底を計算す る機能を備える。なお、「照明基底」とは、顔にあてられた照明の方向や強度の違い による反射の具合 (輝度値)の基本的な変動を記述するデータである。
[0095] ここで、照明基底の計算方法について説明する。一般に、物体の表面反射特性が Lambertian (完全散乱）に近い場合、高々 9次元程度の照明基底の線形和で任意の 照明条件下の画像の輝度値を近似できる。本実施の形態では、物体の表面の反射 特性が完全散乱 (Lambertian)で近似できる場合には、任意の照明条件下での画像 輝度値の変動が、少数の照明基底の線形和で表すことができることを利用する。照 明基底計算手段 201は、個別の物体の個別 3次元形状が既知である場合には、個 別 3次元形状データ力 法線ベクトルを計算し、さらに個別テクスチャを用いることに より、照明基底を解析的に計算する。なお、上記の照明基底の計算方法は、例えば 、「Ronen Basri, David W. Jacobs, Lambertian Reflectance and Linear bubspaces , I EEE Trans. PAMI, 2003, Vol. 25, No. 2, pp.218- 233 (文献 A)」に記載されている。
[0096] ただし、文献 Aに記載された照明基底計算方法の技術では、シャドウを生成するこ とが無視されている。照明基底を生成する場合に、個別 3次元形状と個別テクスチャ とが既知であれば、シャドウを再現可能で任意の姿勢の画像に対応できる照明基底 を計算することができる。なお、上記のシャドウを再現可能な照明基底の計算方法は 、例 は、「Rui Ishiyama, Shizuo bakamoto, Geodesic Illumination Basis: Compensa ting for Illumination Variations in any Pose for Face Recognition", Proc. of ICPR 20 02, vol.4, pp.297- 301 (文献 B)」に記載されている。
[0097] 本実施の形態では、照明基底計算手段 201は、これら文献 A及び文献 Bに記載さ れた照明基底算出技術を画像処理システム (例えば、 3次元形状推定システム）に用 いることにより、汎用顔モデルに 3次元形状パラメータとテクスチャパラメータとを与え て生成した個別 3次元形状データ及び個別テクスチャから、個別照明基底を計算す る。 [0098] 図 2は、照明基底計算手段 201の構成の一例を示すブロック図である。図 2に示す ように、照明基底計算手段 201は、法線ベクトル計算手段 2011と、調和関数計算手 段 2012とを備える。
[0099] 法線ベクトル計算手段 2011は、顔モデル生成手段 103が求めた個別 3次元形状 に基づいて、法線ベクトルを求める機能を備える。本実施の形態では、法線ベクトル 計算手段 2011は、個別 3次元形状の各ポリゴン iについて、式（11)を用いて法線べ タトル nを計算する。
[0100] [数 8] nj (Pj -P,)x(pk -Pi) 式
|(pj -pi)x(Pk -Pi)|
[0101] 調和関数計算手段 2012は、個別 3次元形状及び個別テクスチャに基づいて、所 定の球面調和関数を用いて個別照明基底を求める機能を備える。本実施の形態で は、調和関数計算手段 2012は、法線ベクトル計算手段 2011が求めた法線ベクトル 、及び顔モデル生成手段 103が求めた個別テクスチャに基づいて、所定の球面調和 関数を用いて個別照明基底を求める。本実施の形態では、第 j次元目の個別照明基 底のポリゴン iの成分を bとし、法線ベクトルの要素を n = (X, y, z)とし、テクスチャ輝 度を t(i)とすると、調和関数計算手段 2012は、式（12)を用いて照明基底を計算でき る。
[0102] [数 9]
Figure imgf000024_0001
式 (12)
[0103] ：で、式（12)において、次元数を 9次元として照明基底を求めたのはあくまで- 例であり、例えば、調和関数計算手段 2012は、計算の高速ィ匕のために次元数を減 らして照明基底を求めてもよい。また、調和関数計算手段 2012は、精度を向上させ るために、次元数を増やして照明基底を求めることも可能である。
[0104] なお、照明基底計算手段 201は、個別照明基底を算出する際に、まず、様々な照 明条件を設定する。また、照明基底計算手段 201は、設定した各照明条件における 物体表面各部位の輝度値をそれぞれ求める。そして、照明基底計算手段 201は、求 めた輝度値に基づいて、個別照明基底群を求める。
[0105] 透視変換手段 202は、具体的には、プログラムに従って動作する情報処理装置の CPUによって実現される。透視変換手段 202は、 3形状データの 3次元座標と、顔の 位置 Z姿勢や、カメラ (入力画像の撮像手段)のパラメータとを用いて、 3次元表面上 の位置と画像上での座標との対応関係を決定する機能を備える。例えば、透視変換 手段 202は、 3次元形状の各データ点が再現画像中のどの画素に見えるかを示す 対応テーブルを求める。なお、「再現画像」とは、推定した 3次元顔形状、テクスチャ、 照明条件及び位置姿勢を用いて、入力画像と同じになるようにコンピュータが計算処 理によって再現した画像である。また、「透視変換手段 202」は、さらに照明基底べク トル bの要素を並べ替える機能を備える。
[0106] 本実施の形態では、透視変換手段 202は、個別 3次元形状、個別テクスチャ及び 物体の位置姿勢パラメータを入力する。そして、透視変換手段 202は、図 11に示し た透視変換手段 904と同様の処理に従って、式 (4)を用いた計算により、再現画像 中の各画素 iに対応する個別 3次元形状のポリゴン jを決定する。すなわち、透視変換 手段 202は、 3次元顔モデルの点 iの画像座標 (u , V )を、式 (4)を用いて計算する。 また、透視変換手段 202は、再現画像の各画素に対応するポリゴンの照明基底要素 を並べたベクトル b = [b , b , . . . , b ] 次元目の照明基底ベクトルとし、照明 j 10 11 lm
基底群 {b }を出力する。
[0107] 照明補正手段 203は、具体的には、プログラムに従って動作する情報処理装置の CPUによって実現される。照明補正手段 203は、照明基底の線形和によって画像に おける顔表面の輝度値を計算する際に、入力画像の陰影と同じになるように線形和 の係数を補正する機能を備える。また、照明補正手段 203は、照明基底計算手段 20 1が求めた個別照明基底群を用いて、入力画像と同じ照明条件を再現する画像であ る再現画像を生成する機能を備える。本実施の形態では、照明補正手段 203は、個 別照明基底群 {b }と入力画像 I とを入力とし、再現画像 I の輝度値を、式（13)
] input model
に示す線形モデルによって計算する。
[0108] I =∑ X b
model ] ] j
λ =argmin ( | I —I | 2) 式（13)
j model input
[0109] ここで、式（13)において、 { λ }は照明を示す係数であり、照明補正手段 203は、 線形最小二乗法により繰り返し探索を必要とせずに一意に係数 { λ Η直を求めること ができる。
[0110] ノ メータ更新手段 204は、具体的には、プログラムに従って動作する情報処理装 置の CPUによって実現される。パラメータ更新手段 204は、入力画像及び照明補正 手段 203が生成した再現画像に基づいて、各パラメータ（3次元形状パラメータ、テク スチヤパラメータ及び位置姿勢パラメータ)を更新する機能を備える。本実施の形態 では、パラメータ更新手段 204は、再現画像 I と入力画像 I とを比較し、再現画
model input
像が入力画像に近くなるように、位置姿勢、 3次元形状及びテクスチャの各パラメータ を変化させる。そして、画像処理システムは、所定の収束条件が成立するまで、顔モ デル生成手段 103以降の各手段が実行する処理を繰り返し、最適なパラメータ値を 探索する。
[0111] ノ メータ更新手段 204は、まず、図 11に示すパラメータ更新手段 906と同様の処 理に従って、式 (7)を用いて、画像の類似度に関するコスト関数 Eを計算する。なお
I
、 「コスト関数」とは、再現画像と入力画像との誤差のコストを示す関数である。本実施 の形態では、「コスト関数」は、推定した 3次元顔形状、テクスチャ、照明条件及び位 置姿勢が、入力画像に対してどの程度符合しているかを示す。
[0112] また、パラメータ更新手段 204は、確率的降下法によって、コスト関数 Eを最小化す るようなパラメータを探索する。そのため、パラメータ更新手段 204は、 3次元形状、テ タスチヤ及び位置姿勢のそれぞれのパラメータに対する Eの微分値を、式（14)を用 いて計算する。
[0113] [数 10] 式 (14)
Figure imgf000027_0001
[0114] ノ メータ更新手段 204は、求めた各パラメータ（3次元形状パラメータ、テクスチャ ノ メータ及び位置姿勢パラメータ）の更新量が、予め定めた閾値より大きいか否か を判断する。パラメータ更新手段 204は、計算したパラメータの更新量が予め定めた 閾値より小さい場合、繰り返し処理が収束したと判定し処理を終了する。また、例えば 、ノ メータ更新手段 204は、更新前のパラメータを用いて生成した再現画像と入力 画像との誤差より、更新後のパラメータを用いて生成した再現画像と入力画像との誤 差が小さくならな 、場合、繰り返し処理が収束したと判定し処理を終了する。
[0115] なお、画像処理システムを 3次元形状推定システムに適用する場合、画像処理シス テムは、繰り返し処理の過程で最も入力画像に近!、画像を生成できたとき (処理が収 束したとき)の個別 3次元形状及び個別テクスチャを、 3次元形状推定結果として出 力する。この場合、ノ メータ更新手段 204は、繰り返し処理が収束したと判定すると 、更新後の 3次元形状パラメータ及びテクスチャパラメータを、 3次元形状推定結果と して出力する。
[0116] また、画像処理システムを物体位置姿勢推定システムに適用する場合、画像処理 システムは、
Figure imgf000027_0002
、画像を生成できたときの位 置 Z姿勢を、位置姿勢推定結果として出力する。この場合、パラメータ更新手段 204 は、繰り返し処理が収束したと判定すると、更新後の位置姿勢パラメータを、位置姿 勢推定結果として出力する。
[0117] また、画像処理システムを画像生成システムに適用する場合、画像処理システムは 、繰り返し処理の過程で最も入力画像に近！ヽ画像を生成できたときの再現画像を出 力する。この場合、ノ メータ更新手段 204が繰り返し処理が収束したと判定すると、 照明補正手段 203は、生成した再現画像を出力する。
[0118] また、画像処理システムを実現する情報処理装置は、 3次元形状推定結果や位置 姿勢推定結果、再現画像を、例えば、 CD— ROM等の記憶媒体に出力する出力手 段 (プログラムに従って動作する情報処理装置の CPU及び入出力部によって実現さ れる）を備える。また、画像処理システムを実現する情報処理装置は、 3次元形状推 定結果や位置姿勢推定結果、再現画像を、例えば、ディスプレイ装置等の表示装置 に表示させてもよい。
[0119] また、本実施の形態にお!、て、画像処理システムを実現する情報処理装置の記憶 装置（図示せず）は、入力した画像を処理するための各種プログラムを記憶している。 例えば、情報処理装置の記憶装置は、コンピュータに、類似した複数の物体の 3次 元形状データとテクスチャデータとに基づいて求めた汎用 3次元物体モデルを用い て、 3次元形状パラメータとテクスチャパラメータとに基づいて、個別の物体の 3次元 形状を示す個別 3次元形状データと、個別の物体のテクスチャを示す個別テクスチャ データとを生成する個別データ処理と、生成した個別 3次元形状データと個別テクス チヤデータとに基づいて、様々な照明条件における個別の物体の 3次元表面各部位 の輝度値の変動を示す個別照明基底をそれぞれ求める第 1の照明基底計算処理と 、求めた個別照明基底群を用いて、入力画像と同じ照明条件を再現する画像である 再現画像を生成する再現画像生成処理と、生成した再現画像が入力画像に近くなる ように、汎用 3次元顔モデルに与える 3次元形状パラメータ及びテクスチャパラメータ を、所定の収束条件が成立するまで繰り返し更新するパラメータ更新処理とを実行さ せるための画像処理プログラムを記憶して 、る。
[0120] 次に、動作について説明する。図 3は、画像処理システムが入力画像を処理し各パ ラメータを求める処理の一例を示す流れ図である。本実施の形態において、画像処 理システムは、例えば、カメラ等の撮像手段を備える。そして、画像処理システムは、 例えば、利用者の撮影操作に従って、撮像手段を用いて入力画像を撮影すると、入 力画像の処理を開始し各パラメータの値を求める。まず、画像処理システムの位置姿 勢初期値入力手段 102は、利用者の入力指示に従って、位置姿勢パラメータ {p, y , θ , φ }の初期値を入力する (ステップ SI 1)。
[0121] 顔モデル生成手段 103は、現在の 3次元形状パラメータ { }及びテクスチャパラメ ータ {t }の値を用いて、式（3)に示す汎用顔モデルを用いて、個別 3次元形状及び 個別テクスチャを計算する (ステップ S12)。この場合、顔モデル生成手段 103は、繰 り返し処理の最初の処理を行う場合、各パラメータ {s }及び {t }の初期値として値 0 ( ゼロ）を用いて、個別 3次元形状及び個別テクスチャを求める。
[0122] 照明基底計算手段 201は、顔モデル生成手段 103が求めた個別 3次元形状と個 別テクスチャとを用いて、式（11)を用いて法線ベクトルを求める。また、照明基底計 算手段 201は、式（12)を用いて個別照明基底群を計算する (ステップ S13)。
[0123] 透視変換手段 202は、顔モデル生成手段 103が求めた個別 3次元形状と、現在の 位置姿勢パラメータとを用いて、式 (4)に示す関係に基づいて、再現画像の画素と 個別 3次元形状のポリゴンとの対応関係を求める (ステップ S14)。この場合、透視変 換手段 202は、繰り返し処理の最初の処理を行う場合、位置姿勢初期値入力手段 1 02が入力した位置姿勢パラメータの初期値を用いて、再現画像の画素と個別 3次元 形状のポリゴンとの関係を求める。さらに、透視変換手段 202は、再現画像の各画素 に対応するポリゴンの個別照明基底の値を並べたベクトル群 {b }を求め、個別照明 基底画像群として生成する。
[0124] 照明補正手段 203は、入力画像 I と、照明基底計算手段 201が生成した個別照
input
明基底群とを用いて、式（13)を用いて再現画像の輝度値 I を計算する (ステップ
model
S15)。
[0125] ノ メータ更新手段 204は、入力画像 I 、照明補正手段 203が生成した再現画
input
像 I 、及び汎用顔モデルの固有値 σ 、 σ を用いて、コスト関数 Εを計算する。ま model si ti
た、パラメータ更新手段 204は、コスト関数を最小化するように、確率的降下法を用い て、 3次元形状、テクスチャ及び位置姿勢の各パラメータを更新する (ステップ S 16)。
[0126] また、パラメータ更新手段 204は、確率的降下法によるパラメータ探索が収束した か否かを判定する (ステップ S 17)。パラメータ更新手段 204は、ステップ S16で計算 した新しい更新後のパラメータと更新前の元のパラメータとの差が、予め定めた閾値 より小さい場合、繰り返し処理が収束したと判定し、処理を終了する。また、ノ ラメータ 更新手段 204は、コスト関数 Eがパラメータ更新前の値より小さくない場合、繰り返し 処理が収束したと判定し、処理を終了する。収束しない場合には、ステップ S12に戻 り、画像処理システムは、更新後のパラメータ α *を用いて、ステップ S12以降の処理 を繰り返し行う。
[0127] また、繰り返し処理が収束したと判定すると、画像処理システムは、各推定結果とし て更新後の各パラメータ（3次元形状パラメータやテクスチャパラメータ、位置姿勢パ ラメータ)や、再現画像を出力する (ステップ S18)。例えば、画像処理システムは、更 新後の各パラメータや再現画像を CD— ROM等の記憶媒体に出力する。また、例え ば、画像処理システムは、更新後の各パラメータや再現画像を表示装置に表示させ る。
[0128] 以上のように、本実施の形態によれば、画像処理システムは、照明基底計算手段 2 01と照明補正手段 203とを備え、照明基底を用いて再現画像の輝度値を計算する。 照明パラメータを用いずに再現画像の輝度値を計算できるように構成されているので 、利用者が照明パラメータの初期値を入力する必要がない。従って、照明条件のパ ラメータの初期値を事前に調べたり、利用者が手動で入力したりしなくても、画像を処 理することができる。
[0129] また、本実施の形態によれば、照明パラメータを確率的降下法によって探索する必 要がなぐ繰り返し処理の回数を少なくし、局所解を回避することができ、各パラメ一 タの推定精度を向上させることができる。従って、繰り返し処理の回数を少なくして処 理を高速化するとともに、局所解を回避し正確なパラメータを推定することができる。
[0130] (実施の形態 2)
次に、本発明の第 2の実施の形態について図面を参照して説明する。図 4は、画像 処理システムの他の構成例を示すブロック図である。図 4に示すように、本実施の形 態では、画像処理システムは、汎用照明基底モデル生成手段 300と、位置姿勢初期 値入力手段 102と、顔モデル生成手段 103と、照明基底モデル計算手段 301と、透 視変換手段 202と、照明補正手段 203と、ノ メータ更新手段 204とを含む。
[0131] 図 4に示すように、本実施の形態では、画像処理システム力 第 1の実施の形態で 示した構成要素に加えて照明基底モデル生成手段 300を備える。また、本実施の形 態では、画像処理システムが照明基底計算手段 201に代えて照明基底モデル計算 手段 301を備える点で、第 1の実施の形態と異なる。
[0132] 汎用照明基底モデル生成手段 300は、具体的には、プログラムに従って動作する 情報処理装置の CPUによって実現される。照明基底モデル生成手段 300は、画像 処理システムを使用して各パラメータや再現画像を生成する前の準備段階として、予 め汎用 3D顔モデルを用いて汎用照明基底モデルを生成する処理を行う機能を備え る。
[0133] 「照明基底モデル」とは、各個人の個別照明基底を所定のパラメータを用いて記述 するモデルである。また、「照明基底モデル」は、平均的な個別照明基底と、顔の形 状によって異なる各個人の顔の個別照明基底が平均的な個別照明基底からどのよう に変化するかを示すデータとを含む。本実施の形態において、汎用照明基底モデル は、汎用 3次元物体形状モデルに対応し、個別の物体にあてられた照明の方向や強 度の違いによる反射の具合の基本的な変動を示す照明基底を生成するために用い られる。
[0134] 例えば、汎用照明基底モデル生成手段 300は、画像処理システムが備える顔モデ ル蓄積手段が蓄積する汎用 3次元モデルを用いて、予め汎用照明基底モデルを生 成する。また、画像処理システムは、汎用照明基底モデル生成手段 300が生成した 汎用照明基底モデルを蓄積する照明基底モデル蓄積手段（図示せず)を備える。な お、照明基底モデル蓄積手段は、具体的には、磁気ディスク装置や光ディスク装置 等のデータベース装置によって実現される。
[0135] 図 5は、汎用照明基底モデル生成手段 300の構成の一例を示すブロック図である。
図 5に示すように、照明基底モデル生成手段 300は、サンプルパラメータ設定手段 3 001と、照明基底計算手段 3002と、基底モデル計算手段 3003とを備える。
[0136] サンプルパラメータ設定手段 3001は、汎用 3次元物体形状モデルに与えるための ランダムな 3次元形状パラメータを設定する機能を備える。本実施の形態では、サン プルパラメータ設定手段 3001は、汎用 3D顔モデルに対して、様々な形状パラメ一 タを設定して、多数のサンプル 3次元形状とサンプルテクスチャとの組を生成する。サ ンプルパラメータ設定手段 3001は、様々な決定方法を利用してこれらのパラメータ を決定することが可能である。本実施の形態では、サンプルパラメータ設定手段 300 1は、一例として、 3次元形状パラメータ {s }を、平均がゼロであり、分散が固有値 σ 、 σ のガウス分布に従う乱数であるとして、それぞれ値を決定する。また、サンプル ti
ノ ラメータ設定手段 3001は、 nセットの 3次元形状パラメータ {s } (k= l, 2, . . . ,
s ki
n )を決定し、式 (4)を用いて n個のサンプル 3次元形状データを生成する。
s s [0137] 照明基底計算手段 3002は、サンプルパラメータ設定手段 3001が設定したパラメ 一タ群を汎用 3次元物体モデルに与えることによって生成されるサンプル 3次元形状 群に基づいて、各パラメータそれぞれに対応する照明基底群を求める機能を備える 。本実施の形態では、照明基底計算手段 3002は、サンプルパラメータ設定手段 30 01が生成したサンプル 3次元形状データそれぞれにつ 、て、式（ 12)を用いてサン プル照明基底群 {b } (k= l, . . . , n )を計算する。
k] s
[0138] また、照明基底計算手段 3002は、個別 3次元形状に基づいて、所定の球面調和 関数を用いて個別照明基底を求める。ただし、本実施の形態では、照明基底計算手 段 3002は、テクスチャデータを用いずに、式（12)において t(i)の値を 1としてサンプ ル照明基底群を計算する点で、第 1の実施の形態で示した調和関数計算手段 2012 と異なる。すなわち、照明基底計算手段 3002がサンプル照明基底群は、画像の輝 度変動のうち、 3次元形状によって変化する成分のみをもっている。
[0139] また、照明基底計算手段 3002は、個別照明基底を算出する際に、まず、様々な照 明条件を設定する。また、照明基底計算手段 3002は、設定した各照明条件におけ る物体表面各部位の輝度値をそれぞれ求める。そして、照明基底計算手段 3002は 、求めた輝度値に基づいて、個別照明基底群を求める。
[0140] 基底モデル計算手段 3003は、照明基底計算手段 3002が求めた照明基底群と、 汎用 3次元物体モデルの基底ベクトル及び固有値とを用いて、汎用照明基底モデル の基底ベクトルを求める機能を備える。本実施の形態では、基底モデル計算手段 30 03は、基底モデル計算手段 3003が生成したサンプル照明基底群 {b }を、線形モ デルによって表す基底ベクトルを計算する。ここで、サンプル 3次元形状データ kの照 明基底群 {b }の要素を並べたベクトルを Bとし、その平均ベクトルをバー Bとする。ま
kj k
た、所定の行列 Bを式（ 15)で定義する。
[0141] [数 11]
B = — g， B2 -百,…, Bns -百 1 式 ( 15)
[0142] 基底モデル計算手段 3003は、所定の行列 U、∑ (汎用 3次元顔モデルの計算に 用いる式（2)に示す行列 U、∑ )の値を用いて、式（16)を用いて行列 Cを計算する
S S
[0143] CT=∑ _1U _1BT 式（16)
s s
[0144] そして、基底モデル計算手段 3003は、行列 Cの列ベクトルを汎用照明基底モデル の基底ベクトル群 {c }として、照明基底モデル蓄積手段に記憶させる。
[0145] この汎用照明基底モデル生成手段 300が生成した汎用照明基底モデルを用いる ことによって、サンプル形状を汎用 3D顔モデル力 生成した時の形状パラメータ {s } を係数とした {c }の線形和により、サンプル形状の顔の照明基底 (ただし、テクスチャ を 1とした場合)の値を計算できる。従って、照明基底モデル計算手段 301は、 3次元 形状パラメータが {s }であり、個別テクスチャカ T}である物体の個別照明基底群 {b
}を、式（17)を用いて計算できる。
[0146] [数 12] b(k) = T(k)(B(k) +∑iSjCik)) 式 (1 7)
[0147] ここで、式（17)において、（k)は、 k番目の要素の値であることを示す。
[0148] 照明基底モデル計算手段 301は、具体的には、プログラムに従って動作する情報 処理装置の CPUによって実現される。照明基底モデル計算手段 301は、現在の 3次 元形状パラメータ {s }と、顔モデル生成手段 103が求めた個別テクスチャ {T}とを入 力とし、汎用照明基底モデル生成手段 300が生成した汎用照明基底モデルを用い て照明基底を計算する機能を備える。この場合、照明基底モデル計算手段 301は、 式（17)を用いて個別照明基底群を求める。本実施の形態では、第 1の実施の形態 で示した照明基底計算手段 201と異なり、照明基底モデル計算手段 301は、個別 3 次元形状力 法線ベクトルを計算する必要がなぐ式（17)を用いた簡単な線形演算 のみで個別照明基底群 {b }を求めることができる。
[0149] なお、照明基底モデル計算手段 301は、汎用照明基底モデル生成手段 300が汎 用 3次元物体形状モデルを用いて生成する個別 3次元形状に対応する個別照明基 底を、汎用 3次元物体形状モデルに与える 3次元形状パラメータと同一のパラメータ を用いて求める。 [0150] 位置姿勢初期値入力手段 102、顔モデル生成手段 103、透視変換手段 104、照 明補正手段 203及びパラメータ更新手段 204の機能は、第 1の実施の形態で示した それらの機能と同様である。
[0151] 次に、動作について説明する。まず、画像処理システム力 各パラメータや再現画 像を生成する処理を実行する前に、予め汎用照明基底モデルを計算する処理を事 前に行う動作を説明する。図 6は、画像処理システムが予め汎用照明基底モデルを 生成する処理の一例を示す流れ図である。
[0152] 汎用照明基底モデル生成手段 300は、汎用 3次元顔モデルに対して、適当な数の セットのランダムな 3次元形状パラメータを決定する (ステップ S21)。また、汎用照明 基底モデル生成手段 300は、決定した 3次元形状パラメータの各セットから、汎用 3 次元顔モデルを用いて個別 3次元形状を計算し、求めた個別 3次元形状の法線べク トルを計算する。また、汎用照明基底モデル生成手段 300は、テクスチャの輝度が全 て 1であるとして、照明基底ベクトル群を計算する (ステップ S22)。
[0153] 汎用照明基底モデル生成手段 300は、求めた照明基底ベクトル群に対して、式（1 6)を用いて汎用照明基底モデルの基底ベクトル群を計算する (ステップ S23)。また 、汎用照明基底モデル生成手段 300は、求めた汎用照明基底モデルの基底べタト ル群を、照明基底モデル蓄積手段に記憶させる。
[0154] 以上の処理が実行されることによって、予め汎用照明基底モデルが生成され照明 基底モデル蓄積手段に蓄積される。画像処理システムは、以上に示す照明基底モ デル生成処理を行った上で、以下の処理を行う。
[0155] 図 7は、画像処理システムが入力画像を処理し各パラメータを求める処理の他の例 を示す流れ図である。画像処理システムは、第 1の実施の形態と同様に、例えば、利 用者の撮影操作に従って、撮像手段を用いて入力画像を撮影すると、入力画像の 処理を開始し各パラメータの値を求める。まず、画像処理システムの位置姿勢初期 値入力手段 102は、利用者の入力指示に従って、入力画像から位置姿勢パラメータ {ρ, Ύ , θ , φ }の初期値を入力する (ステップ S31)。
[0156] 顔モデル生成手段 103は、現在の 3次元形状パラメータ {s }及びテクスチャパラメ ータ {t }の値を用いて、式（3)に示す汎用顔モデルを用いて、個別 3次元形状及び 個別テクスチャを計算する (ステップ S32)。この場合、顔モデル生成手段 103は、繰 り返し処理の最初の処理を行う場合、各パラメータ {s }及び {t }の初期値として値 0 ( ゼロ）を用いて、個別 3次元形状及び個別テクスチャを求める。
[0157] 照明基底モデル計算手段 301は、顔モデル生成手段 103が求めた 3次元形状パ ラメータ {s }と、照明基底モデル蓄積手段が蓄積する汎用照明基底モデルとに基づ いて、式（17)を用いて個別照明基底群を計算する (ステップ S33)。
[0158] 透視変換手段 202は、顔モデル生成手段 103が求めた個別 3次元形状と、現在の 位置姿勢パラメータとを用いて、式 (4)に示す関係に基づいて、再現画像の画素と 個別 3次元形状のポリゴンとの対応関係を求める (ステップ S34)。この場合、透視変 換手段 202は、繰り返し処理の最初の処理を行う場合、位置姿勢初期値入力手段 1 02が入力した位置姿勢パラメータの初期値を用いて、再現画像の画素と個別 3次元 形状のポリゴンとの関係を求める。さらに、透視変換手段 202は、再現画像の各画素 に対応するポリゴンの個別照明基底の値を並べたベクトル群 {b }を求め、個別照明 基底画像群として生成する。
[0159] 照明補正手段 203は、入力画像 I と、照明基底モデル計算手段 301が生成した
input
個別照明基底群とを用いて、式（13)を用いて再現画像の輝度値 I を計算する（
model
ステップ S35)。
[0160] ノ メータ更新手段 204は、入力画像 I 、照明補正手段 203が生成した再現画
input
像 I 、及び汎用顔モデルの固有値 σ 、 σ を用いて、コスト関数 Εを計算する。ま model si ti
た、パラメータ更新手段 204は、コスト関数を最小化するように、確率的降下法を用い て、 3次元形状、テクスチャ及び位置姿勢の各パラメータを更新する (ステップ S 36)。
[0161] ノ メータ更新手段 204は、確率的降下法によるパラメータ探索が収束した力否か を判定する (ステップ S37)。ノ ラメータ更新手段 204は、ステップ S36で計算した新 しい更新後のパラメータと更新前の元のパラメータとの差力 予め定めた閾値より小さ い場合、繰り返し処理が収束したと判定し、処理を終了する。また、パラメータ更新手 段 204は、コスト関数 Eがパラメータ更新前の値より小さくない場合、繰り返し処理が 収束したと判定し、処理を終了する。収束しない場合には、ステップ S32に戻り、画像 処理システムは、更新後のパラメータひ *を用いて、ステップ S32以降の処理を繰り 返し行う。
[0162] また、繰り返し処理が収束したと判定すると、画像処理システムは、各推定結果とし て更新後の各パラメータ（3次元形状パラメータやテクスチャパラメータ、位置姿勢パ ラメータ)や、再現画像を出力する (ステップ S38)。例えば、画像処理システムは、更 新後の各パラメータや再現画像を CD— ROM等の記憶媒体に出力する。また、例え ば、画像処理システムは、更新後の各パラメータや再現画像を表示装置に表示させ る。
[0163] 以上のように、本実施の形態によれば、画像処理システムは、汎用照明基底モデ ル生成手段 300を備え、予め汎用照明基底モデルを計算する。そして、汎用照明基 底モデルを用いて、 3次元形状パラメータから簡単な線形演算のみを行うことによつ て照明基底を得ることができる。そのため、 3次元形状データ力も法線ベクトルの計算 等を行う必要がなぐ高速に処理を行うことができる。従って、第 1の実施の形態で示 した効果に加え、画像生成における陰影やシャドウの計算処理を高速化でき、線形 照明モデルを用いる際に必要となる照明基底の計算を高速に行うことができる。
[0164] (実施の形態 3)
次に、本発明の第 3の実施の形態について図面を参照して説明する。図 8は、画像 処理システムのさらに他の構成例を示すブロック図である。図 8に示すように、本実施 の形態では、画像処理システムは、第 2の実施の形態で示した各構成要素のうち、顔 モデル生成手段 103と、汎用照明基底モデル生成手段 300と、照明基底モデル計 算手段 301とを含む。また、画像処理システムは、ある人物の顔の 3次元形状パラメ ータとテクスチャパラメータとを入力とし、個別 3次元形状と個別照明基底群とを出力 する。
[0165] まず、汎用照明基底モデル生成手段 300は、第 2の実施の形態と同様の処理に従 つて、予め汎用 3D顔モデルに対応する汎用照明基底モデルを生成する。また、顔 モデル生成手段 103は、第 2の実施の形態と同様の処理に従って、処理目的とする 個人の顔の 3次元形状パラメータとテクスチャパラメータとを入力とし、汎用 3D顔モデ ルを用いて、個別 3次元形状と個別テクスチャとを計算する。また、照明基底モデル 計算手段 301は、第 2の実施の形態と同様の処理に従って、 3次元形状パラメータと 汎用照明基底モデルとを入力とし、個別照明基底群を計算する。
[0166] 本実施の形態では、画像処理システムは、顔モデル生成手段 103が生成した個別 3次元形状と、照明基底モデル計算手段 301が生成した個別照明基底群とを出力 する出力手段 (プログラムに従って動作する情報処理装置の CPU及び入出力部に よって実現される）を備える。
[0167] 以上のように、本実施の形態によれば、 3次元形状パラメータとテクスチャパラメータ とに基づいて、個別 3次元形状と個別照明基底をと計算する。そのため、多様な位置 姿勢 Z照明条件にある顔画像を生成可能な 3次元顔モデル (3次元形状データと照 明基底群とのセット)を、高速に計算することができる。
[0168] 個別 3次元形状と個別照明基底群とは、例えば、文献 Bに記載された顔照合システ ムにおいて、処理に必要とされるものである。本実施の形態では、画像処理システム は、個人の顔の 3次元形状データと照明基底とを、各パラメータ力 高速に生成して 提供する 3次元顔モデル生成システムとしての機能を備える。
[0169] 文献 Bに記載された顔照合システムでは、様々な人物にっ 、て計測した個別 3次 元形状データと個別照明基底とをデータベースに記憶しておき、入力した画像に対 して各人物のデータを用いて再現画像を生成する。そして、入力画像に最も近い再 現画像を生成できたときの人物を本人と判定する。この場合、本実施の形態で示した 画像処理システムを、文献 Bに記載された顔照合システムのデータベースの代わりに 用いることができる。すなわち、顔照合システムにおいて、個別 3次元形状データと個 別照明基底との代わりに、各人物の 3次元形状パラメータとテクスチャパラメータとを データベースに記憶しておく。そして、本実施の形態で示した画像処理システムを用 いることによって、各個人の個別 3次元形状データと個別照明基底とを計算すれば、 文献 Bに記載された顔照合システムを運営できる。
実施例 1
[0170] 次に、本発明の第 1の実施例を図面を参照して説明する。本実施例では、具体的 な例を用いて、画像処理システムの動作を説明する。また、本実施例では、画像処 理システムを、顔画像に基づいて、その顔画像に写っている人物の顔の 3次元形状 を推定する 3次元形状推定システムに適用する場合について説明する。なお、本実 施例で示す画像処理システムの構成は、本発明の第 1の実施形態で示した構成 (す なわち、図 1に示した構成）に相当する。
[0171] 図 9は、画像処理システムの一具体例を示す説明図である。図 9に示すように、本 実施例では、画像処理システムは、入力画像を撮影し入力する画像入力装置 401と 、各種処理を実行するコンピュータ 402と、各種データを記憶する記憶装置 403と、 推定結果のデータを記録し出力する記憶媒体 404とを含む。
[0172] コンピュータ 402は、第 1の実施の形態で示した位置姿勢初期値入力手段 102、顔 モデル生成手段 103、照明基底計算手段 201、透視変換手段 202、照明補正手段 203及びパラメータ更新手段 204を備える。
[0173] 記憶装置 403は、汎用 3次元顔モデルを予め記憶する。一例として、記憶装置 403 は、汎用 3次元顔モデルのデータとして、 100個の形状基底ベクトルと 100個のテク スチヤ基底ベクトルと、形状基底ベクトル及びテクスチャ基底ベクトルそれぞれに対応 する固有値とを記憶する。なお、画像処理システムは、 100個より多くの基底を用い ることによって、推定精度を向上させてもよい。また、画像処理システムは、基底数を 100個より減らすことによって、処理速度を向上させることも可能である。
[0174] まず、画像入力装置 401は、利用者の入力指示に従って、人物の顔画像を撮影し 、コンピュータ 402に入力画像 411を出力する。すると、コンピュータ 402は、画像入 力装置 401から入力画像 411を入力する。一例として、コンピュータ 402は、人物の 顔の向きが左 40度（姿勢パラメータ 0 =40)、下 10度（γ = 10)及び水平向き（φ = 0)で、人物がカメラから 170cm離れた位置で中央に写っている入力画像 411を入 力する。また、コンピュータ 402は、 1つのライトが顔に対して右 60度及び上 80度の 角度から当たっていて、部屋全体の明るさの強度が、このライトの半分程度の強度で ある入力画像 411を入力したとする。もちろん、入力画像 411を入力した段階では、 顔の正確な向きや照明の配置は、画像処理システムにとって未知である。
[0175] コンピュータ 402の位置姿勢初期値入力手段 102は、画像処理システムの利用者 の入力指示に従って、入力画像 411の位置姿勢パラメータ {ρ, γ , θ , φ }の初期値 を入力する。位置姿勢パラメータの初期値を入力するには様々な方法があるが、位 置姿勢初期値入力手段 102は、一例として、コンピュータ 402の表示装置の画面に 、図 10に示すように、平均 3次元顔形状と平均テクスチャとを用いて CG技術によって 生成した画像を表示させる。この場合、位置姿勢初期値入力手段 102は、図 10に示 すように、表示装置の表示画面に、入力画像 411と CG画像 412とを並べて表示させ る。利用者は、 CG画像 412を入力画像 411と見比べながら位置姿勢パラメータ {p, Ύ , θ , φ }の値を変化させ、入力画像 411に近くなる値を手動で入力指示する。そ して、位置姿勢初期値入力手段 102は、利用者の入力指示に従って、位置姿勢パラ メータ {ρ, Ύ , θ , φ }の初期値を入力する。本実施例では、一例として、位置姿勢初 期値入力手段 102は、位置姿勢パラメータの初期値として、 ρ= [10, 5, 150]、 γ = 5、 0 =45及び φ = 5を入力したとする。
[0176] 次に、顔モデル生成手段 103は、現在の 3次元形状パラメータ {s }及びテクスチャ ノ メータ {t }の値を用いて、式（3)に示す汎用 3次元顔モデルを用いて、個別 3次 元形状及び個別テクスチャを計算する。この場合、顔モデル生成手段 103は、予め 記憶装置 403が記憶する汎用 3次元顔モデルを、記憶装置 403から読み出して用い て個別 3次元形状及び個別テクスチャを計算する。また、顔モデル生成手段 103は、 繰り返し処理の最初の処理を行う場合、各パラメータ {s }及び {t }の初期値として値 0 (ゼロ）を用いて、個別 3次元形状及び個別テクスチャを求める。
[0177] 照明基底計算手段 201は、顔モデル生成手段 103が求めた個別 3次元形状と個 別テクスチャとを用いて、式（11)を用いて法線ベクトルを求める。また、照明基底計 算手段 201は、式（12)を用いて個別照明基底群を計算する。本実施例では、照明 基底計算手段 201は、照明基底の数を 9個として個別照明基底群を求める。なお、 照明基底計算手段 201が求める照明基底の数は様々な値に変更可能であり、処理 速度を向上させるために、求める照明基底の数を減らしてもよい。また、パラメータの 推定精度を向上させるために、求める照明基底の数を大きくすることもできる。
[0178] 透視変換手段 202は、個別 3次元形状と位置姿勢パラメータとを用いて、式 (4)に 示す関係に基づいて、再現画像の画素と個別 3次元形状のポリゴンとの対応関係を 求める。さらに、透視変換手段 202は、再現画像の各画素に対応するポリゴンの個別 照明基底の値を並べたベクトル群 {b }を、個別照明基底画像群として生成する。一 例として、個別 3次元形状に対応する入力画像の画素数が 100である場合、透視変 換手段 202は、 100次元のベクトルを含むベクトル群 {b }を生成する。
[0179] 照明補正手段 203は、入力画像 I と、照明基底計算手段 201が生成した個別照
input
明基底群とを用いて、式（13)を用いて再現画像の輝度値 I を計算する。
model
[0180] ノ メータ更新手段 204は、入力画像 I 、照明補正手段 203が生成した再現画
input
像 I 、及び汎用顔モデルの固有値 σ , σ を用いて、コスト関数 Εを計算する。ま model si ti
た、パラメータ更新手段 204は、コスト関数を最小化するように、確率的降下法を用い て、 3次元形状、テクスチャ及び位置姿勢の各パラメータを更新する。
[0181] また、パラメータ更新手段 204は、確率的降下法によるパラメータ探索が収束した か否かを判定する。ノ メータ更新手段 204は、計算した新しい更新後のパラメータ と更新前の元のパラメータとの差力 予め定めた閾値より小さい場合、繰り返し処理 が収束したと判定し、処理を終了する。また、パラメータ更新手段 204は、コスト関数 Eがパラメータ更新前の値より小さくない場合、繰り返し処理が収束したと判定し、処 理を終了する。一例として、ノ メータ更新手段 204は、例えば、パラメータ更新量に 対する閾値として、要素 Pの閾値「lcm」、及び顔の角度 γ、 0、 φの閾値「1° 」をそ れぞれ用いて、パラメータ探索が収束したカゝ否かを判定する。パラメータ更新手段 20 4は、これらの閾値より変化量が小さい場合には、パラメータ探索が収束したとして判 定する。収束しない場合には、画像処理システムは、更新後のパラメータを用いて、 顔モデル生成手段 103、照明基底計算手段 201、透視変換手段 202、照明補正手 段 203及びパラメータ更新手段 204が実行する各処理を繰り返し行う。
[0182] パラメータが収束すると、画像処理システムは、収束したときの 3次元形状パラメ一 タとテクスチャパラメータとから顔モデル生成手段 103によって生成された個別 3次元 顔形状及び個別テクスチャを、記憶媒体 404に記録して出力する。なお、画像処理 システムは、個別 3次元形状及び個別テクスチャを用いて CG画像を生成し、生成し た CG画像を記憶媒体 404に出力してもよい。また、画像処理システムを顔の向きを 推定する顔姿勢推定システムに適用する場合には、画像処理システムは、収束した 時の位置姿勢パラメータを出力してもよ!/、。
実施例 2
[0183] 次に、本発明の第 2の実施例を図面を参照して説明する。本実施例では、画像処 理システムを、顔画像に基づいて、その顔画像に写っている人物の顔の位置や姿勢 を推定する物体位置姿勢推定システムに適用する場合について説明する。なお、本 実施例で示す画像処理システムの構成は、本発明の第 2の実施の形態で示した構 成 (すなわち、図 4に示した構成）に相当する。
[0184] 本実施例では、コンピュータ 402は、第 2の実施の形態で示した汎用照明基底モデ ル生成手段 300、位置姿勢初期値入力手段 102、顔モデル生成手段 103、照明基 底モデル計算手段 301、透視変換手段 202、照明補正手段 203及びパラメータ更 新手段 204を備える。
[0185] 記憶装置 403は、汎用 3次元顔モデルを予め記憶する。なお、第 1の実施例では 汎用顔モデルの基底ベクトルと固有値のみを使用した力 本実施例では、汎用 3次 元顔モデルを構築する際に、行列 US (すなわち、式（2)に示す行列 US)の値も合わ せて、記憶手段 403に記憶させる。
[0186] まず、画像処理システムを各パラメータや再現画像を生成する処理に使用する前 に、コンピュータ 402の汎用照明基底モデル生成手段 300は、準備として汎用照明 基底モデルを計算する処理を事前に行う。
[0187] まず、サンプルパラメータ設定手段 3001は、汎用 3次元顔モデルに対して、適当な 数のセットのランダムな 3次元形状パラメータを決定する。本実施例では、一例として 、サンプルパラメータ設定手段 3001は、 100セットのパラメータをランダムに設定す る。なお、このパラメータの数は、様々に変更可能である。
[0188] また、照明基底計算手段 3002は、サンプルパラメータ設定手段 3001が決定した 3 次元形状パラメータの各セットから、汎用 3次元顔モデルを用いて個別 3次元形状を 計算し、求めた個別 3次元形状の法線ベクトルを計算する。さらに、照明基底計算手 段 3002は、テクスチャの輝度が全て 1であるとして、照明基底ベクトル群を計算する
[0189] 基底ベクトル計算手段 3003は、照明基底計算手段 3002が求めた照明基底べタト ル群に対して、式（16)を用いて汎用照明基底モデルの基底ベクトル群を計算する。 また、基底モデル計算手段 3003は、求めた汎用照明基底モデルの基底ベクトル群 を、記憶装置 403に記憶させる。本実施例では、 3次元形状パラメータの数が 100で あるので、基底モデル計算手段 3003は、 100個の基底ベクトルを含む基底ベクトル 群を計算する。
[0190] 画像処理システムは、以上に示す処理を予め行った上で、以下の処理を行う。
[0191] まず、コンピュータ 402の位置姿勢初期値入力手段 102は、利用者の入力指示に 従って、入力画像から位置姿勢パラメータ {p, y , θ , φ }の初期値を入力する。この 場合、第 1の実施例と同様に、 CG画像を見ながら利用者が手動で入力する方法もあ る力 本実施例では、一例として、入力画像 411に対して両目や口の端の位置等を 画面を見ながら利用者が入力指示する場合を説明する。本実施例では、予め平均 3 次元形状データに対しても対応する点の位置を付与しておく（例えば、記憶装置 40 3に、予め対応する点の位置情報を記憶しておく）。そして、位置姿勢初期値入力手 段 102は、予め記憶する 3次元座標と、利用者の操作に従って入力した点の位置デ 一タとを用いて、顔の姿勢を計算する。
[0192] また、顔モデル生成手段 103は、現在の形状パラメータ {s }及びテクスチャパラメ一 タ {t }の値を用いて、式（3)に示す汎用顔モデルを用いて、個別 3次元形状及び個 別テクスチャを計算する。この場合、顔モデル生成手段 103は、繰り返し処理の最初 の処理の場合、各パラメータ {s }及び {t }の初期値として値 0 (ゼロ）を用いて、個別 3 次元形状及び個別テクスチャを求める。
[0193] 照明基底モデル計算手段 301は、顔モデル生成手段 103が求めた 3次元形状パ ラメータ {s }と、記憶装置 403が蓄積する汎用照明基底モデルとに基づいて、式（17 )を用いて個別照明基底群を計算する。
[0194] 透視変換手段 202は、顔モデル生成手段 103が求めた個別 3次元形状と、現在の 位置姿勢パラメータとを用いて、式 (4)に示す関係に基づいて、再現画像の画素と 個別 3次元形状のポリゴンとの対応関係を求める。さらに、透視変換手段 202は、再 現画像の各画素に対応するポリゴンの個別照明基底の値を並べたベクトル群 {b }を 求め、個別照明基底画像群として生成する。
[0195] 照明補正手段 203は、入力画像 I と、照明基底モデル計算手段 301が生成した
input
個別照明基底群とを用いて、式（13)を用いて再現画像の輝度値 I を計算する。
model
[0196] また、パラメータ更新手段 204は、入力画像 I 、照明補正手段 203が生成した再 現画像 I 、及び汎用顔モデルの固有値 σ , σ を用いて、コスト関数 Εを計算す model si ti
る。また、パラメータ更新手段 204は、コスト関数を最小化するように、確率的降下法 を用いて、 3次元形状、テクスチャ及び位置姿勢の各パラメータを更新する。
[0197] さらに、パラメータ更新手段 204は、確率的降下法によるパラメータ探索が収束した か否かを判定する。ノ メータ更新手段 204は、図 7に示すステップ S 36で計算した 新しい更新後のパラメータと更新前の元のパラメータとの差力 予め定めた閾値より 小さい場合、繰り返し処理が収束したと判定し、処理を終了する。また、パラメータ更 新手段 204は、コスト関数 Eがパラメータ更新前の値より小さくない場合、繰り返し処 理が収束したと判定し、処理を終了する。収束しない場合には、更新後のパラメータ を用いて、顔モデル生成手段 103、照明基底モデル計算手段 301、透視変換手段 2 02、照明補正手段 203及びパラメータ更新手段 204が実行する各処理を繰り返し行
[0198] また、繰り返し処理が収束したと判定すると、画像処理システムは、収束したときの 位置姿勢パラメータの値を、入力画像中の顔の位置姿勢の推定値として出力する。 一例として、画像処理システムは、例えば、記憶媒体 404に、位置と姿勢とを示すデ ータ (位置姿勢パラメータ)を記録して出力する。
[0199] 以上、本発明の各実施例を詳細に説明したが、本発明は、代表的に例示した上述 の各実施例に限定されるものではなぐ当業者であれば、請求の範囲の記載内容に 基づき、本発明の要旨を逸脱しない範囲内で種々の態様に変形、変更することがで きる。これらの変形例や変更例も、本発明の権利範囲に属する。
[0200] 例えば、前述した各実施例を構成する各手段の少なくとも一部の機能をプログラム コードを用いて実現する場合、力かるプログラムコードと、これを記録する記録媒体と は、本発明の範疇に含まれる。この場合のプログラムコードは、オペレーティングシス テムや他のアプリケーションソフトウェア等と共同して上記機能が実現される場合は、 それらのプログラムコードも含まれる。また、記録媒体としては、例えばディスク型 (光 ディスク、光磁気ディスク、磁気ディスク等）、テープ型 (磁気テープ等）、カード型 (メ モリカード等)等、 、ずれのタイプでも用いることができる。
産業上の利用可能性 本発明は、 1又は複数の顔画像から、写っている人物の顔の 3次元形状を推定する 3次元形状推定システムの用途に適用できる。また、本発明は、推定した姿勢パラメ ータを出力することによって、写っている人物の顔の向きを推定する物体位置姿勢推 定システムの用途にも適用可能である。さらに、本発明は、入力画像を再現した再現 画像 (例えば、 CG画像)を生成する画像生成システムの用途に適用できる。

Claims

請求の範囲
[1] 類似した複数の物体の 3次元形状データとテクスチャデータとに基づ 、て求めた汎 用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ いて、個別の物体の 3次元形状を示す個別 3次元形状データと、前記個別の物体の テクスチャを示す個別テクスチャデータとを生成する個別データ生成手段と、 前記個別データ生成手段が生成した個別 3次元形状データと個別テクスチャデー タとに基づいて、複数の異なる照明条件における個別の物体の 3次元表面各部位の 輝度値の変動を示す個別照明基底をそれぞれ求める第 1の照明基底計算手段と、 前記第 1の照明基底計算手段が求めた個別照明基底群を用いて、入力画像と同じ 照明条件を再現する画像である再現画像を生成する再現画像生成手段と、 前記再現画像生成手段が生成した再現画像が入力画像に近くなるように、前記汎 用 3次元物体モデルに与える 3次元形状パラメータ及びテクスチャパラメータを、所定 の収束条件が成立するまで繰り返し更新するパラメータ更新手段とを備えたことを特 徴とする画像処理システム。
[2] 前記第 1の照明基底計算手段は、前記個別データ生成手段が生成した個別 3次元 形状データに基づいて、球面調和関数を用いて前記個別照明基底を求める請求項 1記載の画像処理システム。
[3] 前記第 1の照明基底計算手段は、
複数の異なる照明条件を設定する照明条件設定手段と、
前記照明条件設定手段が設定した各照明条件における物体表面各部位の輝度値 をそれぞれ求める輝度計算手段と、
前記輝度計算手段が求めた輝度値に基づいて、前記個別照明基底群を求める計 算手段とを含む請求項 1記載の画像処理システム。
[4] 類似した複数の物体の 3次元形状データとテクスチャデータとに基づ 、て求めた汎 用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ いて、個別の物体の 3次元形状を示す個別 3次元形状データと、前記個別の物体の テクスチャを示す個別テクスチャデータとを生成する個別データ生成手段と、 前記汎用 3次元物体モデルに対応する、個別の物体にあてられた照明の方向及び 強度の違いによる反射の具合の基本的な変動を示すデータである照明基底を生成 するための汎用照明基底モデルを生成する汎用照明基底モデル生成手段と、 前記汎用照明基底モデル生成手段が生成した汎用照明基底モデルを用いて、複 数の異なる照明条件における個別の物体の 3次元表面各部位の輝度値の変動を示 す個別照明基底をそれぞれ求める第 2の照明基底計算手段とを備えたことを特徴と する画像処理システム。
[5] 前記個別データ生成手段が生成した個別 3次元形状データと、前記第 2の照明基 底計算手段が生成した個別照明基底とを出力する出力手段をさらに備えた請求項 4 記載の画像処理システム。
[6] 前記第 2の照明基底計算手段が求めた個別照明基底群を用いて、入力画像と同じ 照明条件を再現する画像である再現画像を生成する再現画像生成手段と、 前記再現画像生成手段が生成した再現画像が入力画像に近くなるように、前記汎 用 3次元物体モデルに与える 3次元形状パラメータ及びテクスチャパラメータを、所定 の収束条件が成立するまで繰り返し更新するパラメータ更新手段とをさらに備えた請 求項 4又は請求項 5記載の画像処理システム。
[7] 前記第 2の照明基底計算手段は、前記汎用照明基底モデル生成手段が汎用 3次 元物体モデルを用いて生成する個別 3次元形状データに対応する個別照明基底を
、前記汎用 3次元物体モデルに与える 3次元形状パラメータと同一のパラメータを用
V、て求める請求項 6記載の画像処理システム。
[8] 前記汎用照明基底モデル生成手段は、
前記汎用 3次元物体モデルに与えるためのランダムな 3次元形状パラメータを設定 するパラメータ設定手段と、
前記パラメータ設定手段が設定したパラメータ群を前記汎用 3次元物体モデルに 与えることによって生成されるサンプル 3次元形状群に基づ 、て、各パラメータそれ ぞれに対応する照明基底群を求める第 3の照明基底計算手段と、
前記第 3の照明基底計算手段が求めた照明基底群と、前記汎用 3次元物体モデル の基底ベクトル及び固有値とを用いて、前記汎用照明基底モデルの基底ベクトルを 求める基底計算手段とを含む請求項 7記載の画像処理システム。
[9] 前記第 3の照明基底計算手段は、前記個別 3次元形状データに基づいて、球面調 和関数を用いて前記個別照明基底を求める請求項 8記載の画像処理システム。
[10] 前記第 3の照明基底計算手段は、
複数の異なる照明条件を設定する照明条件設定手段と、
前記照明条件設定手段が設定した各照明条件における物体表面各部位の輝度値 をそれぞれ求める輝度計算手段と、
前記輝度計算手段が求めた輝度値に基づ!、て、主成分分析によって前記個別照 明基底群を求める計算手段とを含む請求項 8記載の画像処理システム。
[11] 請求項 1又は請求項 4記載の画像処理システムを用いた、物体の 3次元形状を推 定する 3次元形状推定システムであって、
所定の収束条件が成立すると、前記収束した時点における 3次元形状パラメータ及 びテクスチャパラメータに基づいて、前記汎用 3次元物体モデルによって生成される 3次元形状を出力する形状出力手段を備えたことを特徴とする 3次元形状推定シス テム。
[12] 請求項 1又は請求項 4記載の画像処理システムを用いた、物体の位置及び姿勢を 推定する物体位置姿勢推定システムであって、
所定の収束条件が成立すると、前記収束した時点における、物体の位置及び姿勢 を示す位置姿勢パラメータを出力する位置姿勢出力手段を備えたことを特徴とする 物体位置姿勢推定システム。
[13] 請求項 1又は請求項 4記載の画像処理システムを用いた、入力画像と同じ照明条 件を再現する画像である再現画像を生成する画像生成システムであって、
所定の収束条件が成立すると、前記収束した時点における再現画像を出力する画 像出力手段を備えたことを特徴とする画像生成システム。
[14] 類似した複数の物体の 3次元形状データとテクスチャデータとに基づ 、て求めた汎 用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ いて、個別の物体の 3次元形状を示す個別 3次元形状データと、前記個別の物体の テクスチャを示す個別テクスチャデータとを生成する個別データ生成ステップと、 生成した前記個別 3次元形状データと前記個別テクスチャデータとに基づいて、複 数の異なる照明条件における個別の物体の 3次元表面各部位の輝度値の変動を示 す個別照明基底をそれぞれ求める第 1の照明基底計算ステップと、
求めた前記個別照明基底群を用いて、入力画像と同じ照明条件を再現する画像 である再現画像を生成する再現画像生成ステップと、
生成した前記再現画像が入力画像に近くなるように、前記汎用 3次元顔モデルに 与える 3次元形状パラメータ及びテクスチャパラメータを、所定の収束条件が成立す るまで繰り返し更新するパラメータ更新ステップとを含むことを特徴とする画像処理方 法。
[15] 前記第 1の照明基底計算ステップで、前記個別データ生成ステップで生成した個 別 3次元形状データに基づいて、球面調和関数を用いて前記個別照明基底を求め る請求項 14記載の画像処理方法。
[16] 前記第 1の照明基底計算ステップで、複数の異なる照明条件を設定し、設定した前 記各照明条件における物体表面各部位の輝度値をそれぞれ求め、求めた前記輝度 値に基づいて、前記個別照明基底群を求める請求項 14記載の画像処理方法。
[17] 類似した複数の物体の 3次元形状データとテクスチャデータとに基づいて求めた汎 用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ いて、個別の物体の 3次元形状を示す個別 3次元形状データと、前記個別の物体の テクスチャを示す個別テクスチャデータとを生成する個別データ生成ステップと、 前記汎用 3次元物体モデルに対応する、個別の物体にあてられた照明の方向及び 強度の違いによる反射の具合の基本的な変動を示すデータである照明基底を生成 するための汎用照明基底モデルを生成する汎用照明基底モデル生成ステップと、 生成した前記汎用照明基底モデルを用いて、複数の異なる照明条件における個別 の物体の 3次元表面各部位の輝度値の変動を示す個別照明基底をそれぞれ求める 第 2の照明基底計算ステップとを含むことを特徴とする画像処理方法。
[18] 前記個別データ生成ステップで生成した個別 3次元形状データと、前記第 2の照明 基底計算ステップで生成した個別照明基底とを出力する出力ステップをさらに含む 請求項 17記載の画像処理方法。
[19] 前記第 2の照明基底計算ステップで求めた個別照明基底群を用いて、入力画像と 同じ照明条件を再現する画像である再現画像を生成する再現画像生成ステップと、 生成した前記再現画像が入力画像に近くなるように、前記汎用 3次元物体モデル に与える 3次元形状パラメータ及びテクスチャパラメータを、所定の収束条件が成立 するまで繰り返し更新するパラメータ更新ステップとをさらに含む請求項 17又は請求 項 18記載の画像処理方法。
[20] 前記第 2の照明基底計算ステップで、前記汎用照明基底モデル生成ステップで汎 用 3次元物体モデルを用いて生成する個別 3次元形状データに対応する個別照明 基底を、前記汎用 3次元物体モデルに与える 3次元形状パラメータと同一のパラメ一 タを用いて求める請求項 19記載の画像処理方法。
[21] 前記汎用 3次元物体モデルに与えるためのランダムな 3次元形状パラメータを設定 するパラメータ設定ステップと、
設定したパラメータ群を前記汎用 3次元物体モデルに与えることによって生成され るサンプル 3次元形状群に基づいて、各パラメータそれぞれに対応する照明基底群 を求める第 3の照明基底計算ステップと、
求めた前記照明基底群と、前記汎用 3次元物体モデルの基底ベクトル及び固有値 とを用いて、汎用照明基底モデルの基底ベクトルを求める基底計算ステップとを含む 請求項 20記載の画像処理方法。
[22] 前記第 3の照明基底計算ステップで、前記個別 3次元形状データに基づいて、球 面調和関数を用いて前記個別照明基底を求める請求項 21記載の画像処理方法。
[23] 前記第 3の照明基底計算ステップで、複数の異なる照明条件を設定し、設定した前 記各照明条件における物体表面各部位の輝度値をそれぞれ求め、求めた前記輝度 値に基づいて、主成分分析によって前記個別照明基底群を求める請求項 21記載の 画像処理方法。
[24] 請求項 14又は請求項 17記載の画像処理方法を用いた、物体の 3次元形状を推定 する 3次元形状推定方法であって、
所定の収束条件が成立すると、前記収束した時点における 3次元形状パラメータ及 びテクスチャパラメータに基づいて、前記汎用 3次元物体モデルによって生成される 3次元形状を出力する形状出力ステップを含むことを特徴とする 3次元形状推定方法
[25] 請求項 14又は請求項 17記載の画像処理方法を用いた、物体の位置及び姿勢を 推定する物体位置姿勢推定方法であって、
所定の収束条件が成立すると、前記収束した時点における、物体の位置及び姿勢 を示す位置姿勢パラメータを出力する位置姿勢出力ステップを含むことを特徴とする 物体位置姿勢推定方法。
[26] 請求項 14又は請求項 17記載の画像処理方法を用いた、入力画像と同じ照明条件 を再現する画像である再現画像を生成する画像生成方法であって、
所定の収束条件が成立すると、前記収束した時点における再現画像を出力する画 像出力ステップを含むことを特徴とする画像生成方法。
[27] コンピュータに、
類似した複数の物体の 3次元形状データとテクスチャデータとに基づいて求めた汎 用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ いて、個別の物体の 3次元形状を示す個別 3次元形状データと、前記個別の物体の テクスチャを示す個別テクスチャデータとを生成する個別データ処理と、
生成した前記個別 3次元形状データと前記個別テクスチャデータとに基づいて、複 数の異なる照明条件における個別の物体の 3次元表面各部位の輝度値の変動を示 す個別照明基底をそれぞれ求める第 1の照明基底計算処理と、
求めた前記個別照明基底群を用いて、入力画像と同じ照明条件を再現する画像 である再現画像を生成する再現画像生成処理と、
生成した前記再現画像が入力画像に近くなるように、前記汎用 3次元物体モデル に与える 3次元形状パラメータ及びテクスチャパラメータを、所定の収束条件が成立 するまで繰り返し更新するパラメータ更新処理とを実行させる画像処理プログラム。
[28] コンピュータに、
類似した複数の物体の 3次元形状データとテクスチャデータとに基づいて求めた汎 用 3次元物体モデルを用いて、 3次元形状パラメータとテクスチャパラメータとに基づ いて、個別の物体の 3次元形状を示す個別 3次元形状データと、前記個別の物体の テクスチャを示す個別テクスチャデータとを生成する個別データ生成処理と、 前記汎用 3次元物体モデルに対応する、個別の物体にあてられた照明の方向及び 強度の違いによる反射の具合の基本的な変動を示すデータである照明基底を生成 するための汎用照明基底モデルを生成する汎用照明基底モデル生成処理と、 生成した前記汎用照明基底モデルを用いて、複数の異なる照明条件における個別 の物体の 3次元表面各部位の輝度値の変動を示す個別照明基底をそれぞれ求める 第 2の照明基底計算処理とを実行させる画像処理プログラム。
PCT/JP2006/311087 2005-06-03 2006-06-02 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム WO2006129791A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06747117A EP1887511A1 (en) 2005-06-03 2006-06-02 Image processing system, 3-dimensional shape estimation system, object position posture estimation system, and image generation system
US11/921,315 US8320660B2 (en) 2005-06-03 2006-06-02 Image processing system, 3-dimensional shape estimation system, object position/posture estimation system and image generation system
JP2007519086A JP4793698B2 (ja) 2005-06-03 2006-06-02 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005164475 2005-06-03
JP2005-164475 2005-06-03

Publications (1)

Publication Number Publication Date
WO2006129791A1 true WO2006129791A1 (ja) 2006-12-07

Family

ID=37481718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/311087 WO2006129791A1 (ja) 2005-06-03 2006-06-02 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム

Country Status (5)

Country Link
US (1) US8320660B2 (ja)
EP (1) EP1887511A1 (ja)
JP (1) JP4793698B2 (ja)
CN (1) CN100492409C (ja)
WO (1) WO2006129791A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502741A (ja) * 2010-12-09 2014-02-03 サムスン エレクトロニクス カンパニー リミテッド 映像処理装置、照明処理装置及びその方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
DE602008001607D1 (de) 2007-02-28 2010-08-05 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
WO2010012448A2 (en) 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
CN101499132B (zh) * 2009-03-12 2013-05-01 广东药学院 一种人脸图像中特征点提取的三维变换搜索方法
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
EP2590135A1 (en) * 2010-06-30 2013-05-08 Nec Corporation Color image processing method, color image processing device, and color image processing program
CN102680012B (zh) * 2011-03-16 2015-07-08 鸿富锦精密工业（深圳）有限公司 量测信息自动输出系统及方法
KR101608253B1 (ko) * 2011-08-09 2016-04-01 인텔 코포레이션 이미지 기반 멀티 뷰 3d 얼굴 생성
CN103092576A (zh) * 2011-10-28 2013-05-08 鸿富锦精密工业（深圳）有限公司 量测程序输出系统及方法
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
JP5894426B2 (ja) * 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
US9953111B2 (en) * 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
CN105426872B (zh) * 2015-12-17 2019-06-21 电子科技大学 一种基于相关高斯过程回归的面部年龄估计方法
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN110763150B (zh) * 2018-07-26 2021-05-25 王东 一种面部轮廓测量方法
US10834413B2 (en) * 2018-08-24 2020-11-10 Disney Enterprises, Inc. Fast and accurate block matching for computer generated content
US11475608B2 (en) * 2019-09-26 2022-10-18 Apple Inc. Face image generation with pose and expression control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054947A (ja) * 2002-07-16 2004-02-19 Nec Corp 物体照合システム、物体照合方法および物体照合プログラム
JP2004086929A (ja) * 2003-12-08 2004-03-18 Nec Corp 画像照合装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023390A1 (en) * 1993-03-29 1994-10-13 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
JP3514945B2 (ja) * 1997-05-26 2004-04-05 株式会社ソニー・コンピュータエンタテインメント 画像作成方法および画像作成装置
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
US6956569B1 (en) * 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP4167390B2 (ja) * 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
CN102298778B (zh) 2003-10-30 2015-06-17 日本电气株式会社 用于估计对象状态的估计系统、估计方法和估计程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054947A (ja) * 2002-07-16 2004-02-19 Nec Corp 物体照合システム、物体照合方法および物体照合プログラム
JP2004086929A (ja) * 2003-12-08 2004-03-18 Nec Corp 画像照合装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HAMANAKA M. ET AL.: "3 Jigen Deta o Key to shita Shisei. Shomei Hendo ni Gankyo na Kao Gazo Kensaku", IEICE TECHNICAL REPORT PRMU2004-59, vol. 104, no. 290, 3 September 2004 (2004-09-03), pages 41 - 48, XP003006122 *
HAMANAKA M. ET AL.: "Nin'i Shisei ni Taio shita Hyojun Sokuchi Omomi o Mochiita Kao Shogo", IEICE TECHNICAL REPORT PRMU2003-105, vol. 103, no. 296, 2 September 2003 (2003-09-02), pages 61 - 66, XP002996559 *
ISHIYAMA R. ET AL.: "3D Buttai Hyomenjo deno Mie Model Kochiku ni yoru Shisei to Shomei no Hendo ni Gankyu na Kao Shogo", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU 2003-CVIM-139, vol. 2003, no. 66, 3 July 2003 (2003-07-03), pages 61 - 68, XP003006121 *
MANSON WOO; JACKIE NEIDER; TOM DAVIS: "Open GL Programming Guide", ADDISON-WESLEY PUBLISHERS JAPAN LTD, pages: 169 - 195
RONEN BASRI; DAVID W. JACOBS: "Lambertian Reflectance and Linear Subspaces", IEEE TRANS. PAMI, vol. 25, no. 2, 2003, pages 218 - 233
RUI ISHIYAMA; SHIZUO SAKAMOTO: "Geodesic Illumination Basis: Compensating for Illumination Variations in any Pose for Face Recognition", PROC. OF ICPR, vol. 4, 2002, pages 297 - 301
VOLKER BLANZ; THOMAS VETTER: "Face Recognition Based on Fitting a 3-dimensional Morphable Model", PAMI, vol. 25, no. 9, 2003, pages 1063 - 1074

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502741A (ja) * 2010-12-09 2014-02-03 サムスン エレクトロニクス カンパニー リミテッド 映像処理装置、照明処理装置及びその方法

Also Published As

Publication number Publication date
EP1887511A1 (en) 2008-02-13
JPWO2006129791A1 (ja) 2009-01-08
US20090129665A1 (en) 2009-05-21
CN100492409C (zh) 2009-05-27
US8320660B2 (en) 2012-11-27
CN101189637A (zh) 2008-05-28
JP4793698B2 (ja) 2011-10-12

Similar Documents

Publication Publication Date Title
JP4793698B2 (ja) 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム
Aldrian et al. Inverse rendering of faces with a 3D morphable model
Lensch et al. Image-based reconstruction of spatially varying materials
US8406556B2 (en) Light transport reconstruction from sparsely captured images
US6956569B1 (en) Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
US8009880B2 (en) Recovering parameters from a sub-optimal image
Qin et al. Aura 3D textures
US20070269111A1 (en) Shape detection using coherent appearance modeling
JPWO2010026983A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20200334862A1 (en) Moving image generation apparatus, moving image generation method, and non-transitory recording medium
Pintus et al. Objective and subjective evaluation of virtual relighting from reflectance transformation imaging data
Guo et al. Brdf analysis with directional statistics and its applications
Kumar et al. Non-Lambertian reflectance modeling and shape recovery of faces using tensor splines
Kartashova et al. Light shapes: Perception-based visualizations of the global light transport
JP4849460B2 (ja) 画像中の顔を認識する方法
Rohe An Optical Test Simulator Based on the Open-Source Blender Software.
CN116486018A (zh) 三维重建方法、设备和存储介质
JP2004054947A (ja) 物体照合システム、物体照合方法および物体照合プログラム
Ohayon et al. The perception-robustness tradeoff in deterministic image restoration
Ma et al. A lighting robust fitting approach of 3D morphable model for face reconstruction
JP3910811B2 (ja) テクスチャマッピング方法、テクスチャマッピング処理プログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
Ngan Acquisition and modeling of material appearance
Shim Probabilistic approach to realistic face synthesis with a single uncalibrated image
Ma et al. A lighting robust fitting approach of 3D morphable model using spherical harmonic illumination
CN111651623B (zh) 高精度人脸表情库的构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680019642.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007519086

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11921315

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006747117

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2006747117

Country of ref document: EP