WO2022019168A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022019168A1
WO2022019168A1 PCT/JP2021/026158 JP2021026158W WO2022019168A1 WO 2022019168 A1 WO2022019168 A1 WO 2022019168A1 JP 2021026158 W JP2021026158 W JP 2021026158W WO 2022019168 A1 WO2022019168 A1 WO 2022019168A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
jawbone
information
soft tissue
depth
Prior art date
Application number
PCT/JP2021/026158
Other languages
English (en)
French (fr)
Inventor
アンキット シャラマ
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/005,049 priority Critical patent/US20230260234A1/en
Publication of WO2022019168A1 publication Critical patent/WO2022019168A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to an information processing device, an information processing method and a program.
  • Non-Patent Document 1 Pinscreen (Non-Patent Document 1), loom. ai (Non-Patent Document 2), Bellus3D (Non-Patent Document 3) and Avatar SDK (Non-Patent Document 4) provide a technique for generating a simple face model based on a photograph taken by a smartphone. The photo may not show the oral cavity. Therefore, only a three-dimensional model (face model) of the face is generated from the photograph. A separately prepared oral model (model of teeth, tongue, etc.) is incorporated in the oral cavity.
  • Non-Patent Documents 1 to 4 the oral model having a fixed shape and size is incorporated into the face model as it is. Therefore, the oral cavity model may not be in harmony with the face model, and the appearance may be unnatural.
  • Non-Patent Document 5 Disney Research (Non-Patent Document 5) has announced a technique for generating a high-definition face model and an oral model.
  • this method requires an environment in which multiple cameras can shoot at the same time, and the processing time is long.
  • a database of oral models of multiple persons acquired in advance is required.
  • Non-Patent Document 6 A technique for estimating the movement of the jawbone from a human image using machine learning has also been announced (Non-Patent Document 6).
  • this method the positional relationship between the face model and the jawbone model is established.
  • Jaw movement is calculated from facial movement by training a regression function based on the acquired database.
  • the method of Non-Patent Document 6 requires long-time processing, pre-training, and generation of a database using a special device.
  • an information processing device having a model integration unit that transforms and incorporates the jawbone model into the character's face model based on the depth distribution information of the soft tissue covering the jawbone. Further, according to the present disclosure, there is provided an information processing method in which the information processing of the information processing apparatus is executed by a computer, and a program for realizing the information processing of the information processing apparatus in the computer.
  • FIG. 1 is a diagram illustrating an outline of a character model CM (character three-dimensional model) generation process.
  • the character model CM is generated by incorporating the jawbone model JBM and the oral cavity model OM into the face model FM.
  • the face model FM, jawbone model JBM and oral model OM are created by general CG software.
  • the face model FM, the jawbone model JBM, and the oral cavity model OM are generated as polygon models.
  • the polygon model is composed of a polygon mesh including a plurality of vertices, a plurality of sides and a plurality of faces obtained by connecting adjacent vertices.
  • the jawbone model JBM and the oral cavity model OM are generic models with standard shapes and sizes.
  • the face model FM is an individual model generated for each character. Therefore, the generic jawbone model JBM is transformed and incorporated into the face model FM based on the depth distribution information 22 (see FIG. 7) of the soft tissue covering the jawbone.
  • the oral model OM is deformed and incorporated into the deformed jawbone model JBM (corrected jawbone model CJBM). This creates a three-dimensional model of the oral cavity at a position that looks natural.
  • FIG. 2 is a diagram showing an example of a face model FM.
  • the face model FM is a three-dimensional model of the character's face.
  • the face model FM is generated using, for example, a photograph of the face of a specific person.
  • the face photograph is taken using a camera capable of acquiring depth information of the subject, such as Kinect (registered trademark).
  • the face is composed of soft tissues.
  • Soft tissue means supporting tissue other than the skeleton, such as muscle and skin.
  • a plurality of soft tissue feature points C are set in the soft tissue covering the jawbone. Information regarding the depth and depth direction of the soft tissue is set at the soft tissue feature point C.
  • the soft tissue feature point C is specified by a set of feature points (jawbone feature point C_J and facial feature point C_F) facing each other in the depth direction of the soft tissue feature point C.
  • the jawbone feature point C_J is a point where the soft tissue feature point C is projected onto the jawbone along the depth direction.
  • the facial feature point C_F is a point where the soft tissue feature point C is projected onto the face along the depth direction. Jawbone feature points C_J and facial feature points C_F correspond one-to-one with soft tissue feature points C, respectively.
  • a plurality of soft tissue feature points C may be numbered in order to distinguish between the soft tissue feature points.
  • the feature points associated with the same soft tissue feature point C are numbered the same.
  • Soft tissue feature points C of the same type arranged symmetrically on the left and right sides of the sagittal plane are numbered the same, and are distinguished by the reference numerals L (left side) and R (right side).
  • L left side
  • R right side
  • Jawbone model 3 and 4 are views showing an example of a jawbone model JBM.
  • the jawbone model JBM is a three-dimensional model of a generic jawbone with a standard jawbone shape and size. As shown in FIG. 3, a plurality of jawbone feature points C_J are set on the jawbone model JBM. As shown in FIG. 4, the maxilla model JBM has a maxilla UJB and a mandible LJB. The mandible LJB can rotate about the rotation axis (hinge axis) RA. The mandible LJB can move relative to the maxilla UJB in a direction parallel to the axis of rotation RA.
  • FIG. 5 is a diagram showing an example of an oral model OM.
  • FIG. 6 is a diagram showing a state in which the oral cavity model OM is incorporated into the jawbone model JBM.
  • the oral model OM is a generic three-dimensional model of the oral cavity having a standard oral structure (shape, size and position of teeth, gingiva and tongue placed in the oral cavity, etc.).
  • the oral model OM can be coupled to the jawbone model JBM by expanding or contracting at a predetermined enlargement rate.
  • the oral model OM is presented as a model having a shape (magnification ratio of 1) that matches the jawbone model JBM. Therefore, the oral model OM can be directly incorporated into the jawbone model JBM without being deformed.
  • a plurality of soft tissue feature points C are set in the soft tissue covering the jawbone.
  • Each soft tissue feature point C is defined as follows, based on the jawbone feature point C_J and the facial feature point C_F.
  • Mandibular feature point C1_J A point at the end of the mandible closest to the temporal bone.
  • Facial feature point C1_F A point extending from the jawbone feature point C1_J in the horizontal direction (direction parallel to the rotation axis RA).
  • Maxillary feature point C2_J Tip of maxillary alveolar ridge above the crown of the maxillary second molar.
  • Facial feature point C2_F A point extending from the jawbone feature point C2_J in a specific direction (see FIG. 7).
  • Mandibular feature point C3_J Center point of the ramus of the mandible.
  • Facial feature point C3_F A point extending from the jawbone feature point C3_J in a specific direction (see FIG. 7).
  • Maxillary feature point C4_J Tip of maxillary alveolar ridge above the crown of the maxillary canine.
  • Facial feature point C4_F A point extending from the jawbone feature point C4_J in a specific direction (see FIG. 7).
  • Mandibular feature point C5_J The tip of the mandibular alveolar ridge below the crown of the mandibular second molar.
  • Facial feature point C5_F A point extending from the jawbone feature point C5_J in a specific direction (see FIG. 7).
  • Mandibular feature point C6_J The tip of the mandibular alveolar ridge below the crown of the mandibular canine.
  • Facial feature point C6_F A point extending from the jawbone feature point C6_J in a specific direction (see FIG. 7).
  • Mandibular feature point C7_J The central point between the median of the mandible and the lateral edge.
  • Facial feature point C7_F A point extending from the jawbone feature point C7_J in a specific direction (see FIG. 7).
  • Jawbone feature point C8_J Mental foramen.
  • Facial feature point C8_F A point extending from the jawbone feature point C8_J in a specific direction (see FIG. 7).
  • Jawbone feature point C9_J Central point with frontal and nasal suture.
  • Facial feature point C9_F The deepest point of the depression between the nose and the convexity on the median line of the face.
  • Jawbone feature point C10_J The lowest point 5 mm lateral from the median of the nasal bone.
  • Facial feature point C10_F A point located 5 mm laterally from the midline of the nose 10 mm below the jawbone feature point C9_J.
  • Jawbone feature point C11_J Infraorbital foramen.
  • Facial feature point C11_F A point extending from the jawbone feature point C11_J in a specific direction (see FIG. 7).
  • Jawbone feature point C12_J A point beside the nostril.
  • Facial feature point C12_F A point extending from the jawbone feature point C12_J in a specific direction (see FIG. 7).
  • Maxillary feature point C13_J The point of the anterior nasal spine at the median line of the maxilla.
  • Facial feature point C13_F The deepest point on the face where the septum and upper lip meet.
  • Maxillary feature point C14_J A point between the maxillary feature point C13_J and the maxillary feature point C15_J on the midline of the maxilla.
  • Facial feature point C14_F A point between the facial feature point C13_F and the facial feature point C15_F on the midline of the face.
  • Mandibular feature point C16_J The frontmost point on the median line of the mandibular alveolar ridge.
  • Facial feature point C16_F The midline of the lower lip, a point on the lower vermilion border.
  • Mandibular feature point C17_J The deepest point of the depression above the chin ridge at the median of the mandible.
  • Facial feature point C17_F The deepest point of the chin depression between the facial feature point C16_F and the facial feature point C18_F at the median plane of the chin.
  • Mandibular feature point C18_J The point on the anterior midline of the mandibular ridge (chin ridge).
  • Facial feature point C18_F The most anterior midline point on the ridge of the soft tissue of the jaw.
  • Mandibular feature point C19_J A point between the mandibular feature point C18_J and the mandibular feature point C20_J at the median plane of the mandible.
  • Facial feature point C19_F A point extending from the jawbone feature point C19_J in a specific direction (see FIG. 7).
  • Mandibular feature point C20_J The lowest point of the median plane at the mandibular junction.
  • Facial feature point C20_F A point extending from the jawbone feature point C19_J in a specific direction (see FIG. 7).
  • FIG. 7 is a diagram showing the type and depth information of the soft tissue feature point C.
  • FIG. 8 is a diagram showing a coordinate system for defining depth information.
  • 9 and 10 are diagrams illustrating a method of defining the depth direction.
  • Type P is a type in which facial feature points C_F are defined based on the characteristic structure of the face.
  • Type D is a type in which the facial feature point C_F is defined not by the characteristic structure of the face but by the orientation (depth direction) from the jawbone feature point C_J.
  • the jawbone characteristic point C_J is defined based on the characteristic structure of the jawbone in both type P and type D.
  • the depth information includes, for example, information on the depth direction of the soft tissue, the average depth (standard depth), and the standard deviation of the depth.
  • the depth direction is set based on, for example, an XYZ coordinate system in which the occlusal plane is the XZ plane, the sagittal plane is the YZ plane, and the coronal plane is the XY plane.
  • the direction from the mandible to the maxilla is the positive direction of the Y axis
  • the direction from the occipital region to the frontal region is the positive direction of the Z axis.
  • the depth direction and standard depth of the soft tissue are shown in FIG. 3 by the direction and length of the bar DB attached to the jawbone feature point C_J.
  • y (angle a) means a direction in which the direction of (-1,0,0) is rotated in the direction of (0, -1,0) by an angle a around the Z axis.
  • Angle b anterior means a direction in which the direction of (-1,0,0) is rotated toward the direction of (0,0,1) by an angle b around the Y axis.
  • Y (angle a) angle b anterior rotates the direction of (-1, 0, 0) toward the direction of (0, -1, 0) by an angle a around the Z axis, and further, ( It means the direction rotated by an angle b around the Y axis toward the direction of 0, 0, 1).
  • FIG. 9 shows the direction defined by "y (-15 deg) 20 deg anterior".
  • the depth direction of the soft tissue feature point C20 is the direction that bisects the curvature of the jawbone at the jawbone feature point C20_J (the direction perpendicular to the tangential line of the jawbone).
  • the direction is (0, -1,0).
  • the position information and depth information of the soft tissue feature points C1 to C7, C9, and C12 to C20 described above are based on the information described in the following documents.
  • the data in the following literature is created by calculating the mean and standard deviation of the depth data of about 1500 soft tissues.
  • soft tissue feature points C described in the above documents are arranged on the sagittal plane (YZ plane). Therefore, when the jawbone model JBM is fitted to the face model FM using only these soft tissue feature points C, the rotation amount and translational movement amount of the jawbone model JBM are not calculated accurately, and the jawbone model JBM is compared with the face model FM. It may be placed in a position tilted to the left or right. Therefore, soft tissue feature points C8, C11, and C12, which are arranged at positions different from the sagittal plane, have been added by the present inventor.
  • FIG. 11 is a schematic diagram of the character generation system 1.
  • the character generation system 1 is an information processing system for generating a character model CM.
  • the character generation system 1 includes a processing device 10, a storage device 20, an input device 30, and a display device 40.
  • the processing device 10 has an information acquisition unit 11, a fitting unit 12, a model integration unit 13, a relative position calculation unit 14, and a correction unit 15.
  • the processing device 10 is an information processing device that processes various types of information.
  • the information acquisition unit 11 acquires, for example, the model information 21, the depth distribution information 22, and the relative position information 23 stored in the storage device 20.
  • the information acquisition unit 11 acquires various information input by the user via the input device 30.
  • the input device 30 is a known input device such as a touch panel, a keyboard, and a mouse.
  • the model information 21 includes the coordinate information of the polygon mesh constituting the face model FM, the jawbone model JBM, and the oral cavity model OM.
  • the model information 21 includes information on a plurality of face model FMs of the same character.
  • the plurality of face model FMs include one base model BM (see FIG. 12) and a plurality of non-base model NBMs (see FIG. 18).
  • the base model BM is, for example, a face model FM showing expressionlessness. In the expressionless state, all facial muscles are relaxed.
  • the non-base model NBM is a face model FM showing a specific facial expression, which is different from the base model BM. Facial expressions are changes that appear on the face in response to emotions and the like. Emotions are strong emotions caused by obvious causes. Except for expressionlessness, some muscles on the face are contracting.
  • As the facial expressions of the non-base model NBM a plurality of facial expressions having different characteristics such as a smiling face, an angry face and a crying face are used.
  • the depth distribution information 22 is information indicating the depth distribution of the soft tissue covering the jawbone.
  • the depth distribution information 22 includes, for example, position information of a plurality of soft tissue feature points C and depth information for each soft tissue feature point C.
  • the position information includes information for specifying the position of the soft tissue feature point C (jawbone feature point C_J and facial feature point C_F).
  • the depth information includes, for example, information about the depth direction of the soft tissue (the extending direction of the straight line connecting the jawbone feature point C_J and the facial feature point C_F), the standard depth and the standard deviation of the depth.
  • the depth information is defined as depth information in the facial state (expressionless) corresponding to the base model BM.
  • the relative position information 23 is information on the relative position between the jawbone model JBM (corrected jawbone model CJBM) and the face model FM deformed according to the face model FM.
  • the relative positions of the corrected jawbone model CJBM and the face model FM are defined, for example, based on the relative positions of the jawbone feature points C_J and the facial feature points C_F for each soft tissue feature point C.
  • the relative position information 23 includes, for example, information regarding the position parameter PO and the deformation parameter S.
  • the position parameter PO is a parameter indicating the position where the corrected jawbone model CJBM is incorporated into the face model FM.
  • the positional parameter PO is, for example, the rotation amount R of the maxilla UJB and the mandible LJB about the X-axis, the Y-axis and the Z-axis, and the maxilla UJB and the mandible in the X-axis direction, the Y-axis direction and the Z-axis direction. Includes the translational movement amount T of LJB.
  • the positional parameter PO is set independently for the maxilla UJB and the mandible LJB.
  • the deformation parameter S is a parameter indicating the amount of deformation of the jawbone model JBM when the jawbone model JBM is deformed according to the face model FM.
  • the deformation parameter S indicates, for example, the enlargement ratio in the X-axis direction, the Y-axis direction, and the Z-axis direction of the jawbone model JBM.
  • the fitting unit 12 fits the jawbone model JBM to the face model FM based on the depth distribution information 22.
  • the fitting unit 12 calculates the deformation parameter S and the position parameter PO of the jawbone model JBM based on the fitting result.
  • the fitting portion 12 selects a plurality of soft tissue feature points C to be used for fitting from the plurality of soft tissue feature points C1 to C20. For fitting, depth information of a plurality of selected soft tissue feature points C is used.
  • the fitting portion 12 has a plurality of jawbone feature points C_J and a plurality of facial feature points corresponding to the plurality of soft tissue feature points C used for fitting from the model information 21 based on the position information of the soft tissue feature points C. Extract the coordinates of C_F.
  • the coordinates of the facial feature point C_F are calculated using the coordinates of the corresponding jawbone feature point C_J, the deformation parameter S, and the position parameter PO (rotation amount R, translational movement amount T).
  • the fitting unit 12 calculates a probability density function with the depth of the soft tissue as a random variable for each of the plurality of soft tissue feature points C selected from the plurality of soft tissue feature points C1 to C20.
  • the fitting unit 12 has a deformation parameter S based on a mathematical model (see equation (1) below) in which the solution that maximizes the sum of the probability density functions of all the selected soft tissue feature points C is the optimum solution.
  • the position parameter PO rotation amount R, translational movement amount T
  • i indicates the number of the soft tissue feature point C.
  • ⁇ i indicates the standard deviation of the depth of the soft tissue at the soft tissue feature point Ci.
  • ⁇ i indicates the average (standard depth) of the depth of the soft tissue at the soft tissue feature point Ci.
  • J i indicates the coordinates of the jawbone feature points Ci_J corresponding to soft tissue feature point Ci.
  • F i indicates the coordinates of the facial feature points Ci_F corresponding to soft tissue feature point Ci.
  • Derma (J i, F i) indicates the relative distance (depth) between the jawbone feature point Ci_J and facial feature point Ci_F.
  • the soft tissue feature point C used for fitting differs depending on whether the fitting is performed on the base model BM or the non-base model BM.
  • the fitting portion 12 fits the jawbone model JBM to the base model BM based on the depth information of all the soft tissue feature points C1 to C20.
  • the fitting unit 12 calculates the deformation parameter S and the position parameter PO of the jawbone model JBM based on the fitting result. As a result, the deformation parameter S of the jawbone model JBM shared by all the face model FMs of the same character is determined.
  • a different face model (non-base model) from the above-mentioned face model FM (base model BM) among a plurality of soft tissue feature points C1 to C20 is performed.
  • a plurality of peculiar soft tissue feature point PCs (see FIGS. 23 and 24) whose depth information does not change due to a change in facial shape to NBM) are used for fitting.
  • the fitting unit 12 fits the jawbone model JBM to another face model FM based on the depth information of all the selected specific soft tissue feature points PC while maintaining the deformation parameter S. Based on this fitting result, the fitting unit 12 calculates the position parameter PO for incorporating the corrected jawbone model CJBM into another face model FM.
  • the fitting portion 12 has a depth of soft tissue for each of a plurality of specific soft tissue feature points PC selected according to the facial expression of the face model FM to be fitted among the plurality of soft tissue feature points C1 to C20. Calculate a probability density function with.
  • the fitting unit 12 is a position parameter PO based on a mathematical model (the above equation (1)) in which the solution that maximizes the sum of the probability density functions of all the selected singular soft tissue feature points PC is the optimum solution. Is calculated.
  • the position parameter PO includes, for example, a first position parameter P1 and a second position parameter P2.
  • the first position parameter P1 indicates the relative position between the maxilla UJB and the face model FM.
  • the second position parameter P2 indicates the relative position between the mandible LJB and the maxilla UJB.
  • the fitting unit 12 fits the jawbone model JBM to the face model FM based on the depth information of the plurality of soft tissue feature points C selected from the plurality of soft tissue feature points C1 to C20, and the first position parameter P1. Is calculated.
  • the plurality of selected soft tissue feature points C include a plurality of specific soft tissue feature point PCs set in the soft tissue covering the maxilla UJB.
  • the fitting unit 12 fits the jawbone model JBM to the face model FM based on the depth information of the plurality of specific soft tissue feature points PC set in the soft tissue covering the mandible LJB, and the second position parameter P2. Is calculated.
  • the model integration unit 13 transforms and incorporates the generic jawbone model JBM and oral model OM into the face model FM to generate a character model CM.
  • the model integration unit 13 transforms and incorporates the generic jawbone model JBM into the character's face model FM based on the depth distribution information 22. For example, the model integration unit 13 deforms the jawbone model JBM based on the deformation parameters obtained from the fitting results. The model integration unit 13 determines a position to incorporate the deformed jawbone model JBM (corrected jawbone model CJBM) into the face model FM based on the position parameter PO. The model integration unit 13 arranges the corrected jawbone model CJBM at a determined position and integrates it with the face model FM.
  • the model integration unit 13 transforms and incorporates the generic oral model OM into the corrected jawbone model CJBM.
  • the model integration unit 13 calculates the enlargement ratio for incorporating the oral model OM into the jawbone model JBM based on the coordinate information of the jawbone model JBM and the oral cavity model OM. The relative positions of the teeth and jaw are invariant. Therefore, the deformation parameter S and the position parameter PO of the jawbone model JBM are diverted as the deformation parameter and the position parameter of the oral cavity model OM.
  • the model integration unit 13 calculates the deformation parameter of the oral model OM based on the calculated enlargement ratio and the deformation parameter S of the jawbone model JBM.
  • the model integration unit 13 deforms the oral cavity model OM based on the calculated deformation parameters.
  • the model integration unit 13 incorporates the deformed oral model OM into the corrected jawbone model CJBM and integrates it with the corrected jawbone model CJBM based on the position parameter PO of the jawbone model JBM.
  • the model integration unit 13 outputs coordinate information and parameter information of various models being integrated to the sequential display device 40.
  • the display device 40 is a known display device such as an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diode).
  • the coordinate information output to the display device 40 includes the coordinate information of the face model FM, the jawbone model JBM, and the oral cavity model OM before and after incorporating the jawbone model JBM and the oral cavity model OM into the face model FM.
  • the parameter information includes information on deformation parameters and position parameters of the jawbone model JBM and the oral cavity model OM when the jawbone model JBM and the oral cavity model OM are incorporated into the face model FM.
  • the display device 40 displays images of various models being integrated and values of various parameters based on the information output from the model integration unit 13.
  • the user can input correction information for correcting the relative positions of the face model FM, the corrected jawbone model CJBM, and the corrected oral model COM based on the preview image displayed on the display device 40.
  • the correction information includes, for example, parameter correction information and depth distribution correction information.
  • the parameter correction information is information for correcting the deformation parameter S and the position parameter PO of the jawbone model JBM.
  • the depth distribution correction information is information for correcting the depth distribution information 22.
  • the information acquisition unit 11 acquires correction information input from the user via the input device 30.
  • the fitting unit 12 corrects the depth distribution information 22 based on the depth distribution correction information in response to the information acquisition unit 11 acquiring the depth distribution correction information.
  • the fitting unit 12 performs fitting based on the corrected depth distribution information (corrected depth distribution information).
  • the relative position calculation unit 14 calculates the relative position between the face model FM, the corrected jawbone model CJBM, and the corrected oral model COM for each face model FM. For example, the relative position calculation unit 14 calculates the relative position between the jawbone feature point C_J (corrected jawbone feature point C_CJ) and the facial feature point C_F on the corrected jawbone model CJBM for each soft tissue feature point C. The relative position calculation unit 14 calculates information on the relative position between the corrected jawbone feature point C_CJ and the facial feature point C_F for each soft tissue feature point C as information indicating the relative position between the face model FM and the corrected jawbone model CJBM. ..
  • the relative position calculation unit 14 calculates information on the relative position between the corrected jawbone model CJBM and the corrected oral model COM, for example, based on the positional relationship between the alveolar fossa and the tooth.
  • the relative position calculation unit 14 provides information on the relative position between the face model FM and the corrected jawbone model CJBM, the relative position between the corrected jawbone model CJBM and the corrected oral cavity model COM, the deformation parameter S of the jawbone model JBM, and the deformation parameters of the oral cavity model OM. Is output as the relative position information 23.
  • the correction unit 15 corrects the information of the deformation parameter S and the position parameter PO included in the relative position information 23 based on the parameter correction information.
  • the correction unit 15 outputs the corrected relative position information 23 based on the parameter correction information to the storage device 20.
  • the storage device 20 stores, for example, the program 24 executed by the processing device 10, the model information 21, the depth distribution information 22, and the relative position information 23.
  • the program 24 is a program for causing a computer to execute information processing according to the present embodiment.
  • the processing device 10 performs various processes according to the program 24 stored in the storage device 20.
  • the storage device 20 may be used as a work area for temporarily storing the processing result of the processing device 10.
  • the storage device 20 includes any non-transient storage medium such as, for example, a semiconductor storage medium and a magnetic storage medium.
  • the storage device 20 includes, for example, an optical disk, a magneto-optical disk, or a flash memory.
  • the program 24 is stored, for example, in a non-transient storage medium readable by a computer.
  • the processing device 10 is, for example, a computer composed of a processor and a memory.
  • the memory of the processing device 10 includes a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the processing device 10 functions as an information acquisition unit 11, a fitting unit 12, a model integration unit 13, a relative position calculation unit 14, and a correction unit 15.
  • the display device 40 displays a command input field CIF, a preview field MDF, and a parameter display field PDF.
  • the command input field CIF buttons for inputting various commands are displayed.
  • the preview field MDF various models and preview images during model integration work are displayed.
  • FIG. 12 shows a state in which the base model BM is read out from the model information 21 and displayed in the preview field MDF.
  • a plurality of facial feature points C_F are displayed on the base model BM.
  • the parameter display field PDF displays the values of various parameters during model integration work.
  • the parameter display field PDF for displaying the parameters of the base model BM and the parameter display field PDF for displaying the parameters of the jawbone model JBM are displayed separately in the upper part and the lower part on the right side of the display screen. Has been done.
  • FIG. 13 shows a state in which the jawbone model JBM is read out from the model information 21 and displayed in the preview field MDF.
  • a plurality of jawbone feature points C_J are displayed on the jawbone model JBM.
  • the depth information of the soft tissue feature point C corresponding to the jawbone feature point C_J is displayed by the bar line DB.
  • the orientation and length of the bar DB represent the depth direction and standard depth of the soft tissue at the soft tissue feature point C.
  • FIG. 14 shows a state in which the jawbone model JBM and the base model BM are displayed in the preview field MDF.
  • the fitting of the jawbone model JBM to the base model BM is started.
  • FIG. 15 shows a state in which the corrected jawbone model CJBM is incorporated into the base model BM by fitting.
  • the viewpoint of the preview image can be arbitrarily set by the user.
  • a corrected jawbone model CJBM in which the shape and position of the jawbone model JBM are adjusted according to the base model BM, and a plurality of corrected jawbone feature points C_CJ set on the corrected jawbone model CJBM are displayed. ..
  • the deformation parameter S and the position parameter PO of the jawbone model JBM can be displayed.
  • the deformation parameter and the first position parameter P1 of the maxilla UJB and the deformation parameter and the second position parameter P2 of the mandible LJB are switched and displayed by the switching button.
  • the depth information defined in the depth distribution information 22 is displayed as a bar line DB.
  • the length (standard depth) of the bar DB does not always match the relative distance between the corrected jawbone feature point C_CJ and the facial feature point C_F obtained by fitting.
  • the deviation between the relative distance obtained by fitting and the standard depth is displayed in different colors based on the standard deviation ⁇ . For example, if the deviation is ⁇ or less, the bar DB is displayed in green. If the deviation is larger than ⁇ and 2 ⁇ or less, the bar DB is displayed in yellow. The user can determine whether the fitting is properly performed by the number of the corrected jawbone feature points C_CJ with the green bar line DB.
  • FIG. 17 is a diagram showing an example of information regarding the relative position between the base model BM and the corrected jawbone model CJBM calculated by the relative position calculation unit 14.
  • jawbone indicates a portion of the jawbone covered by the soft tissue in which the soft tissue feature point C is set.
  • “1" indicates the maxilla and “2" indicates the mandible.
  • “Type” indicates the type of soft tissue feature point C.
  • “1” indicates type P, and “2” indicates type D.
  • “Depth” indicates the relative distance between the corrected jawbone feature point C_CJ and the facial feature point C_F.
  • “Vertex (face)” indicates the number of the vertex closest to the soft tissue feature point C among the vertices of the polygon mesh constituting the face model FM.
  • “Vertex (vertex)” indicates the number of the vertex closest to the soft tissue feature point C among the vertices of the polygon mesh constituting the corrected jawbone model.
  • the "direction” indicates the depth direction of the soft tissue (the extending direction of the straight line connecting the corrected jawbone feature point C_CJ and the facial feature point C_F).
  • the user When the user determines that the fitting has been performed properly based on the preview image, the user saves the fitting result by the save button provided in the command input field CIF.
  • the information regarding the relative position between the base model BM and the corrected jawbone model CJBM calculated by the relative position calculation unit 14 is output to the storage device 20, and is stored in the storage device 20 as the relative position information 23.
  • [5-2. Incorporation of jawbone model into non-base model] 18 to 22 are diagrams showing a process of incorporating the jawbone model JBM into the non-base model NBM.
  • FIG. 18 shows a state in which the non-base model NBM read from the model information 21 and the corrected jawbone model CJBM generated based on the relative position information 23 regarding the base model BM are displayed in the preview field MDF. Has been done.
  • the corrected jawbone model CJBM of FIG. 18 is generated based on the deformation parameter S and the position parameter PO obtained by fitting the jawbone model JBM to the base model BM. Therefore, the positions of the maxilla UJB and the mandible LJB are not suitable for the non-base model NBM.
  • FIG. 19 shows a state in which the corrected jawbone model CJBM is incorporated into the non-base model NBM by fitting.
  • FIG. 20 shows a preview image when the viewpoint is placed in front of the face.
  • a corrected jawbone model CJBM whose position is adjusted according to the non-base model NBM and a plurality of corrected jawbone feature points C_CJ set on the corrected jawbone model CJBM are displayed.
  • the parameter display field PDF for the jawbone model JBM the deformation parameter S and the position parameter PO of the jawbone model JBM can be displayed.
  • the depth information defined in the depth distribution information 22 is displayed as a bar line DB.
  • the deviation between the relative distance between the corrected jawbone feature point C_CJ and the facial feature point C_F obtained by fitting and the standard depth is displayed in different colors based on the standard deviation ⁇ . The user can determine whether the fitting is properly performed based on the information of the color-coded bar DB.
  • the oral cavity model OM is read from the storage device 20, and the relative position information 23 when the jawbone model JBM is fitted to the non-base model NBM is read as a fitting form. Then, as shown in FIG. 21, the oral model OM is deformed and incorporated into the corrected jawbone model CJBM based on the deformation parameter S and the position parameter PO of the jawbone model JBM. As a result, the character model CM is generated.
  • FIG. 22 shows a diagram in which the character model CM is converted from a wire frame image to a texture image.
  • the depth distribution information 22 is created based on the depth data of the expressionless face (base model BM).
  • base model BM depth data of the expressionless face
  • the depth of the soft tissue deviates from the value defined in the depth distribution information 22 at some soft tissue feature points C. If used for fitting based on the wrong depth, the fitting result will be in error. Therefore, when fitting the non-base model NBM, a plurality of soft tissue feature points C (specific soft tissue feature points PC) whose depth information does not change due to changes in facial expressions from the base model BM to the non-base model NBM are used. Fitting is done.
  • FIG. 23 and 24 are diagrams showing the relationship between the face model FM and the peculiar soft tissue feature point PC used for fitting.
  • FIG. 23 is a diagram showing an example of a face model FM in which the mouth is open
  • FIG. 24 is a diagram showing an example of a face model FM in which the mouth is not open.
  • the type of peculiar soft tissue feature point PC differs depending on the facial expression. This is because the muscles to move differ depending on the facial expression. For example, when the mouth is wide open, the cheek muscles contract and the depth of soft tissue near the cheeks decreases. Therefore, the soft tissue feature point C near the cheek is not used for fitting. Changes in the depth of soft tissue according to facial expressions can be predicted in advance. Based on this prediction result, the model information 21 defines the correspondence between the face model FM and the specific soft tissue feature point PC used for fitting.
  • the nine types of facial expressions shown in FIGS. 23 and 24 are the basic facial expressions of the character, and the other facial expressions are expressed by a combination of the nine types of basic facial expressions.
  • FIG. 25 is a diagram showing the influence of the selection of the soft tissue feature point C on the fitting.
  • the upper part of FIG. 25 is an example in which soft tissue feature points C9, C10L, C10R, C12L, C12R, C13, C14, C15, C16, C17, C18, C19, and C20 are used for fitting.
  • the lower part of FIG. 25 is an example in which soft tissue feature points C9, C10L, C10R, C12L, C12R, and C13 are used for fitting.
  • the fitting results differ between the upper example and the lower example.
  • the rotation amount of the mandible LJB is larger than that in the lower example, and when the corrected oral model COM is incorporated, a gap is generated between the upper teeth and the lower teeth. If the soft tissue feature point C used for fitting is selected incorrectly, the structure of the oral cavity generated does not match the facial expression of the face model FM, causing a sense of discomfort.
  • FIG. 26 is a diagram showing an example in which fitting was not performed properly.
  • the position of the maxilla UJB is shifted to the left side of the center CE of the face.
  • the user can input the deformation parameter of the maxilla UJB and the parameter correction information for correcting the first position parameter P1 via the input device 30.
  • the parameter correction information can be input, for example, in a manner of overwriting the deformation parameter of the maxilla UJB and the first position parameter P1 displayed in the parameter display field PDF.
  • the model integration unit 13 determines the position of the corrected maxilla model JBM in the preview image based on the deformation parameter of the maxilla UJB corrected by the parameter correction information and the first position parameter P1. Correct.
  • the correction unit 15 corrects the relative position information 23 based on the deformation parameter and the position parameter corrected by the parameter correction information.
  • the user confirms the position of the corrected jawbone model CJBM in the preview image.
  • the user performs a save operation by pressing the save button of the command input field CIF. By this operation, the relative position information 23 corrected by the correction unit 15 is output to the storage device 20 and stored in the storage device 20.
  • FIG. 27 is a diagram showing another example in which fitting was not performed properly.
  • the width of the corrected jawbone model CJBM does not match the face model FM.
  • the user identifies the soft tissue feature point C that deviates significantly from the standard depth based on the information in the color-coded bar DB.
  • the user can input the depth distribution correction information for correcting the depth information of the specified soft tissue feature point C via the input device 30. For example, when the user selects a specific bar DB with a mouse or the like, a parameter display field PDF that displays depth information of the soft tissue feature point C corresponding to the bar DB appears on the display screen. In this parameter display field PDF, a slider SL for adjusting the value of the standard depth is displayed.
  • the user can input depth distribution correction information that corrects the standard depth of the soft tissue feature point C.
  • the standard depth of the soft tissue feature point C in the cheek portion can be set small in order to enlarge the jawbone laterally.
  • the fitting unit 12 corrects the depth distribution information 22 based on the depth distribution correction information.
  • the fitting unit 12 fits the jawbone model JBM to the face model FM based on the corrected depth distribution information (corrected depth distribution information).
  • the model integration unit 13 transforms and incorporates the jawbone model JBM into the face model FM based on the deformation parameter S and the position parameter PO of the jawbone model JBM obtained by fitting.
  • the user compares the fitting results (shape and position of the corrected jawbone model CJBM) before and after the correction of the depth distribution information 22 in the preview image.
  • the user performs a save operation by pressing the save button of the command input field CIF.
  • the relative position information 23 calculated based on the correction depth distribution information is output to the storage device 20 and stored in the storage device 20.
  • FIG. 28 is a diagram showing a generation flow of a character model CM using the base model BM.
  • step S1 the information acquisition unit 11 acquires the base model BM, the jawbone model JBM, the oral cavity model OM, and the depth distribution information 22 from the storage device 20.
  • step S2 the model integration unit 13 causes the display device 40 to display the base model BM and the jawbone model JBM.
  • a plurality of facial feature points C_F corresponding to a plurality of soft tissue feature points C are attached to the base model BM.
  • a plurality of jawbone feature points C_J corresponding to a plurality of soft tissue feature points C are attached to the jawbone model JBM.
  • step S3 the information acquisition unit 11 determines whether or not the depth distribution correction information has been acquired. If it is determined in step S3 that the depth distribution correction information has been acquired (step S3: Yes), the process proceeds to step S4. In step S4, the correction unit 15 corrects the depth distribution information 22 based on the depth distribution correction information. Then, the process proceeds to step S5. If it is not determined in step S3 that the depth distribution correction information has been acquired (step S3: No), the process proceeds to step S5.
  • step S5 the fitting unit 12 fits the jawbone model JBM to the base model BM based on the depth distribution information 22.
  • the fitting unit 12 calculates the deformation parameter S and the position parameter PO of the jawbone model JBM based on the fitting result.
  • step S6 the model integration unit 13 causes the display device 40 to display the fitting result.
  • a state in which the corrected jawbone model CJBM obtained by deforming the jawbone model JBM according to the deformation parameter S is incorporated into the base model BM based on the position parameter PO is displayed as a preview image.
  • step S7 the information acquisition unit 11 determines whether or not the parameter correction information has been acquired. If it is determined in step S7 that the parameter correction information has been acquired (step S7: Yes), the process proceeds to step S8.
  • step S8 the model integration unit 13 corrects the deformation parameter S and the position parameter PO of the jawbone model JBM based on the parameter correction information.
  • the model integration unit 13 causes the display device 40 to display a preview image in which the shape and position of the corrected jawbone model CJBM are corrected based on the corrected deformation parameter S and the position parameter PO. Then, the process returns to step S7.
  • step S7 If it is not determined in step S7 that the parameter correction information has been acquired (step S7: No), the process proceeds to step S9.
  • step S9 the relative position calculation unit 14 calculates the relative position between the corrected jawbone model CJBM and the base model BM.
  • the relative position calculation unit 14 outputs information regarding the relative position between the corrected jawbone model CJBM and the base model BM to the storage device 20 as the relative position information 23.
  • step S10 the oral model OM is deformed and incorporated into the corrected jawbone model CJBM based on the deformation parameter S and the position parameter PO of the jawbone model JBM.
  • step S3 the depth distribution correction information acquisition determination process (step S3) and the depth distribution information correction process (step SS4) were performed before the fitting in step S5. However, these correction processes may be performed after the fitting result is displayed (step S6 or later).
  • FIG. 29 is a diagram showing a generation flow of a character model CM using the non-base model NBM. The flow of FIG. 29 is carried out after the flow of FIG. 28.
  • step S21 the information acquisition unit 11 acquires the non-base model NBM, the jawbone model JBM, the oral cavity model OM, the depth distribution information 22, and the relative position information 23 from the storage device 20.
  • the model integration unit 13 causes the display device 40 to display the non-base model NBM and the corrected jawbone model CJBM.
  • a plurality of facial feature points C_F corresponding to a plurality of soft tissue feature points C are attached to the non-base model NBM.
  • the corrected jawbone model CJBM is provided with a plurality of corrected jawbone feature points C_CJ corresponding to the plurality of soft tissue feature points C.
  • step S23 the information acquisition unit 11 determines whether or not the depth distribution correction information has been acquired. If it is determined in step S23 that the depth distribution correction information has been acquired (step S23: Yes), the process proceeds to step S24. In step S24, the correction unit 15 corrects the depth distribution information 22 based on the depth distribution correction information. Then, the process proceeds to step S25. If it is not determined in step S23 that the depth distribution correction information has been acquired (step S23: No), the process proceeds to step S25.
  • the fitting unit 12 extracts the depth information of the plurality of specific soft tissue feature point PCs associated with the non-base model NBM from the depth distribution information 22.
  • the fitting portion 12 fits the maxillary bone UJB of the corrected jawbone model CJBM to the non-base model NBM based on the depth information of the plurality of specific soft tissue feature points PC.
  • the fitting portion 12 is selected from the soft tissue feature points C1L, C1R, C2L, C2R, C3L, C3R, C4L, C4R, C9, C10L, C10R, C11L, C11R, C12L, C12R, C13, C14, and C15.
  • the depth information of the plurality of peculiar soft tissue feature points PC is applied to the equation (1) to calculate the first position parameter P1 of the maxillary bone UJB.
  • the non-base model NBM is a face model FM of the same character as the base model BM. Therefore, the shape of the corrected jawbone model CJBM is not changed. Therefore, in the fitting, the deformation parameter S of the jawbone model JBM defined in the relative position information is maintained.
  • the fitting unit 12 fits the mandible LJB of the corrected jawbone model CJBM to the non-base model NBM based on the depth information of the plurality of specific soft tissue feature points PC.
  • the fitting portion 12 has a plurality of specific soft tissue features selected from the soft tissue feature points C5L, C5R, C6L, C6R, C7L, C7R, C8L, C8R, C9, C16, C17, C18, C19, and C20.
  • the depth information of the point PC is applied to the equation (1) to calculate the second position parameter P2 of the mandibular bone LJB.
  • the deformation parameter S of the jawbone model JBM defined in the relative position information is maintained.
  • step S27 the model integration unit 13 causes the display device 40 to display the fitting result.
  • the display device 40 displays a state in which the corrected jawbone model CJBM is incorporated into the non-base model NBM based on the position parameter PO (first position parameter P1, second position parameter P2) as a preview image.
  • step S28 the information acquisition unit 11 determines whether or not the parameter correction information has been acquired. If it is determined in step S28 that the parameter correction information has been acquired (step S28: Yes), the process proceeds to step S29.
  • step S29 the model integration unit 13 corrects the position parameter PO of the corrected jawbone model CJBM based on the parameter correction information.
  • the model integration unit 13 causes the display device 40 to display a preview image in which the position of the corrected jawbone model CJBM is corrected based on the corrected position parameter PO. Then, the process returns to step S28.
  • step S28 the process proceeds to step S30.
  • step S30 the relative position calculation unit 14 calculates the relative position between the corrected jawbone model CJBM and the non-base model NBM.
  • step S31 the model integration unit 13 deforms the oral cavity model OM according to the deformation parameter S defined in the relative position information.
  • the model integration unit 13 incorporates the modified oral model OM (corrected oral model COM) into the corrected jawbone model CJBM based on the position parameter PO of the corrected jawbone model CJBM.
  • step S23 the depth distribution correction information acquisition determination process (step S23) and the depth distribution information correction process (step S24) were performed before the fitting in step S25. However, these correction processes may be performed after the fitting result is displayed (step S27 or later).
  • the processing device 10 has a model integration unit 13.
  • the model integration unit 13 deforms and incorporates the jawbone model JBM into the character's face model FM based on the depth distribution information 22 of the soft tissue covering the jawbone.
  • the information processing of the processing device 10 described above is executed by the computer.
  • the program 24 of the present embodiment causes the computer to realize the information processing of the processing device 10 described above.
  • a corrected jawbone model CJBM having an appropriate shape according to the face model FM is generated.
  • the corrected jawbone model CJBM is combined with the oral cavity model OM, a three-dimensional model of the oral cavity in harmony with the face model FM can be easily generated.
  • the processing device 10 has a fitting unit 12.
  • the fitting unit 12 fits the jawbone model JBM to the face model FM based on the depth distribution information 22, and calculates the deformation parameter S and the position parameter PO.
  • the deformation parameter S indicates the amount of deformation of the jawbone model JBM.
  • the position parameter PO indicates the position where the jawbone model JBM is incorporated into the face model FM.
  • the shape and position of the corrected jawbone model CJBM are appropriately set.
  • the fitting unit 12 fits the jawbone model JBM to another face model FM of the same character based on the depth distribution information 22 while maintaining the deformation parameter S.
  • the fitting unit 12 calculates the position parameter PO for incorporating the jawbone model JBM into another face model FM by this fitting.
  • the position parameter PO is calculated using the known deformation parameter S. Therefore, the calculation of the position parameter PO becomes easy.
  • the shape and size of the jawbone are unchanged for the same character. Therefore, it is not necessary to calculate the deformation parameter S again.
  • the amount of calculation is reduced, and even if the face model FM changes, the jawbone model JBM can be quickly placed in an appropriate position.
  • the depth information of the soft tissue may change depending on the facial expression (face model FM). Since the fitting is performed based on the input depth distribution information 22, if the depth of the soft tissue feature point C deviates from that specified in the depth distribution information 22, an error occurs in the fitting result. When the fitting is performed using only the soft tissue feature point C in which the depth information does not change, an error due to the change in the depth information does not occur, and an appropriate fitting result can be obtained.
  • the position parameter PO includes the first position parameter P1 and the second position parameter P2.
  • the first position parameter P1 indicates the relative position of the maxilla UJB of the jawbone model JBM and another face model FM.
  • the second position parameter P2 indicates the relative position of the mandible LJB and the maxilla UJB of the jawbone model JBM.
  • the fitting portion 12 calculates the first position parameter P1 based on the depth information of the plurality of specific soft tissue feature points PC set in the soft tissue covering the maxilla UJB.
  • the fitting portion 12 calculates the second position parameter P2 based on the depth information of the plurality of specific soft tissue feature points PC set in the soft tissue covering the mandible LJB.
  • Depth information includes information on the depth direction of the soft tissue, the average depth (standard depth) and the standard deviation of the depth.
  • the fitting unit 12 uses the depth of the soft tissue as a random variable for each of the plurality of specific soft tissue feature point PCs selected according to the facial expression of the face model FM to be fitted among the plurality of soft tissue feature points C. Calculate the probability density function.
  • the fitting unit 12 calculates the position parameter PO based on a mathematical model in which the solution that maximizes the sum of the probability density functions of all the selected singular soft tissue feature points PC is the optimum solution.
  • the processing device 10 has an information acquisition unit 11.
  • the information acquisition unit 11 acquires parameter correction information for correcting the deformation parameter S and the position parameter PO.
  • the deformation parameter S and the position parameter PO can be manually corrected when the fitting result is not appropriate.
  • the information acquisition unit 11 acquires depth distribution correction information that corrects the depth distribution information 22.
  • the fitting unit 12 fits the jawbone model JBM to the face model FM based on the depth distribution information 22 corrected by the depth distribution correction information.
  • An information processing device having a model integration unit that transforms and incorporates the jawbone model into the character's face model based on the depth distribution information of the soft tissue covering the jawbone.
  • a fitting unit that fits the jawbone model to the face model based on the depth distribution information and calculates a deformation parameter indicating the amount of deformation of the jawbone model and a position parameter indicating the position where the jawbone model is incorporated into the face model.
  • the information processing apparatus according to (1) above.
  • the fitting portion is a position for fitting the jawbone model to another face model of the same character based on the depth distribution information and incorporating the jawbone model into the other face model while maintaining the deformation parameter.
  • the information processing device according to (2) above for calculating parameters.
  • the depth distribution information includes position information of a plurality of soft tissue feature points set in the soft tissue and depth information for each soft tissue feature point.
  • the fitting portion is based on the depth information of a plurality of specific soft tissue feature points whose depth information does not change due to a change in facial shape from the face model to the other face model among the plurality of soft tissue feature points.
  • the information processing apparatus according to (3) above, wherein the jawbone model is fitted to the other face model.
  • the position parameters include a first position parameter indicating the relative position of the maxilla of the jawbone model and the other face model, and a second position parameter indicating the relative position of the mandible and the maxilla of the jawbone model.
  • the fitting portion calculates the first position parameter based on the depth information of a plurality of specific soft tissue feature points set in the soft tissue covering the maxilla.
  • the information processing apparatus according to (4) above, wherein the fitting portion calculates the second position parameter based on the depth information of a plurality of specific soft tissue feature points set in the soft tissue covering the lower jawbone.
  • the depth information includes information about the depth direction of the soft tissue, the average depth and the standard deviation of the depth.
  • the fitting portion uses the depth of the soft tissue as a probability variable for each of the plurality of specific soft tissue feature points selected according to the facial expression of the face model to be fitted among the plurality of soft tissue feature points.
  • the information processing apparatus calculates the probability density function to be performed, and calculate the position parameter based on the mathematical model with the solution that maximizes the sum of the probability density functions of all the selected singular soft tissue feature points as the optimum solution.
  • the information processing apparatus according to 4) or (5).
  • the information processing apparatus according to any one of (2) to (6) above which has an information acquisition unit for acquiring parameter correction information for correcting the deformation parameter and the position parameter.
  • the information acquisition unit acquires depth distribution correction information that corrects the depth distribution information, and obtains the depth distribution correction information.
  • the information processing device according to (7) above, wherein the fitting unit fits the jawbone model to the face model based on the depth distribution information corrected by the depth distribution correction information.
  • a computer-executed information processing method comprising transforming and incorporating a jawbone model into a character's face model based on depth distribution information of the soft tissue covering the jawbone.
  • a program that enables a computer to transform and incorporate a jawbone model into a character's face model based on the depth distribution information of the soft tissue that covers the jawbone.
  • Processing equipment information processing equipment
  • Information acquisition unit 11
  • Fitting unit 12
  • Model integration unit 22
  • Depth distribution information 24
  • Program C Soft tissue feature point FM Face model JBM Maxilla model LJB Mandible
  • Position parameter P1 First position parameter P2 Second position parameter
  • PC Specific soft tissue feature point S deformation parameter UJB maxilla

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理装置（１０）は、モデル統合部（１３）を有する。モデル統合部（１３）は、顎骨を覆う軟部組織の深度分布情報（２２）に基づいてキャラクタの顔モデル（ＦＭ）に顎骨モデル（ＪＢＭ）を変形して組み込む。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　写真から被写体の３次元モデルを生成する技術が開発されている。例えば、Ｐｉｎｓｃｒｅｅｎ（非特許文献１）、ｌｏｏｍ．ａｉ（非特許文献２）、Ｂｅｌｌｕｓ３Ｄ（非特許文献３）およびＡｖａｔａｒ　ＳＤＫ（非特許文献４）は、スマートフォンで撮影された写真に基づいて簡易な顔モデルを生成する技術を提供している。写真には口腔が写されていない場合がある。そのため、写真からは顔面の３次元モデル（顔モデル）だけが生成される。口腔には、別途用意された口腔モデル（歯や舌などのモデル）が組み込まれる。
[online]，Pinscreen，[令和２年６月２５日検索]，インターネット＜URL:　https://www.pinscreen.com/avatarsdk/＞ [online]，loom.ai，[令和２年６月２５日検索]，インターネット＜URL:　https://loomai.com/＞ [online]，Bellus3D，[令和２年６月２５日検索]，インターネット＜URL:　https://www.bellus3d.com/＞ [online]，Avatar　SDK，[令和２年６月２５日検索]，インターネット＜URL:　https://avatarsdk.com/＞ Wu,　C.　and　Bradley,　D.　and　Garrido,　P.　and　Zollhofer,　M.　and　Theobalt,　C.　and　Gross,　M.　and　Beeler,　T.　Model-Based　Teeth　Reconstruction.　ACM　Transactions　on　Graphics　(TOG)　volume　35　number　6,　year　2016 Gaspard　Zoss,　Thabo　Beeler,　Markus　Gross,　Derek　Bradley.　Accurate　Markerless　Jaw　Tracking　for　Facial　Performance　Capture.　ACM　Transactions　on　Graphics　(Proceedings　of　SIGGRAPH).　2019.　(Los　Angeles,　USA)
　しかし、非特許文献１ないし４の技術では、形状および大きさが固定された口腔モデルがそのまま顔モデルに組み込まれる。そのため、顔モデルに対して口腔モデルが調和せず、見た目が不自然に感じられる場合がある。
　一方、映画やゲームなどの分野では、クリエイタが手作業で口腔モデルを配置するのが一般的である。最近、Ｄｉｓｎｅｙ　Ｒｅｓｅａｒｃｈ（非特許文献５）から、高精細な顔モデルおよび口腔モデルの生成技術が発表された。しかし、この手法では複数のカメラが同時に撮影できる環境が必要で、処理時間も長くなる。さらに、予めに取得された複数人の口腔モデルのデータベースが必要である。
　機械学習を利用して顎骨の動きを人物の映像から推定する技術も発表されている（非特許文献６）。この手法では顔モデルと顎骨モデルとの位置関係が確立される。ここでは、演者の歯の間に特殊なキャリブレーションデバイスを挟むこと、演者の顔にマーカーを付けること、および、数ヵ箇所から撮影を行うことで、正確な顎骨の位置と顔面の形状が取得される。取得したデータベースに基づいた回帰関数を訓練して顔面の動きから顎の動きが計算される。非特許文献５の手法と同様に、非特許文献６の手法でも、長時間かかる処理、事前訓練、および、特殊なデバイスを用いたデータベースの生成などが必要となる。
　そこで、本開示では、顔モデルと調和した口腔の３次元モデルを容易に生成することが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むモデル統合部を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
キャラクタモデルの生成処理の概要を説明する図である。 顔モデルの一例を示す図である。 顎骨モデルの一例を示す図である。 顎骨モデルの一例を示す図である。 口腔モデルの一例を示す図である。 顎骨モデルに口腔モデルを組み込んだ状態を示す図である。 軟部組織特徴点のタイプおよび深度情報を示す図である。 深度情報を規定するための座標系を示す図である。 深度方向の規定方法を説明する図である。 深度方向の規定方法を説明する図である。 キャラクタ生成システムの概略図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルに顎骨モデルを組み込む処理を示す図である。 ベースモデルと補正顎骨モデルとの相対位置に関する情報の一例を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 非ベースモデルに顎骨モデルを組み込む処理を示す図である。 顔モデルと特異軟部組織特徴点との関係を示す図である。 顔モデルと特異軟部組織特徴点との関係を示す図である。 軟部組織特徴点の選択がフィッティングに与える影響を示す図である。 フィッティングが適切に行われなかった例を示す図である。 フィッティングが適切に行われなかった他の例を示す図である。 ベースモデルを用いたキャラクタモデルの生成フローを示す図である。 非ベースモデルを用いたキャラクタモデルの生成フローを示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．キャラクタ生成システムの概要］
［２．モデルの説明］
　［２－１．顔モデル］
　［２－２．顎骨モデル］
　［２－３．口腔モデル］
［３．軟部組織特徴点の説明］
［４．キャラクタ生成システムの構成］
［５．ユーザインタフェース］
　［５－１．ベースモデルへの顎骨モデルの組み込み］
　［５－２．非ベースモデルへの顎骨モデルの組み込み］
　［５－３．フィッティングに用いられる軟部組織特徴点］
　［５－４．フィッティングの修正］
［６．情報処理方法］
　［６－１．ベースモデルを用いたキャラクタモデルの生成フロー］
　［６－２．非ベースモデルを用いたキャラクタモデルの生成フロー］
［７．効果］
［１．キャラクタ生成処理の概要］
　図１は、キャラクタモデルＣＭ（キャラクタの３次元モデル）の生成処理の概要を説明する図である。
　キャラクタモデルＣＭは、顔モデルＦＭに顎骨モデルＪＢＭおよび口腔モデルＯＭを組み込むことにより生成される。顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭは、一般的なＣＧソフトウェアによって作成される。顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭは、ポリゴンモデルとして生成される。ポリゴンモデルは、複数の頂点と、隣接する頂点を結んで得られる複数の辺および複数の面と、を含むポリゴンメッシュによって構成される。
　顎骨モデルＪＢＭおよび口腔モデルＯＭは、標準的な形状および大きさを有するジェネリックなモデルである。顔モデルＦＭは、キャラクタごとに生成される個別のモデルである。そのため、ジェネリックな顎骨モデルＪＢＭは、顎骨を覆う軟部組織の深度分布情報２２（図７参照）に基づいて、顔モデルＦＭに変形して組み込まれる。口腔モデルＯＭは、変形後の顎骨モデルＪＢＭ（補正顎骨モデルＣＪＢＭ）に変形して組み込まれる。これにより、見た目が自然な位置に口腔の３次元モデルが生成される。
［２．モデルの説明］
［２－１．顔モデル］
　図２は、顔モデルＦＭの一例を示す図である。
　顔モデルＦＭは、キャラクタの顔面の３次元モデルである。顔モデルＦＭは、例えば、特定人物の顔の写真を用いて生成される。顔の写真は、例えば、Ｋｉｎｅｃｔ（登録商標）などの、被写体の奥行情報を取得可能なカメラを用いて撮影される。
　顔面は軟部組織によって構成される。軟部組織は、筋肉や皮膚などの、骨格以外の支持組織を意味する。顎骨を覆う軟部組織には、複数の軟部組織特徴点Ｃが設定されている。軟部組織特徴点Ｃには、軟部組織の深度および深度方向に関する情報が設定されている。
　軟部組織特徴点Ｃは、軟部組織特徴点Ｃの深度方向において対向する一組の特徴点（顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆ）によって特定される。顎骨特徴点Ｃ＿Ｊは、軟部組織特徴点Ｃを深度方向に沿って顎骨上に投影した点である。顔面特徴点Ｃ＿Ｆは、軟部組織特徴点Ｃを深度方向に沿って顔面上に投影した点である。顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆは、それぞれ軟部組織特徴点Ｃと１対１に対応する。
　以下、複数の軟部組織特徴点Ｃには、軟部組織特徴点どうしを区別するために、番号が付される場合がある。同一の軟部組織特徴点Ｃに関連付けられた特徴点には同じ番号が付される。矢状面を挟んで左右の対称な位置に配置された同一種類の軟部組織特徴点Ｃには、同じ番号が付され、符号Ｌ（左側）および符号Ｒ（右側）によって両者が区別される。例えば、図２の例では、２０種類の軟部組織特徴点Ｃが顔面に設定されている。
［２－２．顎骨モデル］
　図３および図４は、顎骨モデルＪＢＭの一例を示す図である。
　顎骨モデルＪＢＭは、標準的な顎骨の形状および大きさを有するジェネリックな顎骨の３次元モデルである。図３に示すように、顎骨モデルＪＢＭ上には複数の顎骨特徴点Ｃ＿Ｊが設定されている。図４に示すように、顎骨モデルＪＢＭは、上顎骨ＵＪＢと下顎骨ＬＪＢとを有する。下顎骨ＬＪＢは、回転軸（蝶番軸）ＲＡを中心として回転することができる。下顎骨ＬＪＢは、上顎骨ＵＪＢに対して回転軸ＲＡと平行な方向に相対移動することができる。
［２－３．口腔モデル］
　図５は、口腔モデルＯＭの一例を示す図である。図６は、顎骨モデルＪＢＭに口腔モデルＯＭを組み込んだ状態を示す図である。
　口腔モデルＯＭは、標準的な口腔の構造（口腔内に配置される歯、歯肉および舌などの形状、大きさおよび位置など）を有するジェネリックな口腔の３次元モデルである。口腔モデルＯＭは、所定の拡大率で拡大または縮小することにより顎骨モデルＪＢＭに結合させることができる。図６の例では、口腔モデルＯＭは顎骨モデルＪＢＭに合致した形状（拡大率は１）のモデルとして提示されている。そのため、口腔モデルＯＭは、変形せずにそのまま顎骨モデルＪＢＭに組み込むことができる。
［３．軟部組織特徴点の説明］
　顎骨を覆う軟部組織には複数の軟部組織特徴点Ｃが設定されている。それぞれの軟部組織特徴点Ｃは、顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆに基づいて、以下のように定義される。
・軟部組織特徴点Ｃ１（ａｒ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ１＿Ｊ：側頭骨に最も近い下顎骨の端にある点。
　顔面特徴点Ｃ１＿Ｆ：顎骨特徴点Ｃ１＿Ｊから水平方向（回転軸ＲＡと平行な方向）に延ばした位置にある点。
・軟部組織特徴点Ｃ２（ｓＭ２＿Ｌ／Ｒ）
　顎骨特徴点Ｃ２＿Ｊ：上顎第二大臼歯の歯冠の上にある上顎歯槽堤の先端。
　顔面特徴点Ｃ２＿Ｆ：顎骨特徴点Ｃ２＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ３（ｍｒ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ３＿Ｊ：下顎枝の中心点。
　顔面特徴点Ｃ３＿Ｆ：顎骨特徴点Ｃ３＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ４（ｓＣ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ４＿Ｊ：上顎犬歯の歯冠の上にある上顎歯槽堤の先端。
　顔面特徴点Ｃ４＿Ｆ：顎骨特徴点Ｃ４＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ５（ｉＭ２＿Ｌ／Ｒ）
　顎骨特徴点Ｃ５＿Ｊ：下顎第二大臼歯の歯冠の下にある下顎歯槽堤の先端。
　顔面特徴点Ｃ５＿Ｆ：顎骨特徴点Ｃ５＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ６（ｉＣ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ６＿Ｊ：下顎犬歯の歯冠の下にある下顎歯槽堤の先端。
　顔面特徴点Ｃ６＿Ｆ：顎骨特徴点Ｃ６＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ７（ｍｍｂ）
　顎骨特徴点Ｃ７＿Ｊ：下顎骨の正中線から横方向に縁までの間の中心点。
　顔面特徴点Ｃ７＿Ｆ：顎骨特徴点Ｃ７＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ８（ｍｅｎｔａｌｅ）
　顎骨特徴点Ｃ８＿Ｊ：オトガイ孔。
　顔面特徴点Ｃ８＿Ｆ：顎骨特徴点Ｃ８＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ９（ｎａｓｉｏｎ）
　顎骨特徴点Ｃ９＿Ｊ：前頭鼻骨縫合との中心点。
　顔面特徴点Ｃ９＿Ｆ：顔の正中線で鼻と御凸の間にある窪みの一番深い点。
・軟部組織特徴点Ｃ１０（ｎａｓｉｏｎ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ１０＿Ｊ：鼻骨の正中線から横５ｍｍの最も下の点。
　顔面特徴点Ｃ１０＿Ｆ：顎骨特徴点Ｃ９＿Ｊの１０ｍｍ下の鼻の正中線から横５ｍｍの位置にある点。
・軟部組織特徴点Ｃ１１（ｃｈ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ１１＿Ｊ：眼窩下孔。
　顔面特徴点Ｃ１１＿Ｆ：顎骨特徴点Ｃ１１＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ１２（ａｃｐ＿Ｌ／Ｒ）
　顎骨特徴点Ｃ１２＿Ｊ：鼻孔の横の点。
　顔面特徴点Ｃ１２＿Ｆ：顎骨特徴点Ｃ１２＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ１３（ｓｎ）
　顎骨特徴点Ｃ１３＿Ｊ：上顎骨の正中線での前鼻棘の点。
　顔面特徴点Ｃ１３＿Ｆ：中隔と上唇が結合するところの顔面上で最も深い点。
・軟部組織特徴点Ｃ１４（ｍｐ）
　顎骨特徴点Ｃ１４＿Ｊ：上顎骨の正中線上で顎骨特徴点Ｃ１３＿Ｊと顎骨特徴点Ｃ１５＿Ｊの中間の点。
　顔面特徴点Ｃ１４＿Ｆ：顔面の正中線上で顔面特徴点Ｃ１３＿Ｆと顔面特徴点Ｃ１５＿Ｆの中間の点。
・軟部組織特徴点Ｃ１５（ｌｓ）
　顎骨特徴点Ｃ１５＿Ｊ：上顎骨歯槽堤の正中線で最前端の点。
　顔面特徴点Ｃ１５＿Ｆ：上唇の正中線で、上部の朱色の境界線上の点。
・軟部組織特徴点Ｃ１６（ｌｉ）
　顎骨特徴点Ｃ１６＿Ｊ：下顎骨歯槽堤の正中線で最前端の点。
　顔面特徴点Ｃ１６＿Ｆ：下唇の正中線で、下部の朱色の境界線上の点。
・軟部組織特徴点Ｃ１７（ｍｌｓ）
　顎骨特徴点Ｃ１７＿Ｊ：下顎骨の正中線でオトガイ隆起の上にある窪みの一番深い点。
　顔面特徴点Ｃ１７＿Ｆ：顎の正中線で顔面特徴点Ｃ１６＿Ｆと顔面特徴点Ｃ１８＿Ｆの間にある顎の窪みの一番深い点。
・軟部組織特徴点Ｃ１８（ｐｇ）
　顎骨特徴点Ｃ１８＿Ｊ：下顎骨の隆起（オトガイ隆起）の最も前方の正中線上の点。
　顔面特徴点Ｃ１８＿Ｆ：顎の軟部組織の隆起で最も前方の正中線上の点。
・軟部組織特徴点Ｃ１９（ｇｎ）
　顎骨特徴点Ｃ１９＿Ｊ：下顎骨の正中線で顎骨特徴点Ｃ１８＿Ｊと顎骨特徴点Ｃ２０＿Ｊの中間の点。
　顔面特徴点Ｃ１９＿Ｆ：顎骨特徴点Ｃ１９＿Ｊから特定方向（図７参照）に延ばした位置にある点。
・軟部組織特徴点Ｃ２０（ｍ）
　顎骨特徴点Ｃ２０＿Ｊ：下顎結合での正中線の最も下の点。
　顔面特徴点Ｃ２０＿Ｆ：顎骨特徴点Ｃ１９＿Ｊから特定方向（図７参照）に延ばした位置にある点。
　図７は、軟部組織特徴点Ｃのタイプおよび深度情報を示す図である。図８は、深度情報を規定するための座標系を示す図である。図９および図１０は、深度方向の規定方法を説明する図である。
　図７に示すように、複数の軟部組織特徴点Ｃは、タイプＰとタイプＤに分類される。タイプＰは、顔面特徴点Ｃ＿Ｆが顔面の特徴的な構造に基づいて定義されるタイプである。タイプＤは、顔面特徴点Ｃ＿Ｆが、顔面の特徴的な構造ではなく、顎骨特徴点Ｃ＿Ｊからの方位（深度方向）によって定義されるタイプである。なお、顎骨特徴点Ｃ＿Ｊは、タイプＰおよびタイプＤのいずれにおいても、顎骨の特徴的な構造に基づいて定義される。
　深度情報は、例えば、軟部組織の深度方向、深度の平均（標準深度）および深度の標準偏差に関する情報を含む。図８に示すように、深度方向は、例えば、咬合平面をＸＺ平面とし、矢状面をＹＺ平面とし、冠状面をＸＹ平面とするＸＹＺ座標系に基づいて設定される。下顎骨から上顎骨に向かう方向はＹ軸の正方向であり、後頭部から前頭部に向かう方向はＺ軸の正方向である。軟部組織の深度方向および標準深度は、図３において、顎骨特徴点Ｃ＿Ｊに付された棒線ＤＢの方向および長さによって示されている。
　図７において、「ｙ（角度ａ）」は、（－１，０，０）の方向を（０，－１，０）の方向に向けてＺ軸の周りに角度ａだけ回転した方向を意味する。「角度ｂ　ａｎｔｅｒｉｏｒ」は、（－１，０，０）の方向を（０，０，１）の方向に向けてＹ軸の周りに角度ｂだけ回転した方向を意味する。「ｙ（角度ａ）　角度ｂ　ａｎｔｅｒｉｏｒ」は、（－１，０，０）の方向を（０，－１，０）の方向に向けてＺ軸の周りに角度ａだけ回転し、さらに、（０，０，１）の方向に向けてＹ軸の周りに角度ｂだけ回転した方向を意味する。図９は、ｙ（－１５ｄｅｇ）　２０ｄｅｇ　ａｎｔｅｒｉｏｒ」で規定される方向を示す。
　図１０に示すように、軟部組織特徴点Ｃ２０の深度方向は、顎骨特徴点Ｃ２０＿Ｊにおける顎骨の曲率を二等分する方向（顎骨の接線に垂直な方向）である。標準的な顎骨（図１０の左側の顎骨）では、（０，―１，０）の方向である。
　上述した軟部組織特徴点Ｃ１～Ｃ７、Ｃ９、Ｃ１２～Ｃ２０の位置情報および深度情報は、下記文献に記載された情報に基づく。下記文献のデータは、約１５００人の軟部組織の深度データの平均と標準偏差を計算して作られている。
　Stephan,　CN　and　Simpson,　EK　(2008)　Facial　Soft　Tissue　Depths　in　Craniofacial　Identification　(Part　I):　An　Analytical　Review　of　the　Published　Adult　Data.　Journal　of　Forensic　Sciences　53(6):　1257-1272
　上記文献に記載された軟部組織特徴点Ｃは、矢状面（ＹＺ平面）に配置されるものが多い。そのため、これらの軟部組織特徴点Ｃのみを用いて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングすると、顎骨モデルＪＢＭの回転量および並進移動量が精度よく算出されず、顎骨モデルＪＢＭが顔モデルＦＭに対して左右に傾いた位置に配置される可能性がある。そのため、矢状面とは異なる位置に配置される軟部組織特徴点Ｃ８，Ｃ１１，Ｃ１２が、本発明者によって追加されている。
［４．キャラクタ生成システムの構成］
　図１１は、キャラクタ生成システム１の概略図である。
　キャラクタ生成システム１は、キャラクタモデルＣＭを生成するための情報処理システムである。キャラクタ生成システム１は、処理装置１０と、記憶装置２０と、入力装置３０と、表示装置４０と、を有する。
　処理装置１０は、情報取得部１１と、フィッティング部１２と、モデル統合部１３と、相対位置算出部１４と、補正部１５と、を有する。処理装置１０は、各種情報を処理する情報処理装置である。
　情報取得部１１は、例えば、記憶装置２０に記憶されたモデル情報２１、深度分布情報２２および相対位置情報２３を取得する。情報取得部１１は、入力装置３０を介してユーザが入力した各種情報を取得する。入力装置３０は、タッチパネル、キーボードおよびマウスなどの公知の入力装置である。
　モデル情報２１は、顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭを構成するポリゴンメッシュの座標情報を含む。モデル情報２１には、同一キャラクタの複数の顔モデルＦＭの情報が含まれる。複数の顔モデルＦＭには、１つのベースモデルＢＭ（図１２参照）と複数の非ベースモデルＮＢＭ（図１８参照）とが含まれる。ベースモデルＢＭは、例えば、無表情を示す顔モデルＦＭである。無表情の状態では、全ての顔の筋肉がリラックスしている。非ベースモデルＮＢＭは、ベースモデルＢＭとは異なる、特定の表情を示す顔モデルＦＭである。表情は、情動などに応じて顔に表出される変化である。情動は、明確な原因によって引き起こされる強い感情である。無表情以外の状態では、顔の一部の筋肉が収縮している。非ベースモデルＮＢＭの表情としては、例えば、笑顔、怒り顔および泣き顔など、互いに性質の異なる複数の表情が用いられる。
　深度分布情報２２は、顎骨を覆う軟部組織の深度分布を示す情報である。深度分布情報２２は、例えば、複数の軟部組織特徴点Ｃの位置情報と、軟部組織特徴点Ｃごとの深度情報と、を含む。位置情報は、軟部組織特徴点Ｃ（顎骨特徴点Ｃ＿Ｊおよび顔面特徴点Ｃ＿Ｆ）の位置を特定する情報を含む。深度情報は、例えば、軟部組織の深度方向（顎骨特徴点Ｃ＿Ｊと顔面特徴点Ｃ＿Ｆとを結ぶ直線の延在方向）、標準深度および深度の標準偏差に関する情報を含む。深度情報は、ベースモデルＢＭに対応する顔面状態（無表情）における深度情報として規定されている。
　相対位置情報２３は、顔モデルＦＭに合わせて変形された顎骨モデルＪＢＭ（補正顎骨モデルＣＪＢＭ）と顔モデルＦＭとの相対位置に関する情報である。補正顎骨モデルＣＪＢＭと顔モデルＦＭとの相対位置は、例えば、軟部組織特徴点Ｃごとの、顎骨特徴点Ｃ＿Ｊと顔面特徴点Ｃ＿Ｆとの相対位置に基づいて規定される。
　相対位置情報２３は、例えば、位置パラメータＰＯおよび変形パラメータＳに関する情報を含む。位置パラメータＰＯは、補正顎骨モデルＣＪＢＭを顔モデルＦＭに組み込む位置を示すパラメータである。位置パラメータＰＯは、例えば、Ｘ軸、Ｙ軸およびＺ軸を中心とした上顎骨ＵＪＢおよび下顎骨ＬＪＢの回転量Ｒと、Ｘ軸方向、Ｙ軸方向およびＺ軸方向における上顎骨ＵＪＢおよび下顎骨ＬＪＢの並進移動量Ｔと、を含む。位置パラメータＰＯは上顎骨ＵＪＢと下顎骨ＬＪＢに対して独立に設定される。変形パラメータＳは、顎骨モデルＪＢＭを顔モデルＦＭに合わせて変形する際の顎骨モデルＪＢＭの変形量を示すパラメータである。変形パラメータＳは、例えば、顎骨モデルＪＢＭのＸ軸方向、Ｙ軸方向およびＺ軸方向の拡大率を示す。
　フィッティング部１２は、深度分布情報２２に基づいて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングする。フィッティング部１２は、フィッティング結果に基づいて、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを算出する。フィッティング部１２は、複数の軟部組織特徴点Ｃ１～Ｃ２０の中から、フィッティングに用いる複数の軟部組織特徴点Ｃを選択する。フィッティングには、選択された複数の軟部組織特徴点Ｃの深度情報が用いられる。例えば、フィッティング部１２は、軟部組織特徴点Ｃの位置情報に基づいて、モデル情報２１から、フィッティングに用いられる複数の軟部組織特徴点Ｃに対応した複数の顎骨特徴点Ｃ＿Ｊおよび複数の顔面特徴点Ｃ＿Ｆの座標を抽出する。顔面特徴点Ｃ＿Ｆの座標は、対応する顎骨特徴点Ｃ＿Ｊの座標と、変形パラメータＳおよび位置パラメータＰＯ（回転量Ｒ、並進移動量Ｔ）を用いて算出される。
　フィッティング部１２は、複数の軟部組織特徴点Ｃ１～Ｃ２０から選択された複数の軟部組織特徴点Ｃについて、それぞれ軟部組織の深度を確率変数とする確率密度関数を算出する。フィッティング部１２は、選択された全ての軟部組織特徴点Ｃの確率密度関数の総和が最大化されるような解を最適解とする数式モデル（下記式（１）参照）に基づいて変形パラメータＳおよび位置パラメータＰＯ（回転量Ｒ、並進移動量Ｔ）を算出する。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、「ｉ」は軟部組織特徴点Ｃの番号を示す。「σｉ」は軟部組織特徴点Ｃｉにおける軟部組織の深度の標準偏差を示す。「μｉ」は軟部組織特徴点Ｃｉにおける軟部組織の深度の平均（標準深度）を示す。「Ｊｉ」は、軟部組織特徴点Ｃｉに対応する顎骨特徴点Ｃｉ＿Ｊの座標を示す。「Ｆｉ」は、軟部組織特徴点Ｃｉに対応する顔面特徴点Ｃｉ＿Ｆの座標を示す。「ｄｉｓｔ（Ｊｉ，Ｆｉ）」は、顎骨特徴点Ｃｉ＿Ｊと顔面特徴点Ｃｉ＿Ｆとの相対距離（深度）を示す。
　フィッティングに用いられる軟部組織特徴点Ｃは、ベースモデルＢＭに対するフィッティングを行う場合と非ベースモデルＢＭに対するフィッティングを行う場合とで異なる。
　例えば、ベースモデルＢＭに対するフィッティングを行う場合には、複数の軟部組織特徴点Ｃ１～Ｃ２０のうち、全ての軟部組織特徴点Ｃ１～Ｃ２０がフィッティングに用いられる。フィッティング部１２は、全ての軟部組織特徴点Ｃ１～Ｃ２０の深度情報に基づいて、顎骨モデルＪＢＭをベースモデルＢＭにフィッティングする。フィッティング部１２は、このフィッティング結果に基づいて、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを算出する。これにより、同一キャラクタの全ての顔モデルＦＭにおいて共用される顎骨モデルＪＢＭの変形パラメータＳが確定する。
　別の顔モデルＦＭ（非ベースモデルＮＢＭ）に対するフィッティングを行う場合には、複数の軟部組織特徴点Ｃ１～Ｃ２０のうち、前述の顔モデルＦＭ（ベースモデルＢＭ）から別の顔モデル（非ベースモデルＮＢＭ）への顔面形状の変化によって深度情報が変化しない複数の特異軟部組織特徴点ＰＣ（図２３、図２４参照）がフィッティングに用いられる。フィッティング部１２は、変形パラメータＳを維持したまま、選択された全ての特異軟部組織特徴点ＰＣの深度情報に基づいて、顎骨モデルＪＢＭを別の顔モデルＦＭにフィッティングする。フィッティング部１２は、このフィッティング結果に基づいて、補正顎骨モデルＣＪＢＭを別の顔モデルＦＭに組み込むための位置パラメータＰＯを算出する。
　例えば、フィッティング部１２は、複数の軟部組織特徴点Ｃ１～Ｃ２０のうち、フィッティングの対象となる顔モデルＦＭの表情に応じて選択された複数の特異軟部組織特徴点ＰＣについて、それぞれ軟部組織の深度を確率変数とする確率密度関数を算出する。フィッティング部１２は、選択された全ての特異軟部組織特徴点ＰＣの確率密度関数の総和が最大化されるような解を最適解とする数式モデル（上式（１））に基づいて位置パラメータＰＯを算出する。
　位置パラメータＰＯは、例えば、第１位置パラメータＰ１と第２位置パラメータＰ２とを含む。第１位置パラメータＰ１は、上顎骨ＵＪＢと顔モデルＦＭとの相対位置を示す。第２位置パラメータＰ２は、下顎骨ＬＪＢと上顎骨ＵＪＢとの相対位置を示す。フィッティング部１２は、まず、複数の軟部組織特徴点Ｃ１～Ｃ２０から選択された複数の軟部組織特徴点Ｃの深度情報に基づいて、顎骨モデルＪＢＭを顔モデルＦＭにフィッティングし、第１位置パラメータＰ１を算出する。選択された複数の軟部組織特徴点Ｃには、上顎骨ＵＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣが含まれる。次に、フィッティング部１２は、下顎骨ＬＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、顎骨モデルＪＢＭを顔モデルＦＭにフィッティングし、第２位置パラメータＰ２を算出する。
　モデル統合部１３は、顔モデルＦＭにジェネリックな顎骨モデルＪＢＭおよび口腔モデルＯＭを変形して組み込んでキャラクタモデルＣＭを生成する。
　モデル統合部１３は、まず、深度分布情報２２に基づいてキャラクタの顔モデルＦＭにジェネリックな顎骨モデルＪＢＭを変形して組み込む。例えば、モデル統合部１３は、フィッティング結果から得られた変形パラメータに基づいて顎骨モデルＪＢＭを変形する。モデル統合部１３は、位置パラメータＰＯに基づいて、変形された顎骨モデルＪＢＭ（補正顎骨モデルＣＪＢＭ）を顔モデルＦＭに組み込む位置を決定する。モデル統合部１３は、決定された位置に補正顎骨モデルＣＪＢＭを配置して顔モデルＦＭと統合する。
　次に、モデル統合部１３は、補正顎骨モデルＣＪＢＭにジェネリックな口腔モデルＯＭを変形して組み込む。まず、モデル統合部１３は、顎骨モデルＪＢＭと口腔モデルＯＭの座標情報に基づいて、口腔モデルＯＭを顎骨モデルＪＢＭに組み込むための拡大率を算出する。歯と顎の相対位置は不変である。そのため、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯは口腔モデルＯＭの変形パラメータおよび位置パラメータとして流用される。モデル統合部１３は、算出された拡大率と顎骨モデルＪＢＭの変形パラメータＳとに基づいて、口腔モデルＯＭの変形パラメータを算出する。モデル統合部１３は、算出された変形パラメータに基づいて口腔モデルＯＭを変形する。モデル統合部１３は、顎骨モデルＪＢＭの位置パラメータＰＯに基づいて、変形された口腔モデルＯＭを補正顎骨モデルＣＪＢＭに組み込み、補正顎骨モデルＣＪＢＭと統合する。
　モデル統合部１３は、統合作業中の各種モデルの座標情報およびパラメータ情報を逐次表示装置４０に出力する。表示装置４０は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの公知の表示装置である。表示装置４０に出力される座標情報には、顔モデルＦＭに顎骨モデルＪＢＭおよび口腔モデルＯＭを組み込む前および後の顔モデルＦＭ、顎骨モデルＪＢＭおよび口腔モデルＯＭの座標情報が含まれる。パラメータ情報には、顔モデルＦＭに顎骨モデルＪＢＭおよび口腔モデルＯＭを組み込んだときの顎骨モデルＪＢＭおよび口腔モデルＯＭの変形パラメータおよび位置パラメータの情報が含まれる。表示装置４０は、モデル統合部１３から出力された情報に基づいて、統合作業中の各種モデルの画像、および、各種パラメータの値を表示する。
　ユーザは、表示装置４０に表示されたプレビュー画像に基づいて、顔モデルＦＭ、補正顎骨モデルＣＪＢＭおよび補正口腔モデルＣＯＭの相対位置を補正するための補正情報を入力することができる。補正情報には、例えば、パラメータ補正情報および深度分布補正情報が含まれる。パラメータ補正情報は、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを補正する情報である。深度分布補正情報は、深度分布情報２２を補正する情報である。情報取得部１１は、入力装置３０を介してユーザから入力された補正情報を取得する。フィッティング部１２は、情報取得部１１が深度分布補正情報を取得したことに応答して、深度分布情報２２を深度分布補正情報に基づいて補正する。フィッティング部１２は、補正された深度分布情報（補正深度分布情報）に基づいてフィッティングを行う。
　相対位置算出部１４は、顔モデルＦＭごとに、顔モデルＦＭと補正顎骨モデルＣＪＢＭと補正口腔モデルＣＯＭとの相対位置を算出する。例えば、相対位置算出部１４は、軟部組織特徴点Ｃごとに、補正顎骨モデルＣＪＢＭ上の顎骨特徴点Ｃ＿Ｊ（補正顎骨特徴点Ｃ＿ＣＪ）と顔面特徴点Ｃ＿Ｆとの相対位置を算出する。相対位置算出部１４は、軟部組織特徴点Ｃごとの補正顎骨特徴点Ｃ＿ＣＪと顔面特徴点Ｃ＿Ｆとの相対位置に関する情報を、顔モデルＦＭと補正顎骨モデルＣＪＢＭとの相対位置を示す情報として算出する。相対位置算出部１４は、例えば、歯槽窩と歯との位置関係に基づいて、補正顎骨モデルＣＪＢＭと補正口腔モデルＣＯＭとの相対位置に関する情報を算出する。相対位置算出部１４は、顔モデルＦＭと補正顎骨モデルＣＪＢＭとの相対位置、補正顎骨モデルＣＪＢＭと補正口腔モデルＣＯＭとの相対位置、顎骨モデルＪＢＭの変形パラメータＳおよび口腔モデルＯＭの変形パラメータに関する情報を相対位置情報２３として出力する。
　補正部１５は、相対位置情報２３に含まれる変形パラメータＳおよび位置パラメータＰＯの情報をパラメータ補正情報に基づいて補正する。補正部１５は、パラメータ補正情報に基づいて補正された相対位置情報２３を記憶装置２０に出力する。
　記憶装置２０は、例えば、処理装置１０が実行するプログラム２４と、モデル情報２１と、深度分布情報２２と、相対位置情報２３と、を記憶する。プログラム２４は、本実施形態に係る情報処理をコンピュータに実行させるプログラムである。処理装置１０は、記憶装置２０に記憶されているプログラム２４にしたがって各種の処理を行う。記憶装置２０は、処理装置１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶装置２０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置２０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム２４は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
　処理装置１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）が含まれる。処理装置１０は、プログラム２４を実行することにより、情報取得部１１、フィッティング部１２、モデル統合部１３、相対位置算出部１４および補正部１５として機能する。
［５．ユーザインタフェース］
　以下、図１２ないし図２９を用いてキャラクタ生成システム１のユーザインタフェースＵＩの一例を説明する。ユーザは、表示装置４０に表示されるユーザインタフェースＵＩを用いてキャラクタモデルＣＭを生成する。
［５－１．ベースモデルへの顎骨モデルの組み込み］
　図１２ないし図１６は、ベースモデルＢＭに顎骨モデルＪＢＭを組み込む処理を示す図である。
　図１２に示すように、表示装置４０には、コマンド入力フィールドＣＩＦ、プレビューフィールドＭＤＦおよびパラメータ表示フィールドＰＤＦが表示される。コマンド入力フィールドＣＩＦには、各種コマンドを入力するためのボタンが表示される。プレビューフィールドＭＤＦには、各種モデル、および、モデルの統合作業中のプレビュー画像が表示される。
　図１２には、モデル情報２１からベースモデルＢＭを読み出してプレビューフィールドＭＤＦに表示させた状態が示されている。ベースモデルＢＭには、複数の顔面特徴点Ｃ＿Ｆが表示されている。パラメータ表示フィールドＰＤＦには、モデル統合作業中の各種パラメータの値が表示される。図１２の例では、ベースモデルＢＭのパラメータを表示するためのパラメータ表示フィールドＰＤＦと、顎骨モデルＪＢＭのパラメータを表示するためのパラメータ表示フィールドＰＤＦと、が表示画面右側の上部と下部にわかれて表示されている。
　図１３には、モデル情報２１から顎骨モデルＪＢＭを読み出してプレビューフィールドＭＤＦに表示させた状態が示されている。顎骨モデルＪＢＭには、複数の顎骨特徴点Ｃ＿Ｊが表示されている。顎骨特徴点Ｃ＿Ｊには、顎骨特徴点Ｃ＿Ｊに対応した軟部組織特徴点Ｃの深度情報が棒線ＤＢによって表示されている。棒線ＤＢの向きおよび長さは、軟部組織特徴点Ｃにおける軟部組織の深度方向および標準深度を表す。
　図１４には、顎骨モデルＪＢＭとベースモデルＢＭとをプレビューフィールドＭＤＦに表示させた状態が示されている。この状態で、ユーザが、コマンド入力フィールドＣＩＦに表示された第１フィッターボタンを押すと、ベースモデルＢＭに対する顎骨モデルＪＢＭのフィッティングが開始される。図１５には、フィッティングによってベースモデルＢＭに補正顎骨モデルＣＪＢＭが組み込まれた状態が示されている。図１６に示すように、プレビュー画像の視点はユーザによって任意に設定することができる。
　プレビューフィールドＭＤＦには、顎骨モデルＪＢＭの形状および位置をベースモデルＢＭに合わせて調整した補正顎骨モデルＣＪＢＭと、補正顎骨モデルＣＪＢＭ上に設定された複数の補正顎骨特徴点Ｃ＿ＣＪと、が表示される。顎骨モデルＪＢＭ用のパラメータ表示フィールドＰＤＦには、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを表示させることができる。パラメータ表示フィールドＰＤＦには、上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１と、下顎骨ＬＪＢの変形パラメータおよび第２位置パラメータＰ２と、が切り替えボタンによって切り替えて表示される。
　補正顎骨特徴点Ｃ＿ＣＪには、深度分布情報２２に規定された深度情報が棒線ＤＢで表示される。棒線ＤＢの長さ（標準深度）は、フィッティングによって得られた補正顎骨特徴点Ｃ＿ＣＪと顔特徴点Ｃ＿Ｆとの相対距離とは必ずしも一致しない。プレビューフィールドＭＤＦには、フィッティングによって得られた相対距離と標準深度とのずれが標準偏差σに基づいて色分けして表示される。例えば、ずれがσ以下であれば棒線ＤＢは緑色で表示される。ずれがσよりも大きく２σ以下であれば棒線ＤＢは黄色で表示される。ユーザは、緑色の棒線ＤＢが付された補正顎骨特徴点Ｃ＿ＣＪの数によって、フィッティングが適切に行われたか判断することができる。
　図１７は、相対位置算出部１４で算出されるベースモデルＢＭと補正顎骨モデルＣＪＢＭとの相対位置に関する情報の一例を示す図である。
　図１７において、「顎骨」は、軟部組織特徴点Ｃが設定された軟部組織が覆う顎骨の部分を示す。「１」は上顎骨を示し、「２」は下顎骨を示す。「タイプ」は、軟部組織特徴点Ｃのタイプを示す。「１」はタイプＰを示し、「２」はタイプＤを示す。「深度」は、補正顎骨特徴点Ｃ＿ＣＪと顔面特徴点Ｃ＿Ｆとの相対距離を示す。「頂点（顔）」は、顔モデルＦＭを構成するポリゴンメッシュの頂点のうち、軟部組織特徴点Ｃに最も近い頂点の番号を示す。「頂点（顎骨）」は、補正顎骨モデルを構成するポリゴンメッシュの頂点のうち、軟部組織特徴点Ｃに最も近い頂点の番号を示す。「方向」は、軟部組織の深度方向（補正顎骨特徴点Ｃ＿ＣＪと顔面特徴点Ｃ＿Ｆとを結ぶ直線の延在方向）を示す。
　ユーザは、プレビュー画像に基づいて、フィッティングが適切に行われたと判断した場合には、コマンド入力フィールドＣＩＦに設けられた保存ボタンによってフィッティング結果を保存する。この操作により、相対位置算出部１４で算出されたベースモデルＢＭと補正顎骨モデルＣＪＢＭとの相対位置に関する情報が記憶装置２０に出力され、相対位置情報２３として記憶装置２０に記憶される。
［５－２．非ベースモデルへの顎骨モデルの組み込み］
　図１８ないし図２２は、非ベースモデルＮＢＭに顎骨モデルＪＢＭを組み込む処理を示す図である。
　図１８には、モデル情報２１から読み出された非ベースモデルＮＢＭと、ベースモデルＢＭに関する相対位置情報２３に基づいて生成された補正顎骨モデルＣＪＢＭと、をプレビューフィールドＭＤＦに表示させた状態が示されている。図１８の補正顎骨モデルＣＪＢＭは、ベースモデルＢＭに顎骨モデルＪＢＭをフィッティングして得られた変形パラメータＳおよび位置パラメータＰＯに基づいて生成されたものである。そのため、上顎骨ＵＪＢおよび下顎骨ＬＪＢの位置は、非ベースモデルＮＢＭに適したものではない。
　図１８の状態で、ユーザが、コマンド入力フィールドＣＩＦに表示された第２フィッターボタンを押すと、非ベースモデルＮＢＭに対する補正顎骨モデルＣＪＢＭのフィッティングが開始される。図１９には、フィッティングによって非ベースモデルＮＢＭに補正顎骨モデルＣＪＢＭが組み込まれた状態が示されている。図２０には、視点を顔の正面に配置したときのプレビュー画像が表示されている。
　プレビューフィールドＭＤＦには、非ベースモデルＮＢＭに合わせて位置が調整された補正顎骨モデルＣＪＢＭと、補正顎骨モデルＣＪＢＭ上に設定された複数の補正顎骨特徴点Ｃ＿ＣＪと、が表示される。顎骨モデルＪＢＭ用のパラメータ表示フィールドＰＤＦには、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを表示させることができる。
　補正顎骨特徴点Ｃ＿ＣＪには、深度分布情報２２に規定された深度情報が棒線ＤＢで表示される。プレビューフィールドＭＤＦには、フィッティングによって得られた補正顎骨特徴点Ｃ＿ＣＪと顔特徴点Ｃ＿Ｆとの相対距離と、標準深度と、のずれが標準偏差σに基づいて色分けして表示される。ユーザは、色分けされた棒線ＤＢの情報に基づいて、フィッティングが適切に行われたか判断することができる。
　図２０の状態で、記憶装置２０から口腔モデルＯＭを読み出し、フィッティングのフォームとして、顎骨モデルＪＢＭを非ベースモデルＮＢＭにフィッティングしたときの相対位置情報２３を読み込む。すると、図２１に示すように、口腔モデルＯＭが、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯに基づいて、補正顎骨モデルＣＪＢＭに変形して組み込まれる。これにより、キャラクタモデルＣＭが生成される。図２２は、キャラクタモデルＣＭをワイヤフレーム画像からテクスチャ画像に変換した図が示されている。
［５－３．フィッティングに用いられる軟部組織特徴点］
　深度分布情報２２は、無表情の顔（ベースモデルＢＭ）の深度データに基づいて作成されている。表情を変えると、いくつかの軟部組織特徴点Ｃにおいて軟部組織の深度が、深度分布情報２２に規定された値からずれる。誤った深度に基づいてフィッティングに用いると、フィッティング結果に誤差が生じる。よって、非ベースモデルＮＢＭについてフィッティングを行う場合には、ベースモデルＢＭから非ベースモデルＮＢＭへの表情の変化によって深度情報が変化しない複数の軟部組織特徴点Ｃ（特異軟部組織特徴点ＰＣ）を用いてフィッティングが行われる。
　図２３および図２４は、顔モデルＦＭと、フィッティングに用いる特異軟部組織特徴点ＰＣと、の関係を示す図である。図２３は、口が開く顔モデルＦＭの例を示す図であり、図２４は、口が開かない顔モデルＦＭの例を示す図である。
　特異軟部組織特徴点ＰＣの種類は、表情ごとに異なる。これは、表情によって動かす筋肉が異なるためである。例えば、口を大きく開けた場合には、頬の筋肉が収縮し、頬の近傍の軟部組織の深度は小さくなる。そのため、頬の近傍にある軟部組織特徴点Ｃはフィッティングに用いられない。表情に応じた軟部組織の深度の変化は予め予測することができる。モデル情報２１には、この予測結果に基づいて、顔モデルＦＭとフィッティングに用いられる特異軟部組織特徴点ＰＣとの対応関係が規定されている。なお、図２３および図２４に示した９種類の表情は、キャラクタの基本表情であり、他の表情はこの９種類の基本表情の組み合わせによって表現される。
　図２５は、軟部組織特徴点Ｃの選択がフィッティングに与える影響を示す図である。
　図２５の上段は、軟部組織特徴点Ｃ９，Ｃ１０Ｌ，Ｃ１０Ｒ，Ｃ１２Ｌ，Ｃ１２Ｒ，Ｃ１３，Ｃ１４，Ｃ１５，Ｃ１６，Ｃ１７，Ｃ１８，Ｃ１９，Ｃ２０をフィッティングに用いた例である。図２５の下段は、軟部組織特徴点Ｃ９，Ｃ１０Ｌ，Ｃ１０Ｒ，Ｃ１２Ｌ，Ｃ１２Ｒ，Ｃ１３をフィッティングに用いた例である。上段の例と下段の例とでは、フィッティング結果が異なる。上段の例では、下段の例に比べて、下顎骨ＬＪＢの回転量が大きく、補正口腔モデルＣＯＭを組み込んだときに、上歯と下歯との間に隙間が生じる。フィッティングに用いる軟部組織特徴点Ｃの選択を誤ると、生成される口腔の構造が顔モデルＦＭの表情に合致せず、違和感を生じさせる。
［５－４．フィッティングの修正］
　図２６は、フィッティングが適切に行われなかった例を示す図である。
　図２６の例では、上顎骨ＵＪＢの位置が顔の中心ＣＥよりも左側にずれている。ユーザは、入力装置３０を介して、上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１を補正するパラメータ補正情報を入力することができる。パラメータ補正情報は、例えば、パラメータ表示フィールドＰＤＦに表示された上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１を上書きする態様で入力することができる。
　ユーザによりパラメータ補正情報が入力されると、モデル統合部１３は、パラメータ補正情報によって補正された上顎骨ＵＪＢの変形パラメータおよび第１位置パラメータＰ１に基づいて、プレビュー画像における補正顎骨モデルＪＢＭの位置を修正する。補正部１５は、パラメータ補正情報によって補正された変形パラメータおよび位置パラメータに基づいて、相対位置情報２３を補正する。ユーザは、プレビュー画像で補正顎骨モデルＣＪＢＭの位置を確認する。補正顎骨モデルＣＪＢＭが適切な位置に組み込まれている場合には、ユーザは、コマンド入力フィールドＣＩＦの保存ボタンにより保存操作を行う。この操作により、補正部１５で補正された相対位置情報２３が記憶装置２０に出力され、記憶装置２０に記憶される。
　図２７は、フィッティングが適切に行われなかった他の例を示す図である。
　図２７の上段の例では、補正顎骨モデルＣＪＢＭの幅が顔モデルＦＭに合っていない。ユーザは、色分けされた棒線ＤＢの情報に基づいて、標準深度から大きくずれた軟部組織特徴点Ｃを特定する。ユーザは、入力装置３０を介して、特定された軟部組織特徴点Ｃの深度情報を補正する深度分布補正情報を入力することができる。例えば、ユーザがマウスなどで特定の棒線ＤＢを選択すると、棒線ＤＢに対応する軟部組織特徴点Ｃの深度情報を表示するパラメータ表示フィールドＰＤＦが表示画面に現れる。このパラメータ表示フィールドＰＤＦには、標準深度の値を調節するためのスライダＳＬが表示される。ユーザはスライダＳＬを操作することにより、軟部組織特徴点Ｃの標準深度を補正する深度分布補正情報を入力することができる。例えば、図２７の上段の例では、顎骨を横方向に拡大するために、頬の部分の軟部組織特徴点Ｃの標準深度を小さく設定することができる。
　ユーザにより深度分布補正情報が入力されると、フィッティング部１２は、深度分布補正情報に基づいて深度分布情報２２を補正する。フィッティング部１２は、補正された深度分布情報（補正深度分布情報）に基づいて、顎骨モデルＪＢＭを顔モデルＦＭにフィッティングする。モデル統合部１３は、フィッティングによって得られた顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯに基づいて、顎骨モデルＪＢＭを顔モデルＦＭに変形して組み込む。ユーザは、プレビュー画像で、深度分布情報２２を補正する前と後のフィッティング結果（補正顎骨モデルＣＪＢＭの形状および位置）を比較する。補正深度分布情報を用いたフィッティングにより、補正顎骨モデルＣＪＢＭが適切な形状および位置で顔モデルＦＭに組み込まれている場合には、ユーザは、コマンド入力フィールドＣＩＦの保存ボタンにより保存操作を行う。この操作により、補正深度分布情報に基づいて算出された相対位置情報２３が記憶装置２０に出力され、記憶装置２０に記憶される。
［６．情報処理方法］
　図２８および図２９は、処理装置１０の情報処理方法の一例を示すフローチャートである。
［６－１．ベースモデルを用いたキャラクタモデルの生成フロー］
　図２８は、ベースモデルＢＭを用いたキャラクタモデルＣＭの生成フローを示す図である。
　ステップＳ１において、情報取得部１１は、記憶装置２０から、ベースモデルＢＭ、顎骨モデルＪＢＭ、口腔モデルＯＭおよび深度分布情報２２を取得する。
　ステップＳ２において、モデル統合部１３は、表示装置４０にベースモデルＢＭおよび顎骨モデルＪＢＭを表示させる。ベースモデルＢＭには、複数の軟部組織特徴点Ｃに対応した複数の顔面特徴点Ｃ＿Ｆが付される。顎骨モデルＪＢＭには、複数の軟部組織特徴点Ｃに対応した複数の顎骨特徴点Ｃ＿Ｊが付される。
　ステップＳ３において、情報取得部１１は、深度分布補正情報を取得したか判定する。ステップＳ３において、深度分布補正情報が取得されたと判定された場合には（ステップＳ３：Ｙｅｓ）、ステップＳ４に進む。ステップＳ４において補正部１５は、深度分布補正情報に基づいて深度分布情報２２を補正する。そして、ステップＳ５に進む。ステップＳ３において、深度分布補正情報が取得されたと判定されない場合には（ステップＳ３：Ｎｏ）、ステップＳ５に進む。
　ステップＳ５において、フィッティング部１２は、深度分布情報２２に基づいて顎骨モデルＪＢＭをベースモデルＢＭにフィッティングする。フィッティング部１２は、フィッティング結果に基づいて、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを算出する。
　ステップＳ６において、モデル統合部１３は、表示装置４０にフィッティング結果を表示させる。表示装置４０には、顎骨モデルＪＢＭを変形パラメータＳによって変形した補正顎骨モデルＣＪＢＭが、位置パラメータＰＯに基づいてベースモデルＢＭに組み込まれた状態がプレビュー画像として表示される。
　ステップＳ７において、情報取得部１１は、パラメータ補正情報を取得したか判定する。ステップＳ７において、パラメータ補正情報が取得されたと判定された場合には（ステップＳ７：Ｙｅｓ）、ステップＳ８に進む。ステップＳ８において、モデル統合部１３は、パラメータ補正情報に基づいて顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯを補正する。モデル統合部１３は、補正後の変形パラメータＳおよび位置パラメータＰＯに基づいて補正顎骨モデルＣＪＢＭの形状および位置が補正されたプレビュー画像を表示装置４０に表示させる。そして、ステップＳ７に戻る。
　ステップＳ７において、パラメータ補正情報が取得されたと判定されない場合には（ステップＳ７：Ｎｏ）、ステップＳ９に進む。ステップＳ９において、相対位置算出部１４は、補正顎骨モデルＣＪＢＭとベースモデルＢＭとの相対位置を算出する。相対位置算出部１４は、補正顎骨モデルＣＪＢＭとベースモデルＢＭとの相対位置に関する情報を相対位置情報２３として記憶装置２０に出力する。
　ステップＳ１０において、顎骨モデルＪＢＭの変形パラメータＳおよび位置パラメータＰＯに基づいて、補正顎骨モデルＣＪＢＭに口腔モデルＯＭを変形して組み込む。
　なお、図２８では、ステップＳ５のフィッティングの前に深度分布補正情報の取得判定処理（ステップＳ３）および深度分布情報の補正処理（ステップＳＳ４）が行われた。しかし、これらの補正処理は、フィッティング結果が表示された後（ステップＳ６以降）に行われてもよい。
［６－２．非ベースモデルを用いたキャラクタモデルの生成フロー］
　図２９は、非ベースモデルＮＢＭを用いたキャラクタモデルＣＭの生成フローを示す図である。図２９のフローは、図２８のフローの後に実施される。
　ステップＳ２１において、情報取得部１１は、記憶装置２０から、非ベースモデルＮＢＭ、顎骨モデルＪＢＭ、口腔モデルＯＭ、深度分布情報２２および相対位置情報２３を取得する。
　ステップＳ２２において、モデル統合部１３は、表示装置４０に非ベースモデルＮＢＭおよび補正顎骨モデルＣＪＢＭを表示させる。非ベースモデルＮＢＭには、複数の軟部組織特徴点Ｃに対応した複数の顔面特徴点Ｃ＿Ｆが付される。補正顎骨モデルＣＪＢＭには、複数の軟部組織特徴点Ｃに対応した複数の補正顎骨特徴点Ｃ＿ＣＪが付される。
　ステップＳ２３において、情報取得部１１は、深度分布補正情報を取得したか判定する。ステップＳ２３において、深度分布補正情報が取得されたと判定された場合には（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に進む。ステップＳ２４において補正部１５は、深度分布補正情報に基づいて深度分布情報２２を補正する。そして、ステップＳ２５に進む。ステップＳ２３において、深度分布補正情報が取得されたと判定されない場合には（ステップＳ２３：Ｎｏ）、ステップＳ２５に進む。
　ステップＳ２５において、フィッティング部１２は、深度分布情報２２から、非ベースモデルＮＢＭに関連付けられた複数の特異軟部組織特徴点ＰＣの深度情報を抽出する。フィッティング部１２は、複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、補正顎骨モデルＣＪＢＭの上顎骨ＵＪＢを非ベースモデルＮＢＭにフィッティングする。例えば、フィッティング部１２は、軟部組織特徴点Ｃ１Ｌ，Ｃ１Ｒ，Ｃ２Ｌ，Ｃ２Ｒ，Ｃ３Ｌ，Ｃ３Ｒ，Ｃ４Ｌ，Ｃ４Ｒ，Ｃ９，Ｃ１０Ｌ，Ｃ１０Ｒ，Ｃ１１Ｌ，Ｃ１１Ｒ，Ｃ１２Ｌ，Ｃ１２Ｒ，Ｃ１３，Ｃ１４，Ｃ１５の中から選択された複数の特異軟部組織特徴点ＰＣの深度情報を式（１）に当てはめて、上顎骨ＵＪＢの第１位置パラメータＰ１を算出する。なお、非ベースモデルＮＢＭは、ベースモデルＢＭと同一のキャラクタの顔モデルＦＭである。そのため、補正顎骨モデルＣＪＢＭの形状は変更されない。よって、フィッティングでは、相対位置情報に規定された顎骨モデルＪＢＭの変形パラメータＳは維持される。
　ステップＳ２６において、フィッティング部１２は、複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、補正顎骨モデルＣＪＢＭの下顎骨ＬＪＢを非ベースモデルＮＢＭにフィッティングする。例えば、フィッティング部１２は、軟部組織特徴点Ｃ５Ｌ，Ｃ５Ｒ，Ｃ６Ｌ，Ｃ６Ｒ，Ｃ７Ｌ，Ｃ７Ｒ，Ｃ８Ｌ，Ｃ８Ｒ，Ｃ９，Ｃ１６，Ｃ１７，Ｃ１８，Ｃ１９，Ｃ２０の中から選択された複数の特異軟部組織特徴点ＰＣの深度情報を式（１）に当てはめて、下顎骨ＬＪＢの第２位置パラメータＰ２を算出する。フィッティングでは、相対位置情報に規定された顎骨モデルＪＢＭの変形パラメータＳは維持される。
　ステップＳ２７において、モデル統合部１３は、表示装置４０にフィッティング結果を表示させる。表示装置４０には、補正顎骨モデルＣＪＢＭが、位置パラメータＰＯ（第１位置パラメータＰ１、第２位置パラメータＰ２）に基づいて非ベースモデルＮＢＭに組み込まれた状態がプレビュー画像として表示される。
　ステップＳ２８において、情報取得部１１は、パラメータ補正情報を取得したか判定する。ステップＳ２８において、パラメータ補正情報が取得されたと判定された場合には（ステップＳ２８：Ｙｅｓ）、ステップＳ２９に進む。ステップＳ２９において、モデル統合部１３は、パラメータ補正情報に基づいて補正顎骨モデルＣＪＢＭの位置パラメータＰＯを補正する。モデル統合部１３は、補正後の位置パラメータＰＯに基づいて補正顎骨モデルＣＪＢＭの位置が補正されたプレビュー画像を表示装置４０に表示させる。そして、ステップＳ２８に戻る。
　ステップＳ２８において、パラメータ補正情報が取得されたと判定されない場合には（ステップＳ２８：Ｎｏ）、ステップＳ３０に進む。ステップＳ３０において、相対位置算出部１４は、補正顎骨モデルＣＪＢＭと非ベースモデルＮＢＭとの相対位置を算出する。そして、ステップＳ３１において、モデル統合部１３は、相対位置情報に規定された変形パラメータＳによって口腔モデルＯＭを変形する。モデル統合部１３は、変形された口腔モデルＯＭ（補正口腔モデルＣＯＭ）を、補正顎骨モデルＣＪＢＭの位置パラメータＰＯに基づいて、補正顎骨モデルＣＪＢＭに組み込む。
　なお、図２９では、ステップＳ２５のフィッティングの前に深度分布補正情報の取得判定処理（ステップＳ２３）および深度分布情報の補正処理（ステップＳ２４）が行われた。しかし、これらの補正処理は、フィッティング結果が表示された後（ステップＳ２７以降）に行われてもよい。
［７．効果］
　処理装置１０は、モデル統合部１３を有する。モデル統合部１３は、顎骨を覆う軟部組織の深度分布情報２２に基づいてキャラクタの顔モデルＦＭに顎骨モデルＪＢＭを変形して組み込む。本実施形態の情報処理方法は、上述した処理装置１０の情報処理がコンピュータにより実行される。本実施形態のプログラム２４は、上述した処理装置１０の情報処理をコンピュータに実現させる。
　この構成によれば、顔モデルＦＭに合わせた適切な形状を有する補正顎骨モデルＣＪＢＭが生成される。補正顎骨モデルＣＪＢＭに口腔モデルＯＭを組み合わせることで、顔モデルＦＭと調和した口腔の３次元モデルが容易に生成される。
　処理装置１０は、フィッティング部１２を有する。フィッティング部１２は、深度分布情報２２に基づいて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングし、変形パラメータＳおよび位置パラメータＰＯを算出する。変形パラメータＳは、顎骨モデルＪＢＭの変形量を示す。位置パラメータＰＯは、顎骨モデルＪＢＭを顔モデルＦＭに組み込む位置を示す。
　この構成によれば、補正顎骨モデルＣＪＢＭの形状および位置が適切に設定される。
　フィッティング部１２は、変形パラメータＳを維持したまま、深度分布情報２２に基づいて顎骨モデルＪＢＭを同一キャラクタの別の顔モデルＦＭにフィッティンする。フィッティング部１２は、このフィッティングにより、顎骨モデルＪＢＭを別の顔モデルＦＭに組み込むための位置パラメータＰＯを算出する。
　この構成によれば、既知の変形パラメータＳを用いて位置パラメータＰＯが算出される。そのため、位置パラメータＰＯの演算が容易になる。同一のキャラクタについては顎骨の形状および大きさは不変である。そのため、変形パラメータＳを改めて算出する必要はない。変形パラメータＳを固定することで、演算量が減り、顔モデルＦＭが変化しても顎骨モデルＪＢＭを素早く適切な位置に配置することができる。
　深度分布情報２２は、軟部組織に設定された複数の軟部組織特徴点Ｃの位置情報と、軟部組織特徴点Ｃごとの深度情報と、を含む。フィッティング部１２は、複数の軟部組織特徴点Ｃのうち、前述の顔モデルＦＭ（ベースモデルＢＭ）から別の顔モデルＦＭ（非ベースモデルＮＢＭ）への顔面形状の変化によって深度情報が変化しない複数の特異軟部組織特徴点ＰＣの深度情報に基づいて、顎骨モデルＪＢＭを別の顔モデルＦＭにフィッティングする。
　軟部組織の深度情報は表情（顔モデルＦＭ）によって変化する場合がある。フィッティングは、入力された深度分布情報２２に基づいて行われるため、軟部組織特徴点Ｃの深度が深度分布情報２２に規定されたものからずれると、フィッティング結果に誤差が生じる。深度情報が不変の軟部組織特徴点Ｃのみを用いてフィッティングを行った場合には、深度情報の変化に起因した誤差が生じず、適切なフィッティング結果が得られる。
　位置パラメータＰＯは、第１位置パラメータＰ１と第２位置パラメータＰ２とを含む。第１位置パラメータＰ１は、顎骨モデルＪＢＭの上顎骨ＵＪＢと別の顔モデルＦＭとの相対位置を示す。第２位置パラメータＰ２は、顎骨モデルＪＢＭの下顎骨ＬＪＢと上顎骨ＵＪＢとの相対位置を示す。フィッティング部１２は、上顎骨ＵＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣの深度情報に基づいて第１位置パラメータＰ１を算出する。フィッティング部１２は、下顎骨ＬＪＢを覆う軟部組織に設定された複数の特異軟部組織特徴点ＰＣの深度情報に基づいて第２位置パラメータＰ２を算出する。
　この構成によれば、上顎骨ＵＪＢのフィッティングと下顎骨ＬＪＢのフィッティングとが分離して行われる。そのため、個々のフィッティングの演算が容易になり、演算精度も高まる。
　深度情報は、軟部組織の深度方向、深度の平均（標準深度）および深度の標準偏差に関する情報を含む。フィッティング部１２は、複数の軟部組織特徴点Ｃのうち、フィッティングの対象となる顔モデルＦＭの表情に応じて選択された複数の特異軟部組織特徴点ＰＣについて、それぞれ軟部組織の深度を確率変数とする確率密度関数を算出する。フィッティング部１２は、選択された全ての特異軟部組織特徴点ＰＣの確率密度関数の総和が最大化されるような解を最適解とする数式モデルに基づいて位置パラメータＰＯを算出する。
　この構成によれば、軟部組織の深度に個人差があっても、適切にフィッティングを行うことができる。
　処理装置１０は、情報取得部１１を有する。情報取得部１１は、変形パラメータＳおよび位置パラメータＰＯを補正するパラメータ補正情報を取得する。
　この構成によれば、フィッティング結果が適切でない場合に、手動で変形パラメータＳおよび位置パラメータＰＯを修正することができる。
　情報取得部１１は、深度分布情報２２を補正する深度分布補正情報を取得する。フィッティング部１２は、深度分布補正情報によって補正された深度分布情報２２に基づいて顎骨モデルＪＢＭを顔モデルＦＭにフィッティングする。
　この構成によれば、軟部組織の深度の個人差が大きくてフィッティングがうまく行えない場合でも、補正された深度分布情報２２に基づいて適切なフィッティング結果が得られる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むモデル統合部を有する情報処理装置。
（２）
　前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングし、前記顎骨モデルの変形量を示す変形パラメータ、および、前記顎骨モデルを前記顔モデルに組み込む位置を示す位置パラメータを算出するフィッティング部を有する
　上記（１）に記載の情報処理装置。
（３）
　前記フィッティング部は、前記変形パラメータを維持したまま、前記深度分布情報に基づいて前記顎骨モデルを同一キャラクタの別の顔モデルにフィッティングし、前記顎骨モデルを前記別の顔モデルに組み込むための前記位置パラメータを算出する
　上記（２）に記載の情報処理装置。
（４）
　前記深度分布情報は、前記軟部組織に設定された複数の軟部組織特徴点の位置情報と、軟部組織特徴点ごとの深度情報と、を含み、
　前記フィッティング部は、前記複数の軟部組織特徴点のうち、前記顔モデルから前記別の顔モデルへの顔面形状の変化によって前記深度情報が変化しない複数の特異軟部組織特徴点の前記深度情報に基づいて、前記顎骨モデルを前記別の顔モデルにフィッティングする
　上記（３）に記載の情報処理装置。
（５）
　前記位置パラメータは、前記顎骨モデルの上顎骨と前記別の顔モデルとの相対位置を示す第１位置パラメータと、前記顎骨モデルの下顎骨と前記上顎骨との相対位置を示す第２位置パラメータと、を含み、
　前記フィッティング部は、前記上顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第１位置パラメータを算出し、
　前記フィッティング部は、前記下顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第２位置パラメータを算出する
　上記（４）に記載の情報処理装置。
（６）
　前記深度情報は、前記軟部組織の深度方向、深度の平均および深度の標準偏差に関する情報を含み、
　前記フィッティング部は、前記複数の軟部組織特徴点のうち、フィッティングの対象となる顔モデルの表情に応じて選択された前記複数の特異軟部組織特徴点について、それぞれ前記軟部組織の深度を確率変数とする確率密度関数を算出し、選択された全ての特異軟部組織特徴点の確率密度関数の総和が最大化されるような解を最適解とする数式モデルに基づいて前記位置パラメータを算出する
　上記（４）または（５）に記載の情報処理装置。
（７）
　前記変形パラメータおよび前記位置パラメータを補正するパラメータ補正情報を取得する情報取得部を有する
　上記（２）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記情報取得部は、前記深度分布情報を補正する深度分布補正情報を取得し、
　前記フィッティング部は、前記深度分布補正情報によって補正された前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングする
　上記（７）に記載の情報処理装置。
（９）
　顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことを有する、コンピュータにより実行される情報処理方法。
（１０）
　顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことをコンピュータに実現させるプログラム。
１０　処理装置（情報処理装置）
１１　情報取得部
１２　フィッティング部
１３　モデル統合部
２２　深度分布情報
２４　プログラム
Ｃ　軟部組織特徴点
ＦＭ　顔モデル
ＪＢＭ　顎骨モデル
ＬＪＢ　下顎骨
ＰＯ　位置パラメータ
Ｐ１　第１位置パラメータ
Ｐ２　第２位置パラメータ
ＰＣ　特異軟部組織特徴点
Ｓ　変形パラメータ
ＵＪＢ　上顎骨

Claims (10)

  1. 　顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むモデル統合部を有する情報処理装置。
  2. 　前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングし、前記顎骨モデルの変形量を示す変形パラメータ、および、前記顎骨モデルを前記顔モデルに組み込む位置を示す位置パラメータを算出するフィッティング部を有する
    　請求項１に記載の情報処理装置。
  3. 　前記フィッティング部は、前記変形パラメータを維持したまま、前記深度分布情報に基づいて前記顎骨モデルを同一キャラクタの別の顔モデルにフィッティングし、前記顎骨モデルを前記別の顔モデルに組み込むための前記位置パラメータを算出する
    　請求項２に記載の情報処理装置。
  4. 　前記深度分布情報は、前記軟部組織に設定された複数の軟部組織特徴点の位置情報と、軟部組織特徴点ごとの深度情報と、を含み、
    　前記フィッティング部は、前記複数の軟部組織特徴点のうち、前記顔モデルから前記別の顔モデルへの顔面形状の変化によって前記深度情報が変化しない複数の特異軟部組織特徴点の前記深度情報に基づいて、前記顎骨モデルを前記別の顔モデルにフィッティングする
    　請求項３に記載の情報処理装置。
  5. 　前記位置パラメータは、前記顎骨モデルの上顎骨と前記別の顔モデルとの相対位置を示す第１位置パラメータと、前記顎骨モデルの下顎骨と前記上顎骨との相対位置を示す第２位置パラメータと、を含み、
    　前記フィッティング部は、前記上顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第１位置パラメータを算出し、
    　前記フィッティング部は、前記下顎骨を覆う前記軟部組織に設定された複数の特異軟部組織特徴点の前記深度情報に基づいて前記第２位置パラメータを算出する
    　請求項４に記載の情報処理装置。
  6. 　前記深度情報は、前記軟部組織の深度方向、深度の平均および深度の標準偏差に関する情報を含み、
    　前記フィッティング部は、前記複数の軟部組織特徴点のうち、フィッティングの対象となる顔モデルの表情に応じて選択された前記複数の特異軟部組織特徴点について、それぞれ前記軟部組織の深度を確率変数とする確率密度関数を算出し、選択された全ての特異軟部組織特徴点の確率密度関数の総和が最大化されるような解を最適解とする数式モデルに基づいて前記位置パラメータを算出する
    　請求項４に記載の情報処理装置。
  7. 　前記変形パラメータおよび前記位置パラメータを補正するパラメータ補正情報を取得する情報取得部を有する
    　請求項２に記載の情報処理装置。
  8. 　前記情報取得部は、前記深度分布情報を補正する深度分布補正情報を取得し、
    　前記フィッティング部は、前記深度分布補正情報によって補正された前記深度分布情報に基づいて前記顎骨モデルを前記顔モデルにフィッティングする
    　請求項７に記載の情報処理装置。
  9. 　顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことを有する、コンピュータにより実行される情報処理方法。
  10. 　顎骨を覆う軟部組織の深度分布情報に基づいてキャラクタの顔モデルに顎骨モデルを変形して組み込むことをコンピュータに実現させるプログラム。
PCT/JP2021/026158 2020-07-20 2021-07-12 情報処理装置、情報処理方法およびプログラム WO2022019168A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/005,049 US20230260234A1 (en) 2020-07-20 2021-07-12 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020124046A JP2022020509A (ja) 2020-07-20 2020-07-20 情報処理装置、情報処理方法およびプログラム
JP2020-124046 2020-07-20

Publications (1)

Publication Number Publication Date
WO2022019168A1 true WO2022019168A1 (ja) 2022-01-27

Family

ID=79728712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026158 WO2022019168A1 (ja) 2020-07-20 2021-07-12 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20230260234A1 (ja)
JP (1) JP2022020509A (ja)
WO (1) WO2022019168A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223140A (zh) * 2020-01-20 2021-08-06 杭州朝厚信息科技有限公司 利用人工神经网络生成牙科正畸治疗效果的图像的方法
US20230377135A1 (en) * 2022-05-20 2023-11-23 Sharesmile Biotech Co., Ltd. System, method, and computer program of automatically recognizing malocclusion class
WO2024053345A1 (ja) * 2022-09-05 2024-03-14 ソニーグループ株式会社 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJII, GEN ET AL.: "Fitting a Skull Model into Three- Dimensional Data of a Human Face", PROCEEDINGS OF THE 50TH ANNUAL CONFERENCE (FIRST HALF OF 1997) OF THE IPSJ, vol. 50, no. 7, 17 March 1995 (1995-03-17), pages 1-317 - 1-318 *
HASHIMOTO, SHUJI: "Modeling and Recognition of Face", IPSJ TECHNICAL REPORT., 4 July 2003 (2003-07-04), pages 53 - 60 *

Also Published As

Publication number Publication date
JP2022020509A (ja) 2022-02-01
US20230260234A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
WO2022019168A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11151802B2 (en) Method and system for providing a face adjustment image
US11642195B2 (en) Visual presentation of gingival line generated based on 3D tooth model
Valenzano et al. Shape analysis of female facial attractiveness
US10980422B2 (en) Method for visualizing a tooth situation
EP3790495B1 (en) Simulated orthodontic treatment via augmented visualization in real-time
KR101799878B1 (ko) 2ｄ 영상 장치
US8711178B2 (en) System and method for generating profile morphing using cephalometric tracing data
US10483004B2 (en) Model-based teeth reconstruction
CN115135277A (zh) 使用手机摄像头在家跟踪进度
CA2296274A1 (en) Method and apparatus for generating 3d models from medical images
Jiang et al. Registration technology of augmented reality in oral medicine: A review
US20220233287A1 (en) Dental restoration assessment using virtual model
US20160224690A1 (en) System and Method for Adding Surface Detail to Digital Crown Models Created Using Statistical Techniques
JP5751865B2 (ja) 顔画像処理装置
JP2021514232A (ja) 患者の歯列の３次元モデルをカメラによって記録された患者の顔の画像に整合させるための方法
JP2005349176A (ja) 顎運動解析方法及び顎運動解析システム
Amirkhanov et al. Visual analytics in dental aesthetics
KR101856907B1 (ko) 틀니 교정 장치 및 이에 의한 틀니 교정 방법
WO2024053345A1 (ja) 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体
JP2005074136A (ja) 顔形状のモデリング方法及び顔形状モデリング用プログラム
WO2022173055A1 (ja) 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル
KR102672239B1 (ko) 랜드마크를 이용한 교정 진단 이미지 표시 방법, 디바이스 및 그 기록매체
WO2023203385A1 (en) Systems, methods, and devices for facial and oral static and dynamic analysis
US20140180643A1 (en) Computer implemented method for selecting a dental prosthetic

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21847248

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21847248

Country of ref document: EP

Kind code of ref document: A1