WO2024053345A1 - 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 - Google Patents
情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 Download PDFInfo
- Publication number
- WO2024053345A1 WO2024053345A1 PCT/JP2023/029484 JP2023029484W WO2024053345A1 WO 2024053345 A1 WO2024053345 A1 WO 2024053345A1 JP 2023029484 W JP2023029484 W JP 2023029484W WO 2024053345 A1 WO2024053345 A1 WO 2024053345A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- mesh
- group
- oral
- information processing
- jaw
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims description 7
- 210000000214 mouth Anatomy 0.000 claims description 106
- 230000001815 facial effect Effects 0.000 claims description 58
- 210000001847 jaw Anatomy 0.000 claims description 41
- 210000003205 muscle Anatomy 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 11
- 210000004373 mandible Anatomy 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 239000003550 marker Substances 0.000 description 43
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 18
- 230000008921 facial expression Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 210000001738 temporomandibular joint Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000002050 maxilla Anatomy 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 101001022170 Homo sapiens FYN-binding protein 2 Proteins 0.000 description 1
- 101000990990 Homo sapiens Midkine Proteins 0.000 description 1
- 102100030335 Midkine Human genes 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Definitions
- the present invention relates to an information processing device, an information processing method, and a computer-readable non-temporary storage medium.
- a method of recording facial motion by tracking facial markers is known. Facial animation is realized by applying the tracked motion to a 3D model (face mesh) of the face of a CG (Computer Graphics) character.
- Linear Shell Deformation is known as a face mesh deformation algorithm. When LSD is performed by specifying a vertex (control point) of the face mesh that is the starting point of deformation, the vertices of the face mesh other than the control point are moved in a well-balanced manner.
- Facial mesh generation technology has been widely researched to express facial parts such as wrinkles, eyes, lips, eyebrows, and eyelashes.
- facial parts such as wrinkles, eyes, lips, eyebrows, and eyelashes.
- the oral mesh is not visible from the outside when the mouth is closed, but it can be seen when the mouth opens when surprised or when talking. Therefore, high-quality generation of oral mesh can be a differentiating technology.
- the present disclosure proposes an information processing device, an information processing method, and a computer-readable non-temporary storage medium that can appropriately deform an oral cavity mesh without using markers in the oral cavity.
- the oral mesh is deformed by fixing the upper vertex group of the oral mesh at the position of the upper jaw of the facial mesh, and moving the lower vertex group of the oral mesh in accordance with the movement of the lower jaw of the facial mesh.
- An information processing device having an oral mesh deformation section is provided. Further, according to the present disclosure, there is provided an information processing method in which the information processing of the information processing device is executed by a computer, and a computer-readable non-temporary computer storing a program that causes the computer to realize the information processing of the information processing device.
- a storage medium is provided.
- FIG. 2 is a diagram illustrating an overview of character generation processing according to the present disclosure.
- 1 is a diagram illustrating an overview of a video production system. It is a figure which shows an example of the deformation process of a base oral cavity mesh.
- FIG. 3 is a diagram showing an example of a vertex group for estimating jaw opening/closing.
- FIG. 3 is a diagram showing an example of a group of lip vertices. It is a figure which shows an example of an upper vertex group. It is a figure which shows an example of a lower vertex group.
- FIG. 2 is a diagram illustrating an example of an integrated model obtained by the method of the present disclosure.
- FIG. 2 is a diagram illustrating an example of an integrated model obtained by the method of the present disclosure.
- FIG. 1 is a diagram illustrating an example of a hardware configuration of an information processing device.
- FIG. 1 is a diagram illustrating an overview of character generation processing according to the present disclosure.
- the CG character is generated by incorporating the oral cavity mesh OM and internal structure mesh MS into the facial mesh FM.
- the face mesh FM, the oral cavity mesh OM, and the internal structure mesh MS are configured as polygon meshes (hereinafter simply referred to as "mesh").
- the mesh includes multiple vertices, multiple edges and multiple faces obtained by connecting adjacent vertices.
- ⁇ Oral cavity The "inside of the mouth" as a human part that is not related to CG.
- ⁇ Oral mesh 3D model of the bag inside the mouth that connects the lips to the throat.
- ⁇ Internal structure mesh 3D models of teeth, gums, and tongue necessary to express the mouth.
- ⁇ Face mesh A 3D model of the surface of the human face that is connected to the oral mesh at the lips.
- Control point The vertex that is the starting point of mesh deformation in LSD.
- the face mesh FM is deformed based on the tracking results of the facial markers.
- Oral mesh OM is deformed to match facial mesh FM.
- the oral mesh OM is connected to the facial mesh FM at the lip portion. Therefore, the oral mesh OM is deformed according to the movement of the lips.
- the accuracy of deformation is improved by adding constraint conditions that simulate the movement of the actual oral cavity to the deformation process of the oral cavity mesh OM.
- the upper part of the oral cavity is connected to the vicinity of the maxilla, and the lower part of the oral cavity is connected to the mandible via the suprahyoid muscle group.
- the suprahyoid muscle group is a muscle that opens and closes the jaw in conjunction with the infrahyoid muscle group when opening and closing the jaw, and basically does not change its shape much and pulls the jaw down by contracting.
- an oral cavity mesh OM that imitates the movement of the actual oral cavity is generated. This will be explained in detail below.
- the base face mesh FM before deformation will be referred to as the base face mesh BF
- the base oral mesh OM before deformation will be referred to as the base oral mesh BO
- the facial mesh FM after deformation will be referred to as a deformed facial mesh DF
- the oral mesh OM after deformation will be referred to as a deformed oral mesh DO.
- FIG. 2 is a diagram illustrating an overview of the video production system 1.
- the video production system 1 is a system that produces a digital human using facial marker tracking technology.
- the video production system 1 tracks the movement of the marker MK attached to the face of the actor AC.
- a plurality of marker points MP indicating the installation positions of the markers MK are set in advance on the face of the actor AC.
- the video production system 1 models the facial expression of the actor AC based on the relative movement of markers MK (parts of the face defined as marker points MP).
- actor AC is not limited to professional performers, but may also include general users. It should be noted that in this disclosure, actor AC is a general term for users who use a system that provides digital humans, and is not a term that represents users who use digital humans to carry out a specific purpose.
- the video production system 1 acquires a face mesh FM (base face mesh BF) of a CG character that serves as a base.
- the video production system 1 generates a facial expression model (deformed facial mesh DF) by applying the modeled facial expression to the base facial mesh BF.
- a face mesh FM of the actor AC is used as the face mesh of the CG character, but the modeled facial expression may be applied to the face mesh FM of another CG character.
- a camera unit CU for photographing the actor AC is attached to the head of the actor AC on which the marker MK is installed.
- a plurality of cameras 30 with partially overlapping fields of view are fixed to the camera unit CU.
- the camera unit CU uses a plurality of cameras 30 to photograph the entire area where the marker MK is installed.
- the plurality of cameras 30 are driven synchronously and monitor the movement of each marker MK. Movement of marker point MP is detected as movement of marker MK.
- the movement of the face is modeled based on the positional relationship between the marker points MP.
- the video production system 1 includes an information processing device 10, a storage device 20, and a camera 30.
- the camera 30 is fixed in front of the actor AC on which the marker MK is to be installed.
- the camera 30 photographs the face of the actor AC at a predetermined frame rate while the marker MK is being installed, and sequentially outputs the face image IM of the actor AC to the information processing device 10.
- the storage device 20 stores information on the facial mesh FM, oral cavity mesh OM, and internal structure mesh MS of the actor AC.
- the storage device 20 stores, for each model, a 3D model (base mesh) before deformation that serves as a base.
- the base mesh is a 3D model that represents the shape when there is no facial expression.
- the information processing device 10 deforms the base mesh based on the position information of the tracked marker MK.
- the storage device 20 stores various information such as algorithms and parameters necessary for base mesh deformation processing.
- the storage device 20 also stores a 3D model (deformed mesh) obtained by deforming the base mesh.
- the storage device 20 stores the face mesh FM of the base actor AC as the base face mesh BF.
- the storage device 20 stores the oral mesh OM of the actor AC as the base as the base oral mesh BO.
- the base facial mesh BF and the base oral cavity mesh BO are created using general CG software.
- the information processing device 10 transforms the base face mesh BF based on the position information of the tracked marker MK.
- the information processing device 10 deforms the base oral mesh BO in accordance with the deformed base facial mesh BF (deformed facial mesh DF).
- the information processing device 10 incorporates the deformed base oral mesh (deformed oral mesh DO) into the deformed facial mesh DF.
- the information processing device 10 generates an integrated mesh FO that integrates the deformed face mesh DF and the deformed face mesh DF.
- the information processing device 10 also performs similar deformation processing on the internal structure mesh MS.
- the information processing device 10 deforms the internal structure mesh MS in accordance with the modified oral cavity mesh DO, and incorporates the transformed internal structure mesh MS into the modified oral cavity mesh DO.
- the information processing device 10 outputs the integrated mesh FO including the internal structure mesh MS as a final 3D model of the character.
- the information processing device 10 includes a marker position acquisition section 11 , a face mesh transformation section 12 , a mesh reading section 13 , a lower jaw parameter calculation section 14 , an oral mesh transformation section 15 , and a mesh integration section 16 .
- the marker position acquisition unit 11 acquires the three-dimensional positions of the plurality of markers MK attached to the face of the actor AC from the face image IM of the actor AC.
- the marker position acquisition unit 11 outputs the actually measured three-dimensional positions of the plurality of markers MK as marker position information PI.
- a known motion capture system or facial capture system using a head-mounted camera can be used to obtain the position of the marker MK.
- a compound-eye head-mounted camera equipped with a plurality of cameras 30 is used as the camera unit CU.
- the marker position acquisition unit 11 is unable to acquire the three-dimensional position of the marker MK that does not depend on the movement of the head. can.
- the obtained three-dimensional position is a position in the world coordinate system, and therefore includes movement of the head.
- 6DoF translation/rotation parameter
- the face mesh deformation unit 12 transforms the base face mesh BF based on the marker position information PI.
- a known method can be adopted as a method for deforming the base face mesh BF.
- the face mesh deformation unit 12 aligns the plurality of markers MK detected by the marker position acquisition unit 11 with respect to the base face mesh BF.
- the position of the marker MK defined in the marker position information PI is expressed in the coordinate system (system coordinate system) of the motion capture system or facial capture system. Therefore, the face mesh transformation unit 12 transforms the position (coordinates) of each marker MK expressed in the system coordinate system to a position expressed in the coordinate system (model coordinate system) of the base face mesh BF.
- ICP Intelligent Closet Point
- ICP is used for coordinate transformation.
- ICP is an algorithm that aligns two different shape data.
- ICP can handle rigid deformations (translation, rotation, and expansion), it cannot handle non-rigid deformations such as differences in facial expressions. Therefore, it is desirable to have the actor AC express the same expression as the base face mesh BF, and use the marker position information PI acquired at that time to align the plurality of markers MK with the base face mesh BF.
- the face mesh deformation unit 12 obtains the position of the marker MK aligned with the base face mesh BF as the position of the marker point MP.
- the face mesh deformation unit 12 detects the displacement of the marker point MP from the initial position for each marker point MP.
- the initial position is the position of the marker point MP registered in the base face mesh BF.
- the face mesh deformation unit 12 uses each marker point MP as a control point, and deforms the entire face using LSD based on the displacement of each marker point MP from its initial position.
- the face mesh deformation unit 12 outputs the deformed base face mesh BF as a deformed face mesh DO.
- FIG. 3 is a diagram illustrating an example of the deformation process of the base oral cavity mesh BO.
- the configurations of the mesh reading section 13, the mandibular parameter calculation section 14, the oral mesh deformation section 15, and the mesh integration section 16 will be explained with reference to FIG.
- the symbols in FIG. 3 indicate the following.
- ⁇ M f Data of deformed face mesh DF.
- - L fo List of vertices (vertex group EG for jaw opening/closing estimation: see FIG. 4) for calculating the position of the control point group of the deformed oral cavity mesh DO from the deformed face mesh DF.
- ⁇ M o Data of base oral mesh BO.
- Lomove List of control point group (lower vertex group BG: see FIG. 7) of the oral mesh OM that becomes the moving part.
- -L ofix List of control points (upper vertex group UG: see FIG. 6) of the oral mesh OM that will serve as the fixing part.
- -Matrix A function representing rotation and translation movements of the lower jaw.
- - P move data of the lower vertex group BG of the modified oral mesh DO.
- - L olip A list of control points of the oral cavity mesh OM located at the lips (lip apex group LG: see FIG. 5).
- ⁇ M o ′ Data of deformed oral mesh DO.
- ⁇ M' Data of integrated mesh FO.
- the mesh reading unit 13 reads the base facial mesh BF, modified facial mesh DF (“M f ”), and base oral mesh BO (“M o ”) from the storage device 20 .
- the mesh reading unit 13 stores a list of vertex groups (“L fo ”) used in the mandibular posture estimation process, and a list of control points (“L omove ”, “L ofix ”, “L olip ”) are read from the storage device 20. The ID of each vertex is defined in the list.
- the mesh reading unit 13 reads a list of each vertex group as vertex information (step S1).
- the base oral cavity mesh BO in order to perform deformation that simulates the movement of the actual oral cavity, it is determined in advance which vertices of the base oral cavity mesh BO are the control points and what constraints are to be applied to which control points.
- An algorithm that reflects the constraint conditions of each control point is applied to the deformation process of the base oral cavity mesh BO.
- the constraint conditions are determined based on boundary conditions obtained from the actual connection relationship between the jawbone and the oral cavity.
- a lip vertex group, an upper vertex group, and a lower vertex group are defined in the list of control points used for the deformation process of the base oral cavity mesh BO.
- FIG. 5 is a diagram showing an example of the lip vertex group LG.
- FIG. 6 is a diagram showing an example of the upper vertex group UG.
- FIG. 7 is a diagram showing an example of the lower vertex group BG.
- the upper right diagram in FIG. 6 is a diagram in which the base facial mesh BF shown in the upper left diagram in FIG. 6 is made transparent to visualize the oral cavity (indicated by frame FL).
- the lip vertex group LG includes a plurality of vertices (lip vertices LV) located at the lips of the oral cavity mesh OM.
- the lip vertex group LG is a control point group for deforming the oral cavity mesh OM in accordance with the movement of the lips of the face mesh FM.
- the lip vertex group LG is set to realize the structural constraint that the deformed oral cavity mesh DO is connected to the deformed face mesh DF at the lip portion. By using the lip vertex group LG as a control point group, the movement of the facial mesh FM can be reflected on the oral cavity mesh OM.
- the upper vertex group UG includes a plurality of vertices (upper vertices UV) located at the upper part of the oral cavity mesh OM.
- the upper vertex group UG is a vertex group that explicitly fixes the movement of the upper part of the oral cavity mesh OM.
- the upper vertex group UG is set to realize the structural constraint that the upper part of the oral cavity is fixed near the maxilla. Therefore, the upper vertex group UG includes a vertex group at a portion corresponding to the joint between the upper jaw and the oral cavity mesh OM.
- the upper part of the oral cavity is actually connected to the skull, allowing for movement of the head and neck. It does not move except when the entire skull moves, such as when the skull is tilted. This feature can be imitated by using the upper vertex group UG as a fixed vertex group.
- the lower vertex group BG includes a plurality of vertices (lower vertices BV) located at the lower part of the oral cavity mesh OM.
- the lower vertex group BG is a vertex group that operates the oral cavity mesh OM in conjunction with the movement of the lower jaw.
- the lower apex group BG is set to realize the structural constraint that the lower part of the oral cavity is connected to the mandible via the suprahyoid muscle group. Therefore, the lower vertex group BG includes a vertex group at a portion corresponding to the joint between the lower jaw and the oral cavity mesh OM.
- the lower vertex group BG plays a central role in deforming the oral mesh OM.
- the lower vertex group BG moves in conjunction with the movement of the lower jaw and deforms the oral cavity mesh OM.
- the suprahyoid muscle group Referring to the structure of the human body, the lower part of the oral cavity is called the suprahyoid muscle group.
- the suprahyoid muscles are located between the back of the tongue and the lower jaw, and work with the infrahyoid muscles to open and close the jaw.
- the suprahyoid muscle group basically does not change its shape significantly, but it contracts slightly to pull the jaw down.
- the lower apex group BG includes a group of apexes corresponding to the suprahyoid muscle group.
- FIG. 4 is a diagram showing an example of the vertex group EG for jaw opening/closing estimation.
- the vertex group EG for estimating jaw opening/closing is a vertex group for estimating six degrees of freedom (rotation, translation) when opening/closing the jaw from the deformed face mesh DO.
- the jaw opening/closing estimation vertex group EG includes one or more vertices located on the upper jaw and one or more vertices located on the lower jaw.
- the jaw opening/closing estimation apex group EG includes a plurality of vertices (jaw opening/closing estimation vertices EV) located at areas where the skin moves least when the jaw opens and closes.
- vertices EV vertices located at areas where the skin moves least when the jaw opens and closes.
- seven vertices located near the lower part of the lips and the ears are selected as the vertices EV for jaw opening/closing estimation based on the analysis of the skeleton and the observation results of the face.
- the lower jaw parameter calculation unit 14 calculates the movement of the lower jaw based on the coordinate information of the jaw opening/closing estimation vertex group EG set in the face mesh FM (step S2).
- the lower jaw parameter calculation unit 14 obtains the base face mesh BF and the deformed face mesh DF from the mesh reading unit 13.
- the lower jaw parameter calculation unit 14 acquires the coordinates of the jaw opening/closing estimation vertex group EG before the facial expression changes from the base face mesh BF based on the vertex information (“L fo ”).
- the lower jaw parameter calculation unit 14 acquires the coordinates of the jaw opening/closing estimation vertex group EG after the facial expression has changed from the deformed face mesh DF based on the vertex information (“L fo ”).
- the mandibular parameter calculation unit 14 compares the coordinates of the vertex group EG for estimating jaw opening/closing before the facial expression changes with the coordinates of the vertex group EG for estimating jaw opening/closing after the facial expression changes. Based on the comparison results, the mandibular parameter calculation unit 14 calculates the movement of the mandible as a function (“Matrix”) indicating rotational and translational movements of the mandible with respect to the upper jaw.
- Motrix a function
- the opening and closing of the jaw is basically expressed as rotational movement.
- the human lower jaw rotates from the temporomandibular joint (TMJ) located near the ear, and is known to not simply descend when opening and closing, but diagonally toward the neck. .
- the TMJ is a joint that allows movement other than rotation, and it is possible to move back and forth or move as if only one side is removed.
- TMJ operation has also been pointed out in the field of computer graphics.
- jaw movement is expressed in six degrees of freedom (XYZ rotation, XYZ movement), and TMJ movement is estimated including movements other than rotation (see References 1 and 2 below).
- the XYZ axes are assumed to be a right-handed coordinate system and a coordinate system in which the X axis passes through the left and right TMJs.
- parameters with six degrees of freedom are estimated from the jaw opening/closing estimation vertex group EG.
- SVD Single Value Decomposition
- XY rotation, Z rotation degrees of freedom
- the oral cavity mesh transformation unit 15 transforms the coordinates of the lower vertex group BG of the base oral cavity mesh BO using the function (“Matrix”) acquired from the mandibular parameter calculation unit 14. For example, by applying six degrees of freedom parameters estimated by SVD to a target vertex using commonly used matrix operations, the vertex can be moved to an arbitrary position.
- the oral mesh deformation unit 15 obtains the coordinates of the lower vertex group BG of the base oral mesh BO after conversion as the coordinates (“P omove ”) of the lower vertex group BG of the modified oral mesh DO (step S3).
- the oral mesh deformation unit 15 acquires the deformed facial mesh DF from the mesh reading unit 13.
- the oral cavity mesh deformation unit 15 calculates the coordinates of the lip vertex group LG and the upper vertex group UG of the modified oral cavity mesh DO based on the coordinate information of the modified facial mesh DF.
- the oral mesh deformation unit 15 uses the calculated coordinates of the lip vertex group LG, upper vertex group UG, and lower vertex group BG as the coordinates of the control point group to perform a deformation process on the base oral cavity mesh BO by LSD (step S4 ).
- LSD is adopted as a method for realizing this.
- LSD is an algorithm that parameterizes connection information between vertices in an initial state for an input mesh, and performs deformation while maintaining the original shape to some extent when a certain vertex in the mesh moves.
- the oral mesh deformation unit 15 acquires the base oral mesh BO from the mesh reading unit 13 as the oral mesh OM to be transformed.
- the oral mesh deformation unit 15 fixes the upper vertex group UG of the base oral mesh BO to the upper jaw position of the face mesh FM, and lowers the lower vertices of the base oral mesh BO that are not explicitly fixed to the lower jaw position of the face mesh FM.
- the base oral mesh BO is deformed by moving the group BG in accordance with the movement of the lower jaw of the face mesh FM. Through this deformation process, a deformed oral cavity mesh DO (“M o ′”) is generated.
- the oral mesh deformation unit 15 imparts a movement imitating the movement of the suprahyoid muscle group to a group of vertices corresponding to the suprahyoid muscle group among the lower apex group BG.
- the oral mesh deformation unit 15 sets a lip vertex group LG that is moved in accordance with the movement of the lips of the face mesh FM and a lower vertex group BG that is moved in accordance with the movement of the lower jaw as a control point group.
- the oral mesh deformation unit 15 deforms the oral mesh OM by moving peripheral vertices (peripheral vertices) of the oral mesh OM around the control point group based on the set control point group. As a result, a highly accurate deformed oral cavity mesh DO is generated.
- the mesh integrating unit 16 integrates the facial mesh FM and the oral cavity mesh OM based on a group of vertices of the lips located at the boundary between the facial mesh FM and the oral cavity mesh OM. Thereby, the mesh integration unit 16 generates an integrated mesh FO ("M'") (step S5). For example, the integration process is performed by aligning the vertices of the lips of the deformed oral mesh DO and the vertices of the lips of the deformed face mesh DF, and connecting the deformed oral mesh DO and the deformed face mesh DF. be exposed.
- the facial mesh FM includes only mesh information for the surface portion of the face and does not include mesh information for the oral cavity.
- the integration process is performed by replacing the oral cavity mesh of the modified facial mesh DF with the modified oral cavity mesh DO.
- FIGS. 8 and 9 are diagrams illustrating an example of an integrated model obtained by the method of the present disclosure.
- FIG. 8 shows the integrated model FO with a pursed-mouth expression as a front view.
- FIG. 9 shows a cross-sectional view of the integrated model FO with the same facial expression as in FIG. 8.
- the diagram on the left is a comparative example using the conventional method, and the diagram on the right is an example using the method of the present disclosure.
- a part of the deformed oral mesh DO of the comparative example protrudes outside the deformed facial mesh DF. In the example, such protrusion does not occur.
- FIG. 9 it is possible to confirm what kind of difference occurs between the example and the comparative example in the mouth.
- the deformed oral mesh DO has a shape that looks like it is collapsed forward.
- the modified oral mesh DO does not change much from the initial state (base oral mesh BO) and maintains the shape of a bag.
- the deformation method of the present disclosure operates the upper, lower, and front parts of the oral cavity, and deforms the other parts so as to approximate the original shape.
- the upper part of the oral cavity is fixed at a place where it is installed with the skull, and the shape of the oral mesh OM is determined by the movement of the lower part of the oral cavity and the lips.
- the entire shape of the oral cavity mesh OM is determined with reference to the deformation of only the facial surface, that is, only the lips.
- the shape of the oral cavity mesh OM is kept close to the actual structure.
- FIG. 10 is a diagram illustrating an example of the hardware configuration of the information processing device 10.
- the computer 1000 includes a CPU (Central Processing Unit) 1100, a RAM (Random Access Memory) 1200, a ROM (Read Only Memory) 1300, and an HDD (Hard Disk). (Drive) 1400, a communication interface 1500, and an input/output interface 1600. Each part of computer 1000 is connected by bus 1050.
- CPU Central Processing Unit
- RAM Random Access Memory
- ROM Read Only Memory
- HDD Hard Disk
- the CPU 1100 operates based on a program (program data 1450) stored in the ROM 1300 or the HDD 1400, and controls each part. For example, CPU 1100 loads programs stored in ROM 1300 or HDD 1400 into RAM 1200, and executes processes corresponding to various programs.
- program data 1450 program data 1450
- the ROM 1300 stores boot programs such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, programs that depend on the hardware of the computer 1000, and the like.
- BIOS Basic Input Output System
- the HDD 1400 is a computer-readable non-temporary recording medium that non-temporarily records programs executed by the CPU 1100 and data used by the programs.
- the HDD 1400 is a recording medium that records the information processing program according to the embodiment, which is an example of the program data 1450.
- Communication interface 1500 is an interface for connecting computer 1000 to external network 1550 (eg, the Internet).
- CPU 1100 receives data from other devices or transmits data generated by CPU 1100 to other devices via communication interface 1500.
- the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
- CPU 1100 receives data from an input device such as a keyboard or mouse via input/output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display device, speaker, or printer via the input/output interface 1600.
- the input/output interface 1600 may function as a media interface that reads a program recorded on a predetermined recording medium.
- Media includes, for example, optical recording media such as DVD (Digital Versatile Disc), PD (Phase Change Rewritable Disk), magneto-optical recording medium such as MO (Magneto-Optical Disk), tape medium, magnetic recording medium, or semiconductor memory. etc. It is.
- the CPU 1100 of the computer 1000 executes the information processing program loaded on the RAM 1200 to realize the functions of each section described above.
- the HDD 1400 stores information processing programs, various models, and various data according to the present disclosure. Note that although the CPU 1100 reads and executes the program data 1450 from the HDD 1400, as another example, these programs may be obtained from another device via the external network 1550.
- the information processing device 10 includes an oral mesh deformation section 15.
- the oral mesh deformation unit 15 fixes the upper vertex group UG of the oral cavity mesh OM at the position of the upper jaw of the face mesh FM, and moves the lower vertex group BG of the oral cavity mesh OM in accordance with the movement of the lower jaw of the face mesh FM. Transform the mesh OM.
- the processing of the information processing apparatus 10 is executed by the computer 1000.
- the computer-readable non-temporary storage medium of the present disclosure stores a program that causes the computer 1000 to implement the processing of the information processing apparatus 10.
- the oral cavity mesh OM is deformed based on the control points of the oral cavity mesh OM calculated from the position of the lower jaw.
- the upper part of the oral mesh OM is fixed at the position of the upper jaw, and the lower part of the oral mesh OM moves according to the movement of the lower jaw, and this movement imitates the movement of the actual oral cavity. Therefore, the oral cavity mesh OM can be appropriately deformed without using markers in the oral cavity.
- the upper vertex group UG includes a vertex group at a portion corresponding to the joint between the upper jaw and the oral cavity mesh OM.
- the lower vertex group BG includes a vertex group at a portion corresponding to the joint between the lower jaw and the oral cavity mesh OM.
- the lower vertex group BG includes a vertex group of a region corresponding to the suprahyoid muscle group.
- the oral mesh deformation unit 15 imparts a movement imitating the movement of the suprahyoid muscle group to the apex group of the region corresponding to the suprahyoid muscle group.
- the oral mesh OM can be deformed to reflect the movement of the suprahyoid muscle group.
- the oral mesh deformation unit 15 sets a lip vertex group LG that is moved in accordance with the movement of the lips of the face mesh FM and a lower vertex group BG that is moved in accordance with the movement of the lower jaw as a control point group.
- the oral mesh deformation unit 15 moves peripheral vertices of the oral cavity mesh OM around the set control point group.
- the information processing device 10 has a mesh integration section 16.
- the mesh integrating unit 16 integrates the facial mesh FM and the oral cavity mesh OM based on a group of vertices of the lips located at the boundary between the facial mesh FM and the oral cavity mesh OM.
- the information processing device 10 has a mandibular parameter calculation unit 14.
- the lower jaw parameter calculation unit 14 calculates the movement of the lower jaw based on the coordinate information of the jaw opening/closing estimation vertex group EG set in the face mesh FM.
- the movement of the lower jaw can be easily calculated without using markers in the oral cavity.
- the vertex group EG for estimating jaw opening/closing includes one or more vertices located on the upper jaw and one or more vertices located on the lower jaw.
- the movement of the lower jaw can be detected satisfactorily based on the positional relationship between the upper jaw and the lower jaw.
- the vertex group EG for estimating jaw opening/closing includes a plurality of vertices located at areas where the skin moves least when the jaw opens/closes.
- the movement of the lower jaw can be calculated with high accuracy.
- an oral mesh deformation unit that deforms the oral mesh by fixing an upper vertex group of the oral mesh at a position of the upper jaw of the facial mesh and moving a lower vertex group of the oral mesh in accordance with the movement of the lower jaw of the facial mesh;
- An information processing device having: (2) The upper vertex group includes a vertex group of a region corresponding to a joint between the upper jaw and the oral cavity mesh, The information processing device according to (1) above. (3)
- the lower apex group includes a group of apexes at a portion corresponding to a joint between the mandible and the oral cavity mesh, The information processing device according to (1) or (2) above.
- the lower vertex group includes a vertex group of a region corresponding to the suprahyoid muscle group, The information processing device according to (3) above.
- the oral mesh deformation section imparts a movement imitating the movement of the suprahyoid muscle group to a group of apexes of a portion corresponding to the suprahyoid muscle group.
- the oral mesh deformation unit sets a group of lip vertices moved in accordance with the movement of the lips of the face mesh and a group of lower vertices moved in accordance with the movement of the mandible as a control point group, and sets the control point group as a control point group.
- the information processing device according to any one of (1) to (5) above.
- (7) comprising a mesh integration unit that integrates the facial mesh and the oral cavity mesh based on a group of vertices of the lips located at the boundary between the facial mesh and the oral cavity mesh;
- the information processing device according to any one of (1) to (6) above.
- (8) a lower jaw parameter calculation unit that calculates the movement of the lower jaw based on coordinate information of a group of vertices for estimating jaw opening/closing set in the face mesh;
- the information processing device according to any one of (1) to (7) above.
- the jaw opening/closing estimation apex group includes one or more vertices located on the upper jaw and one or more vertices located on the lower jaw.
- the group of vertices for estimating jaw opening/closing includes a plurality of vertices located at areas where the skin moves least when opening/closing the jaw.
- An information processing method executed by a computer comprising: (12) deforming the oral cavity mesh by fixing the upper vertex group of the oral mesh at the position of the upper jaw of the facial mesh and moving the lower vertex group of the oral mesh in accordance with the movement of the lower jaw of the facial mesh;
- a computer-readable non-transitory storage medium that stores a program that causes a computer to perform certain tasks.
- Information processing device 14 Mandibular parameter calculation unit 15 Oral mesh transformation unit 16 Mesh integration unit BG Lower vertex group EG Vertex group for jaw opening/closing estimation FM Face mesh LG Lip vertex group OM Oral mesh UG Upper vertex group
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
情報処理装置は、口腔メッシュ変形部を有する。口腔メッシュ変形部は、口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、口腔メッシュの下部頂点群を顔メッシュの下顎の動きに合わせて動かすことで口腔メッシュを変形する。
Description
本発明は、情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体に関する。
フェイシャルマーカをトラッキングすることで顔のモーションを記録する方法が知られている。トラッキングされたモーションをCG(Computer Graphics)キャラクタの顔の3Dモデル(顔メッシュ)に適用することで、フェイシャルアニメーションが実現される。顔メッシュの変形アルゴリズムとしては、Linear Shell Deformation(LSD)が知られている。変形の起点となる顔メッシュの頂点(コントロール点)を指定してLSDを実施すると、コントロール点以外の顔メッシュの頂点がバランスよく移動される。
皺や目、唇、眉毛やまつげなどの顔部分の表現に関しては、顔メッシュの生成技術が広く研究されている。一方で、口の内側に当たる口腔メッシュの生成については改善の余地があった。口腔メッシュは口を閉じた表情では外から見えることはないが、驚きや会話において口が開くときに確認できる部位である。そのため、口腔メッシュの高品位な生成は差異化技術となり得る。
しかし、従来の手法を口腔メッシュに適用すると、次のような問題が生じる。まず、マーカは貼り付けるタイプのものが多いため、唾液などで湿った口腔に設置することは困難である。仮に口腔にマーカを配置できたとしても、口を閉じた場合にマーカが遮蔽されてしまい、コントロール点を設定できない場合がある。この結果、口腔メッシュの飛出しの発生や見た目への悪影響が発生し、その修正のために専門知識を持つアーティストが手作業で修正を施す必要が生じていた。
そこで、本開示では、口腔内のマーカを利用しなくても口腔メッシュを適切に変形させることが可能な情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体を提案する。
本開示によれば、口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体が提供される。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
なお、説明は以下の順序で行われる。
[1.キャラクタ生成処理の概要]
[2.映像制作システム]
[2-1.マーカ位置取得部]
[2-2.顔メッシュ変形部]
[2-3.メッシュ読込み部]
[2-4.下顎パラメータ計算部]
[2-5.口腔メッシュ変形部]
[2-6.メッシュ統合部]
[3.実施例]
[4.ハードウェア構成例]
[5.効果]
[1.キャラクタ生成処理の概要]
[2.映像制作システム]
[2-1.マーカ位置取得部]
[2-2.顔メッシュ変形部]
[2-3.メッシュ読込み部]
[2-4.下顎パラメータ計算部]
[2-5.口腔メッシュ変形部]
[2-6.メッシュ統合部]
[3.実施例]
[4.ハードウェア構成例]
[5.効果]
[1.キャラクタ生成処理の概要]
図1は、本開示のキャラクタ生成処理の概要を説明する図である。
図1は、本開示のキャラクタ生成処理の概要を説明する図である。
CGキャラクタは、顔メッシュFMに口腔メッシュOMおよび内部構造物メッシュMSを組み込むことにより生成される。顔メッシュFM、口腔メッシュOMおよび内部構造物メッシュMSは、ポリゴンメッシュ(以下、単に「メッシュ」と記載する)として構成される。メッシュは、複数の頂点と、隣接する頂点を結んで得られる複数の辺および複数の面と、を含む。以下の説明では口に関連する単語がいくつか登場するが、各単語の定義は以下のとおりである。
・口腔:CGに関係のない、人間の部位としての「口の内側」。
・口腔メッシュ:唇から喉につながる口の内側の袋の3Dモデル。
・内部構造物メッシュ:口の表現に必要な歯、歯茎および舌の3Dモデル。
・顔メッシュ:唇部分で口腔メッシュと接続される、人間の顔の表面部分の3Dモデル。
・コントロール点:LSDにおいてメッシュの変形の起点となる頂点。
・口腔メッシュ:唇から喉につながる口の内側の袋の3Dモデル。
・内部構造物メッシュ:口の表現に必要な歯、歯茎および舌の3Dモデル。
・顔メッシュ:唇部分で口腔メッシュと接続される、人間の顔の表面部分の3Dモデル。
・コントロール点:LSDにおいてメッシュの変形の起点となる頂点。
顔メッシュFMは、フェイシャルマーカのトラッキング結果に基づいて変形される。口腔メッシュOMは、顔メッシュFMに合わせて変形される。口腔メッシュOMは唇部分で顔メッシュFMと接続される。そのため、唇の動きに合わせて口腔メッシュOMが変形される。しかし、唇の動きのみに合わせて無制約に変形を行うと、実際とは異なる変形が生じる可能性がある。そのため、本開示では、口腔メッシュOMの変形処理に対して、実際の口腔の動きを模した制約条件を加えることで、変形の精度が高められている。
例えば、口腔の上部は上顎骨付近につながっており、口腔の下部は舌骨上筋群を介して下顎骨とつながっている。舌骨上筋群は、顎の開閉時に舌骨下筋群と連動して顎の開閉を行う筋肉であり、基本的に形状は大きく変化せず、収縮することで顎を引き下げる。本開示では、このような口腔の動きを口腔メッシュOMの変形の制約として課すことで、実際の口腔の動きを模した口腔メッシュOMが生成される。以下、具体的に説明する。
以下の説明では、ベースとなる変形前の顔メッシュFMをベース顔メッシュBFと記載し、ベースとなる変形前の口腔メッシュOMをベース口腔メッシュBOと記載する。また、変形後の顔メッシュFMを変形顔メッシュDFと記載し、変形後の口腔メッシュOMを変形口腔メッシュDOと記載する。
[2.映像制作システム]
図2は、映像制作システム1の概要を説明する図である。
図2は、映像制作システム1の概要を説明する図である。
映像制作システム1は、フェイシャルマーカのトラッキング技術を用いてデジタルヒューマンを制作するシステムである。映像制作システム1は、アクタACの顔に付されたマーカMKの動きをトラッキングする。アクタACの顔には、予めマーカMKの設置位置を示す複数のマーカポイントMPが設定されている。映像制作システム1は、マーカMK(マーカポイントMPとして定義された顔の部位)どうしの相対的な動きに基づいて、アクタACの表情をモデリングする。
なお、本開示においてアクタACとは、プロフェッショナルなパフォーマに限定されず、一般ユーザも含みうるものとして説明する。本開示においてアクタACとは、デジタルヒューマンを提供するシステムを利用するユーザの総称であり、デジタルヒューマンを利用して特定の目的を実行するユーザを表す用語ではない点に留意されたい。
映像制作システム1は、ベースとなるCGキャラクタの顔メッシュFM(ベース顔メッシュBF)を取得する。映像制作システム1は、モデリングした表情をベース顔メッシュBFに適用することにより、表情モデル(変形顔メッシュDF)を生成する。図1の例では、アクタACの顔メッシュFMがCGキャラクタの顔メッシュとして用いられているが、他のCGキャラクタの顔メッシュFMに、モデリングされた表情が適用されてもよい。
マーカMKが設置されたアクタACの頭には、アクタACを撮影するためのカメラユニットCUが取り付けられる。例えば、カメラユニットCUには、視野を部分的に重畳させた複数台のカメラ30が固定されている。カメラユニットCUは、複数のカメラ30を用いてマーカMKの設置領域全体を撮影する。複数のカメラ30は同期して駆動され、各マーカMKの動きを監視する。マーカポイントMPの動きは、マーカMKの動きとして検出される。顔の動きはマーカポイントMPどうし位置関係に基づいてモデリングされる。
映像制作システム1は、情報処理装置10、記憶装置20およびカメラ30を有する。カメラ30は、マーカMKの設置対象となるアクタACの前に固定される。カメラ30は、マーカMKの設置作業が行われている間、アクタACの顔を所定のフレームレートで撮影し、アクタACの顔画像IMを順次情報処理装置10に出力する。
記憶装置20は、アクタACの顔メッシュFM、口腔メッシュOMおよび内部構造物メッシュMSの情報を記憶する。記憶装置20は、それぞれのモデルに対して、ベースとなる変形前の3Dモデル(ベースメッシュ)を記憶する。例えば、ベースメッシュは、無表情時の形状を表す3Dモデルである。
情報処理装置10は、トラッキングされたマーカMKの位置情報に基づいてベースメッシュを変形する。記憶装置20は、ベースメッシュの変形処理に必要なアルゴリズムおよびパラメータなどの各種情報を記憶する。記憶装置20は、ベースメッシュを変形して得られた3Dモデル(変形メッシュ)も記憶する。
例えば、記憶装置20は、ベースとなるアクタACの顔メッシュFMをベース顔メッシュBFとして記憶する。記憶装置20は、ベースとなるアクタACの口腔メッシュOMをベース口腔メッシュBOとして記憶する。ベース顔メッシュBFおよびベース口腔メッシュBOは、一般的なCGソフトウェアによって作成される。
情報処理装置10は、トラッキングされたマーカMKの位置情報に基づいてベース顔メッシュBFを変形する。情報処理装置10は、変形後のベース顔メッシュBF(変形顔メッシュDF)に合わせてベース口腔メッシュBOを変形する。情報処理装置10は、変形後のベース口腔メッシュ(変形口腔メッシュDO)を変形顔メッシュDFに組み込む。これにより、情報処理装置10は、変形顔メッシュDFと変形顔メッシュDFとを統合した統合メッシュFOを生成する。
情報処理装置10は、内部構造物メッシュMSについても同様の変形処理を行う。情報処理装置10は、変形口腔メッシュDOに合わせて内部構造物メッシュMSを変形し、変形後の内部構造物メッシュMSを変形口腔メッシュDOに組み込む。情報処理装置10は、内部構造物メッシュMSを含む統合メッシュFOを最終的なキャラクタの3Dモデルとして出力する。
例えば、情報処理装置10は、マーカ位置取得部11、顔メッシュ変形部12、メッシュ読込み部13、下顎パラメータ計算部14、口腔メッシュ変形部15およびメッシュ統合部16を有する。
[2-1.マーカ位置取得部]
マーカ位置取得部11は、アクタACの顔画像IMから、アクタACの顔に付された複数のマーカMKの3次元位置を取得する。マーカ位置取得部11は、実測された複数のマーカMKの3次元位置をマーカ位置情報PIとして出力する。
マーカ位置取得部11は、アクタACの顔画像IMから、アクタACの顔に付された複数のマーカMKの3次元位置を取得する。マーカ位置取得部11は、実測された複数のマーカMKの3次元位置をマーカ位置情報PIとして出力する。
マーカMKの位置の取得には、公知のモーションキャプチャシステムやヘッドマウントカメラを用いたフェイシャルキャプチャシステムを利用することができる。図2の例では、カメラユニットCUとして、複数のカメラ30を搭載した複眼のヘッドマウントカメラが用いられている。ヘッドマウントカメラでマーカMKの位置を取得した場合、カメラ30と頭部とが固定されているため、マーカ位置取得部11は頭部の動きに依存しないマーカMKの3次元位置を取得することができる。
マーカMKの位置の取得にモーションキャプチャシステムを利用する場合、取得した3次元位置は、ワールド座標系での位置となるため、頭部の移動を含んだ位置となる。フェイシャルアニメーションを実現するには、顔の部位の動きのみを取得するために、頭部の動きをキャンセルする必要がある。そのため、頭部位置推定用のマーカを頭部に設置し、モーションキャプチャシステムで頭部の6DoF(並進・回転パラメータ)を求め、求めた6DoFの逆行列をマーカMKの位置に適用することで、頭部の動きをキャンセルしたマーカMKの位置を取得することができる。
[2-2.顔メッシュ変形部]
顔メッシュ変形部12は、マーカ位置情報PIに基づいて、ベース顔メッシュBFを変形する。ベース顔メッシュBFの変形手法については公知の手法が採用できる。
顔メッシュ変形部12は、マーカ位置情報PIに基づいて、ベース顔メッシュBFを変形する。ベース顔メッシュBFの変形手法については公知の手法が採用できる。
例えば、顔メッシュ変形部12は、マーカ位置取得部11が検出した複数のマーカMKをベース顔メッシュBFに対して位置合わせする。マーカ位置情報PIに規定されたマーカMKの位置は、モーションキャプチャシステムもしくはフェイシャルキャプチャシステムの座標系(システム座標系)で表されている。そのため、顔メッシュ変形部12は、システム座標系で表された各マーカMKの位置(座標)をベース顔メッシュBFの座標系(モデル座標系)で表される位置に変換する。
例えば、座標変換にはICP(Iterative Closet Point)が利用される。ICPは異なる2つの形状データ間の位置合わせを行うアルゴリズムである。ICPでは剛体変形(並進・回転・拡大)を扱うことができるが、表情の違いなどの非剛体変形を扱うことはできない。そのため、アクタACにベース顔メッシュBFが持つ表情と同じ表情をしてもらい、そのときに取得したマーカ位置情報PIを使って複数のマーカMKをベース顔メッシュBFに位置合わせすることが望ましい。
顔メッシュ変形部12は、ベース顔メッシュBFに位置合わせされたマーカMKの位置をマーカポイントMPの位置として取得する。顔メッシュ変形部12は、マーカポイントMPごとに、マーカポイントMPの初期位置からの変位を検出する。初期位置は、ベース顔メッシュBFに登録されたマーカポイントMPの位置である。顔メッシュ変形部12は、各マーカポイントMPをコントロール点とし、各マーカポイントMPの初期位置からの変位に基づいて顔全体をLSDで変形する。顔メッシュ変形部12は、変形されたベース顔メッシュBFを変形顔メッシュDOとして出力する。
情報処理装置10は、変形顔メッシュDOの座標情報に基づいて、ベース口腔メッシュBOの変形処理を行う。図3は、ベース口腔メッシュBOの変形処理の一例を示す図である。以下、図3を参照しながらメッシュ読込み部13、下顎パラメータ計算部14,口腔メッシュ変形部15およびメッシュ統合部16の構成を説明する。図3中の符号は次のものを示す。
・Mf:変形顔メッシュDFのデータ。
・Lfo:変形顔メッシュDFから変形口腔メッシュDOのコントロール点群の位置を計算するための頂点群(顎開閉推定用頂点群EG:図4参照)のリスト。
・Mo:ベース口腔メッシュBOのデータ。
・Lomove:動作部となる口腔メッシュOMのコントロール点群(下部頂点群BG:図7参照)のリスト。
・Lofix:固定部となる口腔メッシュOMのコントロール点群(上部頂点群UG:図6参照)のリスト。
・Matrix:下顎の回転および並進の動作を表す関数。
・Pomove:変形口腔メッシュDOの下部頂点群BGのデータ。
・Lolip:唇部に位置する口腔メッシュOMのコントロール点群(唇頂点群LG:図5参照)のリスト。
・Mo′:変形口腔メッシュDOのデータ。
・M′:統合メッシュFOのデータ。
・Lfo:変形顔メッシュDFから変形口腔メッシュDOのコントロール点群の位置を計算するための頂点群(顎開閉推定用頂点群EG:図4参照)のリスト。
・Mo:ベース口腔メッシュBOのデータ。
・Lomove:動作部となる口腔メッシュOMのコントロール点群(下部頂点群BG:図7参照)のリスト。
・Lofix:固定部となる口腔メッシュOMのコントロール点群(上部頂点群UG:図6参照)のリスト。
・Matrix:下顎の回転および並進の動作を表す関数。
・Pomove:変形口腔メッシュDOの下部頂点群BGのデータ。
・Lolip:唇部に位置する口腔メッシュOMのコントロール点群(唇頂点群LG:図5参照)のリスト。
・Mo′:変形口腔メッシュDOのデータ。
・M′:統合メッシュFOのデータ。
[2-3.メッシュ読込み部]
メッシュ読込み部13は、記憶装置20からベース顔メッシュBF、変形顔メッシュDF(“Mf”)およびベース口腔メッシュBO(“Mo”)を読み込む。メッシュ読込み部13は、下顎の姿勢推定処理に使用される頂点群のリスト(“Lfo”)、および、ベース口腔メッシュBOの変形処理に使用されるコントロール点群のリスト(“Lomove”、“Lofix”、“Lolip”)を記憶装置20から読み込む。リストには各頂点のIDが規定されている。メッシュ読込み部13は、各頂点群のリストを頂点情報として読み込む(ステップS1)。
メッシュ読込み部13は、記憶装置20からベース顔メッシュBF、変形顔メッシュDF(“Mf”)およびベース口腔メッシュBO(“Mo”)を読み込む。メッシュ読込み部13は、下顎の姿勢推定処理に使用される頂点群のリスト(“Lfo”)、および、ベース口腔メッシュBOの変形処理に使用されるコントロール点群のリスト(“Lomove”、“Lofix”、“Lolip”)を記憶装置20から読み込む。リストには各頂点のIDが規定されている。メッシュ読込み部13は、各頂点群のリストを頂点情報として読み込む(ステップS1)。
本開示では、実際の口腔の動きを模した変形を行うために、ベース口腔メッシュBOのどの頂点をコントロール点とし、どのコントロール点にどのような制約を加えるかが予め決定される。ベース口腔メッシュBOの変形処理には、各コントロール点の制約条件を反映したアルゴリズムが適用される。制約条件は、実際の顎骨と口腔との接続関係から得られる境界条件に基づいて決定される。
例えば、ベース口腔メッシュBOの変形処理に使用されるコントロール点群のリストには、唇頂点群、上部頂点群および下部頂点群が規定されている。図5は、唇頂点群LGの一例を示す図である。図6は、上部頂点群UGの一例を示す図である。図7は、下部頂点群BGの一例を示す図である。図6の上部右側の図は、図6の上部左側に示したベース顔メッシュBFを透明にして口腔部(枠FLで示す)を可視化した図である。
唇頂点群LGは、口腔メッシュOMの唇部に位置する複数の頂点(唇頂点LV)を含む。唇頂点群LGは、顔メッシュFMの唇部の動きに合わせて口腔メッシュOMを変形させるためのコントロール点群である。唇頂点群LGは、変形口腔メッシュDOが唇部分で変形顔メッシュDFに接続されるという構造上の制約を実現するために設定される。唇頂点群LGをコントロール点群として使用することで、顔メッシュFMの動きを口腔メッシュOMに反映させることができる。
上部頂点群UGは、口腔メッシュOMの上部に位置する複数の頂点(上部頂点UV)を含む。上部頂点群UGは、口腔メッシュOMの上部の動きを明示的に固定する頂点群である。上部頂点群UGは、口腔の上部が上顎骨付近に固定されているという構造上の制約を実現するために設定される。そのため、上部頂点群UGは、上顎と口腔メッシュOMとの結合部に相当する部位の頂点群を含む。
人体の構造(ヴァレリー・L・ウィンスロゥ、“モーションを描くための美術解剖学”、マール社、2018年)を参考にすると、口腔の上部は実際に頭蓋骨付近につながっており、首の振りや首をかしげる動きなど、頭蓋骨全体が移動する動き以外では移動しない。上部頂点群UGを固定頂点群として使用することで、この特徴を模すことができる。
下部頂点群BGは、口腔メッシュOMの下部に位置する複数の頂点(下部頂点BV)を含む。下部頂点群BGは、口腔メッシュOMを下顎の動きと連動して動作させる頂点群である。下部頂点群BGは、口腔の下部が舌骨上筋群を介して下顎骨とつながっているという構造上の制約を実現するために設定される。そのため、下部頂点群BGは、下顎と口腔メッシュOMとの結合部に相当する部位の頂点群を含む。
下部頂点群BGは、口腔メッシュOMの変形に中心的な役割を果たす。下部頂点群BGは、下顎の動きに連動して移動し、口腔メッシュOMを変形させる。人体の構造を参照すると、口腔の下部にあたる部分は、舌骨上筋群と呼ばれる部位となる。舌骨上筋群は、舌の裏側と下顎の間に位置し、顎の開閉時に舌骨下筋群と連動して顎の開閉を行う。舌骨上筋群は、基本的に形状は大きく変化せず、若干収縮することで顎を引き下げる。下部頂点群BGは、舌骨上筋群に相当する部位の頂点群を含む。下部頂点群BGに舌骨上筋群の動きを模した動きを付与することで、顎が開閉した際の口腔メッシュOMの形状を再現することができる。
下顎の姿勢推定処理に使用される頂点群のリストには、顎開閉推定用頂点群が規定されている。図4は、顎開閉推定用頂点群EGの一例を示す図である。顎開閉推定用頂点群EGは、変形顔メッシュDOから顎の開閉時の6自由度(回転、並進)を推定するための頂点群である。顎開閉推定用頂点群EGは、上顎上に位置する1以上の頂点と、下顎上に位置する1以上の頂点と、を含む。
例えば、顎開閉推定用頂点群EGは、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点(顎開閉推定用頂点EV)を含む。図4の例では、骨格の分析や顔の観察結果などから、唇の下部および耳の近くに位置する7つの頂点が顎開閉推定用頂点EVとして選択されている。
[2-4.下顎パラメータ計算部]
下顎パラメータ計算部14は、顔メッシュFMに設定された顎開閉推定用頂点群EGの座標情報に基づいて下顎の動きを計算する(ステップS2)。
下顎パラメータ計算部14は、顔メッシュFMに設定された顎開閉推定用頂点群EGの座標情報に基づいて下顎の動きを計算する(ステップS2)。
例えば、下顎パラメータ計算部14は、メッシュ読込み部13からベース顔メッシュBFおよび変形顔メッシュDFを取得する。下顎パラメータ計算部14は、頂点情報(“Lfo”)に基づいて、ベース顔メッシュBFから、表情が変化する前の顎開閉推定用頂点群EGの座標を取得する。下顎パラメータ計算部14は、頂点情報(“Lfo”)に基づいて、変形顔メッシュDFから、表情が変化した後の顎開閉推定用頂点群EGの座標を取得する。
下顎パラメータ計算部14は、表情が変化する前の顎開閉推定用頂点群EGの座標と、表情が変化した後の顎開閉推定用頂点群EGの座標と、を比較する。下顎パラメータ計算部14は、比較結果に基づいて、下顎の動きを、上顎に対する下顎の回転および並進の動作を示す関数(“Matrix”)として算出する。
人体構造の観点から考えた場合、顎の開閉は基本的に回転運動で表現される。人間の下顎は、耳付近にある顎関節(TMJ:Temporomandibular joint)を起点に回転しており、開閉時には単純に下降するのではなく、首の方向に向かって斜めに下がることが知られている。ただし、TMJは回転以外の運動を許す関節であり、前後運動や、片側のみを外したような動きをすることが可能である。
TMJの動作の複雑性はコンピュータグラフィックスの分野でも指摘されている。高品位な研究では、6自由度(XYZ回転、XYZ移動)で顎の動きが表現され、TMJの動きが回転以外の動きも含めて推定されている(下記文献1および文献2を参照)。
[文献1]Gaspard Zoss,Derek Bradley,Pascal Berard, and Thabo Beeler,“An Empirical Rig for Jaw Animation,”ACM Transactions on Graphics, No. 37, Issue 4, Article 59, 2018. DOI: https://doi.org/10.1145/3197517.3201382
[文献2]Gaspard Zoss,Thabo Beeler,Markus Gross, and Derek Bradley,“Accurate Markerless Jaw Tracking for Facial Performance Capture,”ACM Transactions on Graphics, No. 38, Issue 4, Article 50, 2019. DOI: https://doi.org/10.1145/3306346.3323044
本開示においてXYZ軸は、右手座標系かつX軸が左右のTMJを貫くような座標系が想定される。本開示では、顎開閉推定用頂点群EGから6自由度のパラメータが推定される。推定には、例えば下記文献3に記載のSVD(Singular Value Decomposition)と呼ばれる手法が使用される。なお、簡易的に口の開閉を表現するだけの目的であれば、3自由度(XY回転、Z回転)程度でも表現はできるとされており、求められる品位により推定される自由度は変化する。
[文献3]Olga Sorkine-Hornung and Michael Rabinovich,“Least-Squares Rigid Motion Using SVD,”2017. URL:https://igl.ethz.ch/projects/ARAP/svd_rot.pdf
[2-5.口腔メッシュ変形部]
口腔メッシュ変形部15は、下顎パラメータ計算部14から取得した関数(“Matrix”)を用いてベース口腔メッシュBOの下部頂点群BGの座標を変換する。例えば、SVDによって推定された6自由度のパラメータを、一般的に使用される行列演算を用いて対象の頂点に適用することで、任意の位置に頂点を移動させることができる。口腔メッシュ変形部15は、変換後のベース口腔メッシュBOの下部頂点群BGの座標を変形口腔メッシュDOの下部頂点群BGの座標(“Pomove”)として取得する(ステップS3)。
口腔メッシュ変形部15は、下顎パラメータ計算部14から取得した関数(“Matrix”)を用いてベース口腔メッシュBOの下部頂点群BGの座標を変換する。例えば、SVDによって推定された6自由度のパラメータを、一般的に使用される行列演算を用いて対象の頂点に適用することで、任意の位置に頂点を移動させることができる。口腔メッシュ変形部15は、変換後のベース口腔メッシュBOの下部頂点群BGの座標を変形口腔メッシュDOの下部頂点群BGの座標(“Pomove”)として取得する(ステップS3)。
口腔メッシュ変形部15は、メッシュ読込み部13から変形顔メッシュDFを取得する。口腔メッシュ変形部15は、変形顔メッシュDFの座標情報に基づいて、変形口腔メッシュDOの唇頂点群LGおよび上部頂点群UGの座標を算出する。口腔メッシュ変形部15は、算出された唇頂点群LG、上部頂点群UGおよび下部頂点群BGの座標をコントロール点群の座標として用いて、LSDによりベース口腔メッシュBOの変形処理を行う(ステップS4)。
変形処理は、「あるメッシュの特定の頂点に任意の移動を与えた際、周辺の頂点を調和がとれるよう配置する」処理として捉えることができる。これを実現する手法として、本開示ではLSDが採用される。LSDは、入力されたメッシュについて初期状態の頂点間の連結情報をパラメータ化し、メッシュ内のある頂点が移動した際に元の形状をある程度維持して変形を行うアルゴリズムである。
例えば、口腔メッシュ変形部15は、メッシュ読込み部13から、ベース口腔メッシュBOを、変形対象となる口腔メッシュOMとして取得する。口腔メッシュ変形部15は、ベース口腔メッシュBOの上部頂点群UGを顔メッシュFMの上顎の位置に固定し、顔メッシュFMの下顎の位置に明示的に固定されていないベース口腔メッシュBOの下部頂点群BGを顔メッシュFMの下顎の動きに合わせて動かすことでベース口腔メッシュBOを変形する。この変形処理により、変形口腔メッシュDO(“Mo′”)が生成される。
口腔メッシュ変形部15は、下部頂点群BGのうち、舌骨上筋群に相当する部位の頂点群に、舌骨上筋群の動きを模した動きを付与する。口腔メッシュ変形部15は、顔メッシュFMの唇部の動きに合わせて動かした唇頂点群LG、および、下顎の動きに合わせて動かした下部頂点群BGをコントロール点群として設定する。口腔メッシュ変形部15は、設定されたコントロール点群に基づいて、コントロール点群の周辺にある口腔メッシュOMの周辺の頂点(周辺頂点)を移動することで、口腔メッシュOMを変形する。これにより、精度の高い変形口腔メッシュDOが生成される。
[2-6.メッシュ統合部]
メッシュ統合部16は、顔メッシュFMと口腔メッシュOMとの境界部に位置する唇部の頂点群を基準として顔メッシュFMと口腔メッシュOMとを統合する。これにより、メッシュ統合部16は、統合メッシュFO(“M′”)を生成する(ステップS5)。例えば、統合処理は、変形口腔メッシュDOの唇部の頂点群と変形顔メッシュDFの唇部の頂点群とを位置合わせして、変形口腔メッシュDOと変形顔メッシュDFとを接続することにより行われる。
メッシュ統合部16は、顔メッシュFMと口腔メッシュOMとの境界部に位置する唇部の頂点群を基準として顔メッシュFMと口腔メッシュOMとを統合する。これにより、メッシュ統合部16は、統合メッシュFO(“M′”)を生成する(ステップS5)。例えば、統合処理は、変形口腔メッシュDOの唇部の頂点群と変形顔メッシュDFの唇部の頂点群とを位置合わせして、変形口腔メッシュDOと変形顔メッシュDFとを接続することにより行われる。
なお、本開示では、顔メッシュFMが顔の表面部分のメッシュ情報のみを含み、口腔部のメッシュ情報を含まないものとして説明を行った。しかし、顔メッシュFMが口腔部のメッシュ情報を含む場合には、統合処理は、変形顔メッシュDFの口腔部のメッシュを変形口腔メッシュDOによって置き換えることにより行われる。
統合メッシュFOの生成過程では、顎の回転および並進の情報が計算される。この情報を用いて、変形口腔メッシュDOに、歯、歯茎および舌などの内部構造物(内部構造物メッシュMS)を違和感なく配置することもできる。この際、内部構造物を構成する各3Dオブジェクトに対して回転および並進の情報を行列で表現し、三次元頂点座標とこの行列を掛け合わせることで最終的な位置を計算することができる。このような方法で内部構造物メッシュMSを組み込むことで、特殊な技能を持たないユーザでも、各表情において適切な位置に歯・歯茎・舌などの内部構造物を配置することができる。
[3.実施例]
図8および図9は、本開示の手法で得られた統合モデルの一例を示す図である。図8は、口をすぼめた表情の統合モデルFOを正面図として示している。図9は、図8と同じ表情の統合モデルFOを断面図として示している。図8および図9において、左側の図は、従来の手法を用いた比較例であり、右側の図は、本開示の手法を用いた実施例である。
図8および図9は、本開示の手法で得られた統合モデルの一例を示す図である。図8は、口をすぼめた表情の統合モデルFOを正面図として示している。図9は、図8と同じ表情の統合モデルFOを断面図として示している。図8および図9において、左側の図は、従来の手法を用いた比較例であり、右側の図は、本開示の手法を用いた実施例である。
図8の例では、比較例の変形口腔メッシュDOの一部が変形顔メッシュDFの外側に飛び出している。実施例では、このような飛び出しは生じていない。図9の例では、口内において実施例と比較例との間にどのような違いが生じているのかが確認できる。比較例では、ベース口腔メッシュBOが唇の動きのみに合わせて無制約に変形された結果、変形口腔メッシュDOが前方につぶれたような形状となっている。実施例では、変形口腔メッシュDOが初期状態(ベース口腔メッシュBO)から大きく変化せず、袋としての形状を保っている。
このような違いは、導入したアルゴリズムと固定部位によって生み出されている。本開示の変形手法は、口腔の上部・下部・前方を操作し、他をもとの形状に近づくよう変形するものである。この結果、口腔の上部は頭蓋骨と設置するような場所に固定され、口腔の下部と唇の動きによって口腔メッシュOMの形状が決定される。比較例では、顔表面のみ、つまり唇部分のみの変形を参考に口腔メッシュOMの形状全てが決定されている。実施例では、口腔の上下で一部の頂点を操作する制約を課した結果、口腔メッシュOMの形状が実際の構造に近い形状に保たれている。
[4.ハードウェア構成例]
図10は、情報処理装置10のハードウェア構成の一例を示す図である。
図10は、情報処理装置10のハードウェア構成の一例を示す図である。
情報処理装置10の情報処理は、例えば、コンピュータ1000によって実現される。コンピュータ1000は、CPU(Central Processing Unit)1100、RAM(Random Access Memory)1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、および入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300またはHDD1400に格納されたプログラム(プログラムデータ1450)に基づいて動作し、各部の制御を行う。たとえば、CPU1100は、ROM1300またはHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)などのブートプログラムや、コンピュータ1000のハードウェアに依存するプログラムなどを格納する。
HDD1400は、CPU1100によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータが読み取り可能な非一時的記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例としての、実施形態にかかる情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(たとえばインターネット)と接続するためのインターフェイスである。たとえば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。たとえば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、表示装置やスピーカーやプリンタなどの出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)などの光学記録媒体、MO(Magneto-Optical disk)などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
たとえば、コンピュータ1000が実施形態にかかる情報処理装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、前述した各部の機能を実現する。また、HDD1400には、本開示にかかる情報処理プログラム、各種モデルおよび各種データが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
[5.効果]
情報処理装置10は、口腔メッシュ変形部15を有する。口腔メッシュ変形部15は、口腔メッシュOMの上部頂点群UGを顔メッシュFMの上顎の位置に固定し、口腔メッシュOMの下部頂点群BGを顔メッシュFMの下顎の動きに合わせて動かすことで口腔メッシュOMを変形する。本開示の情報処理方法は、情報処理装置10の処理がコンピュータ1000により実行される。本開示のコンピュータ読み取り可能な非一時的記憶媒体は、情報処理装置10の処理をコンピュータ1000に実現させるプログラムを記憶する。
情報処理装置10は、口腔メッシュ変形部15を有する。口腔メッシュ変形部15は、口腔メッシュOMの上部頂点群UGを顔メッシュFMの上顎の位置に固定し、口腔メッシュOMの下部頂点群BGを顔メッシュFMの下顎の動きに合わせて動かすことで口腔メッシュOMを変形する。本開示の情報処理方法は、情報処理装置10の処理がコンピュータ1000により実行される。本開示のコンピュータ読み取り可能な非一時的記憶媒体は、情報処理装置10の処理をコンピュータ1000に実現させるプログラムを記憶する。
この構成によれば、下顎の位置から算出される口腔メッシュOMのコントロール点に基づいて口腔メッシュOMの変形が行われる。口腔メッシュOMの上部は上顎の位置に固定され、口腔メッシュOMの下部は下顎の動きに合わせて動くが、この動きは実際の口腔の動きを模したものとなっている。そのため、口腔内のマーカを利用しなくても口腔メッシュOMを適切に変形させることができる。
上部頂点群UGは、上顎と口腔メッシュOMとの結合部に相当する部位の頂点群を含む。
この構成によれば、口腔の上部が上顎骨付近に固定されているという構造上の制約が実現される。
下部頂点群BGは、下顎と口腔メッシュOMとの結合部に相当する部位の頂点群を含む。
この構成によれば、口腔の下部が下顎骨とつながっているという構造上の制約が実現される。
下部頂点群BGは、舌骨上筋群に相当する部位の頂点群を含む。
この構成によれば、口腔の下部が舌骨上筋群を介して下顎骨とつながっているという構造上の制約が実現される。
口腔メッシュ変形部15は、舌骨上筋群に相当する部位の頂点群に、舌骨上筋群の動きを模した動きを付与する。
この構成によれば、舌骨上筋群の動きを反映した口腔メッシュOMの変形を行うことができる。
口腔メッシュ変形部15は、顔メッシュFMの唇部の動きに合わせて動かした唇頂点群LG、および、下顎の動きに合わせて動かした下部頂点群BGをコントロール点群として設定する。口腔メッシュ変形部15は、設定されたコントロール点群の周辺にある口腔メッシュOMの周辺頂点を移動する。
この構成によれば、精度のよい変形口腔メッシュDOが生成される。
情報処理装置10は、メッシュ統合部16を有する。メッシュ統合部16は、顔メッシュFMと口腔メッシュOMとの境界部に位置する唇部の頂点群を基準として顔メッシュFMと口腔メッシュOMとを統合する。
この構成によれば、変形口腔メッシュDOが唇部分で変形顔メッシュDFに接続されるという構造上の制約が実現される。
情報処理装置10は、下顎パラメータ計算部14を有する。下顎パラメータ計算部14は、顔メッシュFMに設定された顎開閉推定用頂点群EGの座標情報に基づいて下顎の動きを計算する。
この構成によれば、口腔内のマーカを用いることなく容易に下顎の動きが算出される。
顎開閉推定用頂点群EGは、上顎上に位置する1以上の頂点と、下顎上に位置する1以上の頂点と、を含む。
この構成によれば、上顎と下顎の位置関係に基づいて下顎の動きが良好に検出される。
顎開閉推定用頂点群EGは、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む。
この構成によれば、下顎の動きが精度よく算出される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
[付記]
なお、本技術は以下のような構成も採ることができる。
(1)
口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、
を有する情報処理装置。
(2)
前記上部頂点群は、前記上顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
上記(1)に記載の情報処理装置。
(3)
前記下部頂点群は、前記下顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
上記(1)または(2)に記載の情報処理装置。
(4)
前記下部頂点群は、舌骨上筋群に相当する部位の頂点群を含む、
上記(3)に記載の情報処理装置。
(5)
前記口腔メッシュ変形部は、前記舌骨上筋群に相当する部位の頂点群に、前記舌骨上筋群の動きを模した動きを付与する、
上記(4)に記載の情報処理装置。
(6)
前記口腔メッシュ変形部は、前記顔メッシュの唇部の動きに合わせて動かした唇頂点群、および、前記下顎の動きに合わせて動かした前記下部頂点群をコントロール点群として設定し、前記コントロール点群の周辺にある前記口腔メッシュの周辺頂点を移動する、
上記(1)ないし(5)のいずれか1つに記載の情報処理装置。
(7)
前記顔メッシュと前記口腔メッシュとの境界部に位置する唇部の頂点群を基準として前記顔メッシュと前記口腔メッシュとを統合するメッシュ統合部を有する、
上記(1)ないし(6)のいずれか1つに記載の情報処理装置。
(8)
前記顔メッシュに設定された顎開閉推定用頂点群の座標情報に基づいて前記下顎の動きを計算する下顎パラメータ計算部を有する、
上記(1)ないし(7)のいずれか1つに記載の情報処理装置。
(9)
前記顎開閉推定用頂点群は、上顎上に位置する1以上の頂点と、下顎上に位置する1以上の頂点と、を含む、
上記(8)に記載の情報処理装置。
(10)
前記顎開閉推定用頂点群は、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む、
上記(8)または(9)に記載の情報処理装置。
(11)
口腔メッシュの顔メッシュの上部頂点群を上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
ことを有する、コンピュータにより実行される情報処理方法。
(12)
口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
ことをコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体。
なお、本技術は以下のような構成も採ることができる。
(1)
口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、
を有する情報処理装置。
(2)
前記上部頂点群は、前記上顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
上記(1)に記載の情報処理装置。
(3)
前記下部頂点群は、前記下顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
上記(1)または(2)に記載の情報処理装置。
(4)
前記下部頂点群は、舌骨上筋群に相当する部位の頂点群を含む、
上記(3)に記載の情報処理装置。
(5)
前記口腔メッシュ変形部は、前記舌骨上筋群に相当する部位の頂点群に、前記舌骨上筋群の動きを模した動きを付与する、
上記(4)に記載の情報処理装置。
(6)
前記口腔メッシュ変形部は、前記顔メッシュの唇部の動きに合わせて動かした唇頂点群、および、前記下顎の動きに合わせて動かした前記下部頂点群をコントロール点群として設定し、前記コントロール点群の周辺にある前記口腔メッシュの周辺頂点を移動する、
上記(1)ないし(5)のいずれか1つに記載の情報処理装置。
(7)
前記顔メッシュと前記口腔メッシュとの境界部に位置する唇部の頂点群を基準として前記顔メッシュと前記口腔メッシュとを統合するメッシュ統合部を有する、
上記(1)ないし(6)のいずれか1つに記載の情報処理装置。
(8)
前記顔メッシュに設定された顎開閉推定用頂点群の座標情報に基づいて前記下顎の動きを計算する下顎パラメータ計算部を有する、
上記(1)ないし(7)のいずれか1つに記載の情報処理装置。
(9)
前記顎開閉推定用頂点群は、上顎上に位置する1以上の頂点と、下顎上に位置する1以上の頂点と、を含む、
上記(8)に記載の情報処理装置。
(10)
前記顎開閉推定用頂点群は、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む、
上記(8)または(9)に記載の情報処理装置。
(11)
口腔メッシュの顔メッシュの上部頂点群を上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
ことを有する、コンピュータにより実行される情報処理方法。
(12)
口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
ことをコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体。
10 情報処理装置
14 下顎パラメータ計算部
15 口腔メッシュ変形部
16 メッシュ統合部
BG 下部頂点群
EG 顎開閉推定用頂点群
FM 顔メッシュ
LG 唇頂点群
OM 口腔メッシュ
UG 上部頂点群
14 下顎パラメータ計算部
15 口腔メッシュ変形部
16 メッシュ統合部
BG 下部頂点群
EG 顎開閉推定用頂点群
FM 顔メッシュ
LG 唇頂点群
OM 口腔メッシュ
UG 上部頂点群
Claims (12)
- 口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、
を有する情報処理装置。 - 前記上部頂点群は、前記上顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
請求項1に記載の情報処理装置。 - 前記下部頂点群は、前記下顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
請求項1に記載の情報処理装置。 - 前記下部頂点群は、舌骨上筋群に相当する部位の頂点群を含む、
請求項3に記載の情報処理装置。 - 前記口腔メッシュ変形部は、前記舌骨上筋群に相当する部位の頂点群に、前記舌骨上筋群の動きを模した動きを付与する、
請求項4に記載の情報処理装置。 - 前記口腔メッシュ変形部は、前記顔メッシュの唇部の動きに合わせて動かした唇頂点群、および、前記下顎の動きに合わせて動かした前記下部頂点群をコントロール点群として設定し、前記コントロール点群の周辺にある前記口腔メッシュの周辺頂点を移動する、
請求項1に記載の情報処理装置。 - 前記顔メッシュと前記口腔メッシュとの境界部に位置する唇部の頂点群を基準として前記顔メッシュと前記口腔メッシュとを統合するメッシュ統合部を有する、
請求項1に記載の情報処理装置。 - 前記顔メッシュに設定された顎開閉推定用頂点群の座標情報に基づいて前記下顎の動きを計算する下顎パラメータ計算部を有する、
請求項1に記載の情報処理装置。 - 前記顎開閉推定用頂点群は、上顎上に位置する1以上の頂点と、下顎上に位置する1以上の頂点と、を含む、
請求項8に記載の情報処理装置。 - 前記顎開閉推定用頂点群は、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む、
請求項8に記載の情報処理装置。 - 口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
ことを有する、コンピュータにより実行される情報処理方法。 - 口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
ことをコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-140626 | 2022-09-05 | ||
JP2022140626 | 2022-09-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024053345A1 true WO2024053345A1 (ja) | 2024-03-14 |
Family
ID=90190929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/029484 WO2024053345A1 (ja) | 2022-09-05 | 2023-08-15 | 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024053345A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016524999A (ja) * | 2013-07-24 | 2016-08-22 | シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | バーチャル咬合器を作製するための顆状関節軸の位置の測定 |
JP2022020509A (ja) * | 2020-07-20 | 2022-02-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2023
- 2023-08-15 WO PCT/JP2023/029484 patent/WO2024053345A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016524999A (ja) * | 2013-07-24 | 2016-08-22 | シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | バーチャル咬合器を作製するための顆状関節軸の位置の測定 |
JP2022020509A (ja) * | 2020-07-20 | 2022-02-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
KAWAI, MASAHIDE; IWAO, TOMOYORI; MIMA, DAISUKE; MAEJIMA, AKINOBU; MORISHIMA, SHIGEO: "Photorealistic Inner Mouth Synthesis in Speech Animation", PROCEEDINGS OF THE 41ST ANNUAL CONFERENCE OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN (2013); PROCEEDINGS OF THE JOINT SYMPOSIUM ON VISUAL COMPUTING/GRAPHICS AND CAD. 2013; JUNE 22-23, 2013, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, 22 June 2013 (2013-06-22) - 23 June 2013 (2013-06-23), JP, pages 17:1 - 17:7, XP009555136 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5344358B2 (ja) | 演技から作り出される顔アニメーション | |
Ichim et al. | Phace: Physics-based face modeling and animation | |
JP5468047B2 (ja) | デジタル顔モデルのアニメーション化のためのシステム及び方法 | |
Kähler et al. | Reanimating the dead: reconstruction of expressive faces from skull data | |
US8390628B2 (en) | Facial animation using motion capture data | |
Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
Sifakis et al. | Simulating speech with a physics-based facial muscle model | |
JP3288353B2 (ja) | 顔イメージから開始して3d顔モデルを作る方法 | |
US20080136814A1 (en) | System and method for generating 3-d facial model and animation using one video camera | |
JP2003044873A (ja) | 顔の3次元モデルの作成方法及びその変形方法 | |
WO2022019168A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5109192B2 (ja) | モーションキャプチャにおけるfacs(顔の表情符号化システム)解決法 | |
Fels et al. | Artisynth: A biomechanical simulation platform for the vocal tract and upper airway | |
Liu et al. | Data-driven 3d neck modeling and animation | |
WO2024053345A1 (ja) | 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 | |
Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation | |
Ma et al. | Animating visible speech and facial expressions | |
Amirkhanov et al. | WithTeeth: Denture Preview in Augmented Reality. | |
Huang et al. | Detail-preserving controllable deformation from sparse examples | |
WO2024053491A1 (ja) | 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 | |
US20230260238A1 (en) | Method for Generating a Virtual 4D Head and Teeth | |
WO2015042867A1 (zh) | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 | |
Bérar et al. | Towards a generic talking head | |
KR20060067242A (ko) | 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법 | |
JP2005074136A (ja) | 顔形状のモデリング方法及び顔形状モデリング用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23862885 Country of ref document: EP Kind code of ref document: A1 |