WO2024053345A1 - 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 - Google Patents

情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 Download PDF

Info

Publication number
WO2024053345A1
WO2024053345A1 PCT/JP2023/029484 JP2023029484W WO2024053345A1 WO 2024053345 A1 WO2024053345 A1 WO 2024053345A1 JP 2023029484 W JP2023029484 W JP 2023029484W WO 2024053345 A1 WO2024053345 A1 WO 2024053345A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
group
oral
information processing
jaw
Prior art date
Application number
PCT/JP2023/029484
Other languages
English (en)
French (fr)
Inventor
泰成 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024053345A1 publication Critical patent/WO2024053345A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to an information processing device, an information processing method, and a computer-readable non-temporary storage medium.
  • a method of recording facial motion by tracking facial markers is known. Facial animation is realized by applying the tracked motion to a 3D model (face mesh) of the face of a CG (Computer Graphics) character.
  • Linear Shell Deformation is known as a face mesh deformation algorithm. When LSD is performed by specifying a vertex (control point) of the face mesh that is the starting point of deformation, the vertices of the face mesh other than the control point are moved in a well-balanced manner.
  • Facial mesh generation technology has been widely researched to express facial parts such as wrinkles, eyes, lips, eyebrows, and eyelashes.
  • facial parts such as wrinkles, eyes, lips, eyebrows, and eyelashes.
  • the oral mesh is not visible from the outside when the mouth is closed, but it can be seen when the mouth opens when surprised or when talking. Therefore, high-quality generation of oral mesh can be a differentiating technology.
  • the present disclosure proposes an information processing device, an information processing method, and a computer-readable non-temporary storage medium that can appropriately deform an oral cavity mesh without using markers in the oral cavity.
  • the oral mesh is deformed by fixing the upper vertex group of the oral mesh at the position of the upper jaw of the facial mesh, and moving the lower vertex group of the oral mesh in accordance with the movement of the lower jaw of the facial mesh.
  • An information processing device having an oral mesh deformation section is provided. Further, according to the present disclosure, there is provided an information processing method in which the information processing of the information processing device is executed by a computer, and a computer-readable non-temporary computer storing a program that causes the computer to realize the information processing of the information processing device.
  • a storage medium is provided.
  • FIG. 2 is a diagram illustrating an overview of character generation processing according to the present disclosure.
  • 1 is a diagram illustrating an overview of a video production system. It is a figure which shows an example of the deformation process of a base oral cavity mesh.
  • FIG. 3 is a diagram showing an example of a vertex group for estimating jaw opening/closing.
  • FIG. 3 is a diagram showing an example of a group of lip vertices. It is a figure which shows an example of an upper vertex group. It is a figure which shows an example of a lower vertex group.
  • FIG. 2 is a diagram illustrating an example of an integrated model obtained by the method of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of an integrated model obtained by the method of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an information processing device.
  • FIG. 1 is a diagram illustrating an overview of character generation processing according to the present disclosure.
  • the CG character is generated by incorporating the oral cavity mesh OM and internal structure mesh MS into the facial mesh FM.
  • the face mesh FM, the oral cavity mesh OM, and the internal structure mesh MS are configured as polygon meshes (hereinafter simply referred to as "mesh").
  • the mesh includes multiple vertices, multiple edges and multiple faces obtained by connecting adjacent vertices.
  • ⁇ Oral cavity The "inside of the mouth" as a human part that is not related to CG.
  • ⁇ Oral mesh 3D model of the bag inside the mouth that connects the lips to the throat.
  • ⁇ Internal structure mesh 3D models of teeth, gums, and tongue necessary to express the mouth.
  • ⁇ Face mesh A 3D model of the surface of the human face that is connected to the oral mesh at the lips.
  • Control point The vertex that is the starting point of mesh deformation in LSD.
  • the face mesh FM is deformed based on the tracking results of the facial markers.
  • Oral mesh OM is deformed to match facial mesh FM.
  • the oral mesh OM is connected to the facial mesh FM at the lip portion. Therefore, the oral mesh OM is deformed according to the movement of the lips.
  • the accuracy of deformation is improved by adding constraint conditions that simulate the movement of the actual oral cavity to the deformation process of the oral cavity mesh OM.
  • the upper part of the oral cavity is connected to the vicinity of the maxilla, and the lower part of the oral cavity is connected to the mandible via the suprahyoid muscle group.
  • the suprahyoid muscle group is a muscle that opens and closes the jaw in conjunction with the infrahyoid muscle group when opening and closing the jaw, and basically does not change its shape much and pulls the jaw down by contracting.
  • an oral cavity mesh OM that imitates the movement of the actual oral cavity is generated. This will be explained in detail below.
  • the base face mesh FM before deformation will be referred to as the base face mesh BF
  • the base oral mesh OM before deformation will be referred to as the base oral mesh BO
  • the facial mesh FM after deformation will be referred to as a deformed facial mesh DF
  • the oral mesh OM after deformation will be referred to as a deformed oral mesh DO.
  • FIG. 2 is a diagram illustrating an overview of the video production system 1.
  • the video production system 1 is a system that produces a digital human using facial marker tracking technology.
  • the video production system 1 tracks the movement of the marker MK attached to the face of the actor AC.
  • a plurality of marker points MP indicating the installation positions of the markers MK are set in advance on the face of the actor AC.
  • the video production system 1 models the facial expression of the actor AC based on the relative movement of markers MK (parts of the face defined as marker points MP).
  • actor AC is not limited to professional performers, but may also include general users. It should be noted that in this disclosure, actor AC is a general term for users who use a system that provides digital humans, and is not a term that represents users who use digital humans to carry out a specific purpose.
  • the video production system 1 acquires a face mesh FM (base face mesh BF) of a CG character that serves as a base.
  • the video production system 1 generates a facial expression model (deformed facial mesh DF) by applying the modeled facial expression to the base facial mesh BF.
  • a face mesh FM of the actor AC is used as the face mesh of the CG character, but the modeled facial expression may be applied to the face mesh FM of another CG character.
  • a camera unit CU for photographing the actor AC is attached to the head of the actor AC on which the marker MK is installed.
  • a plurality of cameras 30 with partially overlapping fields of view are fixed to the camera unit CU.
  • the camera unit CU uses a plurality of cameras 30 to photograph the entire area where the marker MK is installed.
  • the plurality of cameras 30 are driven synchronously and monitor the movement of each marker MK. Movement of marker point MP is detected as movement of marker MK.
  • the movement of the face is modeled based on the positional relationship between the marker points MP.
  • the video production system 1 includes an information processing device 10, a storage device 20, and a camera 30.
  • the camera 30 is fixed in front of the actor AC on which the marker MK is to be installed.
  • the camera 30 photographs the face of the actor AC at a predetermined frame rate while the marker MK is being installed, and sequentially outputs the face image IM of the actor AC to the information processing device 10.
  • the storage device 20 stores information on the facial mesh FM, oral cavity mesh OM, and internal structure mesh MS of the actor AC.
  • the storage device 20 stores, for each model, a 3D model (base mesh) before deformation that serves as a base.
  • the base mesh is a 3D model that represents the shape when there is no facial expression.
  • the information processing device 10 deforms the base mesh based on the position information of the tracked marker MK.
  • the storage device 20 stores various information such as algorithms and parameters necessary for base mesh deformation processing.
  • the storage device 20 also stores a 3D model (deformed mesh) obtained by deforming the base mesh.
  • the storage device 20 stores the face mesh FM of the base actor AC as the base face mesh BF.
  • the storage device 20 stores the oral mesh OM of the actor AC as the base as the base oral mesh BO.
  • the base facial mesh BF and the base oral cavity mesh BO are created using general CG software.
  • the information processing device 10 transforms the base face mesh BF based on the position information of the tracked marker MK.
  • the information processing device 10 deforms the base oral mesh BO in accordance with the deformed base facial mesh BF (deformed facial mesh DF).
  • the information processing device 10 incorporates the deformed base oral mesh (deformed oral mesh DO) into the deformed facial mesh DF.
  • the information processing device 10 generates an integrated mesh FO that integrates the deformed face mesh DF and the deformed face mesh DF.
  • the information processing device 10 also performs similar deformation processing on the internal structure mesh MS.
  • the information processing device 10 deforms the internal structure mesh MS in accordance with the modified oral cavity mesh DO, and incorporates the transformed internal structure mesh MS into the modified oral cavity mesh DO.
  • the information processing device 10 outputs the integrated mesh FO including the internal structure mesh MS as a final 3D model of the character.
  • the information processing device 10 includes a marker position acquisition section 11 , a face mesh transformation section 12 , a mesh reading section 13 , a lower jaw parameter calculation section 14 , an oral mesh transformation section 15 , and a mesh integration section 16 .
  • the marker position acquisition unit 11 acquires the three-dimensional positions of the plurality of markers MK attached to the face of the actor AC from the face image IM of the actor AC.
  • the marker position acquisition unit 11 outputs the actually measured three-dimensional positions of the plurality of markers MK as marker position information PI.
  • a known motion capture system or facial capture system using a head-mounted camera can be used to obtain the position of the marker MK.
  • a compound-eye head-mounted camera equipped with a plurality of cameras 30 is used as the camera unit CU.
  • the marker position acquisition unit 11 is unable to acquire the three-dimensional position of the marker MK that does not depend on the movement of the head. can.
  • the obtained three-dimensional position is a position in the world coordinate system, and therefore includes movement of the head.
  • 6DoF translation/rotation parameter
  • the face mesh deformation unit 12 transforms the base face mesh BF based on the marker position information PI.
  • a known method can be adopted as a method for deforming the base face mesh BF.
  • the face mesh deformation unit 12 aligns the plurality of markers MK detected by the marker position acquisition unit 11 with respect to the base face mesh BF.
  • the position of the marker MK defined in the marker position information PI is expressed in the coordinate system (system coordinate system) of the motion capture system or facial capture system. Therefore, the face mesh transformation unit 12 transforms the position (coordinates) of each marker MK expressed in the system coordinate system to a position expressed in the coordinate system (model coordinate system) of the base face mesh BF.
  • ICP Intelligent Closet Point
  • ICP is used for coordinate transformation.
  • ICP is an algorithm that aligns two different shape data.
  • ICP can handle rigid deformations (translation, rotation, and expansion), it cannot handle non-rigid deformations such as differences in facial expressions. Therefore, it is desirable to have the actor AC express the same expression as the base face mesh BF, and use the marker position information PI acquired at that time to align the plurality of markers MK with the base face mesh BF.
  • the face mesh deformation unit 12 obtains the position of the marker MK aligned with the base face mesh BF as the position of the marker point MP.
  • the face mesh deformation unit 12 detects the displacement of the marker point MP from the initial position for each marker point MP.
  • the initial position is the position of the marker point MP registered in the base face mesh BF.
  • the face mesh deformation unit 12 uses each marker point MP as a control point, and deforms the entire face using LSD based on the displacement of each marker point MP from its initial position.
  • the face mesh deformation unit 12 outputs the deformed base face mesh BF as a deformed face mesh DO.
  • FIG. 3 is a diagram illustrating an example of the deformation process of the base oral cavity mesh BO.
  • the configurations of the mesh reading section 13, the mandibular parameter calculation section 14, the oral mesh deformation section 15, and the mesh integration section 16 will be explained with reference to FIG.
  • the symbols in FIG. 3 indicate the following.
  • ⁇ M f Data of deformed face mesh DF.
  • - L fo List of vertices (vertex group EG for jaw opening/closing estimation: see FIG. 4) for calculating the position of the control point group of the deformed oral cavity mesh DO from the deformed face mesh DF.
  • ⁇ M o Data of base oral mesh BO.
  • Lomove List of control point group (lower vertex group BG: see FIG. 7) of the oral mesh OM that becomes the moving part.
  • -L ofix List of control points (upper vertex group UG: see FIG. 6) of the oral mesh OM that will serve as the fixing part.
  • -Matrix A function representing rotation and translation movements of the lower jaw.
  • - P move data of the lower vertex group BG of the modified oral mesh DO.
  • - L olip A list of control points of the oral cavity mesh OM located at the lips (lip apex group LG: see FIG. 5).
  • ⁇ M o ′ Data of deformed oral mesh DO.
  • ⁇ M' Data of integrated mesh FO.
  • the mesh reading unit 13 reads the base facial mesh BF, modified facial mesh DF (“M f ”), and base oral mesh BO (“M o ”) from the storage device 20 .
  • the mesh reading unit 13 stores a list of vertex groups (“L fo ”) used in the mandibular posture estimation process, and a list of control points (“L omove ”, “L ofix ”, “L olip ”) are read from the storage device 20. The ID of each vertex is defined in the list.
  • the mesh reading unit 13 reads a list of each vertex group as vertex information (step S1).
  • the base oral cavity mesh BO in order to perform deformation that simulates the movement of the actual oral cavity, it is determined in advance which vertices of the base oral cavity mesh BO are the control points and what constraints are to be applied to which control points.
  • An algorithm that reflects the constraint conditions of each control point is applied to the deformation process of the base oral cavity mesh BO.
  • the constraint conditions are determined based on boundary conditions obtained from the actual connection relationship between the jawbone and the oral cavity.
  • a lip vertex group, an upper vertex group, and a lower vertex group are defined in the list of control points used for the deformation process of the base oral cavity mesh BO.
  • FIG. 5 is a diagram showing an example of the lip vertex group LG.
  • FIG. 6 is a diagram showing an example of the upper vertex group UG.
  • FIG. 7 is a diagram showing an example of the lower vertex group BG.
  • the upper right diagram in FIG. 6 is a diagram in which the base facial mesh BF shown in the upper left diagram in FIG. 6 is made transparent to visualize the oral cavity (indicated by frame FL).
  • the lip vertex group LG includes a plurality of vertices (lip vertices LV) located at the lips of the oral cavity mesh OM.
  • the lip vertex group LG is a control point group for deforming the oral cavity mesh OM in accordance with the movement of the lips of the face mesh FM.
  • the lip vertex group LG is set to realize the structural constraint that the deformed oral cavity mesh DO is connected to the deformed face mesh DF at the lip portion. By using the lip vertex group LG as a control point group, the movement of the facial mesh FM can be reflected on the oral cavity mesh OM.
  • the upper vertex group UG includes a plurality of vertices (upper vertices UV) located at the upper part of the oral cavity mesh OM.
  • the upper vertex group UG is a vertex group that explicitly fixes the movement of the upper part of the oral cavity mesh OM.
  • the upper vertex group UG is set to realize the structural constraint that the upper part of the oral cavity is fixed near the maxilla. Therefore, the upper vertex group UG includes a vertex group at a portion corresponding to the joint between the upper jaw and the oral cavity mesh OM.
  • the upper part of the oral cavity is actually connected to the skull, allowing for movement of the head and neck. It does not move except when the entire skull moves, such as when the skull is tilted. This feature can be imitated by using the upper vertex group UG as a fixed vertex group.
  • the lower vertex group BG includes a plurality of vertices (lower vertices BV) located at the lower part of the oral cavity mesh OM.
  • the lower vertex group BG is a vertex group that operates the oral cavity mesh OM in conjunction with the movement of the lower jaw.
  • the lower apex group BG is set to realize the structural constraint that the lower part of the oral cavity is connected to the mandible via the suprahyoid muscle group. Therefore, the lower vertex group BG includes a vertex group at a portion corresponding to the joint between the lower jaw and the oral cavity mesh OM.
  • the lower vertex group BG plays a central role in deforming the oral mesh OM.
  • the lower vertex group BG moves in conjunction with the movement of the lower jaw and deforms the oral cavity mesh OM.
  • the suprahyoid muscle group Referring to the structure of the human body, the lower part of the oral cavity is called the suprahyoid muscle group.
  • the suprahyoid muscles are located between the back of the tongue and the lower jaw, and work with the infrahyoid muscles to open and close the jaw.
  • the suprahyoid muscle group basically does not change its shape significantly, but it contracts slightly to pull the jaw down.
  • the lower apex group BG includes a group of apexes corresponding to the suprahyoid muscle group.
  • FIG. 4 is a diagram showing an example of the vertex group EG for jaw opening/closing estimation.
  • the vertex group EG for estimating jaw opening/closing is a vertex group for estimating six degrees of freedom (rotation, translation) when opening/closing the jaw from the deformed face mesh DO.
  • the jaw opening/closing estimation vertex group EG includes one or more vertices located on the upper jaw and one or more vertices located on the lower jaw.
  • the jaw opening/closing estimation apex group EG includes a plurality of vertices (jaw opening/closing estimation vertices EV) located at areas where the skin moves least when the jaw opens and closes.
  • vertices EV vertices located at areas where the skin moves least when the jaw opens and closes.
  • seven vertices located near the lower part of the lips and the ears are selected as the vertices EV for jaw opening/closing estimation based on the analysis of the skeleton and the observation results of the face.
  • the lower jaw parameter calculation unit 14 calculates the movement of the lower jaw based on the coordinate information of the jaw opening/closing estimation vertex group EG set in the face mesh FM (step S2).
  • the lower jaw parameter calculation unit 14 obtains the base face mesh BF and the deformed face mesh DF from the mesh reading unit 13.
  • the lower jaw parameter calculation unit 14 acquires the coordinates of the jaw opening/closing estimation vertex group EG before the facial expression changes from the base face mesh BF based on the vertex information (“L fo ”).
  • the lower jaw parameter calculation unit 14 acquires the coordinates of the jaw opening/closing estimation vertex group EG after the facial expression has changed from the deformed face mesh DF based on the vertex information (“L fo ”).
  • the mandibular parameter calculation unit 14 compares the coordinates of the vertex group EG for estimating jaw opening/closing before the facial expression changes with the coordinates of the vertex group EG for estimating jaw opening/closing after the facial expression changes. Based on the comparison results, the mandibular parameter calculation unit 14 calculates the movement of the mandible as a function (“Matrix”) indicating rotational and translational movements of the mandible with respect to the upper jaw.
  • Motrix a function
  • the opening and closing of the jaw is basically expressed as rotational movement.
  • the human lower jaw rotates from the temporomandibular joint (TMJ) located near the ear, and is known to not simply descend when opening and closing, but diagonally toward the neck. .
  • the TMJ is a joint that allows movement other than rotation, and it is possible to move back and forth or move as if only one side is removed.
  • TMJ operation has also been pointed out in the field of computer graphics.
  • jaw movement is expressed in six degrees of freedom (XYZ rotation, XYZ movement), and TMJ movement is estimated including movements other than rotation (see References 1 and 2 below).
  • the XYZ axes are assumed to be a right-handed coordinate system and a coordinate system in which the X axis passes through the left and right TMJs.
  • parameters with six degrees of freedom are estimated from the jaw opening/closing estimation vertex group EG.
  • SVD Single Value Decomposition
  • XY rotation, Z rotation degrees of freedom
  • the oral cavity mesh transformation unit 15 transforms the coordinates of the lower vertex group BG of the base oral cavity mesh BO using the function (“Matrix”) acquired from the mandibular parameter calculation unit 14. For example, by applying six degrees of freedom parameters estimated by SVD to a target vertex using commonly used matrix operations, the vertex can be moved to an arbitrary position.
  • the oral mesh deformation unit 15 obtains the coordinates of the lower vertex group BG of the base oral mesh BO after conversion as the coordinates (“P omove ”) of the lower vertex group BG of the modified oral mesh DO (step S3).
  • the oral mesh deformation unit 15 acquires the deformed facial mesh DF from the mesh reading unit 13.
  • the oral cavity mesh deformation unit 15 calculates the coordinates of the lip vertex group LG and the upper vertex group UG of the modified oral cavity mesh DO based on the coordinate information of the modified facial mesh DF.
  • the oral mesh deformation unit 15 uses the calculated coordinates of the lip vertex group LG, upper vertex group UG, and lower vertex group BG as the coordinates of the control point group to perform a deformation process on the base oral cavity mesh BO by LSD (step S4 ).
  • LSD is adopted as a method for realizing this.
  • LSD is an algorithm that parameterizes connection information between vertices in an initial state for an input mesh, and performs deformation while maintaining the original shape to some extent when a certain vertex in the mesh moves.
  • the oral mesh deformation unit 15 acquires the base oral mesh BO from the mesh reading unit 13 as the oral mesh OM to be transformed.
  • the oral mesh deformation unit 15 fixes the upper vertex group UG of the base oral mesh BO to the upper jaw position of the face mesh FM, and lowers the lower vertices of the base oral mesh BO that are not explicitly fixed to the lower jaw position of the face mesh FM.
  • the base oral mesh BO is deformed by moving the group BG in accordance with the movement of the lower jaw of the face mesh FM. Through this deformation process, a deformed oral cavity mesh DO (“M o ′”) is generated.
  • the oral mesh deformation unit 15 imparts a movement imitating the movement of the suprahyoid muscle group to a group of vertices corresponding to the suprahyoid muscle group among the lower apex group BG.
  • the oral mesh deformation unit 15 sets a lip vertex group LG that is moved in accordance with the movement of the lips of the face mesh FM and a lower vertex group BG that is moved in accordance with the movement of the lower jaw as a control point group.
  • the oral mesh deformation unit 15 deforms the oral mesh OM by moving peripheral vertices (peripheral vertices) of the oral mesh OM around the control point group based on the set control point group. As a result, a highly accurate deformed oral cavity mesh DO is generated.
  • the mesh integrating unit 16 integrates the facial mesh FM and the oral cavity mesh OM based on a group of vertices of the lips located at the boundary between the facial mesh FM and the oral cavity mesh OM. Thereby, the mesh integration unit 16 generates an integrated mesh FO ("M'") (step S5). For example, the integration process is performed by aligning the vertices of the lips of the deformed oral mesh DO and the vertices of the lips of the deformed face mesh DF, and connecting the deformed oral mesh DO and the deformed face mesh DF. be exposed.
  • the facial mesh FM includes only mesh information for the surface portion of the face and does not include mesh information for the oral cavity.
  • the integration process is performed by replacing the oral cavity mesh of the modified facial mesh DF with the modified oral cavity mesh DO.
  • FIGS. 8 and 9 are diagrams illustrating an example of an integrated model obtained by the method of the present disclosure.
  • FIG. 8 shows the integrated model FO with a pursed-mouth expression as a front view.
  • FIG. 9 shows a cross-sectional view of the integrated model FO with the same facial expression as in FIG. 8.
  • the diagram on the left is a comparative example using the conventional method, and the diagram on the right is an example using the method of the present disclosure.
  • a part of the deformed oral mesh DO of the comparative example protrudes outside the deformed facial mesh DF. In the example, such protrusion does not occur.
  • FIG. 9 it is possible to confirm what kind of difference occurs between the example and the comparative example in the mouth.
  • the deformed oral mesh DO has a shape that looks like it is collapsed forward.
  • the modified oral mesh DO does not change much from the initial state (base oral mesh BO) and maintains the shape of a bag.
  • the deformation method of the present disclosure operates the upper, lower, and front parts of the oral cavity, and deforms the other parts so as to approximate the original shape.
  • the upper part of the oral cavity is fixed at a place where it is installed with the skull, and the shape of the oral mesh OM is determined by the movement of the lower part of the oral cavity and the lips.
  • the entire shape of the oral cavity mesh OM is determined with reference to the deformation of only the facial surface, that is, only the lips.
  • the shape of the oral cavity mesh OM is kept close to the actual structure.
  • FIG. 10 is a diagram illustrating an example of the hardware configuration of the information processing device 10.
  • the computer 1000 includes a CPU (Central Processing Unit) 1100, a RAM (Random Access Memory) 1200, a ROM (Read Only Memory) 1300, and an HDD (Hard Disk). (Drive) 1400, a communication interface 1500, and an input/output interface 1600. Each part of computer 1000 is connected by bus 1050.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Disk
  • the CPU 1100 operates based on a program (program data 1450) stored in the ROM 1300 or the HDD 1400, and controls each part. For example, CPU 1100 loads programs stored in ROM 1300 or HDD 1400 into RAM 1200, and executes processes corresponding to various programs.
  • program data 1450 program data 1450
  • the ROM 1300 stores boot programs such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, programs that depend on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable non-temporary recording medium that non-temporarily records programs executed by the CPU 1100 and data used by the programs.
  • the HDD 1400 is a recording medium that records the information processing program according to the embodiment, which is an example of the program data 1450.
  • Communication interface 1500 is an interface for connecting computer 1000 to external network 1550 (eg, the Internet).
  • CPU 1100 receives data from other devices or transmits data generated by CPU 1100 to other devices via communication interface 1500.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
  • CPU 1100 receives data from an input device such as a keyboard or mouse via input/output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display device, speaker, or printer via the input/output interface 1600.
  • the input/output interface 1600 may function as a media interface that reads a program recorded on a predetermined recording medium.
  • Media includes, for example, optical recording media such as DVD (Digital Versatile Disc), PD (Phase Change Rewritable Disk), magneto-optical recording medium such as MO (Magneto-Optical Disk), tape medium, magnetic recording medium, or semiconductor memory. etc. It is.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded on the RAM 1200 to realize the functions of each section described above.
  • the HDD 1400 stores information processing programs, various models, and various data according to the present disclosure. Note that although the CPU 1100 reads and executes the program data 1450 from the HDD 1400, as another example, these programs may be obtained from another device via the external network 1550.
  • the information processing device 10 includes an oral mesh deformation section 15.
  • the oral mesh deformation unit 15 fixes the upper vertex group UG of the oral cavity mesh OM at the position of the upper jaw of the face mesh FM, and moves the lower vertex group BG of the oral cavity mesh OM in accordance with the movement of the lower jaw of the face mesh FM. Transform the mesh OM.
  • the processing of the information processing apparatus 10 is executed by the computer 1000.
  • the computer-readable non-temporary storage medium of the present disclosure stores a program that causes the computer 1000 to implement the processing of the information processing apparatus 10.
  • the oral cavity mesh OM is deformed based on the control points of the oral cavity mesh OM calculated from the position of the lower jaw.
  • the upper part of the oral mesh OM is fixed at the position of the upper jaw, and the lower part of the oral mesh OM moves according to the movement of the lower jaw, and this movement imitates the movement of the actual oral cavity. Therefore, the oral cavity mesh OM can be appropriately deformed without using markers in the oral cavity.
  • the upper vertex group UG includes a vertex group at a portion corresponding to the joint between the upper jaw and the oral cavity mesh OM.
  • the lower vertex group BG includes a vertex group at a portion corresponding to the joint between the lower jaw and the oral cavity mesh OM.
  • the lower vertex group BG includes a vertex group of a region corresponding to the suprahyoid muscle group.
  • the oral mesh deformation unit 15 imparts a movement imitating the movement of the suprahyoid muscle group to the apex group of the region corresponding to the suprahyoid muscle group.
  • the oral mesh OM can be deformed to reflect the movement of the suprahyoid muscle group.
  • the oral mesh deformation unit 15 sets a lip vertex group LG that is moved in accordance with the movement of the lips of the face mesh FM and a lower vertex group BG that is moved in accordance with the movement of the lower jaw as a control point group.
  • the oral mesh deformation unit 15 moves peripheral vertices of the oral cavity mesh OM around the set control point group.
  • the information processing device 10 has a mesh integration section 16.
  • the mesh integrating unit 16 integrates the facial mesh FM and the oral cavity mesh OM based on a group of vertices of the lips located at the boundary between the facial mesh FM and the oral cavity mesh OM.
  • the information processing device 10 has a mandibular parameter calculation unit 14.
  • the lower jaw parameter calculation unit 14 calculates the movement of the lower jaw based on the coordinate information of the jaw opening/closing estimation vertex group EG set in the face mesh FM.
  • the movement of the lower jaw can be easily calculated without using markers in the oral cavity.
  • the vertex group EG for estimating jaw opening/closing includes one or more vertices located on the upper jaw and one or more vertices located on the lower jaw.
  • the movement of the lower jaw can be detected satisfactorily based on the positional relationship between the upper jaw and the lower jaw.
  • the vertex group EG for estimating jaw opening/closing includes a plurality of vertices located at areas where the skin moves least when the jaw opens/closes.
  • the movement of the lower jaw can be calculated with high accuracy.
  • an oral mesh deformation unit that deforms the oral mesh by fixing an upper vertex group of the oral mesh at a position of the upper jaw of the facial mesh and moving a lower vertex group of the oral mesh in accordance with the movement of the lower jaw of the facial mesh;
  • An information processing device having: (2) The upper vertex group includes a vertex group of a region corresponding to a joint between the upper jaw and the oral cavity mesh, The information processing device according to (1) above. (3)
  • the lower apex group includes a group of apexes at a portion corresponding to a joint between the mandible and the oral cavity mesh, The information processing device according to (1) or (2) above.
  • the lower vertex group includes a vertex group of a region corresponding to the suprahyoid muscle group, The information processing device according to (3) above.
  • the oral mesh deformation section imparts a movement imitating the movement of the suprahyoid muscle group to a group of apexes of a portion corresponding to the suprahyoid muscle group.
  • the oral mesh deformation unit sets a group of lip vertices moved in accordance with the movement of the lips of the face mesh and a group of lower vertices moved in accordance with the movement of the mandible as a control point group, and sets the control point group as a control point group.
  • the information processing device according to any one of (1) to (5) above.
  • (7) comprising a mesh integration unit that integrates the facial mesh and the oral cavity mesh based on a group of vertices of the lips located at the boundary between the facial mesh and the oral cavity mesh;
  • the information processing device according to any one of (1) to (6) above.
  • (8) a lower jaw parameter calculation unit that calculates the movement of the lower jaw based on coordinate information of a group of vertices for estimating jaw opening/closing set in the face mesh;
  • the information processing device according to any one of (1) to (7) above.
  • the jaw opening/closing estimation apex group includes one or more vertices located on the upper jaw and one or more vertices located on the lower jaw.
  • the group of vertices for estimating jaw opening/closing includes a plurality of vertices located at areas where the skin moves least when opening/closing the jaw.
  • An information processing method executed by a computer comprising: (12) deforming the oral cavity mesh by fixing the upper vertex group of the oral mesh at the position of the upper jaw of the facial mesh and moving the lower vertex group of the oral mesh in accordance with the movement of the lower jaw of the facial mesh;
  • a computer-readable non-transitory storage medium that stores a program that causes a computer to perform certain tasks.
  • Information processing device 14 Mandibular parameter calculation unit 15 Oral mesh transformation unit 16 Mesh integration unit BG Lower vertex group EG Vertex group for jaw opening/closing estimation FM Face mesh LG Lip vertex group OM Oral mesh UG Upper vertex group

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理装置は、口腔メッシュ変形部を有する。口腔メッシュ変形部は、口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、口腔メッシュの下部頂点群を顔メッシュの下顎の動きに合わせて動かすことで口腔メッシュを変形する。

Description

情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体
　本発明は、情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体に関する。
　フェイシャルマーカをトラッキングすることで顔のモーションを記録する方法が知られている。トラッキングされたモーションをＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）キャラクタの顔の３Ｄモデル（顔メッシュ）に適用することで、フェイシャルアニメーションが実現される。顔メッシュの変形アルゴリズムとしては、Ｌｉｎｅａｒ　Ｓｈｅｌｌ　Ｄｅｆｏｒｍａｔｉｏｎ（ＬＳＤ）が知られている。変形の起点となる顔メッシュの頂点（コントロール点）を指定してＬＳＤを実施すると、コントロール点以外の顔メッシュの頂点がバランスよく移動される。
特許第６７６６０３３号公報
　皺や目、唇、眉毛やまつげなどの顔部分の表現に関しては、顔メッシュの生成技術が広く研究されている。一方で、口の内側に当たる口腔メッシュの生成については改善の余地があった。口腔メッシュは口を閉じた表情では外から見えることはないが、驚きや会話において口が開くときに確認できる部位である。そのため、口腔メッシュの高品位な生成は差異化技術となり得る。
　しかし、従来の手法を口腔メッシュに適用すると、次のような問題が生じる。まず、マーカは貼り付けるタイプのものが多いため、唾液などで湿った口腔に設置することは困難である。仮に口腔にマーカを配置できたとしても、口を閉じた場合にマーカが遮蔽されてしまい、コントロール点を設定できない場合がある。この結果、口腔メッシュの飛出しの発生や見た目への悪影響が発生し、その修正のために専門知識を持つアーティストが手作業で修正を施す必要が生じていた。
　そこで、本開示では、口腔内のマーカを利用しなくても口腔メッシュを適切に変形させることが可能な情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体を提案する。
　本開示によれば、口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体が提供される。
本開示のキャラクタ生成処理の概要を説明する図である。 映像制作システムの概要を説明する図である。 ベース口腔メッシュの変形処理の一例を示す図である。 顎開閉推定用頂点群の一例を示す図である。 唇頂点群の一例を示す図である。 上部頂点群の一例を示す図である。 下部頂点群の一例を示す図である。 本開示の手法で得られた統合モデルの一例を示す図である。 本開示の手法で得られた統合モデルの一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．キャラクタ生成処理の概要］
［２．映像制作システム］
　［２－１．マーカ位置取得部］
　［２－２．顔メッシュ変形部］
　［２－３．メッシュ読込み部］
　［２－４．下顎パラメータ計算部］
　［２－５．口腔メッシュ変形部］
　［２－６．メッシュ統合部］
［３．実施例］
［４．ハードウェア構成例］
［５．効果］
［１．キャラクタ生成処理の概要］
　図１は、本開示のキャラクタ生成処理の概要を説明する図である。
　ＣＧキャラクタは、顔メッシュＦＭに口腔メッシュＯＭおよび内部構造物メッシュＭＳを組み込むことにより生成される。顔メッシュＦＭ、口腔メッシュＯＭおよび内部構造物メッシュＭＳは、ポリゴンメッシュ（以下、単に「メッシュ」と記載する）として構成される。メッシュは、複数の頂点と、隣接する頂点を結んで得られる複数の辺および複数の面と、を含む。以下の説明では口に関連する単語がいくつか登場するが、各単語の定義は以下のとおりである。
・口腔：ＣＧに関係のない、人間の部位としての「口の内側」。
・口腔メッシュ：唇から喉につながる口の内側の袋の３Ｄモデル。
・内部構造物メッシュ：口の表現に必要な歯、歯茎および舌の３Ｄモデル。
・顔メッシュ：唇部分で口腔メッシュと接続される、人間の顔の表面部分の３Ｄモデル。
・コントロール点：ＬＳＤにおいてメッシュの変形の起点となる頂点。
　顔メッシュＦＭは、フェイシャルマーカのトラッキング結果に基づいて変形される。口腔メッシュＯＭは、顔メッシュＦＭに合わせて変形される。口腔メッシュＯＭは唇部分で顔メッシュＦＭと接続される。そのため、唇の動きに合わせて口腔メッシュＯＭが変形される。しかし、唇の動きのみに合わせて無制約に変形を行うと、実際とは異なる変形が生じる可能性がある。そのため、本開示では、口腔メッシュＯＭの変形処理に対して、実際の口腔の動きを模した制約条件を加えることで、変形の精度が高められている。
　例えば、口腔の上部は上顎骨付近につながっており、口腔の下部は舌骨上筋群を介して下顎骨とつながっている。舌骨上筋群は、顎の開閉時に舌骨下筋群と連動して顎の開閉を行う筋肉であり、基本的に形状は大きく変化せず、収縮することで顎を引き下げる。本開示では、このような口腔の動きを口腔メッシュＯＭの変形の制約として課すことで、実際の口腔の動きを模した口腔メッシュＯＭが生成される。以下、具体的に説明する。
　以下の説明では、ベースとなる変形前の顔メッシュＦＭをベース顔メッシュＢＦと記載し、ベースとなる変形前の口腔メッシュＯＭをベース口腔メッシュＢＯと記載する。また、変形後の顔メッシュＦＭを変形顔メッシュＤＦと記載し、変形後の口腔メッシュＯＭを変形口腔メッシュＤＯと記載する。
［２．映像制作システム］
　図２は、映像制作システム１の概要を説明する図である。
　映像制作システム１は、フェイシャルマーカのトラッキング技術を用いてデジタルヒューマンを制作するシステムである。映像制作システム１は、アクタＡＣの顔に付されたマーカＭＫの動きをトラッキングする。アクタＡＣの顔には、予めマーカＭＫの設置位置を示す複数のマーカポイントＭＰが設定されている。映像制作システム１は、マーカＭＫ（マーカポイントＭＰとして定義された顔の部位）どうしの相対的な動きに基づいて、アクタＡＣの表情をモデリングする。
　なお、本開示においてアクタＡＣとは、プロフェッショナルなパフォーマに限定されず、一般ユーザも含みうるものとして説明する。本開示においてアクタＡＣとは、デジタルヒューマンを提供するシステムを利用するユーザの総称であり、デジタルヒューマンを利用して特定の目的を実行するユーザを表す用語ではない点に留意されたい。
　映像制作システム１は、ベースとなるＣＧキャラクタの顔メッシュＦＭ（ベース顔メッシュＢＦ）を取得する。映像制作システム１は、モデリングした表情をベース顔メッシュＢＦに適用することにより、表情モデル（変形顔メッシュＤＦ）を生成する。図１の例では、アクタＡＣの顔メッシュＦＭがＣＧキャラクタの顔メッシュとして用いられているが、他のＣＧキャラクタの顔メッシュＦＭに、モデリングされた表情が適用されてもよい。
　マーカＭＫが設置されたアクタＡＣの頭には、アクタＡＣを撮影するためのカメラユニットＣＵが取り付けられる。例えば、カメラユニットＣＵには、視野を部分的に重畳させた複数台のカメラ３０が固定されている。カメラユニットＣＵは、複数のカメラ３０を用いてマーカＭＫの設置領域全体を撮影する。複数のカメラ３０は同期して駆動され、各マーカＭＫの動きを監視する。マーカポイントＭＰの動きは、マーカＭＫの動きとして検出される。顔の動きはマーカポイントＭＰどうし位置関係に基づいてモデリングされる。
　映像制作システム１は、情報処理装置１０、記憶装置２０およびカメラ３０を有する。カメラ３０は、マーカＭＫの設置対象となるアクタＡＣの前に固定される。カメラ３０は、マーカＭＫの設置作業が行われている間、アクタＡＣの顔を所定のフレームレートで撮影し、アクタＡＣの顔画像ＩＭを順次情報処理装置１０に出力する。
　記憶装置２０は、アクタＡＣの顔メッシュＦＭ、口腔メッシュＯＭおよび内部構造物メッシュＭＳの情報を記憶する。記憶装置２０は、それぞれのモデルに対して、ベースとなる変形前の３Ｄモデル（ベースメッシュ）を記憶する。例えば、ベースメッシュは、無表情時の形状を表す３Ｄモデルである。
　情報処理装置１０は、トラッキングされたマーカＭＫの位置情報に基づいてベースメッシュを変形する。記憶装置２０は、ベースメッシュの変形処理に必要なアルゴリズムおよびパラメータなどの各種情報を記憶する。記憶装置２０は、ベースメッシュを変形して得られた３Ｄモデル（変形メッシュ）も記憶する。
　例えば、記憶装置２０は、ベースとなるアクタＡＣの顔メッシュＦＭをベース顔メッシュＢＦとして記憶する。記憶装置２０は、ベースとなるアクタＡＣの口腔メッシュＯＭをベース口腔メッシュＢＯとして記憶する。ベース顔メッシュＢＦおよびベース口腔メッシュＢＯは、一般的なＣＧソフトウェアによって作成される。
　情報処理装置１０は、トラッキングされたマーカＭＫの位置情報に基づいてベース顔メッシュＢＦを変形する。情報処理装置１０は、変形後のベース顔メッシュＢＦ（変形顔メッシュＤＦ）に合わせてベース口腔メッシュＢＯを変形する。情報処理装置１０は、変形後のベース口腔メッシュ（変形口腔メッシュＤＯ）を変形顔メッシュＤＦに組み込む。これにより、情報処理装置１０は、変形顔メッシュＤＦと変形顔メッシュＤＦとを統合した統合メッシュＦＯを生成する。
　情報処理装置１０は、内部構造物メッシュＭＳについても同様の変形処理を行う。情報処理装置１０は、変形口腔メッシュＤＯに合わせて内部構造物メッシュＭＳを変形し、変形後の内部構造物メッシュＭＳを変形口腔メッシュＤＯに組み込む。情報処理装置１０は、内部構造物メッシュＭＳを含む統合メッシュＦＯを最終的なキャラクタの３Ｄモデルとして出力する。
　例えば、情報処理装置１０は、マーカ位置取得部１１、顔メッシュ変形部１２、メッシュ読込み部１３、下顎パラメータ計算部１４、口腔メッシュ変形部１５およびメッシュ統合部１６を有する。
［２－１．マーカ位置取得部］
　マーカ位置取得部１１は、アクタＡＣの顔画像ＩＭから、アクタＡＣの顔に付された複数のマーカＭＫの３次元位置を取得する。マーカ位置取得部１１は、実測された複数のマーカＭＫの３次元位置をマーカ位置情報ＰＩとして出力する。
　マーカＭＫの位置の取得には、公知のモーションキャプチャシステムやヘッドマウントカメラを用いたフェイシャルキャプチャシステムを利用することができる。図２の例では、カメラユニットＣＵとして、複数のカメラ３０を搭載した複眼のヘッドマウントカメラが用いられている。ヘッドマウントカメラでマーカＭＫの位置を取得した場合、カメラ３０と頭部とが固定されているため、マーカ位置取得部１１は頭部の動きに依存しないマーカＭＫの３次元位置を取得することができる。
　マーカＭＫの位置の取得にモーションキャプチャシステムを利用する場合、取得した３次元位置は、ワールド座標系での位置となるため、頭部の移動を含んだ位置となる。フェイシャルアニメーションを実現するには、顔の部位の動きのみを取得するために、頭部の動きをキャンセルする必要がある。そのため、頭部位置推定用のマーカを頭部に設置し、モーションキャプチャシステムで頭部の６ＤｏＦ（並進・回転パラメータ）を求め、求めた６ＤｏＦの逆行列をマーカＭＫの位置に適用することで、頭部の動きをキャンセルしたマーカＭＫの位置を取得することができる。
［２－２．顔メッシュ変形部］
　顔メッシュ変形部１２は、マーカ位置情報ＰＩに基づいて、ベース顔メッシュＢＦを変形する。ベース顔メッシュＢＦの変形手法については公知の手法が採用できる。
　例えば、顔メッシュ変形部１２は、マーカ位置取得部１１が検出した複数のマーカＭＫをベース顔メッシュＢＦに対して位置合わせする。マーカ位置情報ＰＩに規定されたマーカＭＫの位置は、モーションキャプチャシステムもしくはフェイシャルキャプチャシステムの座標系（システム座標系）で表されている。そのため、顔メッシュ変形部１２は、システム座標系で表された各マーカＭＫの位置（座標）をベース顔メッシュＢＦの座標系（モデル座標系）で表される位置に変換する。
　例えば、座標変換にはＩＣＰ（Ｉｔｅｒａｔｉｖｅ　Ｃｌｏｓｅｔ　Ｐｏｉｎｔ）が利用される。ＩＣＰは異なる２つの形状データ間の位置合わせを行うアルゴリズムである。ＩＣＰでは剛体変形（並進・回転・拡大）を扱うことができるが、表情の違いなどの非剛体変形を扱うことはできない。そのため、アクタＡＣにベース顔メッシュＢＦが持つ表情と同じ表情をしてもらい、そのときに取得したマーカ位置情報ＰＩを使って複数のマーカＭＫをベース顔メッシュＢＦに位置合わせすることが望ましい。
　顔メッシュ変形部１２は、ベース顔メッシュＢＦに位置合わせされたマーカＭＫの位置をマーカポイントＭＰの位置として取得する。顔メッシュ変形部１２は、マーカポイントＭＰごとに、マーカポイントＭＰの初期位置からの変位を検出する。初期位置は、ベース顔メッシュＢＦに登録されたマーカポイントＭＰの位置である。顔メッシュ変形部１２は、各マーカポイントＭＰをコントロール点とし、各マーカポイントＭＰの初期位置からの変位に基づいて顔全体をＬＳＤで変形する。顔メッシュ変形部１２は、変形されたベース顔メッシュＢＦを変形顔メッシュＤＯとして出力する。
　情報処理装置１０は、変形顔メッシュＤＯの座標情報に基づいて、ベース口腔メッシュＢＯの変形処理を行う。図３は、ベース口腔メッシュＢＯの変形処理の一例を示す図である。以下、図３を参照しながらメッシュ読込み部１３、下顎パラメータ計算部１４，口腔メッシュ変形部１５およびメッシュ統合部１６の構成を説明する。図３中の符号は次のものを示す。
・Ｍｆ：変形顔メッシュＤＦのデータ。
・Ｌｆｏ：変形顔メッシュＤＦから変形口腔メッシュＤＯのコントロール点群の位置を計算するための頂点群（顎開閉推定用頂点群ＥＧ：図４参照）のリスト。
・Ｍｏ：ベース口腔メッシュＢＯのデータ。
・Ｌｏｍｏｖｅ：動作部となる口腔メッシュＯＭのコントロール点群（下部頂点群ＢＧ：図７参照）のリスト。
・Ｌｏｆｉｘ：固定部となる口腔メッシュＯＭのコントロール点群（上部頂点群ＵＧ：図６参照）のリスト。
・Ｍａｔｒｉｘ：下顎の回転および並進の動作を表す関数。
・Ｐｏｍｏｖｅ：変形口腔メッシュＤＯの下部頂点群ＢＧのデータ。
・Ｌｏｌｉｐ：唇部に位置する口腔メッシュＯＭのコントロール点群（唇頂点群ＬＧ：図５参照）のリスト。
・Ｍｏ′：変形口腔メッシュＤＯのデータ。
・Ｍ′：統合メッシュＦＯのデータ。
［２－３．メッシュ読込み部］
　メッシュ読込み部１３は、記憶装置２０からベース顔メッシュＢＦ、変形顔メッシュＤＦ（“Ｍｆ”）およびベース口腔メッシュＢＯ（“Ｍｏ”）を読み込む。メッシュ読込み部１３は、下顎の姿勢推定処理に使用される頂点群のリスト（“Ｌｆｏ”）、および、ベース口腔メッシュＢＯの変形処理に使用されるコントロール点群のリスト（“Ｌｏｍｏｖｅ”、“Ｌｏｆｉｘ”、“Ｌｏｌｉｐ”）を記憶装置２０から読み込む。リストには各頂点のＩＤが規定されている。メッシュ読込み部１３は、各頂点群のリストを頂点情報として読み込む（ステップＳ１）。
　本開示では、実際の口腔の動きを模した変形を行うために、ベース口腔メッシュＢＯのどの頂点をコントロール点とし、どのコントロール点にどのような制約を加えるかが予め決定される。ベース口腔メッシュＢＯの変形処理には、各コントロール点の制約条件を反映したアルゴリズムが適用される。制約条件は、実際の顎骨と口腔との接続関係から得られる境界条件に基づいて決定される。
　例えば、ベース口腔メッシュＢＯの変形処理に使用されるコントロール点群のリストには、唇頂点群、上部頂点群および下部頂点群が規定されている。図５は、唇頂点群ＬＧの一例を示す図である。図６は、上部頂点群ＵＧの一例を示す図である。図７は、下部頂点群ＢＧの一例を示す図である。図６の上部右側の図は、図６の上部左側に示したベース顔メッシュＢＦを透明にして口腔部（枠ＦＬで示す）を可視化した図である。
　唇頂点群ＬＧは、口腔メッシュＯＭの唇部に位置する複数の頂点（唇頂点ＬＶ）を含む。唇頂点群ＬＧは、顔メッシュＦＭの唇部の動きに合わせて口腔メッシュＯＭを変形させるためのコントロール点群である。唇頂点群ＬＧは、変形口腔メッシュＤＯが唇部分で変形顔メッシュＤＦに接続されるという構造上の制約を実現するために設定される。唇頂点群ＬＧをコントロール点群として使用することで、顔メッシュＦＭの動きを口腔メッシュＯＭに反映させることができる。
　上部頂点群ＵＧは、口腔メッシュＯＭの上部に位置する複数の頂点（上部頂点ＵＶ）を含む。上部頂点群ＵＧは、口腔メッシュＯＭの上部の動きを明示的に固定する頂点群である。上部頂点群ＵＧは、口腔の上部が上顎骨付近に固定されているという構造上の制約を実現するために設定される。そのため、上部頂点群ＵＧは、上顎と口腔メッシュＯＭとの結合部に相当する部位の頂点群を含む。
　人体の構造（ヴァレリー・Ｌ・ウィンスロゥ、“モーションを描くための美術解剖学”、マール社、２０１８年）を参考にすると、口腔の上部は実際に頭蓋骨付近につながっており、首の振りや首をかしげる動きなど、頭蓋骨全体が移動する動き以外では移動しない。上部頂点群ＵＧを固定頂点群として使用することで、この特徴を模すことができる。
　下部頂点群ＢＧは、口腔メッシュＯＭの下部に位置する複数の頂点（下部頂点ＢＶ）を含む。下部頂点群ＢＧは、口腔メッシュＯＭを下顎の動きと連動して動作させる頂点群である。下部頂点群ＢＧは、口腔の下部が舌骨上筋群を介して下顎骨とつながっているという構造上の制約を実現するために設定される。そのため、下部頂点群ＢＧは、下顎と口腔メッシュＯＭとの結合部に相当する部位の頂点群を含む。
　下部頂点群ＢＧは、口腔メッシュＯＭの変形に中心的な役割を果たす。下部頂点群ＢＧは、下顎の動きに連動して移動し、口腔メッシュＯＭを変形させる。人体の構造を参照すると、口腔の下部にあたる部分は、舌骨上筋群と呼ばれる部位となる。舌骨上筋群は、舌の裏側と下顎の間に位置し、顎の開閉時に舌骨下筋群と連動して顎の開閉を行う。舌骨上筋群は、基本的に形状は大きく変化せず、若干収縮することで顎を引き下げる。下部頂点群ＢＧは、舌骨上筋群に相当する部位の頂点群を含む。下部頂点群ＢＧに舌骨上筋群の動きを模した動きを付与することで、顎が開閉した際の口腔メッシュＯＭの形状を再現することができる。
　下顎の姿勢推定処理に使用される頂点群のリストには、顎開閉推定用頂点群が規定されている。図４は、顎開閉推定用頂点群ＥＧの一例を示す図である。顎開閉推定用頂点群ＥＧは、変形顔メッシュＤＯから顎の開閉時の６自由度（回転、並進）を推定するための頂点群である。顎開閉推定用頂点群ＥＧは、上顎上に位置する１以上の頂点と、下顎上に位置する１以上の頂点と、を含む。
　例えば、顎開閉推定用頂点群ＥＧは、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点（顎開閉推定用頂点ＥＶ）を含む。図４の例では、骨格の分析や顔の観察結果などから、唇の下部および耳の近くに位置する７つの頂点が顎開閉推定用頂点ＥＶとして選択されている。
［２－４．下顎パラメータ計算部］
　下顎パラメータ計算部１４は、顔メッシュＦＭに設定された顎開閉推定用頂点群ＥＧの座標情報に基づいて下顎の動きを計算する（ステップＳ２）。
　例えば、下顎パラメータ計算部１４は、メッシュ読込み部１３からベース顔メッシュＢＦおよび変形顔メッシュＤＦを取得する。下顎パラメータ計算部１４は、頂点情報（“Ｌｆｏ”）に基づいて、ベース顔メッシュＢＦから、表情が変化する前の顎開閉推定用頂点群ＥＧの座標を取得する。下顎パラメータ計算部１４は、頂点情報（“Ｌｆｏ”）に基づいて、変形顔メッシュＤＦから、表情が変化した後の顎開閉推定用頂点群ＥＧの座標を取得する。
　下顎パラメータ計算部１４は、表情が変化する前の顎開閉推定用頂点群ＥＧの座標と、表情が変化した後の顎開閉推定用頂点群ＥＧの座標と、を比較する。下顎パラメータ計算部１４は、比較結果に基づいて、下顎の動きを、上顎に対する下顎の回転および並進の動作を示す関数（“Ｍａｔｒｉｘ”）として算出する。
　人体構造の観点から考えた場合、顎の開閉は基本的に回転運動で表現される。人間の下顎は、耳付近にある顎関節（ＴＭＪ：Ｔｅｍｐｏｒｏｍａｎｄｉｂｕｌａｒ　ｊｏｉｎｔ）を起点に回転しており、開閉時には単純に下降するのではなく、首の方向に向かって斜めに下がることが知られている。ただし、ＴＭＪは回転以外の運動を許す関節であり、前後運動や、片側のみを外したような動きをすることが可能である。
　ＴＭＪの動作の複雑性はコンピュータグラフィックスの分野でも指摘されている。高品位な研究では、６自由度（ＸＹＺ回転、ＸＹＺ移動）で顎の動きが表現され、ＴＭＪの動きが回転以外の動きも含めて推定されている（下記文献１および文献２を参照）。
［文献１］Ｇａｓｐａｒｄ　Ｚｏｓｓ，Ｄｅｒｅｋ　Ｂｒａｄｌｅｙ，Ｐａｓｃａｌ　Ｂeｒａｒｄ，　ａｎｄ　Ｔｈａｂｏ　Ｂｅｅｌｅｒ，“Ａｎ　Ｅｍｐｉｒｉｃａｌ　Ｒｉｇ　ｆｏｒ　Ｊａｗ　Ａｎｉｍａｔｉｏｎ，”ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｒａｐｈｉｃｓ，　Ｎｏ．　３７，　Ｉｓｓｕｅ　４，　Ａｒｔｉｃｌｅ　５９，　２０１８．　ＤＯＩ：　ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１４５／３１９７５１７．３２０１３８２
［文献２］Ｇａｓｐａｒｄ　Ｚｏｓｓ，Ｔｈａｂｏ　Ｂｅｅｌｅｒ，Ｍａｒｋｕｓ　Ｇｒｏｓｓ，　ａｎｄ　Ｄｅｒｅｋ　Ｂｒａｄｌｅｙ，“Ａｃｃｕｒａｔｅ　Ｍａｒｋｅｒｌｅｓｓ　Ｊａｗ　Ｔｒａｃｋｉｎｇ　ｆｏｒ　Ｆａｃｉａｌ　Ｐｅｒｆｏｒｍａｎｃｅ　Ｃａｐｔｕｒｅ，”ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｒａｐｈｉｃｓ，　Ｎｏ．　３８，　Ｉｓｓｕｅ　４，　Ａｒｔｉｃｌｅ　５０，　２０１９．　ＤＯＩ：　ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１４５／３３０６３４６．３３２３０４４
　本開示においてＸＹＺ軸は、右手座標系かつＸ軸が左右のＴＭＪを貫くような座標系が想定される。本開示では、顎開閉推定用頂点群ＥＧから６自由度のパラメータが推定される。推定には、例えば下記文献３に記載のＳＶＤ（Ｓｉｎｇｕｌａｒ　Ｖａｌｕｅ　Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）と呼ばれる手法が使用される。なお、簡易的に口の開閉を表現するだけの目的であれば、３自由度（ＸＹ回転、Ｚ回転）程度でも表現はできるとされており、求められる品位により推定される自由度は変化する。
［文献３］Ｏｌｇａ　Ｓｏｒｋｉｎｅ－Ｈｏｒｎｕｎｇ　ａｎｄ　Ｍｉｃｈａｅｌ　Ｒａｂｉｎｏｖｉｃｈ，“Ｌｅａｓｔ－Ｓｑｕａｒｅｓ　Ｒｉｇｉｄ　Ｍｏｔｉｏｎ　Ｕｓｉｎｇ　ＳＶＤ，”２０１７．　ＵＲＬ：ｈｔｔｐｓ：／／ｉｇｌ．ｅｔｈｚ．ｃｈ／ｐｒｏｊｅｃｔｓ／ＡＲＡＰ／ｓｖｄ＿ｒｏｔ．ｐｄｆ
［２－５．口腔メッシュ変形部］
　口腔メッシュ変形部１５は、下顎パラメータ計算部１４から取得した関数（“Ｍａｔｒｉｘ”）を用いてベース口腔メッシュＢＯの下部頂点群ＢＧの座標を変換する。例えば、ＳＶＤによって推定された６自由度のパラメータを、一般的に使用される行列演算を用いて対象の頂点に適用することで、任意の位置に頂点を移動させることができる。口腔メッシュ変形部１５は、変換後のベース口腔メッシュＢＯの下部頂点群ＢＧの座標を変形口腔メッシュＤＯの下部頂点群ＢＧの座標（“Ｐｏｍｏｖｅ”）として取得する（ステップＳ３）。
　口腔メッシュ変形部１５は、メッシュ読込み部１３から変形顔メッシュＤＦを取得する。口腔メッシュ変形部１５は、変形顔メッシュＤＦの座標情報に基づいて、変形口腔メッシュＤＯの唇頂点群ＬＧおよび上部頂点群ＵＧの座標を算出する。口腔メッシュ変形部１５は、算出された唇頂点群ＬＧ、上部頂点群ＵＧおよび下部頂点群ＢＧの座標をコントロール点群の座標として用いて、ＬＳＤによりベース口腔メッシュＢＯの変形処理を行う（ステップＳ４）。
　変形処理は、「あるメッシュの特定の頂点に任意の移動を与えた際、周辺の頂点を調和がとれるよう配置する」処理として捉えることができる。これを実現する手法として、本開示ではＬＳＤが採用される。ＬＳＤは、入力されたメッシュについて初期状態の頂点間の連結情報をパラメータ化し、メッシュ内のある頂点が移動した際に元の形状をある程度維持して変形を行うアルゴリズムである。
　例えば、口腔メッシュ変形部１５は、メッシュ読込み部１３から、ベース口腔メッシュＢＯを、変形対象となる口腔メッシュＯＭとして取得する。口腔メッシュ変形部１５は、ベース口腔メッシュＢＯの上部頂点群ＵＧを顔メッシュＦＭの上顎の位置に固定し、顔メッシュＦＭの下顎の位置に明示的に固定されていないベース口腔メッシュＢＯの下部頂点群ＢＧを顔メッシュＦＭの下顎の動きに合わせて動かすことでベース口腔メッシュＢＯを変形する。この変形処理により、変形口腔メッシュＤＯ（“Ｍｏ′”）が生成される。
　口腔メッシュ変形部１５は、下部頂点群ＢＧのうち、舌骨上筋群に相当する部位の頂点群に、舌骨上筋群の動きを模した動きを付与する。口腔メッシュ変形部１５は、顔メッシュＦＭの唇部の動きに合わせて動かした唇頂点群ＬＧ、および、下顎の動きに合わせて動かした下部頂点群ＢＧをコントロール点群として設定する。口腔メッシュ変形部１５は、設定されたコントロール点群に基づいて、コントロール点群の周辺にある口腔メッシュＯＭの周辺の頂点（周辺頂点）を移動することで、口腔メッシュＯＭを変形する。これにより、精度の高い変形口腔メッシュＤＯが生成される。
［２－６．メッシュ統合部］
　メッシュ統合部１６は、顔メッシュＦＭと口腔メッシュＯＭとの境界部に位置する唇部の頂点群を基準として顔メッシュＦＭと口腔メッシュＯＭとを統合する。これにより、メッシュ統合部１６は、統合メッシュＦＯ（“Ｍ′”）を生成する（ステップＳ５）。例えば、統合処理は、変形口腔メッシュＤＯの唇部の頂点群と変形顔メッシュＤＦの唇部の頂点群とを位置合わせして、変形口腔メッシュＤＯと変形顔メッシュＤＦとを接続することにより行われる。
　なお、本開示では、顔メッシュＦＭが顔の表面部分のメッシュ情報のみを含み、口腔部のメッシュ情報を含まないものとして説明を行った。しかし、顔メッシュＦＭが口腔部のメッシュ情報を含む場合には、統合処理は、変形顔メッシュＤＦの口腔部のメッシュを変形口腔メッシュＤＯによって置き換えることにより行われる。
　統合メッシュＦＯの生成過程では、顎の回転および並進の情報が計算される。この情報を用いて、変形口腔メッシュＤＯに、歯、歯茎および舌などの内部構造物（内部構造物メッシュＭＳ）を違和感なく配置することもできる。この際、内部構造物を構成する各３Ｄオブジェクトに対して回転および並進の情報を行列で表現し、三次元頂点座標とこの行列を掛け合わせることで最終的な位置を計算することができる。このような方法で内部構造物メッシュＭＳを組み込むことで、特殊な技能を持たないユーザでも、各表情において適切な位置に歯・歯茎・舌などの内部構造物を配置することができる。
［３．実施例］
　図８および図９は、本開示の手法で得られた統合モデルの一例を示す図である。図８は、口をすぼめた表情の統合モデルＦＯを正面図として示している。図９は、図８と同じ表情の統合モデルＦＯを断面図として示している。図８および図９において、左側の図は、従来の手法を用いた比較例であり、右側の図は、本開示の手法を用いた実施例である。
　図８の例では、比較例の変形口腔メッシュＤＯの一部が変形顔メッシュＤＦの外側に飛び出している。実施例では、このような飛び出しは生じていない。図９の例では、口内において実施例と比較例との間にどのような違いが生じているのかが確認できる。比較例では、ベース口腔メッシュＢＯが唇の動きのみに合わせて無制約に変形された結果、変形口腔メッシュＤＯが前方につぶれたような形状となっている。実施例では、変形口腔メッシュＤＯが初期状態（ベース口腔メッシュＢＯ）から大きく変化せず、袋としての形状を保っている。
　このような違いは、導入したアルゴリズムと固定部位によって生み出されている。本開示の変形手法は、口腔の上部・下部・前方を操作し、他をもとの形状に近づくよう変形するものである。この結果、口腔の上部は頭蓋骨と設置するような場所に固定され、口腔の下部と唇の動きによって口腔メッシュＯＭの形状が決定される。比較例では、顔表面のみ、つまり唇部分のみの変形を参考に口腔メッシュＯＭの形状全てが決定されている。実施例では、口腔の上下で一部の頂点を操作する制約を課した結果、口腔メッシュＯＭの形状が実際の構造に近い形状に保たれている。
［４．ハードウェア構成例］
　図１０は、情報処理装置１０のハードウェア構成の一例を示す図である。
　情報処理装置１０の情報処理は、例えば、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１００、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒy）１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラム（プログラムデータ１４５０）に基づいて動作し、各部の制御を行う。たとえば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）などのブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータが読み取り可能な非一時的記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例としての、実施形態にかかる情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（たとえばインターネット）と接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、表示装置やスピーカーやプリンタなどの出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。
　たとえば、コンピュータ１０００が実施形態にかかる情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、前述した各部の機能を実現する。また、ＨＤＤ１４００には、本開示にかかる情報処理プログラム、各種モデルおよび各種データが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［５．効果］
　情報処理装置１０は、口腔メッシュ変形部１５を有する。口腔メッシュ変形部１５は、口腔メッシュＯＭの上部頂点群ＵＧを顔メッシュＦＭの上顎の位置に固定し、口腔メッシュＯＭの下部頂点群ＢＧを顔メッシュＦＭの下顎の動きに合わせて動かすことで口腔メッシュＯＭを変形する。本開示の情報処理方法は、情報処理装置１０の処理がコンピュータ１０００により実行される。本開示のコンピュータ読み取り可能な非一時的記憶媒体は、情報処理装置１０の処理をコンピュータ１０００に実現させるプログラムを記憶する。
　この構成によれば、下顎の位置から算出される口腔メッシュＯＭのコントロール点に基づいて口腔メッシュＯＭの変形が行われる。口腔メッシュＯＭの上部は上顎の位置に固定され、口腔メッシュＯＭの下部は下顎の動きに合わせて動くが、この動きは実際の口腔の動きを模したものとなっている。そのため、口腔内のマーカを利用しなくても口腔メッシュＯＭを適切に変形させることができる。
　上部頂点群ＵＧは、上顎と口腔メッシュＯＭとの結合部に相当する部位の頂点群を含む。
　この構成によれば、口腔の上部が上顎骨付近に固定されているという構造上の制約が実現される。
　下部頂点群ＢＧは、下顎と口腔メッシュＯＭとの結合部に相当する部位の頂点群を含む。
　この構成によれば、口腔の下部が下顎骨とつながっているという構造上の制約が実現される。
　下部頂点群ＢＧは、舌骨上筋群に相当する部位の頂点群を含む。
　この構成によれば、口腔の下部が舌骨上筋群を介して下顎骨とつながっているという構造上の制約が実現される。
　口腔メッシュ変形部１５は、舌骨上筋群に相当する部位の頂点群に、舌骨上筋群の動きを模した動きを付与する。
　この構成によれば、舌骨上筋群の動きを反映した口腔メッシュＯＭの変形を行うことができる。
　口腔メッシュ変形部１５は、顔メッシュＦＭの唇部の動きに合わせて動かした唇頂点群ＬＧ、および、下顎の動きに合わせて動かした下部頂点群ＢＧをコントロール点群として設定する。口腔メッシュ変形部１５は、設定されたコントロール点群の周辺にある口腔メッシュＯＭの周辺頂点を移動する。
　この構成によれば、精度のよい変形口腔メッシュＤＯが生成される。
　情報処理装置１０は、メッシュ統合部１６を有する。メッシュ統合部１６は、顔メッシュＦＭと口腔メッシュＯＭとの境界部に位置する唇部の頂点群を基準として顔メッシュＦＭと口腔メッシュＯＭとを統合する。
　この構成によれば、変形口腔メッシュＤＯが唇部分で変形顔メッシュＤＦに接続されるという構造上の制約が実現される。
　情報処理装置１０は、下顎パラメータ計算部１４を有する。下顎パラメータ計算部１４は、顔メッシュＦＭに設定された顎開閉推定用頂点群ＥＧの座標情報に基づいて下顎の動きを計算する。
　この構成によれば、口腔内のマーカを用いることなく容易に下顎の動きが算出される。
　顎開閉推定用頂点群ＥＧは、上顎上に位置する１以上の頂点と、下顎上に位置する１以上の頂点と、を含む。
　この構成によれば、上顎と下顎の位置関係に基づいて下顎の動きが良好に検出される。
　顎開閉推定用頂点群ＥＧは、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む。
　この構成によれば、下顎の動きが精度よく算出される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、
　を有する情報処理装置。
（２）
　前記上部頂点群は、前記上顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
　上記（１）に記載の情報処理装置。
（３）
　前記下部頂点群は、前記下顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記下部頂点群は、舌骨上筋群に相当する部位の頂点群を含む、
　上記（３）に記載の情報処理装置。
（５）
　前記口腔メッシュ変形部は、前記舌骨上筋群に相当する部位の頂点群に、前記舌骨上筋群の動きを模した動きを付与する、
　上記（４）に記載の情報処理装置。
（６）
　前記口腔メッシュ変形部は、前記顔メッシュの唇部の動きに合わせて動かした唇頂点群、および、前記下顎の動きに合わせて動かした前記下部頂点群をコントロール点群として設定し、前記コントロール点群の周辺にある前記口腔メッシュの周辺頂点を移動する、
　上記（１）ないし（５）のいずれか１つに記載の情報処理装置。
（７）
　前記顔メッシュと前記口腔メッシュとの境界部に位置する唇部の頂点群を基準として前記顔メッシュと前記口腔メッシュとを統合するメッシュ統合部を有する、
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記顔メッシュに設定された顎開閉推定用頂点群の座標情報に基づいて前記下顎の動きを計算する下顎パラメータ計算部を有する、
　上記（１）ないし（７）のいずれか１つに記載の情報処理装置。
（９）
　前記顎開閉推定用頂点群は、上顎上に位置する１以上の頂点と、下顎上に位置する１以上の頂点と、を含む、
　上記（８）に記載の情報処理装置。
（１０）
　前記顎開閉推定用頂点群は、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む、
　上記（８）または（９）に記載の情報処理装置。
（１１）
　口腔メッシュの顔メッシュの上部頂点群を上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１２）
　口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
　ことをコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体。
１０　情報処理装置
１４　下顎パラメータ計算部
１５　口腔メッシュ変形部
１６　メッシュ統合部
ＢＧ　下部頂点群
ＥＧ　顎開閉推定用頂点群
ＦＭ　顔メッシュ
ＬＧ　唇頂点群
ＯＭ　口腔メッシュ
ＵＧ　上部頂点群

Claims (12)

  1. 　口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する口腔メッシュ変形部、
    　を有する情報処理装置。
  2. 　前記上部頂点群は、前記上顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
    　請求項１に記載の情報処理装置。
  3. 　前記下部頂点群は、前記下顎と前記口腔メッシュとの結合部に相当する部位の頂点群を含む、
    　請求項１に記載の情報処理装置。
  4. 　前記下部頂点群は、舌骨上筋群に相当する部位の頂点群を含む、
    　請求項３に記載の情報処理装置。
  5. 　前記口腔メッシュ変形部は、前記舌骨上筋群に相当する部位の頂点群に、前記舌骨上筋群の動きを模した動きを付与する、
    　請求項４に記載の情報処理装置。
  6. 　前記口腔メッシュ変形部は、前記顔メッシュの唇部の動きに合わせて動かした唇頂点群、および、前記下顎の動きに合わせて動かした前記下部頂点群をコントロール点群として設定し、前記コントロール点群の周辺にある前記口腔メッシュの周辺頂点を移動する、
    　請求項１に記載の情報処理装置。
  7. 　前記顔メッシュと前記口腔メッシュとの境界部に位置する唇部の頂点群を基準として前記顔メッシュと前記口腔メッシュとを統合するメッシュ統合部を有する、
    　請求項１に記載の情報処理装置。
  8. 　前記顔メッシュに設定された顎開閉推定用頂点群の座標情報に基づいて前記下顎の動きを計算する下顎パラメータ計算部を有する、
    　請求項１に記載の情報処理装置。
  9. 　前記顎開閉推定用頂点群は、上顎上に位置する１以上の頂点と、下顎上に位置する１以上の頂点と、を含む、
    　請求項８に記載の情報処理装置。
  10. 　前記顎開閉推定用頂点群は、顎の開閉時に皮膚の移動が最も少ない部位に位置する複数の頂点を含む、
    　請求項８に記載の情報処理装置。
  11. 　口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  12. 　口腔メッシュの上部頂点群を顔メッシュの上顎の位置に固定し、前記口腔メッシュの下部頂点群を前記顔メッシュの下顎の動きに合わせて動かすことで前記口腔メッシュを変形する、
    　ことをコンピュータに実現させるプログラムを記憶した、コンピュータ読み取り可能な非一時的記憶媒体。
PCT/JP2023/029484 2022-09-05 2023-08-15 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体 WO2024053345A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-140626 2022-09-05
JP2022140626 2022-09-05

Publications (1)

Publication Number Publication Date
WO2024053345A1 true WO2024053345A1 (ja) 2024-03-14

Family

ID=90190929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029484 WO2024053345A1 (ja) 2022-09-05 2023-08-15 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体

Country Status (1)

Country Link
WO (1) WO2024053345A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524999A (ja) * 2013-07-24 2016-08-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング バーチャル咬合器を作製するための顆状関節軸の位置の測定
JP2022020509A (ja) * 2020-07-20 2022-02-01 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524999A (ja) * 2013-07-24 2016-08-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング バーチャル咬合器を作製するための顆状関節軸の位置の測定
JP2022020509A (ja) * 2020-07-20 2022-02-01 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAWAI, MASAHIDE; IWAO, TOMOYORI; MIMA, DAISUKE; MAEJIMA, AKINOBU; MORISHIMA, SHIGEO: "Photorealistic Inner Mouth Synthesis in Speech Animation", PROCEEDINGS OF THE 41ST ANNUAL CONFERENCE OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN (2013); PROCEEDINGS OF THE JOINT SYMPOSIUM ON VISUAL COMPUTING/GRAPHICS AND CAD. 2013; JUNE 22-23, 2013, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, 22 June 2013 (2013-06-22) - 23 June 2013 (2013-06-23), JP, pages 17:1 - 17:7, XP009555136 *

Similar Documents

Publication Publication Date Title
JP5344358B2 (ja) 演技から作り出される顔アニメーション
Ichim et al. Phace: Physics-based face modeling and animation
JP5468047B2 (ja) デジタル顔モデルのアニメーション化のためのシステム及び方法
Kähler et al. Reanimating the dead: reconstruction of expressive faces from skull data
US8390628B2 (en) Facial animation using motion capture data
Ersotelos et al. Building highly realistic facial modeling and animation: a survey
Sifakis et al. Simulating speech with a physics-based facial muscle model
JP3288353B2 (ja) 顔イメージから開始して３ｄ顔モデルを作る方法
US20080136814A1 (en) System and method for generating 3-d facial model and animation using one video camera
JP2003044873A (ja) 顔の３次元モデルの作成方法及びその変形方法
WO2022019168A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5109192B2 (ja) モーションキャプチャにおけるｆａｃｓ（顔の表情符号化システム）解決法
Fels et al. Artisynth: A biomechanical simulation platform for the vocal tract and upper airway
Liu et al. Data-driven 3d neck modeling and animation
WO2024053345A1 (ja) 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体
Zhang et al. Anatomy-based face reconstruction for animation using multi-layer deformation
Ma et al. Animating visible speech and facial expressions
Amirkhanov et al. WithTeeth: Denture Preview in Augmented Reality.
Huang et al. Detail-preserving controllable deformation from sparse examples
WO2024053491A1 (ja) 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体
US20230260238A1 (en) Method for Generating a Virtual 4D Head and Teeth
WO2015042867A1 (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
Bérar et al. Towards a generic talking head
KR20060067242A (ko) 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법
JP2005074136A (ja) 顔形状のモデリング方法及び顔形状モデリング用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23862885

Country of ref document: EP

Kind code of ref document: A1