WO2024069944A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2024069944A1
WO2024069944A1 PCT/JP2022/036732 JP2022036732W WO2024069944A1 WO 2024069944 A1 WO2024069944 A1 WO 2024069944A1 JP 2022036732 W JP2022036732 W JP 2022036732W WO 2024069944 A1 WO2024069944 A1 WO 2024069944A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
template
fused
data
target
Prior art date
Application number
PCT/JP2022/036732
Other languages
English (en)
French (fr)
Inventor
英弟 謝
彦鵬 張
雨佳 劉
夢▲せん▼ 許
道久 井口
Original Assignee
株式会社Vrc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Vrc filed Critical 株式会社Vrc
Priority to JP2022563436A priority Critical patent/JPWO2024069944A1/ja
Priority to PCT/JP2022/036732 priority patent/WO2024069944A1/ja
Publication of WO2024069944A1 publication Critical patent/WO2024069944A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • the present invention relates to a technology for fusing 3D models.
  • Patent Document 1 discloses a technique for generating a 3D model of the entire body and a 3D model of the head separately, and synthesizing the 3D model of the entire body and the 3D model of the head.
  • Patent Document 1 simply replaces the 3D model of the head with a 3D model of the whole body, and the user cannot adjust the details of the fusion.
  • the present invention provides a technique that makes it possible to adjust the details when fusing two 3D models.
  • an information processing device having a first acquisition means for acquiring a first 3D model and a first template corresponding to the first 3D model, a second acquisition means for acquiring parameters for fusing the first 3D model and the first template, and a generation means for generating a second 3D model by modifying one of the first 3D model and the first template in accordance with the parameters and the other of the first 3D model and the first template.
  • the information processing device may have a determination means for determining a correspondence between vertices of the first 3D model and the first template, and the generation means may modify one of the first 3D model and the first template based on the correspondence.
  • the identification means may identify the part to which each vertex belongs from the topology of the first 3D model and the first template, and identify the correspondence of the vertices based on the correspondence of the identified parts.
  • the generating means may modify at least one of the geometry, texture, rigging, and motion of at least one of the first 3D model and the first template in accordance with the parameters.
  • the parameters may indicate a mixing ratio between the first 3D model and the first template, and the generating means may mix at least one of the geometry, texture, rigging, and motion of the first 3D model and the first template according to the mixing ratio.
  • the information processing device may have a receiving means for receiving designation of some of the elements constituting the first 3D model, and the generating means may generate a second 3D model in which the designated elements are modified according to the parameters.
  • the first acquisition means may acquire a second template different from the first template
  • the second acquisition means may acquire parameters for fusing the first 3D model, the first template, and the second template
  • the generation means may generate the second 3D model by modifying one of the first 3D model, the first template, and the second template according to the parameters and the remainder of the first 3D model, the first template, and the second template.
  • the data of the second 3D model may include data of the first 3D model and the template.
  • Another aspect of the present invention provides an information processing method including the steps of acquiring a first 3D model and a first template corresponding to the first 3D model, acquiring parameters for fusing the first 3D model and the first template, and generating a second 3D model by modifying one of the first 3D model and the first template according to the parameters and the other of the first 3D model and the first template.
  • Another aspect of the present invention provides a program for causing a computer to execute the steps of acquiring a first 3D model and a first template corresponding to the first 3D model, acquiring parameters for fusing the first 3D model and the first template, and generating a second 3D model by modifying one of the first 3D model and the first template according to the parameters and the other of the first 3D model and the first template.
  • the present invention allows you to adjust the details when fusing two 3D models.
  • FIG. 1 is a diagram showing an overview of a 3D data system 1 according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of the functional configuration of a 3D data system 1.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of a server 10.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of a user terminal 20.
  • 4 is a sequence chart illustrating the operation of the 3D data system 1.
  • FIG. 11 is a diagram illustrating details of a fusion process of 3D models.
  • FIG. 13 is a diagram illustrating a display screen of a fused 3D model.
  • FIG. 1 is a diagram showing an overview of a 3D data system 1 according to an embodiment.
  • the 3D data system 1 provides a service that provides 3D data (hereinafter referred to as a "3D service").
  • a “system” refers to one or more devices that cooperate to provide a certain function.
  • the 3D data system 1 has a server 10 and a user terminal 20.
  • the server 10 is a device that functions as a server in the 3D data service, and provides 3D data to other devices such as the user terminal 20.
  • the user terminal 20 is a device that functions as a client in the 3D data service, and interacts with the user using the 3D data provided by the server.
  • the 3D data system 1 fuses a 3D model (of the entire body) of the user with a template to generate a new 3D model.
  • the template is a 3D model (of the entire body) of a certain person.
  • the person who is the subject of the template is, for example, a so-called celebrity, such as a singer, actor, comedian, or professional athlete.
  • the template may be an ordinary person who has a personal connection with the user, such as a family member, friend, or colleague.
  • FIG. 2 is a diagram illustrating an example of the functional configuration of the 3D data system 1.
  • the 3D data system 1 has a storage means 11, an acquisition means 12, an acquisition means 13, a generation means 14, a control means 19, a storage means 21, a reception means 22, a display means 23, and a control means 29.
  • the storage means 11, the acquisition means 12, the acquisition means 13, the generation means 14, and the control means 19 are implemented in the server 10, and the storage means 21, the reception means 22, the display means 23, and the control means 29 are implemented in the user terminal 20.
  • the storage means 11 stores various data and programs.
  • the storage means 11 stores database 111 and database 112.
  • Database 111 is a database that records 3D data for each of a plurality of users.
  • the 3D data for a user is data that includes the 3D modeling data for that user.
  • the 3D modeling data is data that represents a 3D model for that user.
  • the 3D model is a graphic object that mimics the three-dimensional shape of the user.
  • the 3D model is used as a so-called avatar in the virtual space.
  • the acquisition means 12 acquires data of a target 3D model (an example of a first 3D model) and data of a template (an example of a first template) (an example of a first acquisition means).
  • the target 3D model is a 3D model that is the subject of fusion.
  • the acquisition means 13 acquires parameters for fusion of the target 3D model and the template (an example of a second acquisition means). These parameters are used in the fusion process, and characterize the 3D model generated by fusion (hereinafter referred to as a "fused 3D model"; an example of a second 3D model).
  • the generating means 14 generates a fused 3D model using the target 3D model, the template, and the parameters.
  • the fused 3D model is a 3D model in which the target 3D model and the template are fused or synthesized using the parameters.
  • the fused 3D model can also be said to be a 3D model in which one of the target 3D model and the template is modified according to the parameters and the other of the target 3D model and the template.
  • the control means 19 performs various controls.
  • the storage means 21 stores various data.
  • the reception means 22 receives instructions or information input from the user.
  • the display means 23 displays various information.
  • the control means 29 performs various controls.
  • FIG 3 is a diagram illustrating an example of the hardware configuration of the server 10.
  • the server 10 is a computer device or information processing device having a CPU (Central Processing Unit) 101, memory 102, storage 103, and a communication IF 104.
  • the CPU 101 is a processing device that performs various calculations according to programs.
  • the memory 102 is a main storage device that functions as a work area when the CPU 101 executes a program, and includes, for example, a RAM (Random Access Memory).
  • the storage 103 is an auxiliary storage device that stores various programs and data, and includes, for example, a HDD (Hard Disk Drive) or SSD (Solid State Drive).
  • the communication IF 104 is a device that communicates with other devices according to a predetermined communication standard (for example, Ethernet), and includes, for example, a NIC (Network Interface Card).
  • the programs stored in the storage 103 include a program (hereinafter referred to as the "server program") for causing the computer to function as the server 10 in the 3D data system 1.
  • server program a program for causing the computer to function as the server 10 in the 3D data system 1.
  • the CPU 101 is executing the server program, at least one of the memory 102 and the storage 103 is an example of the storage means 11, and the CPU 101 is an example of the acquisition means 12, acquisition means 13, generation means 14, and control means 19.
  • the user terminal 20 is a computer device, such as a personal computer, a smartphone, or a tablet terminal, having a CPU 201, a memory 202, a storage 203, a communication IF 204, an input device 205, and an output device 206.
  • the CPU 201 is a processing device that performs various calculations according to a program.
  • the memory 202 is a main storage device that functions as a work area when the CPU 201 executes a program, and includes, for example, a RAM.
  • the storage 203 is an auxiliary storage device that stores various programs and data, and includes, for example, a HDD or SSD.
  • the communication IF 204 is a device that communicates with other devices according to a predetermined communication standard (such as WiFi (registered trademark) or LTE (registered trademark)), and includes, for example, an antenna and a modem chipset.
  • the input device 205 is a device that accepts input of instructions or information from a user or other devices, and includes, for example, at least one of a touch screen, a keyboard, a pointing device, and a microphone.
  • the output device 206 is a device that outputs information to a user or other devices, and includes, for example, at least one of a display and a speaker.
  • the programs stored in the storage 203 include a program (hereinafter referred to as a "client program") for causing the computer to function as a user terminal 20 in the 3D data system 1.
  • client program a program for causing the computer to function as a user terminal 20 in the 3D data system 1.
  • the CPU 201 is executing the client program, at least one of the memory 202 and the storage 203 is an example of storage means 21, the input device 205 is an example of reception means 22, the output device 206 is an example of display means 23, and the CPU 101 is an example of control means 29.
  • Operation Fig. 5 is a sequence chart illustrating an operation according to an embodiment of the 3D data system 1.
  • a user Before the start of this flow, a user generates his/her own 3D data using a 3D scanner (not shown). This 3D data is recorded in the database 111 in the server 10.
  • the database 111 stores multiple pieces of 3D data for a certain user that are generated using images taken at multiple different times (e.g., different dates and times).
  • the user requests login to the 3D data system 1 from the user terminal 20.
  • the server 10 performs login processing using authentication information sent from the user terminal 20.
  • step S1 the user terminal 20 accepts the designation of the target 3D model.
  • the details are as follows.
  • the user terminal 20 requests a list of 3D data from the server 10. This request includes information for narrowing down the candidate 3D data.
  • the information for narrowing down the candidate 3D data is, for example, a user ID.
  • the server 10 extracts a list of 3D data that meets the conditions from the database 111.
  • the server 10 transmits the list of extracted 3D data to the user terminal 20.
  • the extracted 3D data is, for example, 3D data of a user who has logged in to the 3D data system 1 from the user terminal 20.
  • the user terminal 20 displays the list of 3D data.
  • the user selects the target 3D data for fusion from this list.
  • the user terminal 20 transmits identification information of the selected 3D data to the server 10.
  • step S2 the user terminal 20 accepts the designation of the template to be used for fusion.
  • the details are as follows:
  • the user terminal 20 makes a request to the template list server 10.
  • This request includes information for narrowing down the candidate templates.
  • the information for narrowing down the candidate templates is, for example, the template genre.
  • a list of templates that satisfy the conditions is extracted from the database 112.
  • the server 10 transmits the list of extracted templates to the user terminal 20.
  • the user terminal 20 displays the list of templates.
  • the user selects a target template from this list.
  • the user terminal 20 transmits identification information of the selected template to the server 10.
  • step S3 the server 10 merges the target 3D data with the selected template.
  • Merging the target 3D data with the selected template means fusing the target 3D model with the template according to a predetermined algorithm to generate a new 3D model.
  • the 3D model generated in this way is called a fused 3D model.
  • FIG. 6 is a diagram illustrating the details of the 3D model fusion process in step S3.
  • the server 10 identifies which part each vertex constituting the target 3D model corresponds to from the topology of the 3D model.
  • Parts in a 3D model refer to body parts such as the head, torso, arms, hands, waist, legs, and feet.
  • parts in a 3D model may include more detailed classifications such as the eyes, nose, mouth, and ears on the face.
  • the parts are identified using machine learning. In this case, a machine learning model that has been trained by providing training data is used, in which 3D modeling data generated from various subjects is input, and data classified as to which part each vertex constituting the 3D model belongs is output.
  • step S302 the server 10 determines, from the topology of the template 3D model, which part each vertex constituting the 3D model corresponds to.
  • the specific method is the same as for the target 3D model.
  • the server 10 identifies the correspondence between the vertices of the target 3D model and the vertices of the template 3D model.
  • the 3D model represented by the 3D data recorded in the server 10 and the template 3D model have a unified topology.
  • the shape of a 3D model is called geometry.
  • the geometry is composed of meshes.
  • a mesh is a surface surrounded by edges.
  • An edge is a side that connects two vertices.
  • the flow of this mesh is called topology.
  • topology refers to the distribution or structure of edges in a 3D model.
  • the topology of two 3D models is "unified" means that all vertices of the two 3D models have a one-to-one correspondence.
  • the topology of two 3D models is "unified" means that the topology of the two 3D models is the same when the edge lengths are normalized.
  • all vertices of the target 3D model have a one-to-one correspondence with vertices of the template 3D model.
  • step S304 the server 10 merges the characteristics of each vertex in the target 3D model with the characteristics of the corresponding vertex in the template.
  • the vertex characteristics are, for example, the coordinates of the relative position of the vertex.
  • the server 10 merges the geometry of the target 3D model with the geometry of the template. If the coordinates of a vertex in the target 3D model are represented as Vo, and the coordinates of a vertex in the template corresponding to the vertex Vo are represented as Vt, then the coordinates Vm of the vertex after the fusion are expressed as follows:
  • ⁇ represents the mixture ratio (or weight).
  • the two 3D models can be fused by fusing the textures of the two 3D models with weighting. In this way, the server 10 fuses the target 3D model and the template.
  • step S4 the server 10 transmits data of the fused 3D model to the user terminal 20.
  • the user terminal 20 displays the fused 3D model (step S5).
  • FIG. 7 is a diagram illustrating an example of a display screen for a fused 3D model.
  • This screen has display area 91, display area 92, display area 93, and display area 94.
  • Display area 91 is an area in which the fused 3D model is displayed.
  • Display area 91 also displays, for example, a UI object for setting the viewpoint from which the fused 3D model is displayed (i.e., the position of the virtual camera that captures the fused 3D model), and a UI object for setting the motion to be applied to the fused 3D model.
  • Display area 92 is an area for displaying the target 3D model.
  • Display area 93 is an area for displaying the template. The viewpoint for displaying the target 3D model and template, and the motion of the target 3D model and template are synchronized with the viewpoint and motion of the fused 3D model.
  • the display area 94 is an area that displays UI objects for inputting instructions regarding the fused 3D model.
  • Instructions regarding the fused 3D model include, for example, setting parameters for fusing a 3D model with a template. This parameter is, for example, the mixing ratio between the target 3D model and the template. In this example, a slide bar is shown as the UI object for setting the mixing ratio. When the fused 3D model is first displayed, the mixing ratio is automatically set to the initial value.
  • the target 3D model is a man with a wide body
  • the template is a man with a narrow body.
  • the fused 3D model shows an example in which the body shape of the template is fused with the target 3D model.
  • the user terminal 20 transmits the specified mixing ratio to the server 10 (step S6).
  • the server 10 fuses the target 3D model and the template at the specified mixing ratio to generate a new (i.e., updated) fused 3D model (step S7).
  • the server 10 transmits data of the generated fused 3D model to the user terminal 20 (step S8).
  • the user terminal 20 displays the updated fused 3D model (step S9).
  • the user terminal 20 displays in real time the fused 3D model generated with the mixing ratio specified by the user's instructions.
  • the user can fuse the target 3D model with the template while checking the effect of their instructions in real time.
  • the user When the user wishes to save the fused 3D model, the user issues an instruction to save the fused 3D model from the UI object.
  • the user terminal 20 accepts the instruction to save the fused 3D model (step S8).
  • the user terminal 20 transmits an instruction to save the fused 3D model to the server 10 (step S9).
  • the server 10 Upon receiving this instruction, the server 10 records 3D data indicating the fused 3D model (hereinafter referred to as "fused 3D data") in the database 111.
  • the fused 3D data includes 3D modeling data of the fused 3D model and attribute data of the fused 3D model.
  • the attribute data of the fused 3D model includes data of the 3D models and the template that were the source when the fused 3D model was generated.
  • the user terminal 20 that receives the fused 3D data from the server 10 can separate the fused 3D model into the original 3D model and the template, or change the mixing ratio and fuse them again.
  • the fused 3D model can be applied to various applications.
  • the fused 3D model is used for entertainment applications.
  • Entertainment applications include, for example, video game characters, video content, or SNS (Social Networking System) stamps.
  • the fused 3D model is used for sports training.
  • the 3D data system 1 fuses the motion of the user's own 3D model with the motion of a model trainer or athlete (e.g., running, swinging a tennis racket or bat, or kicking a ball) for sports training. The user can see the video of the motion of the fused 3D model and understand areas for improvement in his or her own motion.
  • a training assistance system can suggest a training program that suits the user's own characteristics based on the fused 3D model.
  • the fused 3D model is used for pelvic correction.
  • the 3D data system 1 fuses the skeleton of the user's own 3D model with the skeleton of a standard 3D model for pelvic correction (in this case, the 3D data includes skeletal data). Users can view the skeletal motion of the fused 3D model and simulate how much their own pelvis can be improved through training.
  • Characteristics to be merged The characteristics to be merged between the target 3D model and the template are not limited to geometry. The characteristics to be merged may be at least one of the geometry, texture, rigging, and motion of the target 3D model and the template.
  • rigging refers to setting a correspondence between bones (sometimes called skeletons) and meshes in a 3D model, and the mechanism and interface for controlling it.
  • it refers to the correspondence between bones and meshes set in a 3D model, and a combination (or group) of bones and meshes of a specific part is called a rig.
  • This "correspondence” includes a definition of the positional relationship between bones and joints, and weights that work with the skin, i.e., skin weights.
  • the rigging of the target 3D model and the rigging of the template are merged to merge the relative positions of bones (or joints).
  • Motion refers to the movement of the 3D model (for example, the movement of the rig described above). Motion is, for example, a change in the relative positions of multiple rigs over time.
  • Merging motion refers to, for example, the following processing.
  • a common motion e.g., a "walking" motion
  • the durations of these two motions are normalized. These two motions are divided into time frames. In each frame, the relative positions of the target 3D model's rig and the template's rig are fused.
  • the display screen of FIG. 7 may include a UI object for accepting the specification of the characteristics to be blended.
  • the user can blend the desired characteristics from among geometry, texture, rigging, and motion.
  • the user's 3D data may include data representing the user's characteristics other than the appearance of the 3D model.
  • the user's characteristics are, for example, the user's voice, speaking style or language, and motion (for example, walking style, running style, facial expressions, or gestures). These characteristics are digitized or quantified and recorded.
  • standardization is a process of matching the reference values used when fusing data.
  • standardization is a process of matching the time from the start to the end of the motion.
  • the number of templates to be fused with the target 3D model is not limited to one.
  • the 3D data system 1 may fuse the target model with multiple templates to generate one fused 3D model.
  • the display screen of the fused 3D model includes a UI object for setting the blending ratio of the multiple templates to be fused.
  • the UI object can set the blending ratio of the first template and the blending ratio of the second template (relative to the whole), respectively.
  • the number of target 3D models to be fused with a template is not limited to one.
  • the 3D data system 1 may fuse a template with a plurality of target 3D models. In this case, the same number of fused 3D models as the target 3D models are generated.
  • a template is fused with two 3D models, a first target 3D model and a second target 3D model
  • two fused 3D models are generated: a first fused 3D model in which the first target 3D model is fused with the template, and a second fused 3D model in which the second target 3D model is fused with the template.
  • the mixture ratio with the template is common.
  • the display screen of the fused 3D model includes an area for displaying the first target 3D model, an area for displaying the second target 3D model, an area for displaying the template, an area for displaying the first fused 3D model, an area for displaying the second fused 3D model, and an area for displaying a UI object for inputting instructions related to the fused 3D model.
  • this mixture ratio is applied to both the first fused 3D model and the second fused 3D model.
  • the same template can be applied to, for example, a group of friends to generate a fused 3D model.
  • the target 3D models include first, second, ..., and i target 3D models
  • the templates include first, second, ..., and j templates. i and j may be the same or different.
  • the template is not limited to a 3D model of the entire human body.
  • the template may be a part of the human body (e.g., head, chest, arms, hands, abdomen, waist, legs, or feet).
  • the 3D model includes multiple elements such as geometry (i.e., shape) and texture (i.e., surface color, pattern), and the template may be data of only a part of these, for example, data of only the geometry of the entire body without texture, or data of only the geometry without texture of the entire body. If the target 3D model is the entire body but the template is only a part of the body, the 3D data system 1 fuses the target 3D model with the template for only that part of the body.
  • the target 3D model and template are not limited to those having a human as a subject. At least one of the target 3D model and the template may be a non-human living thing or a human-like non-living thing, such as an animal or a robot.
  • the parameters used in the fusion process are not limited to the fusion ratio.
  • the fusion process calculates a weighted average or a weighted average (the weight is the fusion ratio).
  • the fusion process may be a process other than a process of calculating a weighted average, such as a process of calculating a geometric mean or a process of calculating a harmonic mean.
  • the parameters used in the fusion process are defined according to the contents of the fusion process.
  • the elements to be fused are not limited to this.
  • the elements to be fused may be specified by the user.
  • the receiving means 22 receives the specification of a part of the elements constituting the 3D model.
  • the 3D data system 1 fuses the elements specified via the receiving means 22.
  • the receiving means 22 receives the specification of a part (e.g., head, arm, leg, etc.) of the entire body of the target 3D model or the template from the user, and the generating means 14 fuses the target 3D model and the template for the part specified via the receiving means 22.
  • the receiving means 22 may receive the specification of geometry or texture as the element to be fused.
  • the generating means 14 fuses the geometry of the target 3D model with the geometry of the template (the texture remains the target 3D model).
  • the generating means 14 fuses the texture of the target 3D model with the texture of the template (the geometry remains the target 3D model).
  • the fused features relate to the 3D model, such as height, weight, chest circumference, or waist circumference.
  • the fusion process is not limited to fusing only the specified elements.
  • the 3D data system 1 may fuse other unspecified elements in conjunction with the specified elements.
  • An element that is linked to a certain element in a certain template is defined in advance in the 3D data system 1 and recorded, for example, in a database (not shown).
  • the head-to-body ratio ratio of head height to height
  • head-shoulder ratio ratio of head width to shoulder width
  • parameters indicating the degree to which the head and head-to-body ratio are linked and the degree to which the head and head-shoulder ratio are linked are also recorded.
  • the 3D data system 1 fuses not only the head of the template, but also the head-to-body ratio and head-shoulder ratio with the target 3D model.
  • the fusion processing are not limited to the example of the embodiment (FIG. 6).
  • the processing of steps S301 and S302 can be omitted.
  • the 3D data system 1 may use AI (Artificial Intelligence) technology such as machine learning to identify the correspondence between parts in the target 3D data and the template.
  • AI Artificial Intelligence
  • the 3D data system 1 identifies or detects corresponding points between the two.
  • the 3D data system 1 fuses the two by interpolating points around the corresponding points according to changes in the corresponding points.
  • the relationship between the functions and hardware in the 3D data system 1 is not limited to those exemplified in the embodiment.
  • a plurality of devices may physically cooperate to have the functions of the server 10.
  • various databases may be stored in a device other than the server 10.
  • the server 10 only needs to have a means for accessing the database.
  • the server 10 may be a physical server or a virtual server (including a so-called cloud).
  • some of the functions described as being possessed by the server 10 in the embodiment may be possessed by other devices such as the user terminal 20. In other words, some of the functions of the server 10 may be omitted.
  • the programs executed by the CPU 101 etc. may be provided in a state recorded on a computer-readable non-transitory recording medium such as a DVD-ROM, or may be provided in a state that allows downloading via a computer network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理装置は、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得する第１取得手段と、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得する第２取得手段と、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成する生成手段とを有する。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、３Ｄモデルを融合する技術に関する。
　２つの３Ｄモデルを融合又は合成する技術が知られている。例えば特許文献１は、全身の３Ｄモデルと頭部の３Ｄモデルとを別々に生成し、全身の３Ｄモデルと頭部の３Ｄモデルとを合成する技術を開示している。
米国特許第１０７９６４８０号明細書
　特許文献１に記載の技術においては、全身の３Ｄモデルにおいて単に頭部の３Ｄモデルを置換するだけであり、その融合の詳細をユーザが調整することはできなかった。
　これに対し本発明は、２つの３Ｄモデルを融合する際に、その詳細を調整することが可能な技術を提供する。
　本発明の一態様によれば、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得する第１取得手段と、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得する第２取得手段と、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成する生成手段とを有する情報処理装置が提供される。
　この情報処理装置は、前記第１の３Ｄモデル及び前記第１のテンプレートの頂点の対応関係を特定する特定手段を有し、前記生成手段は、前記対応関係に基づいて前記第１の３Ｄモデル及び前記第１のテンプレートの一方を変更してもよい。
　前記特定手段は、前記第１の３Ｄモデル及び前記第１のテンプレートのトポロジから、各頂点が属する部位を特定し、前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定してもよい。
　前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を前記パラメータに従って変更してもよい。
　前記パラメータが、前記第１の３Ｄモデルと前記第１のテンプレートとの混合比を示し、前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を、前記混合比に従って混合してもよい。
　この情報処理装置は、前記第１の３Ｄモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、前記生成手段は、前記指定された要素を前記パラメータに従って変更した第２の３Ｄモデルを生成してもよい。
　前記第１取得手段は、前記第１のテンプレートと異なる第２のテンプレートを取得し、前記第２取得手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートを融合するパラメータを取得し、前記生成手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートの１つを、前記パラメータ並びに当該第１の３Ｄモデル、当該第１のテンプレート、及び当該第２のテンプレートの残りに従って変更した前記第２の３Ｄモデルを生成してもよい。
　前記第２の３Ｄモデルのデータが、前記第１の３Ｄモデル及び前記テンプレートのデータを含んでもよい。
　本発明の別の一態様は、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップとを有する情報処理方法を提供する。
　本発明のさらに別の一態様は、コンピュータに、第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップとを実行させるためのプログラムを提供する。
　本発明によれば、２つの３Ｄモデルを融合する際に、その詳細を調整することができる。
一実施形態に係る３Ｄデータシステム１の概要を示す図。 ３Ｄデータシステム１の機能構成を例示する図。 サーバ１０のハードウェア構成を例示する図。 ユーザ端末２０のハードウェア構成を例示する図。 ３Ｄデータシステム１の動作を例示するシーケンスチャート。 ３Ｄモデルの融合処理の詳細を例示する図。 融合３Ｄモデルの表示画面を例示する図。
１…３Ｄデータシステム、１０…サーバ、１１…記憶手段、１２…取得手段、１３…取得手段、１４…生成手段、１９…制御手段、２１…記憶手段、２２…受け付け手段、２３…表示手段、２９…制御手段、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…通信ＩＦ、２０１…ＣＰＵ、２０２…メモリ、２０３…ストレージ、２０４…通信ＩＦ、２０５…入力装置、２０６…出力装置
１．構成
　図１は、一実施形態に係る３Ｄデータシステム１の概要を示す図である。３Ｄデータシステム１は、３Ｄデータを提供するサービス（以下「３Ｄサービス」という）を提供する。本稿において「システム」とは、協働してある機能を提供する１又は複数の装置をいう。３Ｄデータシステム１は、サーバ１０及びユーザ端末２０を有する。サーバ１０は、３Ｄデータサービスにおけるサーバとして機能する装置であり、ユーザ端末２０等の他の装置に３Ｄデータを提供する。ユーザ端末２０は、３Ｄデータサービスにおけるクライアントとして機能する装置であり、サーバから提供された３Ｄデータを用いて、ユーザとインタラクションする。特にこの例において、３Ｄデータシステム１は、ユーザの（全身の）３Ｄモデルとテンプレートとを融合して、新たな３Ｄモデルを生成する。この例において、テンプレートは、ある人間の（全身の）３Ｄモデルである。テンプレートの被写体となる人間は、例えば、歌手、俳優、コメディアン、又はプロスポーツ選手など、いわゆる有名人である。あるいは、テンプレートは、家族、友人、又は同僚など、そのユーザと個人的な繋がりのある一般人であってもよい。
　図２は、３Ｄデータシステム１の機能構成を例示する図である。３Ｄデータシステム１は、記憶手段１１、取得手段１２、取得手段１３、生成手段１４、制御手段１９、記憶手段２１、受け付け手段２２、表示手段２３、及び制御手段２９を有する。このうち、記憶手段１１、取得手段１２、取得手段１３、生成手段１４、及び制御手段１９はサーバ１０に、記憶手段２１、受け付け手段２２、表示手段２３、及び制御手段２９はユーザ端末２０に、それぞれ実装される。
　記憶手段１１は、各種のデータ及びプログラムを記憶する。この例において、記憶手段１１は、データベース１１１及びデータベース１１２を記憶する。データベース１１１は、複数のユーザの各々について、そのユーザの３Ｄデータを記録したデータベースである。ユーザの３Ｄデータとは、そのユーザの３Ｄモデリングデータを含むデータである。３Ｄモデリングデータとは、そのユーザの３Ｄモデルを表すデータである。３Ｄモデルとは、そのユーザの立体形状を模したグラフィックオブジェクトである。３Ｄモデルは、仮想空間においていわゆるアバターとして用いられる。
　取得手段１２は、対象３Ｄモデル（第１の３Ｄモデルの一例）のデータ及びテンプレート（第１のテンプレートの一例）のデータを取得する（第１取得手段の一例）。対象３Ｄモデルとは、融合の対象となる３Ｄモデルである。取得手段１３は、対象３Ｄモデルとテンプレートとを融合するパラメータを取得する（第２取得手段の一例）。このパラメータは、融合処理において用いられるパラメータであり、融合により生成される３Ｄモデル（以下「融合３Ｄモデル」という。第２の３Ｄモデルの一例）を特徴付けるパラメータである。
　生成手段１４は、対象３Ｄモデル、テンプレート、及びパラメータを用いて融合３Ｄモデルを生成する。融合３Ｄモデルは、対象３Ｄモデル及びテンプレートを、パラメータを用いて融合又は合成した３Ｄモデルである。融合３Ｄモデルは、対象３Ｄモデル及びテンプレートの一方を、パラメータ並びに対象３Ｄモデル及びテンプレートの他方に従って変更した３Ｄモデルであるということもできる。
　制御手段１９は、各種の制御を行う。
　記憶手段２１は、各種のデータを記憶する。受け付け手段２２は、ユーザからの指示又は情報の入力を受け付ける。表示手段２３は、各種の情報を表示する。制御手段２９は、各種の制御を行う。
　図３は、サーバ１０のハードウェア構成を例示する図である。サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、及び通信ＩＦ１０４を有するコンピュータ装置又は情報処理装置である。ＣＰＵ１０１は、プログラムに従って各種の演算を行う処理装置である。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。ストレージ１０３は、各種のプログラム及びデータを記憶する補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。通信ＩＦ１０４は、所定の通信規格（例えばイーサネット）に従って他の装置と通信する装置であり、例えばＮＩＣ（Network Interface Card）を含む。
　この例において、ストレージ１０３が記憶するプログラムには、コンピュータを３Ｄデータシステム１におけるサーバ１０として機能させるためのプログラム（以下「サーバプログラム」という）が含まれる。ＣＰＵ１０１がサーバプログラムを実行している状態において、メモリ１０２及びストレージ１０３の少なくとも一方が記憶手段１１の一例であり、ＣＰＵ１０１が取得手段１２、取得手段１３、生成手段１４、及び制御手段１９の一例である。
　図４は、ユーザ端末２０のハードウェア構成を例示する図である。ユーザ端末２０は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、通信ＩＦ２０４、入力装置２０５、及び出力装置２０６を有するコンピュータ装置、例えば、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。ＣＰＵ２０１は、プログラムに従って各種の演算を行う処理装置である。メモリ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭを含む。ストレージ２０３は、各種のプログラム及びデータを記憶する補助記憶装置であり、例えばＨＤＤ又はＳＳＤを含む。通信ＩＦ２０４は、所定の通信規格（例えばＷｉＦｉ（登録商標）又はＬＴＥ（登録商標）など））に従って他の装置と通信する装置であり、例えばアンテナ及びモデムチップセットを含む。入力装置２０５は、ユーザ又は他の装置から指示又は情報の入力を受け付ける装置であり、例えば、タッチスクリーン、キーボード、ポインティングデバイス、及びマイクロフォンの少なくとも一種を含む。出力装置２０６は、ユーザ又は他の装置に情報を出力する装置であり、例えば、ディスプレイ及びスピーカの少なくとも一種を含む。
　この例において、ストレージ２０３が記憶するプログラムには、コンピュータを３Ｄデータシステム１におけるユーザ端末２０として機能させるためのプログラム（以下「クライアントプログラム」という）が含まれる。ＣＰＵ２０１がクライアントプログラムを実行している状態において、メモリ２０２及びストレージ２０３の少なくとも一方が記憶手段２１の一例であり、入力装置２０５が受け付け手段２２の一例であり、出力装置２０６が表示手段２３の一例であり、ＣＰＵ１０１が制御手段２９の一例である。
２．動作
　図５は、３Ｄデータシステム１の一実施形態に係る動作を例示するシーケンスチャートである。このフローの開始前の時点において、ユーザは３Ｄスキャナ（図示略）を用いて自身の３Ｄデータを生成する。この３Ｄデータは、サーバ１０においてデータベース１１１に記録される。この例において、データベース１１１は、あるユーザについて、異なる複数のタイミング（例えば異なる日時）で撮影された画像を用いて生成された複数の３Ｄデータを記憶している。
　図５のフローに先立ち、ユーザは、ユーザ端末２０から、３Ｄデータシステム１にログインを要求する。サーバ１０は、ユーザ端末２０から送信される認証情報を用いてログイン処理を行う。
　ステップＳ１において、ユーザ端末２０は、対象３Ｄモデルの指定を受け付ける。詳細には以下のとおりである。ユーザ端末２０は、３Ｄデータ一覧をサーバ１０に要求する。この要求は、候補となる３Ｄデータを絞り込むための情報を含む。候補となる３Ｄデータを絞り込むための情報は、例えば、ユーザＩＤである。この要求を受けると、サーバ１０は、条件を満たす３Ｄデータの一覧をデータベース１１１から抽出する。サーバ１０は、抽出した３Ｄデータの一覧をユーザ端末２０に送信する。抽出された３Ｄデータは、例えば、ユーザ端末２０から３Ｄデータシステム１にログインしているユーザの３Ｄデータである。ユーザ端末２０は、３Ｄデータの一覧を表示する。ユーザは、この一覧の中から、融合の対象３Ｄデータを選択する。ユーザ端末２０は、選択された３Ｄデータの識別情報をサーバ１０に送信する。
　ステップＳ２において、ユーザ端末２０は、融合に用いられるテンプレートの指定を受け付ける。詳細には以下のとおりである。ユーザ端末２０は、テンプレート一覧サーバ１０に要求する。この要求は、候補となるテンプレートを絞り込むための情報を含む。候補となるテンプレートを絞り込むための情報は、例えば、テンプレートのジャンルである。この要求を受けると、条件を満たすテンプレートの一覧をデータベース１１２から抽出する。サーバ１０は、抽出したテンプレートの一覧をユーザ端末２０に送信する。ユーザ端末２０は、テンプレートの一覧を表示する。ユーザは、この一覧の中から、対象テンプレートを選択する。ユーザ端末２０は、選択されたテンプレートの識別情報をサーバ１０に送信する。
　ステップＳ３において、サーバ１０は、対象３Ｄデータと選択されたテンプレートとを融合する。詳細には以下のとおりである。対象３Ｄデータと選択されたテンプレートとを融合させるとは、対象３Ｄモデルとテンプレートとを所定のアルゴリズムに従って融合し、新たな３Ｄモデルを生成することをいう。こうして生成された３Ｄモデルを融合３Ｄモデルという。
　図６は、ステップＳ３における３Ｄモデルの融合処理の詳細を例示する図である。ステップＳ３０１において、サーバ１０は、対象３Ｄモデルのトポロジから、その３Ｄモデルを構成する各頂点がどの部位に相当するか特定する。３Ｄモデルにおける部位とは、例えば、頭、胴、腕、手、腰、脚、及び足など身体の部位をいう。さらに、３Ｄモデルにおける部位は、顔において目、鼻、口、及び耳など、より詳細な分類を含んでもよい。一例において、部位の特定は、機械学習を用いて行われる。この場合、種々の被写体から生成した３Ｄモデリングデータを入力とし、この３Ｄモデルを構成する各頂点がどの部位に属するかの分類をしたデータを出力とする教師データを与えて学習済の機械学習モデルが用いられる。
　ステップＳ３０２において、サーバ１０は、テンプレートの３Ｄモデルのトポロジから、その３Ｄモデルを構成する各頂点がどの部位に相当するか特定する。具体的な手法は対象３Ｄモデルと同様である。
　ステップＳ３０３において、サーバ１０は、対象３Ｄモデルの頂点とテンプレートの３Ｄモデルの頂点との対応を特定する。この例において、サーバ１０に記録されている３Ｄデータにより表される３Ｄモデルと、テンプレートの３Ｄモデルとはトポロジが統一されている。ここで、トポロジの統一について説明する。３Ｄモデルの形状をジオメトリという。ジオメトリはメッシュで構成される。メッシュは、エッジで囲まれた面である。エッジは、２つの頂点を結ぶ辺である。このメッシュの流れのことをトポロジという。すなわちトポロジとは、３Ｄモデルにおけるエッジの分布又は構造を指す。２つの３Ｄモデルのトポロジが「統一されている」とは、２つの３Ｄモデルの頂点がすべて一対一に対応することをいう。あるいは、２つの３Ｄモデルのトポロジが「統一されている」とは、エッジの長さを規格化したときに、２つの３Ｄモデルのトポロジが同一となることをいう。
　対象３Ｄモデルのトポロジとテンプレートのトポロジとが統一されているため、対象３Ｄモデルの頂点は、全てテンプレートの３Ｄモデルの頂点と一対一に対応する。
　ステップＳ３０４において、サーバ１０は、対象３Ｄモデルにおける各頂点の特性と、対応するテンプレートの頂点の特性とを融合する。頂点の特性とは、例えば、頂点の相対位置の座標である。すなわち、サーバ１０は、対象３Ｄモデルのジオメトリとテンプレートのジオメトリとを融合する。対象３Ｄモデルの、ある頂点の座標をＶｏ、テンプレートの、頂点Ｖｏと対応する頂点の座標をＶｔと表すと、融合後の頂点の座標Ｖｍは、
Figure JPOXMLDOC01-appb-M000001
 と表される。ここで、αは混合比（又は重み）を表す。α＝０のとき融合３Ｄモデルのジオメトリは対象３Ｄモデルと同一であり、α＝１のとき融合３Ｄモデルのジオメトリはテンプレートと同一である。また、メッシュに貼り付けるテクスチャについても同様に、２つの３Ｄモデルのテクスチャを重み付きで融合することにより、２つの３Ｄモデルを融合させることができる。サーバ１０は、このようにして対象３Ｄモデルとテンプレートとを融合する。
　再び図５を参照する。ステップＳ４において、サーバ１０は、融合３Ｄモデルのデータをユーザ端末２０に送信する。ユーザ端末２０は、融合３Ｄモデルを表示する（ステップＳ５）。
　図７は、融合３Ｄモデルの表示画面を例示する図である。この画面は、表示領域９１、表示領域９２、表示領域９３、及び表示領域９４を有する。表示領域９１は、融合３Ｄモデルを表示する領域である。表示領域９１には、例えば、融合３Ｄモデルを表示する視点（すなわち融合３Ｄモデルを映す仮想カメラの位置）を設定するためのＵＩオブジェクト、及び融合３Ｄモデルに与えるモーションを設定するためのＵＩオブジェクトも表示される。
　表示領域９２は、対象３Ｄモデルを表示する領域である。表示領域９３は、テンプレートを表示する領域である。対象３Ｄモデル及びテンプレートを表示する視点、並びに対象３Ｄモデル及びテンプレートのモーションは、融合３Ｄモデルの視点及びモーションと同期する。
　表示領域９４は、融合３Ｄモデルに関する指示を入力するためのＵＩオブジェクトを表示する領域である。融合３Ｄモデルに関する指示には、例えば、３Ｄモデルとテンプレートとを融合する際のパラメータの設定が含まれる。このパラメータは、例えば、対象３Ｄモデルとテンプレートとの混合比である。この例では、混合比を設定するＵＩオブジェクトとしてスライドバーが示されている。融合３Ｄモデルを最初に表示した時点では、混合比は自動的に初期値に設定される。なお図７では、対象３Ｄモデルが体幅の広い男性であり、テンプレートが体幅の細い男性である。融合３Ｄモデルは、対象３Ｄモデルに、テンプレートの体型を融合させた例を示している。
　再び図５を参照する。ユーザがスライドバーをドラッグ又はクリックする等して混合比を指定すなわち変更すると、ユーザ端末２０は、指定された混合比をサーバ１０に送信する（ステップＳ６）。混合比の指定を受け付けると、サーバ１０は、指定された混合比で、対象３Ｄモデルとテンプレートとを融合し、新たな（すなわち更新された）融合３Ｄモデルを生成する（ステップＳ７）。サーバ１０は、生成された融合３Ｄモデルのデータをユーザ端末２０に送信する（ステップＳ８）。ユーザ端末２０は、更新された融合３Ｄモデルを表示する（ステップＳ９）。
　このように、ユーザ端末２０は、ユーザの指示により指定された混合比で生成された融合３Ｄモデルをリアルタイムで表示する。ユーザは、自身の指示の影響をリアルタイムで確認しながら、対象３Ｄモデルとテンプレートとを融合することができる。
　融合３Ｄモデルの保存を希望するときは、ユーザは、ＵＩオブジェクトから融合３Ｄモデルの保存を指示する。ユーザ端末２０は、融合３Ｄモデルを保存する指示を受け付ける（ステップＳ８）。ユーザ端末２０は、融合３Ｄモデルを保存する指示をサーバ１０に送信する（ステップＳ９）。この指示を受信すると、サーバ１０は、データベース１１１に、融合３Ｄモデルを示す３Ｄデータ（以下「融合３Ｄデータ」という）を記録する。融合３Ｄデータは、融合３Ｄモデルの３Ｄモデリングデータ及び融合３Ｄモデルの属性データを含む。融合３Ｄモデルの属性データは、融合３Ｄモデルを生成する際に元となった３Ｄモデル及びテンプレートのデータを含む。融合３Ｄデータが元の３Ｄモデル及びテンプレートのデータを含むことで、サーバ１０から融合３Ｄデータを受信したユーザ端末２０は、融合３Ｄモデルを元の３Ｄモデル及びテンプレートに分離したり、混合比を変えて融合し直したりすることができる。
　融合３Ｄモデルは種々の用途に適用が可能である。一例において、融合３Ｄモデルはエンターテイメント用途に用いられる。エンターテイメント用途とは、例えば、ビデオゲームのキャラクタ、動画コンテンツ、又はＳＮＳ（Social Networking System）のスタンプを含む。別の例において融合３Ｄモデルは、スポーツトレーニングに用いられる。３Ｄデータシステム１は、スポーツトレーニングのため、ユーザ自身の３Ｄモデルのモーションと、手本となるトレーナー又はスポーツ選手のモーション（例えば、ランニング、テニスラケット若しくはバットのスイング、又はボールのキックなど）とを融合させる。ユーザは、融合３Ｄモデルのモーションの動画を見て、自身のモーションの改善点を把握することができる。あるいは、トレーニング補助システム（図示略）が、この融合３Ｄモデルに基づいてユーザ本人の特性に合った練習プログラムを提案することができる。さらに別の例において、融合３Ｄモデルは、骨盤矯正に用いられる。３Ｄデータシステム１は、骨盤矯正のため、ユーザ自身の３Ｄモデルの骨格と、標準の３Ｄモデルの骨格とを融合させる（この場合、３Ｄデータは骨格のデータを含む）。ユーザは、融合３Ｄモデルのモーションの骨格を見て、トレーニングをすれば自身の骨盤がどこまで改善できるかをシミュレーションすることができる。
３．変形例
　本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下において説明する事項のうち、２つ以上のものが組み合わせて適用されてもよい。
３－１．融合される特性
　対象３Ｄモデルとテンプレートとにおいて融合される特性は、ジオメトリに限定されない。融合される特性は、対象３Ｄモデル及びテンプレートの、ジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種であってもよい。一般にリギングとは、３Ｄモデルにボーン（スケルトンといわれることもある）とメッシュとの対応関係を設定すること、並びにそれを制御する仕組み及びインターフェースをいうが、ここでは３Ｄモデルに設定されたボーンとメッシュとの対応関係のことをいい、特定の部位のボーンとメッシュとの組み合わせ（又は群）をリグという。この「対応関係」は、ボーンと関節との位置関係の定義、及びスキンと連動する重みすなわちスキンウェイトを含む。例えば、対象３Ｄモデルのリギングとテンプレートのリギングが融合されるとは、ボーン（又はジョイント）の相対位置を融合することをいう。モーションとは、３Ｄモデルの動き（例えば上記のリグの動き）をいう。モーションは、例えば、複数のリグの相対位置の時間変化である。モーションを融合するとは、例えば、以下の処理をいう。対象３Ｄモデルとテンプレートとで共通するモーション（例えば「歩く」モーション）が指定される。これら２つのモーションの時間長が規格化される。これら２つのモーションが時間フレームに分割される。各フレームにおいて、対象３Ｄモデルのリグ及びテンプレートのリグの相対位置が融合される。
　図７の表示画面は、融合される特性の指定を受け付けるためのＵＩオブジェクトを含んでもよい。ユーザは、ジオメトリ、テクスチャ、リギング、及びモーションのうち、所望の特性を融合させることができる。
　さらに、ユーザの３Ｄデータが、３Ｄモデルの外観以外の、ユーザの特徴を表すデータを含んでもよい。ユーザの特徴とは、例えば、そのユーザの声、話し方又は言葉遣い、及びモーション（例えば、歩き方、走り方、表情、又は仕草など）である。これらの特徴はデータ化又は数値化されて記録される。対象３Ｄモデル及びテンプレートについてこれらの特徴を融合する際は、必要に応じて規格化が行われる。規格化は、データを融合する際の基準値を一致させる処理である。規格化は、例えば、モーションであればそのモーションの開始から終了までの時間を一致させる処理である。
３－２．テンプレートの数
　対象３Ｄモデルと融合されるテンプレートの数は１つに限定されない。３Ｄデータシステム１は、対象モデルと複数のテンプレートとを融合して１つの融合３Ｄモデルを生成してもよい。この場合、融合３Ｄモデルの表示画面は、複数のテンプレートを融合する混合比を設定するためのＵＩオブジェクトを含む。例えば、対象３Ｄモデルを第１テンプレート及び第２テンプレートの２つのテンプレートと融合させる場合、このＵＩオブジェクトは、（全体に対する）第１テンプレートの混合比及び第２テンプレートの混合比をそれぞれ設定することができる。
３－３．対象モデルの数
　テンプレートと融合される対象３Ｄモデルの数は１つに限定されない。３Ｄデータシステム１は、テンプレートと複数の対象３Ｄモデルとを融合してもよい。この場合、融合３Ｄモデルは、対象３Ｄモデルと同じ数、生成される。例えば、テンプレートが第１対象３Ｄモデル及び第２対象３Ｄモデルの２つの３Ｄモデルと融合される場合、第１対象３Ｄモデルとテンプレートとを融合した第１融合３Ｄモデル、及び第２対象３Ｄモデルとテンプレートとを融合した第２融合３Ｄモデルの２つの融合３Ｄモデルが生成される。これら２つの融合３Ｄモデルにおいて、テンプレートとの混合比は共通である。例えば融合３Ｄモデルの表示画面は、第１対象３Ｄモデルを表示する領域、第２対象３Ｄモデルを表示する領域、テンプレートを表示する領域、第１融合３Ｄモデルを表示する領域、第２融合３Ｄモデルを表示する領域、及び融合３Ｄモデルに関する指示を入力するためのＵＩオブジェクトを表示する領域を含む。このＵＩオブジェクトにおいて単一の混合比を設定すると、この混合比が第１融合３Ｄモデル及び第２融合３Ｄモデルの双方に適用される。この例によれば、例えば友人同士のグループに同じテンプレートを適用して融合３Ｄモデルを生成することができる。
　さらに、対象３Ｄモデル及びテンプレートは、いずれも複数であってもよい。すなわち、対象３Ｄモデルが第１、第２、・・・、及び第ｉ対象３Ｄモデルを含み、テンプレートが第１、第２、・・・、及び第ｊテンプレートを含む。ｉとｊとは同じでもよいし異なっていてもよい。
３－４．テンプレートの内容
　テンプレートは人間の全身の３Ｄモデルに限定されない。テンプレートは、人間の身体の一部（例えば、頭、胸、腕、手、腹、腰、脚、又は足）であってもよい。あるいは、３Ｄモデルはジオメトリ（すなわち形状）及びテクスチャ（すなわち表面の色彩、模様）など複数の要素を含んでいるところ、テンプレートはこれらのうちの一部、例えば、全身のジオメトリのみでテクスチャ無し、又は全身のテクスチャ無しでジオメトリのみ、といったデータであってもよい。対象３Ｄモデルが全身であるのにテンプレートが身体の一部しかない場合、３Ｄデータシステム１は、身体のその一部のみ、対象３Ｄモデルとテンプレートとを融合させる。
３－５．対象３Ｄモデル及びテンプレートの被写体
　対象３Ｄモデル及びテンプレートは、人間を被写体とするものに限定されない。対象３Ｄモデル及びテンプレートの少なくとも一方は、動物又はロボットなど、人間以外の生物又は人間型の非生物であってもよい。
３－６．パラメータ
　融合処理に用いられるパラメータは融合比に限定されない。実施形態において、融合処理が、加重平均又は重み付き平均を計算する例を説明した（この重みが融合比である）。しかし、融合処理は、幾何平均を計算する処理又は調和平均を計算する処理など、加重平均を計算する処理以外の処理であってもよい。融合処理に用いられるパラメータは、融合処理の内容に応じて定義される。
３－７．融合される要素
　実施形態においては、対象３Ｄモデルの全身のジオメトリ及びテクスチャが、それぞれ、テンプレートの全身のジオメトリ及びテクスチャと融合される例を説明した。しかし、融合される要素はこれに限定されない。例えば、融合される要素は、ユーザにより指定されてもよい。この場合、受け付け手段２２は、３Ｄモデルを構成する要素のうち一部の要素の指定を受け付ける。３Ｄデータシステム１は、受け付け手段２２を介して指定された要素を融合する。例えば、受け付け手段２２が、対象３Ｄモデル又はテンプレートの全身のうちの一部（例えば、頭、腕、脚など）の指定をユーザから受け付け、生成手段１４が、受け付け手段２２を介して指定された部位について、対象３Ｄモデルとテンプレートとを融合する。あるいは、受け付け手段２２が、融合される要素としてジオメトリ又はテクスチャの指定を受け付けてもよい。ジオメトリが指定された場合、生成手段１４は、対象３Ｄモデルのジオメトリとテンプレートのジオメトリとを融合する（テクスチャは対象３Ｄモデルのまま）。テクスチャが指定された場合、生成手段１４は、対象３Ｄモデルのテクスチャとテンプレートのテクスチャとを融合する（ジオメトリは対象３Ｄモデルのまま）。さらにあるいは、融合される要素は、身長、体重、胸囲、又は胴囲など、３Ｄモデルに関する。
　この場合において、融合処理は、指定された要素のみを融合するものに限定されない。例えば、３Ｄデータシステム１は、指定された要素と連動して、指定されていない他の要素を融合してもよい。あるテンプレートにおいてある要素と連動する要素は、３Ｄデータシステム１においてあらかじめ定義され、例えばデータベース（図示略）に記録される。一例としては、あるテンプレートに対して、頭部と連動する要素として、頭身比（頭部の高さと身長との比率）及び頭肩比（頭部の幅と肩幅との比率）が定義されている。さらに、頭部と頭身比とが連動する程度、及び頭部と頭肩比とが連動する程度を示すパラメータが併せて記録されている。ユーザが、対象３Ｄモデルとこのテンプレートの頭部を融合させることを指定すると、３Ｄデータシステム１は、テンプレートの頭部だけでなく、頭身比及び頭肩比を対象３Ｄモデルと融合させる。
３－８．融合処理
　融合処理の詳細は、実施形態の例（図６）に限定されない。例えば、３Ｄデータ及びテンプレートに、部位を特定する情報があらかじめ埋め込まれている場合、ステップＳ３０１及びステップＳ３０２の処理は省略可能である。あるいは、３Ｄデータシステム１は、機械学習等のＡＩ（Artificial Intelligence）技術を用いて、対象３Ｄデータ及びテンプレートにおける、部位の対応関係を特定してもよい。
　実施形態においては対象３Ｄモデルとテンプレートとのトポロジが統一されている例を説明したが、これらのトポロジは統一されていなくてもよい。トポロジが統一されていない場合、３Ｄデータシステム１は、両者の対応点を特定又は検出する。３Ｄデータシステム１は、対応点の周りの点を、対応点の変化に応じて補間することによって両者を融合する。
３－９．他の実施形態
　３Ｄデータシステム１における機能とハードウェアとの関係は、実施形態において例示したものに限定されない。例えば、物理的に複数の装置が協働して、サーバ１０としての機能を有してもよい。特に、各種のデータベースは、サーバ１０とは別の装置に記憶されてもよい。この場合、サーバ１０は、このデータベースにアクセスする手段を有していればよい。また、サーバ１０は、物理サーバであってもよいし、仮想サーバ（いわゆるクラウドを含む）であってもよい。また、実施形態においてサーバ１０が有するものとして説明した機能の一部を、ユーザ端末２０等の他の装置が有してもよい。すなわち、サーバ１０の機能は一部が省略されてもよい。
　ＣＰＵ１０１等により実行されるプログラムは、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的記録媒体に記録された状態で提供されてもよいし、インターネット等のコンピュータネットワークを介してダウンロード可能な状態で提供されてもよい。

Claims (10)

  1. 　第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得する第１取得手段と、
    　前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得する第２取得手段と、
    　前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成する生成手段と
    　を有する情報処理装置。
  2. 　前記第１の３Ｄモデル及び前記第１のテンプレートの頂点の対応関係を特定する特定手段を有し、
    　前記生成手段は、前記対応関係に基づいて前記第１の３Ｄモデル及び前記第１のテンプレートの一方を変更する
    　請求項１に記載の情報処理装置。
  3. 　前記特定手段は、
    　　前記第１の３Ｄモデル及び前記第１のテンプレートのトポロジから、各頂点が属する部位を特定し、
    　　前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定する
    　請求項２に記載の情報処理装置。
  4. 　前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を前記パラメータに従って変更する
    　請求項１に記載の情報処理装置。
  5. 　前記パラメータが、前記第１の３Ｄモデルと前記第１のテンプレートとの混合比を示し、
    　前記生成手段が、前記第１の３Ｄモデル及び前記第１のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも１種を、前記混合比に従って混合する
    　請求項４に記載の情報処理装置。
  6. 　前記第１の３Ｄモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、
    　前記生成手段は、前記指定された要素を前記パラメータに従って変更した第２の３Ｄモデルを生成する
    　請求項１に記載の情報処理装置。
  7. 　前記第１取得手段は、前記第１のテンプレートと異なる第２のテンプレートを取得し、
    　前記第２取得手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートを融合するパラメータを取得し、
    　前記生成手段は、前記第１の３Ｄモデル、前記第１のテンプレート、及び前記第２のテンプレートの１つを、前記パラメータ並びに当該第１の３Ｄモデル、当該第１のテンプレート、及び当該第２のテンプレートの残りに従って変更した前記第２の３Ｄモデルを生成する
    　請求項１に記載の情報処理装置。
  8. 　前記第２の３Ｄモデルのデータが、前記第１の３Ｄモデル及び前記テンプレートのデータを含む
    　請求項１に記載の情報処理装置。
  9. 　第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、
    　前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、
    　前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップと
    　を有する情報処理方法。
  10. 　コンピュータに、
    　第１の３Ｄモデル及び当該第１の３Ｄモデルに対応する第１のテンプレートを取得するステップと、
    　前記第１の３Ｄモデルと前記第１のテンプレートとを融合するパラメータを取得するステップと、
    　前記第１の３Ｄモデル及び前記第１のテンプレートの一方を、前記パラメータ並びに当該第１の３Ｄモデル及び当該第１のテンプレートの他方に従って変更した第２の３Ｄモデルを生成するステップと
    　を実行させるためのプログラム。
PCT/JP2022/036732 2022-09-30 2022-09-30 情報処理装置、情報処理方法、及びプログラム WO2024069944A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022563436A JPWO2024069944A1 (ja) 2022-09-30 2022-09-30
PCT/JP2022/036732 WO2024069944A1 (ja) 2022-09-30 2022-09-30 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/036732 WO2024069944A1 (ja) 2022-09-30 2022-09-30 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024069944A1 true WO2024069944A1 (ja) 2024-04-04

Family

ID=90476983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/036732 WO2024069944A1 (ja) 2022-09-30 2022-09-30 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2024069944A1 (ja)
WO (1) WO2024069944A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287683A (ja) * 2007-05-16 2008-11-27 Yuichi Itsuji 三次元ｃｇアニメキャラクターのカスタム（個人化）製作システム
JP2017188020A (ja) * 2016-04-08 2017-10-12 ソフトバンク株式会社 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
JP6826747B1 (ja) * 2020-07-27 2021-02-10 株式会社Ｖｒｃ 情報処理装置及び情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287683A (ja) * 2007-05-16 2008-11-27 Yuichi Itsuji 三次元ｃｇアニメキャラクターのカスタム（個人化）製作システム
JP2017188020A (ja) * 2016-04-08 2017-10-12 ソフトバンク株式会社 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
JP6826747B1 (ja) * 2020-07-27 2021-02-10 株式会社Ｖｒｃ 情報処理装置及び情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "PHANTASY STAR PORTABLE.", DENGEKI PLAYSTATION, JP, vol. 14, no. 32, 29 August 2008 (2008-08-29), JP, pages 140 - 143, XP009553629 *
STELLA: " PHANTASY STAR ONLINE 2", DENGEKI PLAYSTATION, KADOKAWA, JP, vol. 19, no. 6, 14 February 2013 (2013-02-14), JP, pages 34 - 41, XP009553628 *

Also Published As

Publication number Publication date
JPWO2024069944A1 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
US12100087B2 (en) System and method for generating an avatar that expresses a state of a user
JP6638892B2 (ja) 画像及び深度データを用いて３次元（３ｄ）人物顔面モデルを発生させるための仮想現実ベースの装置及び方法
JP2021525431A (ja) 画像処理方法及び装置、画像デバイス並びに記憶媒体
CN114981844A (zh) 3d身体模型生成
JP6489726B1 (ja) ３ｄデータシステム及び３ｄデータ処理方法
US20200027244A1 (en) Information processing apparatus, information processing method, and computer program product
TW202209264A (zh) 伺服器及資訊處理方法
JP6340313B2 (ja) モデリングシステム、モデリングプログラム、及びモデリング方法
JP2022501732A (ja) 画像処理方法及び装置、画像デバイス並びに記憶媒体
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023035725A1 (zh) 虚拟道具展示方法及装置
JP2024052519A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021077218A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2022024191A1 (ja) 情報処理装置及び情報処理方法
JP2020062322A (ja) 人形造形システム、情報処理方法及びプログラム
WO2020147794A1 (zh) 图像处理方法及装置、图像设备及存储介质
JP2023505615A (ja) 細かいしわを有する顔メッシュ変形
WO2020261531A1 (ja) 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム
CN114556332B (zh) 信息处理设备、3d系统以及信息处理方法
TWI854208B (zh) 用於擷取臉部表情且產生網格資料之人工智慧
Zhu et al. Interactive virtual try-on based on real-time motion capture

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022563436

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961003

Country of ref document: EP

Kind code of ref document: A1