WO2017175423A1 - モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム - Google Patents

モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム Download PDF

Info

Publication number
WO2017175423A1
WO2017175423A1 PCT/JP2016/087731 JP2016087731W WO2017175423A1 WO 2017175423 A1 WO2017175423 A1 WO 2017175423A1 JP 2016087731 W JP2016087731 W JP 2016087731W WO 2017175423 A1 WO2017175423 A1 WO 2017175423A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
part data
modeling
avatar
movement
Prior art date
Application number
PCT/JP2016/087731
Other languages
English (en)
French (fr)
Inventor
裕子 石若
Original Assignee
ソフトバンク株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトバンク株式会社 filed Critical ソフトバンク株式会社
Publication of WO2017175423A1 publication Critical patent/WO2017175423A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to a modeling control system, a modeling control program, and a modeling control method for operating modeling data related to an avatar composed of a plurality of part data in a virtual space.
  • the character model created in this way is configured by combining parts of the body such as the head, torso, and limbs when the character is a human being or an animal, for example, and changes the relative position of each part.
  • the movement of the character is expressed by animation.
  • the present inventor considers that the movement of the body part corresponding to the reproduction of the body part such as homunculus is unconsciously recognized when the human recognizes the movement of the person visually, and the visual effect according to the homunculus It was found that by emphasizing the above, it is possible to appeal the nuance of the motion to be expressed to the human sense.
  • the somatic sensation in the brain is reduced.
  • the related area somatosensory area
  • the related area is divided according to the amount or importance of somatosensory input from each body part. For example, for the senses of the hands, face, and mouth, a large area is allocated to the brain cortex so that it is perceived to be larger than the proportion of the actual body part, while the trunk such as the back has a much smaller area. Not assigned. It is known that this somatosensory sensation can be represented by a body part reproduction diagram such as homunculus.
  • the present invention solves the above-mentioned problems, and appeals the nuances of the motion to be expressed to the real sense of humans when operating an avatar that is a character model composed of a plurality of part data. It is an object of the present invention to provide a modeling control system, a modeling control program, and a modeling control method that provide a visual effect to be obtained.
  • the present invention is a modeling control system that operates modeling data related to an avatar composed of a plurality of part data in a virtual space, Information regarding the operation of each part data is acquired as operation control data, and an operation analysis unit that evaluates the amount of movement of the specific part data; In accordance with the amount of movement evaluated by the motion analysis unit, an enhancement processing unit that changes the size of the part data; An output unit that outputs an avatar composed of the plurality of part data including part data whose size has been changed by the enhancement processing unit; The motion analysis unit determines the area allocation of somatic sensation coming from a specific body part constituting the body or the density of somatic sensation in the somatosensory cortex, which is an area related to somatic sensation in the human brain. Accordingly, the part data is selected and the movement amount is evaluated.
  • the present invention is a modeling control system for operating modeling data related to an avatar composed of a plurality of part data in a virtual space, Information regarding the operation of each part data is acquired as operation control data, and an operation analysis unit that evaluates the amount of movement of the specific part data;
  • An emphasis processing unit that changes a camera viewpoint or shooting setting for the avatar in the virtual space according to the movement amount evaluated by the motion analysis unit;
  • An output unit that outputs an image obtained by virtually capturing the avatar at the camera viewpoint whose shooting setting has been changed by the enhancement processing unit;
  • the motion analysis unit determines the area allocation of somatic sensation coming from a specific body part constituting the body or the density of somatic sensation in the somatosensory cortex, which is an area related to somatic sensation in the human brain. Accordingly, the part data is selected and the movement amount is evaluated.
  • Modeling control method is a modeling control method for operating modeling data related to an avatar composed of a plurality of part data in a virtual space, A motion analysis unit that obtains information about the motion of each part data as motion control data and evaluates the amount of movement of the specific part data; and An emphasis processing unit changes the size of the part data in accordance with the movement amount evaluated in the motion analysis step; An output unit including an output step of outputting an avatar composed of the plurality of parts data including the part data whose size has been changed by the enhancement processing step;
  • the motion analysis step in the somatosensory cortex, which is a region related to the somatosensory sensation of the human brain, the area allocation of the somatosensory segments coming from specific body parts constituting the body, or the somatosensory density Accordingly, the part data is selected and the movement amount is evaluated.
  • the present invention is a modeling control method for operating modeling data related to an avatar composed of a plurality of part data in a virtual space, A motion analysis unit that obtains information about the motion of each part data as motion control data and evaluates the amount of movement of the specific part data; and An emphasis processing unit that changes a camera viewpoint or a shooting setting for the avatar in the virtual space according to the movement amount evaluated in the motion analysis step; An output unit including an output step of outputting a video obtained by virtually photographing the avatar at the camera viewpoint in which the photographing setting is changed by the enhancement processing step;
  • the motion analysis step in the somatosensory cortex, which is a region related to the somatosensory sensation of the human brain, the area allocation of the somatosensory segments coming from specific body parts constituting the body, or the somatosensory density Accordingly, the part data is selected and the movement amount is evaluated.
  • the present invention is a modeling control program for operating modeling data related to an avatar composed of a plurality of part data in a virtual space, Information regarding the operation of each part data is acquired as operation control data, and an operation analysis unit that evaluates the amount of movement of the specific part data;
  • an enhancement processing unit that changes the size of the part data;
  • Function as an output unit that outputs an avatar composed of the plurality of part data including part data whose size has been changed by the enhancement processing unit;
  • the motion analysis unit determines the area allocation of somatic sensation coming from a specific body part constituting the body or the density of somatic sensation in the somatosensory cortex, which is an area related to somatic sensation in the human brain. Accordingly, the part data is selected and the movement amount is evaluated.
  • the present invention is a modeling control program for operating modeling data related to an avatar composed of a plurality of part data on a virtual space, and a computer, Information regarding the operation of each part data is acquired as operation control data, and an operation analysis unit that evaluates the amount of movement of the specific part data;
  • An emphasis processing unit that changes a camera viewpoint or shooting setting for the avatar in the virtual space according to the movement amount evaluated by the motion analysis unit;
  • Causing the enhancement processing unit to function as an output unit that outputs a video obtained by virtually capturing the avatar at the camera viewpoint in which the shooting setting has been changed;
  • the motion analysis unit determines the area allocation of somatic sensation coming from a specific body part constituting the body or the density of somatic sensation in the somatosensory cortex, which is an area related to somatic sensation in the human brain. Accordingly, the part data is selected and the movement amount is evaluated.
  • the movement amount of specific part data such as hand, face, eyes, mouth, etc. is evaluated, and the size of the part data is changed according to the calculated movement amount Visual enhancement processing can be effectively performed by changing the shooting setting of the camera viewpoint in the virtual space.
  • the somatosensory area classification and the somatosensory density distribution from the tactile receptors according to the input amount or importance of somatic sensation coming from each body part
  • select the part data and evaluate the movement amount. Based on this evaluation, for example, with reference to a body part reproduction diagram, weighting according to the body part reproduction area or somatosensory density is performed, and the part size is increased or the camera angle is changed according to this weighting. Perform emphasis processing.
  • an avatar which is a character model composed of a plurality of part data
  • the modeling control program of the present invention can be installed on a computer such as an information processing terminal or a Web server or an IC chip, and executed on the CPU, whereby a system having the above functions can be easily constructed.
  • This modeling control program can be distributed through a communication line, for example, and can be transferred as a package application.
  • Such a modeling control program can be recorded on a recording medium readable by a personal computer, and the above-described modeling control system and modeling control method can be implemented using a general-purpose computer or a dedicated computer.
  • the modeling control program can be easily stored, transported, and installed.
  • the modeling control system is a system for controlling the modeling data related to the avatar in which a predetermined three-dimensional shape is defined in the virtual space, and executes the modeling control program of the present invention on the information processing terminal. Is built by
  • the modeling control system according to the present embodiment is realized by installing and executing the modeling control program according to the present embodiment on a general-purpose computer such as a personal computer or a server device.
  • the modeling control program according to the present embodiment is a program for controlling the operation of modeling data related to an avatar in which a three-dimensional shape of a character such as a human being, an animal, or a robot is defined by animation.
  • a character such as a human being, an animal, or a robot is defined by animation.
  • FIG. 1 is an explanatory diagram showing an outline of modeling data to be controlled by modeling control according to the present embodiment.
  • the avatar A1 is roughly divided into a head part P1 and a body part P2.
  • the head part P1 is accompanied by a hair part P11, an eye part P13, and the like
  • the body part P2 is Decorative parts P3 such as clothes and shoes are attached.
  • Each of these parts can be used to select a character, replace body parts such as the selected character's hair, change the size or shape of the avatar's body such as the whole body of the avatar, chest, face, etc. (morphing) It can be designed arbitrarily by changing colors (texture replacement).
  • modeling data related to the avatar is configured by storing part data, skeleton data, skin data, and shape restriction data in a data set according to the hierarchical structure 100 based on the mutual positional relationship on the body. .
  • This data set is stored in a predetermined file format (for example, FBX format), and the texture to be pasted on the surface of each part is stored in an image file format.
  • FBX format predetermined file format
  • image file format For this texture, one image file is associated with each part. If a plurality of textures are used, they are integrated into one image file.
  • the modeling data set is accompanied by motion control data for creating an animation by operating the modeling data to add a pose or an action.
  • the parts data is the bone data of the human body and the character's head and eyes in addition to the skin data that forms the outer surface around the bone data of each part of the human body (excluding the head in this embodiment).
  • Polygon data, etc. that do not have a direct relationship with are grouped according to the relative positional relationship, and are one element of a data set that is grouped as an avatar part for each group, and are handled as a single object in the virtual space .
  • the modeling data of the present embodiment is composed of polygon data as well as the skin data of the body in addition to the parts such as the head and eyes.
  • the modeling data is roughly divided into a head part and a body part.
  • the head part has polygon data having no direct relationship with bone data as a main data element, and the body part.
  • the main data element is skin data that forms the outer surface around bone data.
  • the shape of the part in the minimum state, the median state, and the maximum state is created and stored as a set so as to predetermine the deformable range.
  • Bone data is data that is defined by two predetermined points in the virtual space and has a predetermined length and serves as the bone of an avatar. As shown in FIG. A plurality of 242 are connected to form skeleton data that is a skeleton of the avatar.
  • the bone data includes joint data corresponding to the joint at the end, and the master-slave relationship of the connected bones is determined by this joint data, and the relative movement range of the subordinate bones with respect to the parent bone is defined.
  • the skin data (polygon data) of each part is determined by the coordinates of each vertex according to the relative position with the skeleton data, either directly or indirectly through other parts, depending on the movement of the bone in the skeleton data.
  • Each vertex of the skin data (polygon data) is also moved.
  • the body parts below the neck of the avatar contain skeleton data
  • the head part above the neck and the parts such as the eyes, nose and mouth associated with the head are only relative to the bone data of the neck.
  • the association with the skeleton data varies depending on the part characteristics.
  • Skin data is associated with one or a plurality of bone data, such as body parts, and the outer surface of an object (including parts and avatars themselves) is displayed.
  • Polygon data to be defined. Specifically, it is polygon data having a polyhedral shape defined by a large number of vertex coordinates, and each vertex coordinate defines a relative positional relationship with respect to predetermined bone data and a relative movement range.
  • the polygon data that forms each part and avatar is defined by topology data, and the way it is assembled (mesh structure including the number of vertices, the arrangement order, and the structure of edges connecting the vertices).
  • Shape restriction data (Skin_Weight data and Blend_Shape data)
  • the shape restriction data is not directly related to the bone data such as weight data (Skin_Weight data) that defines the degree of influence on the skin data associated with each bone data, or the head and eyes. And information (Blend_Shape data) on the operation of the part data whose operation is indirectly defined.
  • Skin_Weight data is mainly data for controlling the movement of the avatar's body
  • Blend_Shape data is data for controlling the movement of the face part and each part associated with the face.
  • Such shape regulation data is stored or associated in the data set according to the hierarchical structure based on the mutual positional relationship together with the part data, and constitutes modeling data.
  • Motion control data is script data for creating animation by moving modeling data and adding poses and actions, and relative to each bone data in the modeling data.
  • the displacement such as the position and the coordinate position in the virtual space is described in chronological order.
  • the relative position and coordinate position of the bone data are changed in chronological order, and according to the change of the bone data, the skin data of each part is moved and moved according to the weight data of the shape regulation data. Deformed.
  • the modeling data of the avatar is paused for each frame (frame) of the animation, and an animation in which the avatar acts by generating each frame continuously is generated.
  • this motion control data includes scripts related to the background and light source of the virtual space where the animation of the avatar is synthesized, the coordinate position of other objects, the camera setting as the camera viewpoint in the virtual space, and the camera work during the animation operation.
  • the animation is created, the background, light source, other objects, and camera work in the virtual space are set according to the scene data together with the avatar action, and each frame is rendered.
  • Modeling control system configuration 4 and 5 are diagrams showing a schematic configuration of the information processing terminal according to the present embodiment and functional modules constructed on the application execution unit 14.
  • the modeling system is a system for controlling the operation of modeling data related to an avatar in which a predetermined three-dimensional shape is defined in a virtual space, and the modeling of the present invention is performed on the information processing terminal 1 such as a personal computer.
  • each functional module is virtually constructed on the CPU.
  • the information processing terminal 1 is an arithmetic processing device including a CPU, and has a function of executing various applications and virtually constructing various modules.
  • the information processing terminal can be realized by a general-purpose computer such as a personal computer, or a dedicated device specialized in function, and includes a mobile computer, a smartphone, and a mobile phone.
  • the “module” used in the present embodiment is configured by hardware such as an apparatus or device, software having the function, or a combination thereof, and a functional unit for achieving a predetermined operation. Indicates.
  • the information processing terminal 1 includes a communication interface 11, an application execution unit 14, a storage unit 15, an input interface 12, and an output interface 13.
  • the storage unit 15 is a database that accumulates various types of information related to the system, and includes a modeling database 151 and an operation control database 152 in this example.
  • Each database can be configured by a memory device, a hard disk, or the like, and may be configured as a single database or a relationship may be set between a plurality of databases.
  • the modeling database 151 is a database that accumulates modeling data composed of a plurality of part data as described above.
  • the motion control database 152 is a database that accumulates motion control data regarding the motion of each part data included in the modeling data.
  • the communication interface 11 is a communication interface for performing data communication, and various data can be downloaded via a communication network such as the Internet.
  • the input interface 12 is a module to which a device that is operated by a user and inputs a user operation is connected. An operation signal from an operation device such as a mouse or a keyboard is input as a user operation via the input interface 12.
  • the output interface 13 is a module that displays modeling data via a display unit 13a such as a monitor.
  • the application execution unit 14 is configured by a processor such as a CPU or DSP (Digital Signal Processor), memory, hardware such as other electronic circuits, software such as a program having the function, or a combination thereof. It is an arithmetic module, and various function modules are virtually constructed by appropriately reading and executing programs, and the modeling data editing unit 141 and the operation of completed modeling data are controlled by each constructed function module. Thus, the motion processing unit 142 for creating an animation is constructed.
  • a processor such as a CPU or DSP (Digital Signal Processor)
  • memory such as other electronic circuits
  • software such as a program having the function, or a combination thereof.
  • It is an arithmetic module, and various function modules are virtually constructed by appropriately reading and executing programs, and the modeling data editing unit 141 and the operation of completed modeling data are controlled by each constructed function module.
  • the motion processing unit 142 for creating an animation is constructed.
  • the modeling editing unit 141 is a group of modules for editing modeling data.
  • the modeling editing unit 141 has an editing function for exchanging parts of modeling data or individually editing parts of modeling data.
  • the modeling editing unit 141 includes a parts selection unit 141a, a parts editing unit 141b, and a parts replacement unit 141c.
  • the part selection unit 141a selects arbitrary part data from modeling data to be edited or replaced based on a user operation, and edits the selected part data and the shape restriction data corresponding to the part data. It is a module cut out from a data set as business data.
  • the parts selection section 141a includes a parts editing section 141b and a parts replacement section 141c.
  • the part editing unit 141b is a module that changes the part data or the shape regulation data included in the editing data.
  • the parts replacement unit 141c compares the topology data for replacement of the part data to be replaced with the basic topology data, and based on the comparison result, the shape related to the part data cut out by the parts selection unit 141a Select and read the restriction data or the shape restriction data in the replacement data, compare the polygon data contained in any part in the data set with the polygon data of the upper part of the hierarchical structure, and each polygon data The coordinates of the vertices included in the image are determined to match or not match, and the matching vertices are made identical.
  • the motion processing unit 142 includes an animation generation unit 142a, an operation analysis unit 142b, an enhancement processing unit 142c, and a rendering unit 142d.
  • the animation generation unit 142a is a module that reads the motion control data from the motion control database 152, operates the modeling data according to the motion control data, and creates an animation by adding a pose or an action.
  • the animation generation unit 142a changes the relative position and coordinate position of the bone data in the modeling data in chronological order according to the script in the motion control data, and the skin data of each part changes in shape according to the change in the bone data. Move / deform according to the weight data of the restriction data.
  • the modeling data of the avatar is paused for each frame (frame) of the animation, and an animation in which the avatar acts by generating each frame continuously is generated.
  • the motion analysis unit 142b is a module that acquires information on the motion of each part data as motion control data and evaluates the movement amount of specific part data, analyzes the motion control data, and which part in the modeling data Analyzing whether it is displaced to some extent, selecting a part to be emphasized and determining the timing of the emphasis process. In evaluating the movement amount, the motion analysis unit 142b analyzes the scene data included in the motion control data, and evaluates the relative movement amount of each part with respect to the camera position.
  • the motion analysis unit 142b allocates an area of a somatosensory area coming from a specific body part constituting the body in a somatosensory area that is a region related to a somatosensory sense of a human brain, Alternatively, the part data is selected according to the density of somatic sensation and the movement amount is evaluated. Specifically, when evaluating the motion of the avatar, the motion analysis unit 142b classifies the somatosensory area according to the input amount or importance of the somatosensory sensation coming from each body part or somatosensory from the tactile receptor. The part data is selected according to the reproduction of the body part in the brain, which is the density distribution, and the amount of movement is evaluated as the displacement difference.
  • displacement For the evaluation of displacement (displacement difference), create a human 3D facial expression database or 2D facial expression database as shown in the table below, and emphasize parts that exceed the difference value according to the motion pattern (expression). Choose as.
  • a part with a large movement (part with a large displacement difference) is selected as an emphasis processing target when expressing a realistic human emotion.
  • the calculation of the displacement difference can be set as appropriate, such as the number of frames from the start of a series of emotional expression to the maximum operation, the number of frames from the start to the end of emotional expression, and the like.
  • the number of parts to be emphasized may be limited to a predetermined number, and the predetermined number may be a threshold value that varies for each motion pattern. The number of parts may be set for each group of body parts. These numbers and threshold values may be optimized using a mechanism for machine learning from existing animations, live-action video images, CG samples, and the like.
  • the enhancement processing unit 142c is a module that changes the size of the part data or changes the camera viewpoint (angle) or the shooting setting for the avatar in the virtual space according to the movement amount evaluated by the motion analysis unit 142b. That is, the motion analysis unit 142b evaluates the relative movement of parts according to body part reproduction such as homunculus, and the enhancement processing unit 142c enlarges a part of a specific body part according to the evaluation ( Visual enhancement is performed by switching shooting settings such as zooming in (or zooming out) by changing the angle.
  • an emphasis amount of each part that is, an enlargement amount (or reduction amount) of the part is calculated.
  • the calculation of the enhancement amount is performed according to the weights corresponding to the areas R1 and R2 of the body part reproduction diagram for each movement amount (difference value in the table). For example, when changing the size of a part, refer to a body part reproduction diagram as shown in FIG. 9, mainly focusing on the character's hands, eyes, and mouth, and based on the character's movement pattern (expression) At the time of weighting, the weights of eyes and mouth are increased, and at the time of physical movement, the weights of hands, fingers, feet, etc. are increased.
  • EmotionIntention is a correction value that represents the degree of the emotion being expressed, and is a correction value for adjusting the strength of the enhancement process. This correction value is set to 1.0 by default, and can be set especially when you want to adjust the strength. For example, you can set it to 2.0 when “very much happens” or “ It can be set to 0.2 when not in play or playfully.
  • the emphasis processing unit 142c determines the normal size of the part to be emphasized and determines the maximum size (zoom-up size) for the entire screen of the part when the emphasis process is performed.
  • the rate of change per time length to be emphasized is changed according to a linear function according to the strength of the emotion to be expressed (FIG. 7C), or is transformed exponentially (same as above).
  • Figure (d)) This emotion strength can be a deformation parameter defined by these functions. This deformation parameter may be determined within a certain range by fuzzy control or random control with a certain probability. The above emotion intention value may be referred to.
  • the camera work when changing the camera work, it is automatically determined at what position, at what angle, and at what speed and timing with respect to the image displayed on the display at a ratio to the overall size. More specifically, the angle (position and angle) and timing at which the difference between the parts selected as objects to be highlighted becomes the largest are calculated backward, and the camera viewpoint is moved to that angle. For example, as shown in FIGS.
  • the presentation method is analyzed from image analysis of existing animations, live-action movies, and CG graphics, and machine learning processing is performed with reference to the analysis results. It may be.
  • the rendering unit 142d arranges the modeling data of the avatar generated by the animation generation unit 142a in the virtual space where the background, the light source, and other objects are arranged, and a collection of these data (numeric and mathematical parameters, drawing rules).
  • Each frame is rendered while changing the background, light source, other objects, and camerawork in the space.
  • the modeling control program according to the present embodiment is installed on a server computer such as a Web server in addition to the information processing terminal, and is executed on the server to use the modeling control system having the above-described functions through a communication network. It can be built as possible.
  • the modeling control program can be distributed through a communication line, for example, and can be transferred as a package application.
  • Such a modeling control program can be recorded on a recording medium readable by a personal computer, and the above-described modeling control system and modeling control method can be implemented using a general-purpose computer or a dedicated computer.
  • the modeling control program can be easily stored, transported, and installed.
  • FIG. 6 is a flowchart showing the procedure of the modeling control method according to this embodiment.
  • the modeling data D1 is read from the modeling database 151 and acquired (S101), and the motion control data D2 describing the action motion of the avatar is acquired from the motion control database 152 (S102). Then, with respect to the acquired motion control data D2, the motion control data is analyzed to determine which part in the modeling data is displaced (S103). Next, camera work is analyzed using the scene data D3 included in the operation control data (S104).
  • the motion analysis unit 142b analyzes the motion control data and the scene data, identifies the motion pattern (expression), and refers to Table 1 based on a body part reproduction diagram such as homunculus as shown in FIG. Select the parts to be emphasized.
  • the enhancement processing unit 142c executes the enhancement processing for changing the size of the part data or changing the camera viewpoint and the shooting setting for the avatar in the virtual space. (S106).
  • the movement amount of each part (difference value in Table 1) is weighted according to the areas R1 and R2 of the body part reproduction diagram, and the change amount, timing, and speed of the part size are calculated according to this weighting. .
  • a correction value for adjusting the strength of the enhancement process can be set.
  • the enhancement processing unit 142c changes the camera work.
  • the emphasis processing unit 142c automatically determines the display size of the image to be displayed, the ratio to the overall size, the position, the angle, and the speed and timing. .
  • the angle (position and angle) and timing at which the difference between the parts selected as highlight targets is the largest are calculated backward, and the camera viewpoint is moved to that angle.
  • the avatar is operated and an animation is generated by changing camera settings and camera work (S107).
  • the animation generation unit 142a changes the relative position and coordinate position of the bone data in the modeling data in chronological order according to the emphasized motion control data and the script in the scene data. Accordingly, the skin data of each part is moved and deformed according to the weight data of the shape regulation data.
  • the modeling data of the avatar is posed for each frame (frame) of the animation in the virtual space, and an animation in which the avatar acts in the virtual space is generated by continuously playing each frame.
  • each frame of the generated animation is rendered to generate moving image data (S108) and output.
  • the rendering unit 142d arranges the avatar modeling data generated by the animation generation unit 142a in a virtual space where a background, a light source, and other objects are arranged, and a collection of these data (numerical values and mathematical formulas). (2), parameters describing drawing rules, etc.) are processed by a computer program to generate a two-dimensional set of pixels.
  • Visual enhancement processing can be performed by changing the size of the part data or changing the shooting setting of the camera viewpoint in the virtual space.
  • the somatosensory area classification and the somatosensory density distribution from the tactile receptors according to the input amount or importance of somatic sensation coming from each body part
  • select the part data and evaluate the movement amount. Based on this evaluation, for example, with reference to a body part reproduction diagram, weighting is performed according to the body part reproduction area or somatosensory density, and the part size is changed or the camera angle is changed according to this weighting. .
  • the amount or importance of somatic sensation input in the human brain is taken into account. You can get a visual effect that appeals to the human sense of the nuance of the action you want.

Abstract

【課題】アバターを動作させる際に、表現したい動作のニュアンスを人間のリアルな感覚に訴え得る視覚効果を奏する。 【解決手段】各パーツデータの動作に関する情報を動作制御データとして取得し、特定のパーツデータの移動量を評価し、この評価された移動量に応じて、パーツデータの大きさや、仮想空間上におけるカメラ視点の撮影設定を変更し、変更されたパーツデータ又は撮影設定でアバターを出力する。この際、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、特定のパーツデータを選択し、その移動量を評価する。

Description

モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
　本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御システム、モデリング制御プログラム、及びモデリング制御方法に関する。
　従来、テレビゲームやインターネットゲームなどの分野で、３Ｄや２Ｄで表現されたユーザーの分身となるキャラクターモデル、所謂「アバター」を作成し、このアバターを介して、ゲームやサービスに参加する形態が普及しつつある。このアバターについては、顔の形や、目・鼻などのパーツの色や形をユーザーが変更して自由に顔やスタイルをデザインしている（例えば、特許文献１参照）。
　また、このように作成したキャラクターモデルは、例えば、キャラクターが人間や動物などである場合には、頭部や胴体、手足など身体の各パーツを組み合わせて構成され、各パーツの相対位置を変化させるアニメーションによってキャラクターの動作を表現している。
特開２００２－９２６４１号公報
　しかしながら、キャラクターモデルを動作させる場合に、単に身体の各パーツの相対位置を変化させるのみでは、その動作によって表現したいニュアンスが観察者に対して伝わりにくいという問題があった。
　これについて本発明者は、人間が視覚により人の動作を認識する場合に、ホムンクルス等の体部位再現に応じた体部位の動きを無意識に認知していると考え、このホムンクルスに従った視覚効果の強調をすることで、表現したい動作のニュアンスを人間のリアルな感覚に訴え得ることを知見した。
　詳述すると、人間の脳内において、身体を構成する特定の体部位の再現が中枢神経系の特定の領域と１対１に対応する体部位再現がなされる場合、脳内の体性感覚に関わる領域（体性感覚野）は、各体部位から来る体性感覚の入力の量又は重要性に応じて区分けされている。例えば、手や顔、口の感覚に対しては実際の体部位の割合よりも大きく認知されるように広い面積が脳皮質に割り当てられている一方で、背中などの体幹ではずっと小さい面積しか割り当てられていない。この体性感覚の区分はホムンクルス等の体部位再現図で表せることが知られている。
　そのため、単に身体の各パーツの相対位置を変化させるのみの、従来のキャラクターの動作制御では、上述した体性感覚の入力量又は重要性を考慮していないことから、意図するニュアンスが伝わりにくいと考えられる。
　そこで、本発明は、上記のような問題を解決するものであり、複数のパーツデータで構成されたキャラクターモデルであるアバターを動作させる際に、表現したい動作のニュアンスを人間のリアルな感覚に訴え得る視覚効果を奏するモデリング制御システム、モデリング制御プログラム、及びモデリング制御方法を提供することを目的とする。
○モデリング制御システム
　上記課題を解決するために、本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御システムであって、
　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
　前記動作解析部が評価した移動量に応じて、前記パーツデータの大きさを変更する強調処理部と、
　前記強調処理部により大きさが変更されたパーツデータを含む前記複数のパーツデータで構成されたアバターを出力する出力部と
を備え、
　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とする。
　また、本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御システムであって、
　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
　前記動作解析部が評価した移動量に応じて、前記仮想空間上における前記アバターに対するカメラ視点又は撮影設定を変更する強調処理部と、
　前記強調処理部により撮影設定が変更されたカメラ視点において前記アバターを仮想的に撮影した映像を出力する出力部と
を備え、
　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とする。
○モデリング制御方法
　さらに、本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御方法であって、
　動作解析部が、前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析ステップと、
　強調処理部が、前記動作解析ステップにより評価された移動量に応じて、前記パーツデータの大きさを変更する強調処理ステップと、
　出力部が、前記強調処理ステップにより大きさが変更されたパーツデータを含む前記複数のパーツデータで構成されたアバターを出力する出力ステップと
を含み、
　前記動作解析ステップでは、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価する
ことを特徴とする。
　また、本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御方法であって、
　動作解析部が、前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析ステップと、
　強調処理部が、前記動作解析ステップにより評価された移動量に応じて、前記仮想空間上における前記アバターに対するカメラ視点又は撮影設定を変更する強調処理ステップと、
　出力部が、前記強調処理ステップにより撮影設定が変更されたカメラ視点において前記アバターを仮想的に撮影した映像を出力する出力ステップと
を含み、
　前記動作解析ステップでは、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価する
ことを特徴とする。
○モデリング制御プログラム
　さらに、本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御プログラムであって、コンピューターを、
　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
　前記動作解析部が評価した移動量に応じて、前記パーツデータの大きさを変更する強調処理部と、
　前記強調処理部により大きさが変更されたパーツデータを含む前記複数のパーツデータで構成されたアバターを出力する出力部として機能させ、
　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とする。
　また、本発明は、仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御プログラムであって、コンピューターを、
　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
　前記動作解析部が評価した移動量に応じて、前記仮想空間上における前記アバターに対するカメラ視点又は撮影設定を変更する強調処理部と、
　前記強調処理部により撮影設定が変更されたカメラ視点において前記アバターを仮想的に撮影した映像を出力する出力部として機能させ、
　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とする。
　これらの発明によれば、ホムンクルス等の体部位再現に従って、手や顔、目、口など、特定のパーツデータの移動量を評価し、算出した移動量に応じて、パーツデータの大きさを変更したり、仮想空間上におけるカメラ視点の撮影設定を変更することによって、視覚的な強調処理を効果的に行うことができる。
　詳述すると、アバターを動作させる際に、各体部位から来る体性感覚の入力量又は重要性に応じた体性感覚野の区分けや触覚受容器からの体性感覚の密度分布である脳内の体部位再現に従って、パーツデータを選択してその移動量を評価する。この評価に基づいて、例えば体部位再現図を参照して、体部位再現の面積或いは体性感覚の密度に応じた重み付けをし、この重み付けに従ってパーツサイズを拡大したり、カメラアングルを変更したりなどの強調処理を行う。人間が視覚により人の動作を認識する場合、ホムンクルス等の体部位再現に応じた体部位の動きを無意識に認知していると考えられることから、この体部位再現に従って動作を評価し、その評価に応じて特定の体部位のパーツを大きくしたり（或いは小さくしたり）、アングルを変えてズームインしたり（或いはズームアウト）するなどのカメラアングルや撮影設定を切り替えことにより、視覚的な強調を効果的に行うことができる。
　この結果、本発明によれば、複数のパーツデータで構成されたキャラクターモデルであるアバターを動作させる際に、人間の脳における体性感覚の入力の量又は重要性を考慮することによって、表現したい動作のニュアンスを人間のリアルな感覚に訴える視覚効果を得ることができる。
　なお、本発明のモデリング制御プログラムは、情報処理端末やＷｅｂサーバー等のコンピューターやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このモデリング制御プログラムは、例えば、通信回線を通じて配布することが可能であり、またパッケージアプリケーションとして譲渡することができる。そして、このようなモデリング制御プログラムは、パーソナルコンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述したモデリング制御システム及びモデリング制御方法を実施することが可能となるとともに、モデリング制御プログラムの保存、運搬及びインストールを容易に行うことができる。
実施形態に係るモデリングプログラムにおけるモデリングデータの階層構造を示す説明図である。 実施形態に係る身体パーツを示す説明図である。 実施形態に係るスケルトンデータを示す説明図である。 実施形態に係る情報処理端末の内部構成を示すブロック図である。 実施形態に係る情報処理端末のアプリケーション実行部及び記憶部の構成を詳細に示すブロック図である。 実施形態に係るモデリング制御方法の手順を示すフロー図である。 実施形態に係るモデリング制御における強調処理（パーツサイズ）に関する説明図である。 実施形態に係るモデリング制御の強調処理（カメラワーク）に関する説明図である。 実施形態に係るモデリング制御の強調処理で用いられる体部位再現図である。
　以下に添付図面を参照して、本発明に係るモデリング制御システム、モデリング制御方法及びモデリング制御プログラムの実施形態を詳細に説明する。本実施形態において、モデリング制御システムは、仮想空間上において、所定の立体的形状が定義されたアバターに関するモデリングデータを動作制御するシステムであり、本発明のモデリング制御プログラムを情報処理端末上で実行することにより構築される。
（モデリングデータの概要）
　本実施形態に係るモデリング制御システムは、パーソナルコンピューターやサーバー装置などの汎用コンピューターに、本実施形態に係るモデリング制御プログラムをインストールし、実行することにより実現される。
　本実施形態に係るモデリング制御プログラムでは、人間や動物、ロボットなどキャラクターの立体的形状が定義されたアバターに関するモデリングデータを、アニメーションなどによって動作制御するプログラムである。ここで、本実施形態において取り扱われるモデリングデータについて説明する。図１は、本実施形態に係るモデリング制御の制御対象となるモデリングデータの概要を示す説明図である。
　図１に示すように、アバターＡ１は、頭部パーツＰ１と、身体パーツＰ２に大きく分けられ、頭部パーツＰ１には、頭髪パーツＰ１１や目パーツＰ１３などが付随し、身体パーツＰ２には、服や靴等の装飾パーツＰ３が付随している。そして、これらの各パーツは、キャラクターを選択したり、選択したキャラクターの髪の毛など、身体パーツの入れ替え、アバターの全身や、胸、顔などアバターの部位のサイズ又は形状の変更（モーフィング）、目の色などの変更（テクスチャの入れ替え）を施し、任意にデザインすることができる。
　本実施形態において、アバターに関するモデリングデータは、パーツデータ、スケルトンデータ、スキンデータ及び形状規制データを、身体上における相互の位置関係に基づいた階層構造１００に従ってデータセットに格納することで構成されている。このデータセットは、所定のファイル形式（例えば、FBX形式）で保存され、各パーツの表面に貼り付けられるテクスチャは、画像ファイル形式で保存される。このテクスチャについては、１パーツにつき１つの画像ファイルが関連づけられる。なお、複数のテクスチャを使用している場合は、１つの画像ファイルに統合される。また、このモデリングデータのデータセットには、モデリングデータを動作させて、ポーズを付けたり、アクションを付けたりしてアニメーションを作成する動作制御データが付随される。
(1)パーツデータ
　パーツデータは、人体の身体各部（本実施形態では頭部を除く。）のボーンデータ周囲の外表面を形作るスキンデータの他、人体やキャラクターの頭部や目などのボーンデータとの直接的な関係を有しないポリゴンデータなどが、相対位置関係に従ってグループ化され、グループ毎にアバターの部位としてまとめられたデータセットの１要素であり、仮想空間上において一塊のオブジェクトとして扱われる。なお、本実施形態のモデリングデータは、頭部や目などのパーツの他、上記身体のスキンデータも、すべてポリゴンデータで構成される。
　本実施形態では、モデリングデータは、頭部パーツと身体パーツとに大きく分けられており、頭部パーツは、ボーンデータとの直接的な関係を有しないポリゴンデータを主なデータ要素とし、身体パーツは、ボーンデータ周囲の外表面を形作るスキンデータを主なデータ要素としている。各パーツでは、変形可能な範囲を予め規定するように、最小状態、中央値の状態及び最大状態のパーツの形がセットになって作成され、保存される。
(2)スケルトンデータ
　ボーンデータは、仮想空間上における所定の２点により定義され所定の長さを有し、アバターの骨となるデータであり、図３に示すように、複数のボーンデータＢ１～２４２が複数連結されてアバターの骨格となるスケルトンデータが構成される。ボーンデータにはその端における関節に相当するジョイントデータが含まれ、このジョイントデータにより、連結されたボーンの主従関係が決められ、従属するボーンの、親のボーンに対する相対移動範囲が規定される。
　各パーツのスキンデータ（ポリゴンデータ）は、スケルトンデータとの相対位置に従って各頂点の座標が、直接的に又は他のパーツを介して間接的に定められ、スケルトンデータ内のボーンの動きに応じて、スキンデータ（ポリゴンデータ）の各頂点も移動するようになっている。例えば、アバターの首から下の身体パーツにはスケルトンデータが含まれ、首から上の頭部や、頭部に付随する目、鼻、口などのパーツは、首のボーンデータに対する相対位置だけが含まれるなど、パーツの特性によってスケルトンデータとの関連づけが異なる。
(3)スキンデータ
　スキンデータは、本実施形態では、主に身体パーツのように、一つ又は複数のボーンデータに対して関連づけられて、オブジェクト（パーツ、アバター自身が含まれる）の外表面を定義するポリゴンデータである。具体的には、多数の頂点座標により定義された多面形状をなすポリゴンデータであり、各頂点座標は、所定のボーンデータに対する相対的位置関係や、相対移動範囲が規定されている。
　また、各パーツやアバターを形成するポリゴンデータは、トポロジーデータにより、その組み方（頂点の数や、配置順序、頂点を結ぶエッジの構造などを含むメッシュ構造）が定義されている。
(4)形状規制データ（Skin_Weightデータ及びBlend_Shapeデータ）
　形状規制データには、各ボーンデータに関連づけられたスキンデータに対する影響度を定義するウェイトデータ（Skin_Weightデータ）と、又は頭部や目などのようにボーンデータに直接的には関連づけられていないが、間接的に動作が規定されるパーツデータの動作に関する情報（Blend_Shapeデータ）とが含まれる。Skin_Weightデータは、主にアバターの身体の動きを制御するためのデータであり、Blend_Shapeデータは、顔部分や顔に付随する各パーツの動きを制御するためのデータである。このような形状規制データは、パーツデータとともに、相互の位置関係に基づいた階層構造に従ってデータセットに格納又は関連づけされ、モデリングデータを構成する。
(5)動作制御データ
　動作制御データは、モデリングデータを動作させて、ポーズを付けたり、アクションを付けたりしてアニメーションを作成するためのスクリプトデータであり、モデリングデータ中の各ボーンデータ相互の相対位置や、仮想空間上の座標位置などの変位を時系列順に記述している。この動作制御データに記述されたスクリプトに従って、ボーンデータの相対位置及び座標位置が時系列順に変化され、このボーンデータの変化に応じて、各パーツのスキンデータが形状規制データのウェイトデータに従って移動・変形される。これにより、アバターのモデリングデータが、アニメーションのコマ（フレーム）毎にポージングされ、各コマを連続的に再生することによりアバターがアクションするアニメーションが生成される。
　また、この動作制御データには、アバターのアニメーションが合成される仮想空間の背景や光源、他のオブジェクトの座標位置、仮想空間上のカメラ視点となるカメラ設定及びアニメーション動作時におけるカメラワークなどに関するスクリプトであるシーンデータが含まれ、アニメーションの作成時には、アバターのアクションとともに、シーンデータに従って、仮想空間内の背景、光源、他のオブジェクト、カメラワークが設定され、各フレームのレンダリングが行われる。
（モデリング制御システムの構成）
　図４及び図５は、本実施形態に係る情報処理端末の概略構成、及びアプリケーション実行部１４上に構築される機能モジュールを示す図である。本実施形態において、モデリングシステムは、仮想空間上において所定の立体的形状が定義されたアバターに関するモデリングデータを、動作制御するシステムであり、パーソナルコンピューター等の情報処理端末１上で、本発明のモデリング制御プログラムを実行することにより、ＣＰＵ上に各機能モジュールが仮想的に構築される。
　詳述すると、情報処理端末１は、ＣＰＵを備えた演算処理装置であり、アプリケーションを実行し種々のモジュールを仮想的に構築する機能を有している。この情報処理端末としては、パーソナルコンピューター等の汎用コンピューターや、機能を特化させた専用装置により実現することができ、モバイルコンピューターやスマートフォン、携帯電話機が含まれる。なお、本実施形態中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
　図４に示すように、情報処理端末１は、通信インターフェース１１と、アプリケーション実行部１４と、記憶部１５と、入力インターフェース１２と出力インターフェース１３とを備えている。
　図５に示すように、記憶部１５は、本システムに関する各種の情報を蓄積するデータベースであり、ここでは、モデリングデータベース１５１と、動作制御データベース１５２とを備えている。なお、各データベースは、メモリ装置やハードディスクなどで構成することができ、単体のデータベースとして構成してもよいし、複数のデータベース間でリレーションシップを設定するようにしてもよい。
　モデリングデータベース１５１は、上述した複数のパーツデータで構成されたモデリングデータを蓄積するデータベースである。動作制御データベース１５２は、モデリングデータに含まれる各パーツデータの動作に関する動作制御データを蓄積するデータベースである。
　通信インターフェース１１は、データ通信を行うための通信インターフェースであり、インターネット等の通信ネットワークを介して、各種データのダウンロードなどが可能となっている。入力インターフェース１２は、ユーザーが操作してユーザー操作を入力するデバイスが接続されるモジュールであり、この入力インターフェース１２を介して、マウスやキーボードなどの操作デバイスからの操作信号が、ユーザー操作として入力される。一方、出力インターフェース１３は、モニタ等の表示部１３ａを介してモデリングデータを表示させるモジュールである。
　アプリケーション実行部１４は、ＣＰＵやＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合わせなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、モデリングデータのモデリング編集部１４１や、完成したモデリングデータの動作を制御してアニメーションを作成するモーション処理部１４２を構築する。
　モデリング編集部１４１は、モデリングデータを編集するモジュール群であり、本実施形態では、モデリングデータのパーツを交換したり、モデリングデータのパーツを個別に編集する編集機能を有している。このパーツ交換やパーツ編集のため、モデリング編集部１４１には、パーツ選択部１４１ａと、パーツ編集部１４１ｂ及びパーツ交換部１４１ｃとが備えられている。
　パーツ選択部１４１ａは、ユーザー操作に基づいて、編集やパーツ交換の対象となるモデリングデータから任意のパーツデータを選択するとともに、選択されたパーツデータ及びこのパーツデータに対応する形状規制データを、編集用データとしてデータセットから切り出すモジュールである。
　このパーツ選択部１４１ａには、パーツ編集部１４１ｂとパーツ交換部１４１ｃが備えられている。パーツ編集部１４１ｂは、編集用データに含まれるパーツデータ又は形状規制データに変更を加えるモジュールである。一方、パーツ交換部１４１ｃは、パーツ交換の対象となるパーツデータの交換用トポロジーデータと基礎トポロジーデータとを比較し、比較結果に基づいて、パーツ選択部１４１ａにより切り出されたパーツデータに関連する形状規制データ、又は、交換用データ内の形状規制データを選択して読み込み、データセット内の任意のパーツに含まれるポリゴンデータを、階層構造の上位にあるパーツのポリゴンデータと比較し、各ポリゴンデータに含まれる各頂点の座標の一致・不一致を判断し、一致する頂点同士を同一化する。
　一方、モーション処理部１４２は、アニメーション生成部１４２ａと、動作解析部１４２ｂと、強調処理部１４２ｃと、レンダリング部１４２ｄとを備えている。
　アニメーション生成部１４２ａは、動作制御データベース１５２から動作制御データを読み込み、動作制御データに従って、モデリングデータを動作させて、ポーズを付けたり、アクションを付けたりしてアニメーションを作成するモジュールである。このアニメーション生成部１４２ａは、動作制御データ中のスクリプトに従って、モデリングデータ中のボーンデータの相対位置及び座標位置を時系列順に変化させ、このボーンデータの変化に応じて、各パーツのスキンデータが形状規制データのウェイトデータに従って移動・変形させる。これにより、アバターのモデリングデータが、アニメーションのコマ（フレーム）毎にポージングされ、各コマを連続的に再生することによりアバターがアクションするアニメーションが生成される。
　動作解析部１４２ｂは、各パーツデータの動作に関する情報を動作制御データとして取得し、特定のパーツデータの移動量を評価するモジュールであり、動作制御データを解析し、モデリングデータ中のどのパーツがどの程度変位しているのかを解析し、強調処理すべきパーツを選択するとともに、強調処理するタイミングを決定する。この移動量の評価に際し、動作解析部１４２ｂは、動作制御データに含まれるシーンデータを解析して、カメラ位置に対する各パーツの相対的な移動量を評価する。
　また、本実施形態に係る動作解析部１４２ｂは、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価する。詳述すると、アバターの動作を評価する際、動作解析部１４２ｂは、各体部位から来る体性感覚の入力量又は重要性に応じた体性感覚野の区分けや触覚受容器からの体性感覚の密度分布である脳内の体部位再現に従って、パーツデータを選択してその移動量を変位の差分として評価する。
　移動量（変位差分）の評価については、下表のような、人間の３次元表情データベース又は２次元表情データベースを作成し、動作パターン（表現）に応じた差分値を越えるパーツを強調すべきパーツとして選択する。
Figure JPOXMLDOC01-appb-T000001
 　この表では、リアルな人間の感情表現時に動きの大きいパーツ（変位の差分が大きいパーツ）を強調処理の対象として選択するようにしている。また、上表において、変位差分の算出は、一連の感情表現の開始から最大動作時までのフレーム数や、感情表現の開始から終了までのフレーム数等、適宜設定することができる。また、強調処理の対象となるパーツの個数は、所定個数までと限定してもよく、その所定個数は、動作パターン毎に変動するしきい値としてもよく、顔部分のパーツ個数、身体部分のパーツ個数というように、体部位のグループ毎に設定してもよい。また、これらの個数やしきい値は、既存のアニメーションや実写映像、ＣＧサンプル等から機械学習する仕組みを用いて、最適化してもよい。
　強調処理部１４２ｃは、動作解析部１４２ｂが評価した移動量に応じて、パーツデータのサイズを変更したり、仮想空間上におけるアバターに対するカメラ視点（アングル）又は撮影設定を変更するモジュールである。すなわち、動作解析部１４２ｂでは、ホムンクルス等の体部位再現に応じて、パーツの相対移動を評価しており、強調処理部１４２ｃは、その評価に応じて特定の体部位のパーツを大きくしたり（或いは小さくしたり）、アングルを変化させてズームインしたり（或いはズームアウト）するなどの撮影設定の切り替えをすることにより、視覚的な強調を行う。
　詳述すると、動作解析部１４２ｂによって強調処理対象となるパーツが選択された後、各パーツの強調量、すなわちパーツの拡大量（又は縮小量）を算出する。この強調量の算出は、各移動量（表中の差分値）に対して体部位再現図の面積Ｒ１及びＲ２に応じた重み付けをし、この重み付けに従って行う。例えば、パーツのサイズ変更にあって、図９に示すような、体部位再現図を参照し、主にキャラクターの手、目、口を重視し、キャラクターの動作パターン（表現）に基づいて、表情のときには、目、口の重み付けを大きくしたり、身体動作のときには、手、指、足などの重み付けを大きくしたりする。具体的には、ホムンクルス等の体部位再現図を参照し、脳内において体性感覚野及び運動野の面積Ｒ１及びＲ２を「重み」として、各体部位のパーツデータに対応付けておき、式(1)により強調量を算出する。
　差分の値　×　体部位再現図における重み　×　EmotionIntention（感情意図値）　(1)
　なお、上式においてEmotionIntentionは、表現されている感情の程度を表す補正値であり、強調処理の強弱を調整するための補正値である。この補正値は、デフォルトで１．０に設定しておき、特に強弱を調整したい場合に設定することができ、例えば、「とても起こっているとき」に２．０と設定したり、「あまり起こっていないとき・ふざけているとき」には０．２と設定することができる。
　このとき、強調処理部１４２ｃは、強調処理の対象となるパーツの通常サイズを確定するとともに、強調処理された際の、そのパーツの画面全体に対する最大サイズ（ズームアップサイズ）を決定し、そのサイズまでに拡大させる変化率を設定する。例えば、強調処理の対象パーツが拳である場合に、通常サイズが図７（ａ）に示すサイズであるとき、その強調処理された際のパーツの画面全体に対するサイズを、同図（ｂ）に示すような画面サイズと同等、若しくはそれ以上となるサイズを最大サイズとして決定する。そして、この強調処理する時間長あたりの変化率を、その表現したい感情の強さに応じて、線形的な関数に従って変化させたり（図７（ｃ））、指数関数的に変形させたり（同図（ｄ））することができる。この感情の強さは、これらの関数で定義される変形パラメータとすることができ、この変形パラメータは、ファジー制御或いは一定確率のランダム制御によって、ある一定の幅の範囲で決定するようにしてもよく、上記感情意図値を参照するようにしてもよい。
　また、カメラワークの変更は、ディスプレイ表示される画像に対して、どの程度の全体サイズに対する割合で、どの位置に、どの角度で、どの程度の速度及びタイミングで表示するかを自動で決定する。詳述すると、強調表示する対象として選択されたパーツの差分が最も大きくなるアングル（位置及び角度）及びタイミングを逆算し、そのアングルにカメラ視点を移動させる。例えば、図８（ａ）～（ｄ）に示すように、アバターが正面に向かって拳を突き出すような「殴る」アクションを取る場合、正面から観たときのカメラ視点に対する拳の相対移動（差分）をΔｄ＝ｘとし、側面から観たときの相対移動（差分）をΔｄ＝ｘ´とすると、ｘ＞ｘ´であることから、カメラ視点の位置をアバターの正面へ移動させる。
　なお、このカメラ視点を移動させる制御については、例えば、既存のアニメーションや実写映画、ＣＧグラフィックの画像解析からその演出方法を解析して、その解析結果を参考とするような機械学習処理を行うようにしてもよい。
　レンダリング部１４２ｄは、アニメーション生成部１４２ａが生成したアバターのモデリングデータを、背景や光源、他のオブジェクトが配置された仮想空間内に配置し、これらのデータの集まり(数値や数式のパラメータ、描画ルールを記述したものなど)をコンピュータープログラムで処理して、２次元的な画素の集合を生成するモジュールである。本実施形態では、仮想空間の背景や光源、他のオブジェクトの座標位置、仮想空間上のカメラ視点となるカメラ設定及びアニメーション動作時におけるカメラワークなどに関するシーンデータに基づいて、アバターのアクションとともに、仮想空間内の背景、光源、他のオブジェクト、カメラワークを変化させつつ、各フレームのレンダリングを行う。
（モデリング制御プログラム）
　なお、本実施形態のモデリング制御プログラムは、情報処理端末の他、Ｗｅｂサーバー等のサーバーコンピューターにインストールし、サーバー上で実行することにより、上述した各機能を有するモデリング制御システムを、通信ネットワークを通じて利用可能に構築することができる。また、このモデリング制御プログラムは、例えば、通信回線を通じて配布することが可能であり、またパッケージアプリケーションとして譲渡することができる。そして、このようなモデリング制御プログラムは、パーソナルコンピューターで読み取り可能な記録媒体に記録することができ、汎用のコンピューターや専用コンピューターを用いて、上述したモデリング制御システム及びモデリング制御方法を実施することが可能となるとともに、モデリング制御プログラムの保存、運搬及びインストールを容易に行うことができる。
（モデリング制御方法）
　以上説明した構成を備えたモデリング動作制御システムによるモデリング制御方法について説明する。図６は、本実施形態に係るモデリング制御方法の手順を示すフローチャート図である。
　先ず、モデリングデータＤ１をモデリングデータベース１５１から読み出して取得するとともに（Ｓ１０１）、動作制御データベース１５２からアバターのアクション動作を記述した動作制御データＤ２を取得する（Ｓ１０２）。そして取得した動作制御データＤ２について、動作制御データを解析し、モデリングデータ中のどのパーツがどの程度変位しているのかを解析する（Ｓ１０３）。次いで、動作制御データに含まれるシーンデータＤ３用いて、カメラワークを解析する（Ｓ１０４）。
　そして、これら動作制御データＤ２及びシーンデータＤ３による解析に基づいて、強調処理すべきパーツを選択するとともに、その移動量を評価し、強調処理するタイミングを決定する（Ｓ１０５）。この際、動作解析部１４２ｂは、動作制御データ及びシーンデータを解析して、動作パターン（表現）を特定し、図９に示すような、ホムンクルス等の体部位再現図に基づく表１を参照し、強調処理をすべきパーツを選択する。
　その後、動作解析部１４２ｂが評価した移動量に応じて、強調処理部１４２ｃによって、パーツデータの大きさを変更したり、仮想空間上におけるアバターに対するカメラ視点や撮影設定を変更する強調処理を実行する（Ｓ１０６）。この際、各パーツの移動量（表１中の差分値）に対して体部位再現図の面積Ｒ１及びＲ２に応じた重み付けをし、この重み付けに従ってパーツサイズの変化量、タイミング、速度を算出する。このとき、強調処理の強弱を調整するための補正値を設定することができる。
　このパーツサイズの変更と合わせて、強調処理部１４２ｃは、カメラワークの変更を行う。この際、強調処理部１４２ｃは、ディスプレイ表示される画像に対して、どの程度の全体サイズに対する割合で、どの位置に、どの角度で、どの程度の速度及びタイミングで表示するかを自動で決定する。すなわち、強調表示する対象として選択されたパーツの差分が最も大きくなるアングル（位置及び角度）及びタイミングを逆算し、そのアングルにカメラ視点を移動させる。
　このような強調処理に従って、アバターを動作させるとともに、カメラ設定やカメラワークを変更してアニメーションを生成する（Ｓ１０７）。具体的には、アニメーション生成部１４２ａが、強調処理された動作制御データ及びシーンデータ中のスクリプトに従って、モデリングデータ中のボーンデータの相対位置及び座標位置を時系列順に変化させ、このボーンデータの変化に応じて、各パーツのスキンデータが形状規制データのウェイトデータに従って移動・変形させる。これにより、アバターのモデリングデータを、仮想空間内でアニメーションの各コマ（フレーム）毎にポージングされ、各コマを連続的に再生することによりアバターが仮想空間内においてアクションするアニメーションが生成される。
　その後、生成されたアニメーションの各フレームをレンダリングして、動画データを生成し（Ｓ１０８）、出力する。具体的には、レンダリング部１４２ｄが、アニメーション生成部１４２ａが生成したアバターのモデリングデータを、背景や光源、他のオブジェクトが配置された仮想空間内に配置し、これらのデータの集まり(数値や数式のパラメータ、描画ルールを記述したものなど)をコンピュータープログラムで処理して、２次元的な画素の集合を生成する。
（作用・効果）
　以上説明した本実施形態によれば、ホムンクルス等の体部位再現に従って、手や顔、目、口などの特定のパーツデータを選択し、その移動量を評価し、算出した移動量に応じて、パーツデータの大きさを変更したり、仮想空間上におけるカメラ視点の撮影設定を変更することによって、視覚的な強調処理を行うことができる。
　詳述すると、アバターを動作させる際に、各体部位から来る体性感覚の入力量又は重要性に応じた体性感覚野の区分けや触覚受容器からの体性感覚の密度分布である脳内の体部位再現に従って、パーツデータを選択してその移動量を評価する。この評価に基づいて、例えば体部位再現図を参照して、その体部位再現の面積或いは体性感覚の密度に応じた重み付けをし、この重み付けに従ってパーツサイズを変更したり、カメラアングルを変更する。人間が視覚により人の動作を認識する場合、ホムンクルス等の体部位再現に応じた体部位の動きを無意識に認知していると考えられることから、この体部位再現に従って動作を評価し、その評価に応じて特定の体部位のパーツを大きくしたり（或いは小さくしたり）、ズームインしたり（或いはズームアウト）するなどの撮影設定の切り替えをすることにより、視覚的な強調を効果的に行うことができる。
　この結果、本実施形態によれば、複数のパーツデータで構成されたキャラクターモデルであるアバターを動作させる際に、人間の脳における体性感覚の入力の量又は重要性を考慮することによって、表現したい動作のニュアンスを人間のリアルな感覚に訴える視覚効果を得ることができる。
　Ａ１…アバター
　Ｒ１，Ｒ２…体部位再現の面積
　Ｂ１～２４２…ボーンデータ
　Ｄ１…モデリングデータ
　Ｄ２…動作制御データ
　Ｄ３…シーンデータ
　Ｐ１…頭部パーツ
　Ｐ１１…頭髪パーツ
　Ｐ１３…目パーツ
　Ｐ２…身体パーツ
　Ｐ３…装飾パーツ
　１…情報処理端末
　１１…通信インターフェース
　１２…入力インターフェース
　１３…出力インターフェース
　１３ａ…表示部
　１４…アプリケーション実行部
　１５…記憶部
　１００…階層構造
　１４１…モデリング編集部
　１４１ａ…パーツ選択部
　１４１ｂ…パーツ編集部
　１４１ｃ…パーツ交換部
　１４２…モーション処理部
　１４２ａ…アニメーション生成部
　１４２ｂ…動作解析部
　１４２ｃ…強調処理部
　１４２ｄ…レンダリング部
　１５１…モデリングデータベース
　１５２…動作制御データベース

Claims (6)

  1. 　仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御システムであって、
    　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
    　前記動作解析部が評価した移動量に応じて、前記パーツデータの大きさを変更する強調処理部と、
    　前記強調処理部により大きさが変更されたパーツデータを含む前記複数のパーツデータで構成されたアバターを出力する出力部と
    を備え、
    　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とするモデリング制御システム。
  2. 　仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御システムであって、
    　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
    　前記動作解析部が評価した移動量に応じて、前記仮想空間上における前記アバターに対するカメラ視点又は撮影設定を変更する強調処理部と、
    　前記強調処理部により撮影設定が変更されたカメラ視点において前記アバターを仮想的に撮影した映像を出力する出力部と
    を備え、
    　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とするモデリング制御システム。
  3. 　仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御方法であって、
    　動作解析部が、前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析ステップと、
    　強調処理部が、前記動作解析ステップにより評価された移動量に応じて、前記パーツデータの大きさを変更する強調処理ステップと、
    　出力部が、前記強調処理ステップにより大きさが変更されたパーツデータを含む前記複数のパーツデータで構成されたアバターを出力する出力ステップと
    を含み、
    　前記動作解析ステップでは、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価する
    ことを特徴とするモデリング制御方法。
  4. 　仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御方法であって、
    　動作解析部が、前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析ステップと、
    　強調処理部が、前記動作解析ステップにより評価された移動量に応じて、前記仮想空間上における前記アバターに対するカメラ視点又は撮影設定を変更する強調処理ステップと、
    　出力部が、前記強調処理ステップにより撮影設定が変更されたカメラ視点において前記アバターを仮想的に撮影した映像を出力する出力ステップと
    を含み、
    　前記動作解析ステップでは、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価する
    ことを特徴とするモデリング制御方法。
  5. 　仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御プログラムであって、コンピューターを、
    　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
    　前記動作解析部が評価した移動量に応じて、前記パーツデータの大きさを変更する強調処理部と、
    　前記強調処理部により大きさが変更されたパーツデータを含む前記複数のパーツデータで構成されたアバターを出力する出力部として機能させ、
    　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とするモデリング制御プログラム。
  6. 　仮想空間上において、複数のパーツデータで構成されたアバターに関するモデリングデータを動作させるモデリング制御プログラムであって、コンピューターを、
    　前記各パーツデータの動作に関する情報を動作制御データとして取得し、特定の前記パーツデータの移動量を評価する動作解析部と、
    　前記動作解析部が評価した移動量に応じて、前記仮想空間上における前記アバターに対するカメラ視点又は撮影設定を変更する強調処理部と、
    　前記強調処理部により撮影設定が変更されたカメラ視点において前記アバターを仮想的に撮影した映像を出力する出力部として機能させ、
    　前記動作解析部は、人間の脳の体性感覚に関わる領域である体性感覚野における、身体を構成する特定の体部位から来る体性感覚の区分の面積割り当て、又は体性感覚の密度に応じて、前記パーツデータを選択し、その移動量を評価することを特徴とするモデリング制御プログラム。
PCT/JP2016/087731 2016-04-08 2016-12-19 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム WO2017175423A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016078072A JP6574401B2 (ja) 2016-04-08 2016-04-08 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
JP2016-078072 2016-04-08

Publications (1)

Publication Number Publication Date
WO2017175423A1 true WO2017175423A1 (ja) 2017-10-12

Family

ID=60000290

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087731 WO2017175423A1 (ja) 2016-04-08 2016-12-19 モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム

Country Status (2)

Country Link
JP (1) JP6574401B2 (ja)
WO (1) WO2017175423A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533761A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
JP6826747B1 (ja) * 2020-07-27 2021-02-10 株式会社Ｖｒｃ 情報処理装置及び情報処理方法
CN113058259A (zh) * 2021-04-22 2021-07-02 杭州当贝网络科技有限公司 基于游戏内容的体感动作识别方法、系统及存储介质
US20220122337A1 (en) * 2021-03-24 2022-04-21 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing slider for virtual character, electronic device, and storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005492B1 (ko) * 2017-10-31 2019-07-30 에스케이텔레콤 주식회사 3차원 메쉬 데이터 간소화 방법 및 장치
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
KR102241287B1 (ko) * 2018-12-31 2021-04-16 한국과학기술연구원 행동 인식 학습용 동적 데이터베이스 구축 장치 및 방법
KR102287546B1 (ko) * 2019-10-21 2021-08-10 제주대학교 산학협력단 차량 소프트웨어 정의 네트워킹에서 확장 칼만필터를 이용하는 차량 궤적 예측시스템 및 그 방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체
KR20220160558A (ko) * 2020-03-20 2022-12-06 라인플러스 주식회사 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템
WO2024069944A1 (ja) * 2022-09-30 2024-04-04 株式会社Vrc 情報処理装置、情報処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283419A (ja) * 2003-03-24 2004-10-14 Namco Ltd ゲーム情報、情報記憶媒体及びゲーム装置
US20150287229A1 (en) * 2014-04-08 2015-10-08 Technion Research And Development Foundation Limited Audio-based caricature exaggeration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283419A (ja) * 2003-03-24 2004-10-14 Namco Ltd ゲーム情報、情報記憶媒体及びゲーム装置
US20150287229A1 (en) * 2014-04-08 2015-10-08 Technion Research And Development Foundation Limited Audio-based caricature exaggeration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NORIAKI KANAYAMA ET AL.: "The Neural Correlates of Enfacement Effect", COGNITIVE STUDIES: BULLETIN OF THE JAPANESE COGNITIVE SCIENCE SOCIETY, vol. 21, no. 4, 1 December 2014 (2014-12-01), pages 499 - 502, XP055429487 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533761A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
CN110533761B (zh) * 2018-05-23 2024-01-12 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
JP6826747B1 (ja) * 2020-07-27 2021-02-10 株式会社Ｖｒｃ 情報処理装置及び情報処理方法
WO2022024191A1 (ja) * 2020-07-27 2022-02-03 株式会社Vrc 情報処理装置及び情報処理方法
CN114514564A (zh) * 2020-07-27 2022-05-17 株式会社威亚视 资讯处理装置及资讯处理方法
CN114514564B (zh) * 2020-07-27 2022-11-25 株式会社威亚视 资讯处理装置及资讯处理方法
TWI821710B (zh) * 2020-07-27 2023-11-11 日商威亞視股份有限公司 資訊處理裝置及資訊處理方法
US20220122337A1 (en) * 2021-03-24 2022-04-21 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing slider for virtual character, electronic device, and storage medium
US11842457B2 (en) * 2021-03-24 2023-12-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing slider for virtual character, electronic device, and storage medium
CN113058259A (zh) * 2021-04-22 2021-07-02 杭州当贝网络科技有限公司 基于游戏内容的体感动作识别方法、系统及存储介质
CN113058259B (zh) * 2021-04-22 2024-04-19 杭州当贝网络科技有限公司 基于游戏内容的体感动作识别方法、系统及存储介质

Also Published As

Publication number Publication date
JP6574401B2 (ja) 2019-09-11
JP2017188020A (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6574401B2 (ja) モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
US11074748B2 (en) Matching meshes for virtual avatars
US11557076B2 (en) Computer generated hair groom transfer tool
JP5785254B2 (ja) 顔の表情のリアルタイムアニメーション
US9196074B1 (en) Refining facial animation models
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
US20220237846A1 (en) Generation and simultaneous display of multiple digitally garmented avatars
KR101977893B1 (ko) 영상컨텐츠 적용 디지털액터의 운용방법
JP2016122297A (ja) モデリングシステム、モデリングプログラム、及びモデリング方法
KR102630286B1 (ko) 텍스쳐 조작을 이용한 애니메이팅된 얼굴
KR102108422B1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
KR101780496B1 (ko) 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법
JP2011215709A (ja) 漫画作成支援装置、漫画作成支援方法及びプログラム
WO2023027897A1 (en) Dynamic augmentation of stimuli based on profile of user
JP7356662B2 (ja) コンピュータプログラム、及び方法
JP7145359B1 (ja) 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
CN117425017A (zh) 一种数字人表情的调整方法、装置及介质
KR20190109639A (ko) 인공지능을 이용한 3d 어플리케이션 생성 방법 및 장치
Erkoç Anatomy based animation of facial expressions

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16897975

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16897975

Country of ref document: EP

Kind code of ref document: A1