WO2021106553A1 - 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース - Google Patents

情報処理システム、情報処理方法、プログラムおよびユーザインタフェース Download PDF

Info

Publication number
WO2021106553A1
WO2021106553A1 PCT/JP2020/041907 JP2020041907W WO2021106553A1 WO 2021106553 A1 WO2021106553 A1 WO 2021106553A1 JP 2020041907 W JP2020041907 W JP 2020041907W WO 2021106553 A1 WO2021106553 A1 WO 2021106553A1
Authority
WO
WIPO (PCT)
Prior art keywords
blend shape
correction
model
face
facial expression
Prior art date
Application number
PCT/JP2020/041907
Other languages
English (en)
French (fr)
Inventor
浩平 宮本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/756,052 priority Critical patent/US20230071947A1/en
Publication of WO2021106553A1 publication Critical patent/WO2021106553A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to an information processing system, an information processing method, a program, and a user interface.
  • Blend Shape is known as a method for controlling the facial expression of a CG (Computer Graphics) character.
  • Blend shape is a method to generate an arbitrary facial expression by blending facial expression models (blend shape model) such as "laughing", “crying” and “angry” with the facial expression model (base model) of the base character. Is.
  • the face is not deformed by using the PCA-based parameter control model (the model created from each principal component axis has no meaning) as it is, but the meaning description and the related measurement regarding the face are performed. Based on the criteria, the PCA-based parameter control model is converted into face control parameters. Therefore, a PCA-based parameter control model with a high degree of abstraction can be used as a parameter that can be understood by humans.
  • the creator needs to prepare a measurement standard regarding face control parameters. Therefore, it is difficult to prepare a face controller that affects abstract and various facial expressions such as mood. Also, the face control parameters do not interact with each other, and the facial expression of the character is generated as a simple linear sum of multiple blend shape models. Therefore, it is difficult to collectively correct some or all of the face control parameters according to the mood and the like.
  • This disclosure proposes an information processing system, an information processing method, a program, and a user interface that can reduce the burden on the creator who corrects the facial expression of the character.
  • a blend shape parameter acquisition unit that acquires the weight of the blend shape model blended with the base model as a blend shape parameter, and the magnitude of a correction factor that affects the facial expression of the blend shape model are used as correction parameters.
  • the conversion formula between the correction parameter acquisition unit to be acquired and the base model and the blend shape model is corrected based on the correction formula associated with the correction factor and the blend shape model, and the correction is performed.
  • An information processing system including a face generation unit that generates a character's face using a conversion formula, the blend shape parameter, and the correction parameter is provided. Further, according to the present disclosure, there is provided an information processing method in which the information processing of the information processing system is executed by a computer, and a program for realizing the information processing of the information processing system in the computer.
  • 1 is selected in the blend shape parameter input field in which a list of a plurality of facial expression models is displayed, the correction parameter input field in which a list of a plurality of model factors is displayed, and the blend shape parameter input field.
  • Each of the plurality of model factors has the above facial expression model and a preview area in which a character's face generated based on one or more model factors selected in the correction parameter input field is displayed.
  • the one or more selected in the correction parameter input field which affects the facial expression of at least one facial expression model among the plurality of facial expression models.
  • a user interface is provided in which one or more facial expression models that are affected by facial expressions by model factors are highlighted.
  • FIG. 1 is a diagram illustrating an outline of a face generation process.
  • FIG. 2 is a diagram showing a plurality of correction models derived from the same blend shape model.
  • FIG. 3 is a diagram showing an example of a face model used in the blend shape.
  • the base model BM is a base face model.
  • the facial expression of the base model BM is not particularly limited, but is generally expressionless.
  • the blend shape model BSM is a face model (facial expression model) that shows a different facial expression from the base model BM.
  • a plurality of facial expressions having different characteristics such as a smiling face, an angry face and a crying face are used.
  • the base model BM and the blend shape model BSM are created by general CG software.
  • the face FM is composed of a plurality of vertex F V, a plurality of sides F S and a plurality of plane F P obtained by connecting adjacent vertexes F V, the polygon mesh including.
  • N blend shape models BSM (BSM 1 , BSM 2 , ... BSM N ) are prepared.
  • the blend shape model BSM 1 is smiling.
  • the blend shape model BSM 2 has an angry face.
  • the blend shape model BSM N has a crying face.
  • the face FM of FIG. 1 is generated by blending the blend shape model BSM 2 and the blend shape model BSM N with a predetermined weight with the base model BM. Face FM is a face between an angry face and a crying face.
  • Base model BM and blend shape model BSM for example, is defined by a matrix containing information of the coordinates of each vertex F V of the polygon mesh.
  • the arbitrary face FM is generated by using the following formula (1).
  • X is a matrix representing the face FM.
  • X 0 is a matrix representing the base model BM.
  • n (n is an integer greater than or equal to 1 and less than or equal to N) is the number of blend shape model BSMs blended into the base model BM.
  • X i (i is an integer from 1 to n) is a matrix representing the i-th blend shape model BSM i.
  • ⁇ i is a blend shape parameter indicating the weight of the i-th blend shape model BSM i blended with the base model BM.
  • P i is a conversion equation between the base model BM and the i-th blendshape model BSM i.
  • P i is, for example, a matrix containing difference information between the coordinate of each vertex F V of the polygon mesh coordinates and i th blendshape model BSM i of each vertex F V polygon mesh base model BM.
  • any face model FM is calculated as a weighted linear sum of a plurality of blend shape models BSM.
  • the user can flexibly control the facial expression of the character by appropriately adjusting the values of the plurality of blend shape parameters ⁇ ( ⁇ 1 to ⁇ N).
  • ⁇ ⁇ 1 to ⁇ N
  • FIG. 2 for example, when trying to express a smile (blend shape model BSM 1 ), there are various types of smiles depending on the mood and the like. For example, a smile when feeling depressed (correction model BSM 11 ), a smile when frustrated (correction model BSM 12 ), and a smile when tired (correction model BSM 1M ) are slightly different. Therefore, in the present embodiment, as will be described later, the conversion formula P (P 1 to PN ) is corrected based on the correction factor CF such as mood.
  • the blend shape model BSM is a model that expresses the facial expressions of characters such as laughing, crying, and getting angry. Facial expressions are changes that appear on the face in response to emotions and the like. In psychology, emotions and moods are distinguished. Emotions are strong emotions caused by obvious causes, accompanied by physiological excitement such as fear, anger and joy, and their duration is generally short. Emotions that are weaker than emotions are called moods. The mood is not always conscious, and the cause may not be clear. Regarding mood, there is no significant change in emotions, but the duration is longer than that of emotions. Mood does not, by itself, significantly change the shape of the face, but it does change the likelihood of emotions appearing on the face.
  • the correction factor CF is not limited to mood.
  • the tendency of facial expressions peculiar to the character can also be mentioned. Facial habits such as the tendency to raise one of the left and right corners of the mouth can have a wide range of effects on various facial expressions such as laughing, crying, and anger.
  • the facial expression of the character can be expressed by a combination of a plurality of blend shape models BSM and a plurality of correction factors CF.
  • a realistic facial expression that reflects the subtle movements of the character's mind is generated.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the information processing system 1 according to the first embodiment.
  • FIG. 5 is a diagram showing an example of the functional configuration of the information processing system 1.
  • FIG. 6 is a diagram showing an example of the data structure of the correction data 43.
  • the information processing system 1 displays a CPU (Central Processing Unit) 10, a ROM (Read Only Memory) 20, a RAM (Random Access Memory) 30, a storage unit 40, a communication interface 50, and an input interface 70. It has an interface 80, an input device 71, and a display device 81.
  • the information processing system 1 has a configuration in which a CPU 10, a ROM 20, a RAM 30, a storage unit 40, and a communication interface 50 are connected by an internal bus 60.
  • the CPU 10 controls the operation of the entire information processing system 1 by expanding and executing the program 41 stored in the storage unit 40 or the ROM 20 on the RAM 30.
  • the information processing system 1 is operated by the program 41.
  • the program 41 may be provided to the information processing system 1 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program 41 executed by the CPU 10 may be a program that is processed in chronological order according to the order described in the present disclosure, or may be processed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the storage unit 40 stores, for example, a program 41 executed by the CPU 10 and various data such as model data 42 and correction data 43.
  • the storage unit 40 may be used as a work area for temporarily storing the processing result of the CPU 10.
  • the storage unit 40 includes any non-transient storage medium such as a semiconductor storage medium and a magnetic storage medium.
  • the storage unit 40 includes, for example, an optical disk, a magneto-optical disk, or a flash memory.
  • the program 41 is stored, for example, in a non-transient storage medium that can be read by a computer.
  • the model data 42 includes data of the matrix X 0 representing the base model BM and data of a plurality of conversion formulas P for performing conversion between the base model BM and the plurality of blend shape models BSM. ,including.
  • Model data 42 may include data of a plurality of matrices X 1 ⁇ X N representing a plurality of blend shape model BSM respectively.
  • the correction data 43 includes data of a plurality of correction factor CFs and data of a plurality of correction formulas M.
  • the correction data 43 has a data structure in which the correction factor CF, the conversion formula P, and the correction formula M are associated with each other.
  • a plurality of correction factor CF, M (M is an integer of 2 or more) correction factor CF 1 ⁇ CF M of is stored.
  • the correction factor CF is, for example, the mood of the character. Mood is a weak and lasting emotion about the mind and body, or a somewhat vague state of mind and body that lasts for a period of time.
  • the correction factor CF 1 indicates a depressed mood.
  • the correction factor CF 2 indicates a frustrated state.
  • Correction factor CF M shows a state in which tired.
  • the storage unit 40 corrects one or more blend shape model BSMs affected by the correction factor CF and one or more conversion formulas P corresponding to one or more blend shape model BSMs for each correction factor CF.
  • the correction formula M of is associated with and stored.
  • Various data such as the model data 42 and the correction data 43 may be downloaded from an external server (not shown) connected to the information processing system 1 via the Internet or the like as necessary and stored in the storage unit 40.
  • the communication interface 50 acquires the information input by the input device 10 via the input interface 70.
  • the input device 10 includes various input devices such as a keyboard, a mouse, and a touch panel.
  • the communication interface 50 causes the display device 81 to display image information and video information via the display interface 80.
  • the display device 81 is, for example, a liquid crystal display panel or an organic EL panel, but the display device 81 is not limited thereto.
  • the communication interface 50 communicates with an external server or the like (not shown) by wireless communication or wired communication. As a result, the information processing system 1 receives various data such as the newly created model data 42 and the correction data 43, and transmits the generated character face data and the like to the outside.
  • the CPU 10 includes a blend shape parameter acquisition unit 11, a correction parameter acquisition unit 12, a face generation unit 13, a display control unit 14, a mesh deformation detection unit 15, and a correction formula generation unit 16. , Have.
  • the CPU 10 expands the program 41 on the RAM 30 and operates the blend shape parameter acquisition unit 11, the correction parameter acquisition unit 12, the face generation unit 13, the display control unit 14, the mesh deformation detection unit 15, and the correction formula generation unit. Functions as 16.
  • the blend shape parameter acquisition unit 11 acquires the weight of the blend shape model BSM blended with the base model BM as the blend shape parameter ⁇ .
  • the blend shape parameter ⁇ is input by the input device 71.
  • the correction parameter acquisition unit 12 acquires the magnitude of the correction factor CF that affects the facial expression of the blend shape model BSM as the correction parameter ⁇ .
  • the facial expression of the character is generated by the combination of n blend shape models BSM and k correction factors CF.
  • the number n of the blend shape model BSM and the number k of the correction factor CF can be 1 or more, preferably 2 or more.
  • the combination of the plurality of blend shape models BSM and the plurality of correction factors CF generates a realistic facial expression that reflects the subtle movements of the character's mind.
  • the display control unit 14 causes the display device 81 to display various information necessary for information processing of the present embodiment.
  • the display control unit 14 causes the display device 81 to display various information related to the model data 42 and the correction data 43.
  • the display control unit 14 causes the display device 81 to display the face FM of the character generated by the face generation unit 13.
  • the character's face FM is composed of a polygon mesh defined by a matrix X.
  • the mesh deformation detection unit 15 detects, for example, the difference (X'-X) between the matrix X representing the face FM before deformation and the matrix X'representing the face FM after deformation (X'-X) as ⁇ Q.
  • the user defines a new correction factor CF that is not stored in the storage unit 40, the user directly deforms the polygon mesh of the face FM generated by the face generation unit 13 and newly defines the change in facial expression due to the deformation. It can be associated with factor CF. The user can also adjust the facial expression changes associated with the correction factor CF by directly deforming the polygon mesh.
  • the correction formula generation unit 16 acquires the deformation amount ⁇ Q added by the user to the face FM generated based on the single blend shape model BSM from the mesh deformation detection unit 15. Correction equation generating unit 16 generates a correction equation M g to correct the conversion equation P between the base model BM and single blend shape model BSM based on the deformation amount Delta] Q.
  • the correction formula generation unit 16 is based on the following formula (3). to generate a correction formula M g Te.
  • M of the formula (3) is a correction formula stored in the storage unit 40 in association with a single blend shape model BSM and a single correction factor CF.
  • the correction formula generation unit 16 outputs the generated correction formula Mg to the storage unit 40.
  • Storage unit 40 a correction formula M g obtained from the correction equation generating unit 16, instead of the correction equation M of formula (3) stored in the storage unit 40, a single blend shape model BSM and correction described above Store in association with factor CF.
  • the correction formula generation unit 16 is based on the above formula (3). to generate a correction formula M g Te.
  • the correction formula generation unit 16 outputs the generated correction formula Mg to the storage unit 40.
  • Storage unit 40 stores the obtained correction equation M g that are correlated with the correction factor CF defined single blend shape model BSM and the newly described above from the correction expression generation unit 16.
  • FIG. 7 is a diagram showing an example of performing face generation processing using the user interface UI1.
  • the display control unit 14 causes the display device 81 to display the blend shape parameter input field 82, the correction parameter input field 83, and the preview area 84.
  • the blend shape parameter input field 82 for example, a list of a plurality of facial expression model EPs and a plurality of slide bars SB1 for inputting the size of each facial expression model EP are displayed.
  • the slide bar SB1 When the user operates the slide bar SB1 to set the size to a value larger than 0, the facial expression model EP to be blended with the base model BM is selected.
  • the facial expression model EP is displayed in the blend shape parameter input field 82 as, for example, a character string, but the display format of the facial expression model EP is not limited to this.
  • the facial expression model EP may be displayed in the blend shape parameter input field 82 as, for example, a deformed face picture.
  • Each facial expression model EP is generated by blending one or more blend shape model BSM with a predetermined weight with respect to the base model BM.
  • the number of facial expression model EPs displayed in the blend shape parameter input field 82 is larger than, for example, the number of blend shape model BSMs stored in the storage unit 40. As a result, the user is presented with a wider variety of facial expressions than those defined by the individual blend shape model BSM.
  • the number of facial expression model EPs displayed in the blend shape parameter input field 82 may be smaller than the number of blend shape model BSMs stored in the storage unit 40. In this case, the load on the user to check and adjust a large number of facial expression model EPs is reduced.
  • the user adjusts the size of the corresponding facial expression model EP by sliding the slide bar SB1.
  • the blend shape parameter acquisition unit 11 calculates the weight of each blend shape model BSM blended with the base model BM based on the size of each facial expression model EP input by the user.
  • the blend shape parameter acquisition unit 11 acquires the weight of each blend shape model BSM obtained by calculation as a blend shape parameter.
  • the correction parameter input field 83 for example, a list of a plurality of model factor MFs and a plurality of slide bars SB2 for setting the size of each model factor MF are displayed.
  • the model factor MF that corrects the facial expression of the character is selected.
  • the model factor MF is displayed in the correction parameter input field 83 as, for example, a character string, but the display format of the model factor MF is not limited to this.
  • the model factor MF may be displayed in the correction parameter input field 83 as, for example, a deformed face picture.
  • Each model factor MF is generated by synthesizing one or more correction factor CFs.
  • the number of model factor MFs displayed in the correction parameter input field 83 is larger than, for example, the number of correction factor CFs stored in the storage unit 40. As a result, the user is presented with a wider variety of correction factors than the factors defined by the individual correction factor CFs.
  • the number of model factor MFs displayed in the correction parameter input field 83 may be smaller than the number of correction factor CFs stored in the storage unit 40. In this case, the load on the user to check and adjust a large number of model factor MFs is reduced.
  • the user adjusts the size of the corresponding model factor MF by sliding the slide bar SB2.
  • the correction parameter acquisition unit 12 calculates the size of each correction factor CF based on the size of each model factor MF input by the user.
  • the correction parameter acquisition unit 12 acquires the magnitude of each correction factor CF obtained by calculation as a correction parameter.
  • the size of each facial expression model EP and the size of each model factor MF are both set to 0.
  • the face FM corresponding to the base model BM is displayed.
  • the face FM corresponding to the operation amount of the slide bar SB1 and the slide bar SB2 is displayed in the preview area 84.
  • the face FM displayed in the preview area 84 is changed according to the operation amount.
  • the display control unit 14 selects one or more of the plurality of facial expression model EPs displayed in the blend shape parameter input field 82 in the correction parameter input field 83. Highlight one or more facial expression model EPs that are affected by facial expressions by the model factor MF.
  • the magnitude of the model factor “MF q ” is set to a value larger than 0.
  • Three facial expression models “EP 3 ", “EP 4 ", and “EP p " are exemplified as facial expression models EP that are affected by facial expressions by the model factor "MF q".
  • the display control unit 14 includes a part in which the character strings indicating the facial expression models “EP 3 ”, “EP 4 ”, and “EP p ” are described in the blend shape parameter input field 82, and the facial expression models “EP 3 ”, “EP 4 ”. , The part where the slide bar SB1 corresponding to "EP p" is displayed is highlighted.
  • one or more facial expression model EPs selected in the blend shape parameter input field 82 and their sizes, and one or more model factor MFs selected in the correction parameter input field 83 and their sizes are used for faces.
  • the facial expression FM of the character generated by the generation unit 13 is displayed.
  • the face generation unit 13 When the user changes the facial expression model EP or its size, or the model factor MF or its size, the face generation unit 13 generates a new face FM in conjunction with the change.
  • the display control unit 14 displays the newly generated face FM in the preview area 84.
  • one or more facial expression model EPs whose facial expressions are affected by one or more model factor MFs selected in the correction parameter input field 83 are highlighted so as to be distinguishable from the others.
  • the user can sequentially select one or more highlighted facial expression model EPs and efficiently confirm the facial expressions of one or more facial expression model EPs associated with the common model factor MF.
  • FIG. 8 is a flowchart showing an information processing method related to the face generation process.
  • the face generation process is performed using, for example, the user interface UI1 shown in FIG. 7.
  • step S1 the blend shape parameter acquisition unit 11 determines whether or not the blend shape parameter ⁇ has been acquired.
  • the blend shape parameter acquisition unit 11 determines that the blend shape parameter has been acquired when a weight larger than 0 is input for one or more blend shape model BSMs. When the weights of all the blend shape model BSMs are 0, the blend shape parameter acquisition unit 11 determines that the blend shape parameters have not been acquired.
  • the weight of each blend shape parameter BSM is calculated based on one or more facial expression model EPs selected in the blend shape parameter input field 82 and their sizes.
  • step S1: Yes If it is determined that the blend shape parameter acquisition unit 11 has acquired the blend shape parameter as a result of the determination in step S1 (step S1: Yes), the process proceeds to step S2.
  • step S1: No the determination in step S1 is repeated until the blend shape parameter acquisition unit 11 acquires the blend shape parameter.
  • step S2 the correction parameter acquisition unit 12 determines whether or not the correction parameter ⁇ has been acquired.
  • the correction parameter acquisition unit 12 determines that the correction parameter has been acquired when a value larger than 0 is input for one or more correction factor CFs.
  • the correction parameter acquisition unit 12 determines that the correction parameters have not been acquired.
  • the magnitude of each correction factor CF is calculated based on one or more model factor MFs selected in the correction parameter input field and their magnitudes.
  • the correction parameter acquisition unit 12 determines the magnitude of each of the k correction factor CFs.
  • step S2 If it is determined that the correction parameter acquisition unit 12 has acquired the correction parameter as a result of the determination in step S2 (step S2: Yes), the process proceeds to step S3.
  • the face generation unit 13 outputs the data of the generated face FM matrix X to the display control unit 14.
  • step S5 the display control unit 14 displays the character's face FM in the preview area 84 based on the data in the matrix X.
  • step S6 the display control unit 14 determines whether or not to end the process.
  • the display control unit 14 determines that the process is to be completed (step S6: Yes), and ends the process of FIG. If it is determined that the processing is to be continued (step S6: No), the process returns to step S1.
  • step S2 determines that the correction parameter has not been acquired (step S2: No), the process proceeds to step S4.
  • the face generation unit 13 outputs the data of the generated face FM matrix X to the display control unit 14. Then, the process proceeds to step S5.
  • FIG. 9 is a diagram showing an example of performing a correction formula generation process using the user interface UI1.
  • the display control unit 14 causes the display device 81 to display the blend shape model selection field 85, the correction factor input field 86, and the editing area 87.
  • the blend shape model selection field 85 for example, a list of a plurality of blend shape model BSMs and a plurality of slide bars SB3 for setting selection or non-selection of each blend shape model BSM are displayed.
  • the blend shape model BSM to be blended with the base model BM is selected.
  • the blend shape model BSM is displayed in the blend shape model selection field 85 as, for example, as a character string, but the display format of the blend shape model BSM is not limited to this.
  • the blend shape model BSM may be displayed in the blend shape model selection field 85, for example, as a deformed face picture.
  • One selected blend shape model BSM is blended with the base model BM with a weight of 100%.
  • the blend shape parameter acquisition unit 11 acquires the weight of the blend shape model BSM selected by the user as the blend shape parameter ⁇ .
  • the correction factor CF is input in the correction factor input field 86.
  • the correction factor CF to be adjusted is input in the correction factor input field 86.
  • the magnitude of the selected correction factor CF (correction parameter ⁇ ) is 1.
  • the correction parameter acquisition unit 12 acquires the magnitude of the existing correction factor CF selected by the user as the correction parameter ⁇ .
  • the correction factor input field 86 is filled with the newly defined correction.
  • the factor CF is input.
  • the correction parameter acquisition unit 12 does not acquire the correction parameter ⁇ .
  • the display control unit 14 When the existing correction factor CF stored in the storage unit 40 is input to the correction factor input field 86, the display control unit 14 has the display control unit 14 among the plurality of blend shape model BSMs displayed in the blend shape model selection field 85. One or more blend shape model BSMs whose facial expressions are affected by the correction factor CF input in the correction factor input field 86 are highlighted.
  • CF s is input as the existing correction factor CF in the correction factor input field 86.
  • the display control unit 14 includes a portion in the blend shape model selection field 85 in which the character strings indicating the blend shape models “BSM 3 ”, “BSM 4 ”, and “BSM t ” are described, and the blend shape models “BSM 3 ” and “BSM”. The part where the slide bar SB3 corresponding to "4" and "BSM t" is displayed is highlighted.
  • the face FM to be edited is displayed in the editing area 87.
  • the edit area 87 is filled with the blend shape model selected in the blend shape model selection field 85.
  • the face FM of the character generated by the face generation unit 13 based on the BSM and the correction factor CF input in the correction factor input field 86 is displayed.
  • the edit area 87 is selected in the blend shape model selection field 85.
  • the facial expression FM of the character generated by the facial expression unit 13 based on the blend shape model BSM is displayed.
  • the user can individually move a specific vertex F V , side F S, or surface F P of the polygon mesh constituting the face FM to deform the face.
  • the deformation amount ⁇ Q of the face FM added by the user using the edit area 87 is detected by the mesh deformation detection unit 15.
  • Correction equation generating unit 16 uses the amount of deformation Delta] Q, and generates a correction equation M g based on equation (3).
  • Storage unit 40 stores in association with the correction factor CF which is input the generated correction equation M g to blend shape model BSM and correction factors input column 86 selected by the blend shape model selection column 85.
  • the face generation unit 13 When the user changes the blend shape model BSM or the correction factor CF, the face generation unit 13 generates a new face FM in conjunction with the change.
  • the display control unit 14 displays the newly generated face FM in the editing area 87.
  • the existing correction factor CF stored in the storage unit 40 is input to the correction factor input field 86, the existing correction factor CF input to the correction factor input field 86 affects the blend shape model selection field 85.
  • One or more blend-shaped model BSMs that receive are highlighted so that they can be distinguished from the others. The user can sequentially select one or more highlighted blend shape model BSMs and efficiently adjust the facial expressions of one or more blend shape model BSMs associated with the common correction factor CF.
  • FIG. 10 is a flowchart showing an information processing method related to the correction formula generation process.
  • the correction formula generation process is performed using, for example, the user interface UI 1 shown in FIG.
  • step S11 the blend shape parameter acquisition unit 11 determines whether or not the blend shape model BSM to be blended with the base model BM is selected.
  • the blend shape parameter acquisition unit 11 sets the weight of the one blend shape model BSM to 100% and acquires the weight as the blend shape parameter ⁇ . To do.
  • the blend shape parameter acquisition unit 11 acquires the blend shape parameter ⁇
  • the blend shape parameter acquisition unit 11 determines that the blend shape model BSM has been selected. If the user does not operate any of the slide bars SB2 and the blend shape parameter ⁇ is not acquired, the blend shape parameter acquisition unit 11 determines that the blend shape model BSM is not selected.
  • step S11: Yes If the blend shape parameter acquisition unit 11 determines that the blend shape model BSM has been selected as a result of the determination in step S11 (step S11: Yes), the process proceeds to step S12. If the blend shape parameter acquisition unit 11 determines that the blend shape model BSM is not selected as a result of the determination in step S11 (step S11: No), the determination in step S11 is performed until the blend shape model BSM is selected. repeat.
  • step S12 the correction parameter acquisition unit 12 determines whether or not the user has input the existing correction factor CF stored in the storage unit 40 into the correction factor input field 86.
  • the correction parameter acquisition unit 12 determines that the existing correction factor CF has been input. In this case, the correction parameter acquisition unit 12 acquires 1 as the correction parameter ⁇ for the input correction factor CF. If the correction factor CF is not input to the correction factor input field 86 of FIG. 9, or if the input correction factor CF does not match the one stored in the storage unit 40, the correction parameter acquisition unit 12 sets the existing correction factor CF. It is determined that CF has not been input.
  • step S12 If, as a result of the determination in step S12, the correction parameter acquisition unit 12 determines that the existing correction factor CF has been input to the correction factor input field 86 (step S12: Yes), the process proceeds to step S13.
  • step S13 the face generation unit 13 applies the conversion formula P between the blend shape model BSM selected in step S11 and the base model BM to the correction factor CF input in step S12 and the blend selected in step S11.
  • the correction is made based on the correction formula M associated with the shape model BSM.
  • the face generation unit 13 generates a character's face FM based on the formula (2) by using the corrected conversion formula P c, the blend shape parameter ⁇ , and the correction parameter ⁇ .
  • the face generation unit 13 outputs the data of the generated face FM matrix X to the display control unit 14.
  • step S14 the display control unit 14 displays the character's face FM in the editing area 87 based on the data of the matrix X.
  • step S15 the mesh deformation detection unit 15 determines whether or not the deformation amount ⁇ Q of the face FM added by the user has been acquired by using the editing area 87.
  • the mesh deformation detection unit 15 detects, for example, the difference (X'-X) between the matrix X representing the face FM before deformation and the matrix X'representing the face FM after deformation (X'-X) as ⁇ Q. If ⁇ Q is not zero, the mesh deformation detection unit 15 determines that the deformation amount ⁇ Q has been acquired. If ⁇ Q is zero, the mesh deformation detection unit 15 determines that the deformation amount ⁇ Q has not been acquired.
  • step S15: Yes If it is determined that the mesh deformation detection unit 15 has acquired the deformation amount ⁇ Q as a result of the determination in step S15 (step S15: Yes), the process proceeds to step S16. If, as a result of the determination in step S15, it is determined that the mesh deformation detection unit 15 has not acquired the deformation amount ⁇ Q (step S15: No), in step S15 until the mesh deformation detection unit 15 acquires the deformation amount ⁇ Q. Repeat the judgment.
  • step S16 the correction equation generating unit 16 uses the amount of deformation Delta] Q, and generates a correction equation M g based on equation (3).
  • step S17 the storage unit 40, the correction factor CF which is input to the blend shape model BSM and correction factors input column 86 selected by the blend shape model selection column 85 the correction equation M g generated in step S16 Remember in association with.
  • step S24 the display control unit 14 determines whether or not to end the process.
  • the display control unit 14 determines that the process is to be completed (step S24: Yes), and ends the process of FIG. If it is determined that the processing is to be continued (step S24: No), the process returns to step S11.
  • step S12 determines that the existing correction factor CF has not been input in the correction factor input field 86 (step S12: No), the process proceeds to step S18.
  • step S18 the face generation unit 13 uses the conversion formula P between the blend shape model BSM and the base model BM selected in step S11 and the blend shape parameter ⁇ based on the formula (1). Generates a character's face FM. The face generation unit 13 outputs the data of the generated face FM matrix X to the display control unit 14.
  • step S19 the display control unit 14 displays the character's face FM in the editing area 87 based on the data of the matrix X.
  • step S20 the mesh deformation detection unit 15 determines whether or not the deformation amount ⁇ Q of the face FM added by the user has been acquired by using the editing area 87.
  • step S20: Yes If it is determined that the mesh deformation detection unit 15 has acquired the deformation amount ⁇ Q as a result of the determination in step S20 (step S20: Yes), the process proceeds to step S21. If, as a result of the determination in step S20, it is determined that the mesh deformation detection unit 15 has not acquired the deformation amount ⁇ Q (step S20: No), in step S20 until the mesh deformation detection unit 15 acquires the deformation amount ⁇ Q. Repeat the judgment.
  • step S21 the correction equation generating unit 16 uses the amount of deformation Delta] Q, and generates a correction equation M g based on equation (3).
  • step S22 the correction parameter acquisition unit 12 determines whether or not the user has input a new correction factor CF that is not stored in the storage unit 40 into the correction factor input field 86.
  • step S22 If, as a result of the determination in step S22, the correction parameter acquisition unit 12 determines that the new correction factor CF has been input to the correction factor input field 86 (step S22: Yes), the process proceeds to step S23. As a result of the determination in step S22, if the correction parameter acquisition unit 12 determines that the new correction factor CF has not been input to the correction factor input field 86 (step S22: No), the new correction factor CF is corrected. The determination in step S22 is repeated until the input is input to the factor input field 86.
  • step S23 the storage unit 40 in association with the correction factor CF which is input to the blend shape model BSM and correction factors input field 86 a generated correction formula M g is inputted to the blend shape model selection field 85 in step S21 Remember. Then, the process proceeds to step S24.
  • FIG. 11 is a diagram showing an example of the user interface UI 2 according to the second embodiment.
  • the difference between the first embodiment and the first embodiment is that the model factor MF is displayed in the correction parameter input field 88 as a deformed face picture.
  • the model factor MF is displayed in the correction parameter input field 88 as a deformed face picture.
  • a plurality of model factors MF are listed as a deformed face picture.
  • Each model factor MF can be individually selected by the user by a method such as clicking with a mouse.
  • the model factor MF 2 is selected by the user.
  • the picture of the selected model factor MF 2 is highlighted in the correction parameter input field 88 so that it can be distinguished from others, for example.
  • one slide bar SB4 for setting the size of the selected model factor MF is displayed.
  • FIG. 12 is a diagram illustrating a modified example of the correction factor.
  • the mood of the character was given as an example of the correction factor CF.
  • the correction factor CF may be any one that affects the facial expression of the character, and is not necessarily limited to the mood.
  • the tendency of facial expressions peculiar to the character is listed as the correction factor CF.
  • the blend shape model BSM 1 showing a smile has the left eyebrow and the corner of the mouth suspended more than the right side. It is corrected to the face in the raised state (correction model BSM 1t ).
  • This tendency of facial expressions broadly affects other facial expressions. Therefore, as shown in the lower part of FIG. 12, the same correction can be performed for the blend shape model BSM 2 showing an angry face (correction model BSM 2t ).
  • the information processing system 1 of the present embodiment includes a blend shape parameter acquisition unit 11, a correction parameter acquisition unit 12, and a face generation unit 13.
  • the blend shape parameter acquisition unit 11 acquires the weight of the blend shape model BSM blended with the base model BM as the blend shape parameter ⁇ .
  • the correction parameter acquisition unit 12 acquires the magnitude of the correction factor CF that affects the facial expression of the blend shape model BSM as the correction parameter ⁇ .
  • the face generation unit 13 corrects the conversion formula P between the base model BM and the blend shape model BSM based on the correction formula M associated with the correction factor CF and the blend shape model BSM, and converts after the correction.
  • the character's face is generated using the equation P c , the blend shape parameter ⁇ , and the correction parameter ⁇ .
  • the information processing of the information processing system 1 described above is executed by the computer. Further, the program 41 of the present embodiment makes the computer realize the information processing of the above-mentioned information processing system 1.
  • correction factor CF a new concept called correction factor CF is introduced as a factor that affects abstract and various facial expressions such as mood.
  • a new parameter called correction factor CF into the blend shape, not only simple emotional expressions such as emotions but also various factors that affect the character's facial expression such as mental and physical condition and emotional fluctuation can be introduced.
  • Face generation processing becomes possible.
  • the degree of influence of the correction factor CF on the facial expression is defined as a correction parameter.
  • the correction factor CF itself is a parameter with a clear meaning such as mood. Therefore, the user can easily predict how the character's face will change due to the correction factor CF. It is unlikely that you will be confused about which correction factor CF should be combined and how large it should be according to changes in the character's emotions.
  • the conventional method of controlling FACS-compliant parameters and facial expression parameters does not have parameters that directly deal with mood, so it is indirect to changes in mood. It is necessary for the user to infer the parameters related to the above based on experience and intuition. In addition, it is necessary for the user to find an appropriate combination of parameter sizes according to the mood size by trial and error.
  • an appropriate facial expression can be obtained by selecting a correction formula associated with mood. Even if the mood changes, subtle changes in facial expressions can be achieved simply by changing the size of the correction parameters. Therefore, the burden on the user is small.
  • various facial expressions that the character can take can be collectively corrected by using the same correction factor CF and the same correction parameter ⁇ . For example, if you want to change the mood of your character and recreate the animation, the user simply adjusts the parameters that affect the entire or part of the animation, without changing each of the blend shape parameters every frame or keyframe. You can recreate the animation with. Therefore, the burden on the user is greatly reduced.
  • the correction factor CF is, for example, the mood of the character or the tendency of the facial expression peculiar to the character.
  • the blend shape model BSM is, for example, a facial expression model that expresses emotions.
  • Facial expression is a change that appears on the face according to emotions. Affects are different from mood and facial expression tendencies (habits). Emotions are strong emotions caused by obvious causes, accompanied by physiological excitement such as fear, anger and joy, and their duration is generally short. Emotions that are weaker than emotions are called moods. The mood is not always conscious, and the cause may not be clear. Regarding mood, there is no significant change in emotions, but the duration is longer than that of emotions. The conventional blend shape generates a character's facial expression only with an emotion-based facial expression model. Therefore, it is difficult to obtain subtle changes in facial expressions in consideration of mood. On the other hand, in the present embodiment, a new concept different from emotions such as mood is introduced as a correction factor CF. Therefore, a more complicated and realistic expression can be obtained.
  • the blend shape parameter acquisition unit 11 acquires, for example, n blend shape parameters ⁇ indicating the weights of n (n is an integer of 1 or more) blended in the base model BM.
  • the correction parameter acquisition unit 12 acquires, for example, k correction parameters ⁇ indicating the magnitudes of each of the k correction factor CFs (k is an integer of 1 or more) that affect the facial expression of the character.
  • the face generation unit 13 is, for example, m (m) affected by k correction factor CFs out of n conversion formulas P for converting between the base model BM and the n blend shape model BSMs, respectively. Is an integer of 1 or more and n or less), and n conversion formulas including the corrected m conversion formulas P c are used to generate a character's face.
  • the combination of a plurality of blend shape model BSMs and a plurality of correction factors CF generates a realistic facial expression that reflects the subtle movements of the character's mind.
  • the information processing system 1 of the present embodiment includes a mesh deformation detection unit 15 and a correction formula generation unit 16.
  • the correction formula generation unit 16 acquires the deformation amount ⁇ Q added by the user to the face FM generated based on the single blend shape model BSM from the mesh deformation detection unit 15, and the base model based on the deformation amount ⁇ Q. Generate a correction formula M that corrects the conversion formula P between the BM and the single blend shape model BSM.
  • the change in facial expression due to the correction factor CF can be finely adjusted.
  • the information processing system 1 has a storage unit 40.
  • the storage unit 40 stores a plurality of conversion formulas P for performing conversion between the base model BM and the plurality of blend shape models BSM, and a plurality of correction factors CF.
  • the storage unit 40 corrects one or more blend shape model BSMs whose facial expressions are affected by the correction factor CF and one or more conversion formulas P corresponding to the one or more blend shape model BSMs for each correction factor CF.
  • the correction formula M of 1 or more is associated and stored.
  • various facial expressions can be generated by using various correction factors CF.
  • the information processing system 1 has a display control unit 14.
  • the display control unit 14 causes the display device 81 to display the blend shape parameter input field 82, the correction parameter input field 83, and the preview area 84.
  • a list of a plurality of facial expression model EPs is displayed in the blend shape parameter input field 82.
  • a list of a plurality of model factor MFs is displayed.
  • the preview area 84 a character generated by the face generation unit 13 based on one or more facial expression model EPs selected in the blend shape parameter input field 82 and one or more model factor MFs selected in the correction parameter input field 83.
  • the face FM is displayed.
  • the display control unit 14 has one or more facial expression models whose facial expressions are affected by one or more model factor MFs selected in the correction parameter input field 83 among the plurality of facial expression model EPs displayed in the blend shape parameter input field 82. Highlight the EP.
  • the user can sequentially select one or more highlighted facial expression model EPs and efficiently confirm the facial expressions of one or more facial expression model EPs associated with the common model factor MF. ..
  • the display control unit causes the display device 81 to display the blend shape model selection field 85, the correction factor input field 86, and the editing area 87.
  • the blend shape model selection field 85 a list of a plurality of blend shape models BSM is displayed.
  • the correction factor CF is input to the correction factor input field 86.
  • the editing area 87 one blend shape model BSM selected in the blend shape model selection field 85 and the face FM of the character generated by the face generation unit 13 based on the correction factor CF input in the correction factor input field 86 are displayed. Is displayed.
  • the editing area 87 it is possible to identify the vertex F V of the polygon mesh that constitutes the face FM, the sides F S or plane F P user to deform the face FM is moved individually.
  • the display control unit 14 has one or more blend shape model BSMs whose facial expressions are affected by the correction factor CF input in the correction factor input field 86 among the plurality of blend shape model BSMs displayed in the blend shape model selection field 85. Is highlighted.
  • the user sequentially selects one or more highlighted blend shape model BSMs and efficiently adjusts the facial expressions of one or more blend shape model BSMs associated with the common correction factor CF. Can be done.
  • the user interface UI 1 of the present embodiment has a blend shape parameter input field 82, a correction parameter input field 83, and a preview area 84.
  • a list of a plurality of facial expression model EPs is displayed in the blend shape parameter input field 82.
  • a list of a plurality of model factor MFs is displayed.
  • the preview area 84 one or more facial expression model EPs selected in the blend shape parameter input field 82 and one or more model factor MFs selected in the correction parameter input field 83 are displayed. Will be done.
  • Each of the plurality of model factors MF affects the facial expression of at least one facial expression model EP among the plurality of facial expression model EPs.
  • the plurality of facial expression model EPs displayed in the blend shape parameter input field 82 one or more facial expression model EPs whose facial expressions are affected by one or more model factor MFs selected in the correction parameter input field 83 are highlighted. To.
  • the user can sequentially select one or more highlighted facial expression model EPs and efficiently confirm the facial expressions of one or more facial expression model EPs associated with the common model factor MF. ..
  • the interface UI 1 has a blend shape model selection field 85, a correction factor input field 86, and an editing area 87.
  • a list of a plurality of blend shape models BSM is displayed.
  • the correction factor CF is input to the correction factor input field 86.
  • the editing area 87 one blend shape model BSM selected in the blend shape model selection field 85 and the face FM of the character generated based on the correction factor CF input in the correction factor input field 86 are displayed.
  • it is possible to identify the vertex F V of the polygon mesh that constitutes the face FM, the sides F S or plane F P user to deform the face FM is moved individually.
  • the correction factor CF affects the facial expression of at least one blend shape model BSM among the plurality of blend shape model BSMs.
  • the plurality of blend shape model BSMs displayed in the blend shape model selection field 85 one or more blend shape model BSMs whose facial expressions are affected by the correction factor CF input in the correction factor input field 86 are highlighted. ..
  • the user sequentially selects one or more highlighted blend shape model BSMs and efficiently adjusts the facial expressions of one or more blend shape model BSMs associated with the common correction factor CF. Can be done.
  • the present technology can also have the following configurations.
  • a blend shape parameter acquisition unit that acquires the weight of the blend shape model blended with the base model as a blend shape parameter
  • a correction parameter acquisition unit that acquires the magnitude of a correction factor that affects the facial expression of the blend shape model as a correction parameter
  • a correction parameter acquisition unit that acquires the magnitude of a correction factor that affects the facial expression of the blend shape model as a correction parameter
  • the conversion formula between the base model and the blend shape model is corrected based on the correction formula associated with the correction factor and the blend shape model, and the corrected conversion formula and the blend shape parameter are combined with each other.
  • a face generation unit that generates a character's face using the correction parameters, Information processing system with.
  • the correction factor is a tendency of the character's mood or facial expression peculiar to the character.
  • the blend shape parameter acquisition unit acquires n blend shape parameters indicating the weights of each of the n blend shape models (n is an integer of 1 or more) to be blended with the base model.
  • the correction parameter acquisition unit acquires k correction parameters indicating the magnitudes of each of the k correction factors (k is an integer of 1 or more) that affect the facial expression of the character.
  • the face generation unit has m (m is 1 or more) affected by the k correction factors among the n conversion formulas that perform conversion between the base model and the n blend shape models, respectively.
  • a mesh deformation detection unit that detects the amount of deformation of the polygon mesh when the user individually moves specific vertices, sides, or faces of the polygon mesh constituting the face to deform the face.
  • the deformation amount added by the user to the face generated based on the single blend shape model is acquired from the mesh deformation detection unit, and the base model and the single blend are obtained based on the deformation amount.
  • a correction formula generator that generates a correction formula that corrects the conversion formula between the shape model and The information processing system according to any one of (1) to (4) above.
  • It has a storage unit that stores a plurality of conversion formulas for performing conversion between the base model and the plurality of blend shape models, and a plurality of correction factors.
  • the storage unit corrects one or more blend shape models whose facial expressions are affected by the correction factor and one or more conversion formulas corresponding to the one or more blend shape models for each correction factor.
  • the information processing system according to any one of (1) to (5) above, which stores an expression in association with each other.
  • a blend shape parameter input field that displays a list of a plurality of facial expression models, a correction parameter input field that displays a list of a plurality of model factors, one or more facial expression models selected in the blend shape parameter input field, and the above.
  • the display control unit has a display control unit that displays on a display device a preview area in which the facial expression of the character generated by the facial expression unit is displayed based on one or more model factors selected in the correction parameter input field.
  • the display control unit is one or more facial expression models whose facial expressions are affected by the one or more model factors selected in the correction parameter input field among the plurality of facial expression models displayed in the blend shape parameter input field.
  • the information processing system according to any one of (1) to (6) above.
  • the display control unit includes a blend shape model selection field in which a list of a plurality of blend shape models is displayed, a correction factor input field in which correction factors are input, and one blend shape selected in the blend shape model selection field.
  • the face of the character generated by the face generation unit based on the model and the correction factor input in the correction factor input field is displayed, and specific vertices, sides or faces of the polygon mesh constituting the face are displayed.
  • An editing area that can be individually moved by the user to deform the face is displayed on the display device.
  • the display control unit selects one or more blend shape models whose facial expressions are affected by the correction factor input in the correction factor input field among the plurality of blend shape models displayed in the blend shape model selection field.
  • the information processing system according to (7) above for highlighting. (9) Get the weight of the blend shape model to be blended with the base model as the blend shape parameter
  • the magnitude of the correction factor that affects the facial expression of the blend shape model is acquired as a correction parameter.
  • the conversion formula between the base model and the blend shape model is corrected based on the correction formula associated with the correction factor and the blend shape model, and the corrected conversion formula and the blend shape parameter are combined with each other. Generate a character's face using the correction parameters.
  • a method of information processing performed by a computer that has. (10) Get the weight of the blend shape model to be blended with the base model as the blend shape parameter.
  • the magnitude of the correction factor that affects the facial expression of the blend shape model is acquired as a correction parameter.
  • the conversion formula between the base model and the blend shape model is corrected based on the correction formula associated with the correction factor and the blend shape model, and the corrected conversion formula and the blend shape parameter are combined with each other. Generate a character's face using the correction parameters.
  • a blend shape parameter input field that displays a list of multiple facial expression models
  • a correction parameter input field that displays a list of multiple model factors
  • a preview area displaying one or more facial expression models selected in the blend shape parameter input field and a character's face generated based on one or more model factors selected in the correction parameter input field.
  • Each of the plurality of model factors influences the facial expression of at least one facial expression model among the plurality of facial expression models.
  • one or more facial expression models whose facial expressions are affected by the one or more model factors selected in the correction parameter input field are highlighted. , User interface.
  • a blend shape model selection field that displays a list of multiple blend shape models, The correction factor input field where the correction factor is input and the correction factor input field
  • One blend shape model selected in the blend shape model selection field and a face of a character generated based on the correction factor input in the correction factor input field are displayed, and a polygon mesh constituting the face is displayed.
  • An editing area that allows the user to individually move specific vertices, sides, or faces of the face to deform the face.
  • the correction factor affects the facial expression of at least one of the plurality of blend shape models.
  • the plurality of blend shape models displayed in the blend shape model selection field one or more blend shape models whose facial expressions are affected by the correction factor input in the correction factor input field are highlighted.
  • Blend shape parameter acquisition unit 11
  • Correction parameter acquisition unit 12
  • Face generation unit 14
  • Display control unit 15
  • Mesh deformation detection unit 16
  • Correction formula generation unit 40
  • Storage unit 81
  • Display device 82
  • Blend shape parameter input field 83
  • Correction parameter input field 84
  • Preview area 85
  • Blend shape model selection field 86
  • Correction factor input field 87
  • Editing area 88
  • Correction parameter input field BM
  • Blend shape model CF CF j
  • EP Facial model FM face F V apex F S side P surface M, M ij , Mg correction formula MF model factor P, P i conversion formula P c , P i c correction conversion formula ⁇ , ⁇ i blend shape parameter ⁇ , ⁇ j Correction parameter ⁇ Q Deformation amount

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理システム（１）は、ブレンドシェイプパラメータ取得部（１１）と補正パラメータ取得部（１２）と顔生成部（１３）とを有する。ブレンドシェイプパラメータ取得部（１１）は、ベースモデル（ＢＭ）にブレンドされるブレンドシェイプモデル（ＢＳＭ）のウェイトをブレンドシェイプパラメータ（α）として取得する。補正パラメータ取得部（１２）は、ブレンドシェイプモデル（ＢＳＭ）の表情に影響を与える補正因子（ＣＦ）の大きさを補正パラメータ（β）として取得する。顔生成部（１３）は、ベースモデル（ＢＭ）とブレンドシェイプモデル（ＢＳＭ）との間の変換式（Ｐ）を、補正因子（ＣＦ）とブレンドシェイプモデル（ＢＳＭ）とに対応付けられた補正式（Ｍ）に基づいて補正し、補正後の変換式（Ｐｃ）とブレンドシェイプパラメータ（α）と補正パラメータ（β）とを用いてキャラクタの顔を生成する。

Description

情報処理システム、情報処理方法、プログラムおよびユーザインタフェース
　本発明は、情報処理システム、情報処理方法、プログラムおよびユーザインタフェースに関する。
　ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）キャラクタの表情をコントロールする手法としてブレンドシェイプ（Ｂｌｅｎｄ　Ｓｈａｐｅ）が知られている。ブレンドシェイプは、ベースとなるキャラクタの表情モデル（ベースモデル）に対して、「笑う」、「泣く」および「怒る」などの表情モデル（ブレンドシェイプモデル）をブレンドして任意の表情を生成する手法である。
　キャラクタの表情をコントロールする際には、ブレンドシェイプにアサインされたＦＡＣＳ（Ｆａｃｉａｌ　Ａｃｔｉｏｎ　Ｃｏｄｉｎｇ　Ｓｙｓｔｅｍ）準拠のパラメータや表情パラメータ（笑顔や悲しい顔などのＦＡＣＳより抽象度の高いパラメータ）をコントロールすることが一般的に行われている。この方法はパラメータを調整するクリエイタの負担が大きい。そのため、ブレンドシェイプに主成分分析（ＰＣＡ）の手法を組み合わせてキャラクタの顔をモデリングする方法が提案されている（例えば、特許文献１）。
　特許文献１の方法では、ＰＣＡベースのパラメータ制御モデル（それぞれの主成分軸から作られるモデルは意味を持たない）をそのまま用いて顔が変形されるのではなく、顔に関する意味記述および関連する測定基準をもとにＰＣＡベースのパラメータ制御モデルが顔コントロールパラメータに変換される。そのため、抽象度の高いＰＣＡベースのパラメータ制御モデルを人間が理解できるパラメータとして利用することができる。
特表２０１４－５２２０５７号公報
　しかしながら、上記の従来技術では、クリエイタが顔コントロールパラメータに関する測定基準を用意する必要がある。そのため、例えば気分などの抽象的かつ様々な表情に影響を与える顔コントローラを用意することが難しい。また、顔コントロールパラメータは互いに作用を及ぼさず、キャラクタの表情は複数のブレンドシェイプモデルの単純な線形和として生成される。そのため、気分などに応じて顔コントロールパラメータの一部または全部を一括して補正することが難しい。
　本開示では、キャラクタの表情を修正するクリエイタの負担を軽減することができる情報処理システム、情報処理方法、プログラムおよびユーザインタフェースを提案する。
　本開示によれば、ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得するブレンドシェイプパラメータ取得部と、前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得する補正パラメータ取得部と、前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する顔生成部と、を有する情報処理システムが提供される。また、本開示によれば、前記情報処理システムの情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理システムの情報処理をコンピュータに実現させるプログラムが提供される。
　本開示によれば、複数の表情モデルのリストが表示されるブレンドシェイプパラメータ入力欄と、複数のモデル因子のリストが表示される補正パラメータ入力欄と、前記ブレンドシェイプパラメータ入力欄で選択された１以上の表情モデルおよび前記補正パラメータ入力欄で選択された１以上のモデル因子に基づいて生成されたキャラクタの顔が表示されるプレビューエリアと、を有し、前記複数のモデル因子の各々は、前記複数の表情モデルのうちの少なくとも１つの表情モデルの表情に影響を与え、前記ブレンドシェイプパラメータ入力欄に表示された前記複数の表情モデルのうち、前記補正パラメータ入力欄で選択された前記１以上のモデル因子によって表情に影響を受ける１以上の表情モデルがハイライト表示される、ユーザインタフェースが提供される。
顔生成処理の概要を説明する図である。 同一のブレンドシェイプモデルから派生した複数の補正モデルを示す図である。 ブレンドシェイプで用いられる顔モデルの一例を示す図である。 第１実施形態の情報処理システムのハードウエア構成の一例を示す図である。 情報処理システムの機能構成の一例を示す図である。 補正データのデータ構造の一例を示す図である。 ユーザインタフェースを用いて顔生成処理を行う例を示す図である。 顔生成処理に係る情報処理方法を示すフローチャートである。 ユーザインタフェースを用いて補正式生成処理を行う例を示す図である。 補正式生成処理に係る情報処理方法を示すフローチャートである。 第２実施形態のユーザインタフェースの一例を示す図である。 補正因子の変形例を説明する図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．概要］
［２．第１実施形態］
　［２－１．情報処理システムの構成］
　［２－２．ユーザインタフェース］
　　［２－２―１．顔生成処理用ユーザインタフェース］
　　［２－２－２．顔生成処理フロー］
　　［２－２―３．補正式生成処理用ユーザインタフェース］
　　［２－２―４．補正式生成処理フロー］
［３．第２実施形態］
［４．補正因子の変形例］
［５．効果］
［１．概要］
　図１は、顔生成処理の概要を説明する図である。図２は、同一のブレンドシェイプモデルから派生した複数の補正モデルを示す図である。図３は、ブレンドシェイプで用いられる顔モデルの一例を示す図である。
　図１に示すように、キャラクタの顔を生成する場合には、まず、１つのベースモデルＢＭと複数のブレンドシェイプモデルＢＳＭとが用意される。ベースモデルＢＭは、ベースとなる顔モデルである。ベースモデルＢＭの表情は、特に限定されないが、一般的には無表情である。ブレンドシェイプモデルＢＳＭは、ベースモデルＢＭとは異なる表情を示す顔モデル（表情モデル）である。ブレンドシェイプモデルＢＳＭの表情としては、例えば、笑顔、怒り顔および泣き顔など、互いに性質の異なる複数の表情が用いられる。
　ベースモデルＢＭおよびブレンドシェイプモデルＢＳＭは、一般的なＣＧソフトウェアによって作成される。図３に示すように、顔ＦＭは、複数の頂点ＦＶと、隣接する頂点ＦＶを結んで得られる複数の辺ＦＳおよび複数の面ＦＰと、を含むポリゴンメッシュによって構成される。
　ベースモデルＢＭにブレンドされる複数のブレンドシェイプモデルＢＳＭのウェイトをそれぞれ調整することにより、様々な表情が生成される。例えば図１の例では、Ｎ個（Ｎは２以上の整数）のブレンドシェイプモデルＢＳＭ（ＢＳＭ１、ＢＳＭ２、…ＢＳＭＮ）が用意されている。例えば、ブレンドシェイプモデルＢＳＭ１は笑顔である。ブレンドシェイプモデルＢＳＭ２は怒り顔である。ブレンドシェイプモデルＢＳＭＮは泣き顔である。図１の顔ＦＭは、ベースモデルＢＭに、ブレンドシェイプモデルＢＳＭ２とブレンドシェイプモデルＢＳＭＮとを所定のウェイトでブレンドすることにより生成される。顔ＦＭは、怒り顔と泣き顔の中間の顔である。
　ベースモデルＢＭおよびブレンドシェイプモデルＢＳＭは、例えば、ポリゴンメッシュの各頂点ＦＶの座標の情報を含む行列によって規定される。任意の顔ＦＭは、下記式（１）を用いて生成される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｘは、顔ＦＭを表す行列である。Ｘ０は、ベースモデルＢＭを表す行列である。ｎ（ｎは１以上Ｎ以下の整数）は、ベースモデルＢＭにブレンドされるブレンドシェイプモデルＢＳＭの数である。Ｘｉ（ｉは１からｎまでの整数）は、ｉ番目のブレンドシェイプモデルＢＳＭｉを表す行列である。αｉは、ベースモデルＢＭにブレンドされるｉ番目のブレンドシェイプモデルＢＳＭｉのウェイトを示すブレンドシェイプパラメータである。Ｐｉは、ベースモデルＢＭとｉ番目のブレンドシェイプモデルＢＳＭｉとの間の変換式である。Ｐｉは、例えば、ベースモデルＢＭのポリゴンメッシュの各頂点ＦＶの座標とｉ番目のブレンドシェイプモデルＢＳＭｉのポリゴンメッシュの各頂点ＦＶの座標との差分の情報を含む行列である。
　式（１）に示すように、任意の顔モデルＦＭは、複数のブレンドシェイプモデルＢＳＭの重み付き線形和として算出される。ユーザは、複数のブレンドシェイプパラメータα（α１～αＮ）の値を適切に調節することにより、キャラクタの表情を柔軟に制御することができる。しかし、例えば図２に示すように、笑顔（ブレンドシェイプモデルＢＳＭ１）を表現しようとする場合、笑顔と一概にいっても気分などに応じて様々なタイプの笑顔が存在する。例えば、憂鬱な気分のときの笑顔（補正モデルＢＳＭ１１）と欲求不満のときの笑顔（補正モデルＢＳＭ１２）と疲れているときの笑顔（補正モデルＢＳＭ１Ｍ）はそれぞれ微妙に異なる。そのため、本実施形態では、後述のように、気分などの補正因子ＣＦに基づいて変換式Ｐ（Ｐ１～ＰＮ）が補正される。
　ブレンドシェイプモデルＢＳＭは、笑う、泣くおよび怒るなどのキャラクタの表情を表すモデルである。表情は、情動などに応じて顔に表出される変化である。心理学では、情動と気分とは区別される。情動は、明確な原因によって引き起こされる強い感情であり、恐怖、怒りおよび喜びなどの生理的な興奮を伴い、その持続時間は一般的に短い。情動よりも弱い感情は気分と呼ばれる。気分は必ずしも意識できるとは限らず、原因が明確でない場合もある。気分に関しては、大きな感情の変化はないが、情動に比べて持続時間は長い。気分は、それ自体で顔の形状を大きく変化させるものではないが、顔への感情の現れやすさを変化させる。
　補正因子ＣＦは、気分に限られない。補正因子ＣＦとしては、キャラクタ固有の表情の傾向（感情表現をする際の癖）も挙げられる。左右どちらかの口角が上がりやすいなどの表情の癖は、笑う、泣くおよび怒るなどの様々な表情に広く影響を与える可能性がある。
　キャラクタの表情は、複数のブレンドシェイプモデルＢＳＭおよび複数の補正因子ＣＦの組み合わせによって表現することができる。複数のブレンドシェイプモデルＢＳＭおよび複数の補正因子ＣＦを適切に組み合わせることによって、キャラクタの微妙な心の動きを反映したリアルな表情が生成される。
［２．第１実施形態］
［２－１．情報処理システムの構成］
　図４は、第１実施形態に係る情報処理システム１のハードウエア構成の一例を示す図である。図５は、情報処理システム１の機能構成の一例を示す図である。図６は、補正データ４３のデータ構造の一例を示す図である。
　図４に示すように、情報処理システム１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０とＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０とＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０と記憶部４０と通信インタフェース５０と入力インタフェース７０と表示インタフェース８０と入力装置７１と表示装置８１とを有する。情報処理システム１は、ＣＰＵ１０、ＲＯＭ２０、ＲＡＭ３０、記憶部４０および通信インタフェース５０が内部バス６０で接続された構成を有する。
　ＣＰＵ１０は、記憶部４０またはＲＯＭ２０に格納されているプログラム４１をＲＡＭ３０上に展開して実行することによって、情報処理システム１全体の動作を制御する。情報処理システム１は、プログラム４１によって動作する。プログラム４１は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して情報処理システム１に提供されてもよい。ＣＰＵ１０が実行するプログラム４１は、本開示で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　記憶部４０は、例えば、ＣＰＵ１０が実行するプログラム４１と、モデルデータ４２および補正データ４３などの各種データと、を記憶する。記憶部４０は、ＣＰＵ１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶部４０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶部４０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム４１は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
　図５に示すように、モデルデータ４２は、ベースモデルＢＭを表す行列Ｘ０のデータと、ベースモデルＢＭと複数のブレンドシェイプモデルＢＳＭとの間の変換をそれぞれ行う複数の変換式Ｐのデータと、を含む。本実施形態では、例えば、Ｎ個のブレンドシェイプモデルＢＳＭが設定されている。そのため、モデルデータ４２は、Ｎ個のブレンドシェイプモデルＢＳＭにそれぞれ対応するＮ個の変換式Ｐｉ（ｉ＝１～Ｎ）を含む。モデルデータ４２は、複数のブレンドシェイプモデルＢＳＭをそれぞれ表す複数の行列Ｘ１～ＸＮのデータを含んでもよい。
　補正データ４３は、複数の補正因子ＣＦのデータと、複数の補正式Ｍのデータと、を含む。補正データ４３は、補正因子ＣＦと変換式Ｐと補正式Ｍとが互いに関連付けられたデータ構造を有する。図６の例では、複数の補正因子ＣＦとして、Ｍ個（Ｍは２以上の整数）の補正因子ＣＦ１～ＣＦＭが記憶されている。補正因子ＣＦは、例えばキャラクタの気分である。気分は、心身についての微弱で持続的な感情、あるいは、ある期間持続する、やや漠然とした心身の状態である。例えば、補正因子ＣＦ１は憂鬱な気分を示す。補正因子ＣＦ２は欲求不満な状態を示す。補正因子ＣＦＭは疲れた状態を示す。
　補正因子ＣＦ１が存在する場合には、ベースモデルＢＭとブレンドシェイプモデルＢＳＭｉ（ｉ＝１～Ｎ）との間の変換を行う変換式Ｐｉ（ｉ＝１～Ｎ）は、補正式Ｍｉ１（ｉ＝１～Ｎ）によってそれぞれ補正される。補正因子ＣＦ２が存在する場合には、変換式Ｐｉ（ｉ＝１～Ｎ）は、それぞれ補正式Ｍｉ２（ｉ＝１～Ｎ）によって補正される。補正因子ＣＦ３が存在する場合には、変換式Ｐｉ（ｉ＝１～Ｎ）は、それぞれ補正式Ｍｉ３（ｉ＝１～Ｎ）によって補正される。記憶部４０は、補正因子ＣＦごとに、該補正因子ＣＦによって影響を受ける１以上のブレンドシェイプモデルＢＳＭと、１以上のブレンドシェイプモデルＢＳＭに対応した１以上の変換式Ｐをそれぞれ補正する１以上の補正式Ｍと、を関連付けて記憶する。
　モデルデータ４２および補正データ４３などの各種データは、情報処理システム１とインターネット等で接続された非図示の外部サーバから、必要に応じてダウンロードして、記憶部４０に記憶されてもよい。
　図４に戻って、通信インタフェース５０は、入力インタフェース７０を介して、入力装置１０によって入力された情報を取得する。入力装置１０は、例えば、キーボード、マウス、タッチパネルなどの各種入力機器を含む。通信インタフェース５０は、表示インタフェース８０を介して、表示装置８１に画像情報や映像情報を表示させる。表示装置８１は、例えば、液晶表示パネルまたは有機ＥＬパネルであるが、表示装置８１はこれに限定されない。通信インタフェース５０は、無線通信又は有線通信によって、非図示の外部サーバ等との間で通信を行う。これにより、情報処理システム１は、新たに作成されたモデルデータ４２および補正データ４３等の各種データの受信や、生成されたキャラクタの顔のデータ等の外部への送信を行う。
　図５に示すように、ＣＰＵ１０は、ブレンドシェイプパラメータ取得部１１と、補正パラメータ取得部１２と、顔生成部１３と、表示制御部１４と、メッシュ変形検出部１５と、補正式生成部１６と、を有する。ＣＰＵ１０は、プログラム４１をＲＡＭ３０上に展開して動作させることによって、ブレンドシェイプパラメータ取得部１１、補正パラメータ取得部１２、顔生成部１３、表示制御部１４、メッシュ変形検出部１５および補正式生成部１６として機能する。
　ブレンドシェイプパラメータ取得部１１は、ベースモデルＢＭにブレンドされるブレンドシェイプモデルＢＳＭのウェイトをブレンドシェイプパラメータαとして取得する。ベースモデルＢＭにブレンドされるブレンドシェイプモデルＢＳＭの数がｎ個（ｎは１以上Ｎ以下の整数）である場合、ブレンドシェイプパラメータ取得部１１は、ｎ個のブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）のそれぞれのウェイトを示すｎ個のブレンドシェイプパラメータαｉ（ｉ＝１～ｎ）を取得する。ブレンドシェイプパラメータαは入力装置７１によって入力される。
　補正パラメータ取得部１２は、ブレンドシェイプモデルＢＳＭの表情に影響を与える補正因子ＣＦの大きさを補正パラメータβとして取得する。補正因子ＣＦの数がｋ個（ｋは１以上の整数）である場合、補正パラメータ取得部１２は、ｋ個の補正因子ＣＦのそれぞれの大きさを示すｋ個の補正パラメータβｊ（ｊ＝１～ｋ）を取得する。
　顔生成部１３は、ベースモデルＢＭとブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）との間の変換式Ｐｉ（ｉ＝１～ｎ）を、補正因子ＣＦｌ（ｌ＝１～ｍ）（ｍは１以上ｎ以下の整数）およびブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）に対応付けられた補正式Ｍｉｊに基づいて補正する。顔生成部１３は、補正後の変換式Ｐｉ ｃ（ｉ＝１～ｎ）とブレンドシェイプパラメータαｉ（ｉ＝１～ｎ）と補正パラメータβｊ（ｊ＝１～ｋ）とを用いて、以下の式（２）に基づいてキャラクタの顔ＦＭを生成する。顔生成部１３は、生成された顔ＦＭの行列Ｘのデータを表示制御部１４に出力する。
Figure JPOXMLDOC01-appb-M000002
　式（２）では、ｎ個のブレンドシェイプモデルＢＳＭとｋ個の補正因子ＣＦとの組み合わせによって、キャラクタの表情が生成される。ブレンドシェイプモデルＢＳＭの数ｎおよび補正因子ＣＦの数ｋは１以上、好ましくは２以上とすることができる。この場合、複数のブレンドシェイプモデルＢＳＭと複数の補正因子ＣＦとの組み合わせによって、キャラクタの微妙な心の動きを反映したリアルな表情が生成される。
　表示制御部１４は、本実施形態の情報処理に必要な各種情報を表示装置８１に表示させる。例えば、表示制御部１４は、モデルデータ４２および補正データ４３に関連する各種情報を表示装置８１に表示させる。表示制御部１４は、顔生成部１３によって生成されたキャラクタの顔ＦＭを表示装置８１に表示させる。キャラクタの顔ＦＭは、行列Ｘで規定されるポリゴンメッシュによって構成される。
　メッシュ変形検出部１５は、ユーザが顔ＦＭを構成するポリゴンメッシュの特定の頂点ＦＶ、辺ＦＳまたは面ＦＰを個別に移動させて顔ＦＭを変形させたときのポリゴンメッシュの変形量ΔＱを検出する。メッシュ変形検出部１５は、例えば、変形前の顔ＦＭを表す行列Ｘと変形後の顔ＦＭを表す行列Ｘ′との差分（Ｘ′－Ｘ）をΔＱとして検出する。ユーザは、記憶部４０に記憶されていない新規の補正因子ＣＦを定義する場合、顔生成部１３によって生成された顔ＦＭのポリゴンメッシュを直接変形し、変形による表情の変化を新たに定義する補正因子ＣＦと関連付けることができる。ユーザは、補正因子ＣＦに関連付けられた表情の変化を、ポリゴンメッシュを直接変形することにより調整することもできる。
　補正式生成部１６は、単一のブレンドシェイプモデルＢＳＭに基づいて生成された顔ＦＭに対してユーザが付加した変形量ΔＱをメッシュ変形検出部１５から取得する。補正式生成部１６は、変形量ΔＱに基づいてベースモデルＢＭと単一のブレンドシェイプモデルＢＳＭとの間の変換式Ｐを補正する補正式Ｍｇを生成する。
　例えば、単一の補正因子ＣＦにより補正された表情をポリゴンメッシュの変形により調整し、調整後の表情を既存の補正因子ＣＦと関連付ける場合、補正式生成部１６は、下記式（３）に基づいて補正式Ｍｇを生成する。式（３）のＭは、単一のブレンドシェイプモデルＢＳＭおよび単一の補正因子ＣＦと関連付けて記憶部４０に記憶されている補正式である。
Figure JPOXMLDOC01-appb-M000003
　補正式生成部１６は、生成された補正式Ｍｇを記憶部４０に出力する。記憶部４０は、補正式生成部１６から取得した補正式Ｍｇを、記憶部４０に記憶されている式（３）の補正式Ｍに代えて、上述した単一のブレンドシェイプモデルＢＳＭおよび補正因子ＣＦと関連付けて記憶する。
　例えば、補正因子ＣＦにより補正されていない表情をポリゴンメッシュの変形により調整し、調整後の表情を新たに定義する補正因子ＣＦと関連付ける場合、補正式生成部１６は、上記式（３）に基づいて補正式Ｍｇを生成する。
　補正式生成部１６は、生成された補正式Ｍｇを記憶部４０に出力する。記憶部４０は、補正式生成部１６から取得した補正式Ｍｇを上述した単一のブレンドシェイプモデルＢＳＭおよび新たに定義した補正因子ＣＦと関連付けて記憶する。
［２－２．ユーザインタフェース］
　以下、本実施形態の情報処理に用いるユーザインタフェースＵＩ１の一例を説明する。ユーザは、表示制御部１４を含むユーザインタフェースＩＦを用いて本実施形態の情報処理を行う。
［２－２―１．顔生成処理用ユーザインタフェース］
　図７は、ユーザインタフェースＵＩ１を用いて顔生成処理を行う例を示す図である。
　表示制御部１４は、ブレンドシェイプパラメータ入力欄８２と、補正パラメータ入力欄８３と、プレビューエリア８４と、を表示装置８１に表示させる。
　ブレンドシェイプパラメータ入力欄８２には、例えば、複数の表情モデルＥＰのリストと、それぞれの表情モデルＥＰの大きさを入力するための複数のスライドバーＳＢ１と、が表示される。ユーザがスライドバーＳＢ１を操作して大きさを０よりも大きな値に設定することにより、ベースモデルＢＭにブレンドされる表情モデルＥＰが選択される。表情モデルＥＰは、例えば文字列としてブレンドシェイプパラメータ入力欄８２に表示されるが、表情モデルＥＰの表示形式はこれに限定されない。表情モデルＥＰは、例えば、デフォルメされた顔の絵としてブレンドシェイプパラメータ入力欄８２に表示されてもよい。
　各表情モデルＥＰは、ベースモデルＢＭに対して１以上のブレンドシェイプモデルＢＳＭを所定のウェイトでブレンドすることにより生成される。ブレンドシェイプパラメータ入力欄８２に表示される表情モデルＥＰの数は、例えば、記憶部４０に記憶されるブレンドシェイプモデルＢＳＭの数よりも多い。これにより、個々のブレンドシェイプモデルＢＳＭによって規定される表情よりも多彩な表情のバリエーションがユーザに提示される。ブレンドシェイプパラメータ入力欄８２に表示される表情モデルＥＰの数は、記憶部４０に記憶されるブレンドシェイプモデルＢＳＭの数よりも少なくてもよい。この場合、ユーザが多数の表情モデルＥＰを確認したり調整したりする負荷が軽減される。
　ユーザは、スライドバーＳＢ１をスライドさせることにより、対応する表情モデルＥＰの大きさを調節する。ブレンドシェイプパラメータ取得部１１は、ユーザによって入力された各表情モデルＥＰの大きさに基づいて、ベースモデルＢＭにブレンドされる各ブレンドシェイプモデルＢＳＭのウェイトを演算する。ブレンドシェイプパラメータ取得部１１は、演算によって求められた各ブレンドシェイプモデルＢＳＭのウェイトをブレンドシェイプパラメータとして取得する。
　補正パラメータ入力欄８３には、例えば、複数のモデル因子ＭＦのリストと、それぞれのモデル因子ＭＦの大きさを設定するための複数のスライドバーＳＢ２と、が表示されている。ユーザがスライドバーＳＢ２を操作してモデル因子ＭＦの大きさを０よりも大きな値に設定することにより、キャラクタの表情を補正するモデル因子ＭＦが選択される。モデル因子ＭＦは、例えば文字列として補正パラメータ入力欄８３に表示されが、モデル因子ＭＦの表示形式はこれに限定されない。モデル因子ＭＦは、例えば、デフォルメされた顔の絵として補正パラメータ入力欄８３に表示されてもよい。
　各モデル因子ＭＦは、１以上の補正因子ＣＦを合成することにより生成される。補正パラメータ入力欄８３に表示されるモデル因子ＭＦの数は、例えば、記憶部４０に記憶される補正因子ＣＦの数よりも多い。これにより、個々の補正因子ＣＦによって規定される因子よりも多彩な補正因子のバリエーションがユーザに提示される。補正パラメータ入力欄８３に表示されるモデル因子ＭＦの数は、記憶部４０に記憶される補正因子ＣＦの数よりも少なくてもよい。この場合、ユーザが多数のモデル因子ＭＦを確認したり調整したりする負荷が軽減される。
　ユーザは、スライドバーＳＢ２をスライドさせることにより、対応するモデル因子ＭＦの大きさを調節する。補正パラメータ取得部１２は、ユーザによって入力された各モデル因子ＭＦの大きさに基づいて、各補正因子ＣＦの大きさを演算する。補正パラメータ取得部１２は、演算によって求められた各補正因子ＣＦの大きさを補正パラメータとして取得する。
　初期状態では、例えば、各表情モデルＥＰの大きさおよび各モデル因子ＭＦの大きさはいずれも０に設定される。プレビューエリア８４には、ベースモデルＢＭに対応する顔ＦＭが表示される。ユーザがスライドバーＳＢ１およびスライドバーＳＢ２を操作して特定の表情モデルＥＰおよびモデル因子ＭＦを選択すると、スライドバーＳＢ１およびスライドバーＳＢ２の操作量に応じた顔ＦＭがプレビューエリア８４に表示される。ユーザがさらにスライドバーＳＢ１およびスライドバーＳＢ２を操作すると、その操作量に応じて、プレビューエリア８４に表示される顔ＦＭが変更される。
　ユーザによって１以上のモデル因子ＭＦが選択されると、表示制御部１４は、ブレンドシェイプパラメータ入力欄８２に表示された複数の表情モデルＥＰのうち、補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦによって表情に影響を受ける１以上の表情モデルＥＰをハイライト表示させる。
　例えば、図７の例では、モデル因子「ＭＦｑ」の大きさが０よりも大きい値に設定されている。モデル因子「ＭＦｑ」によって表情に影響を受ける表情モデルＥＰとして、３つの表情モデル「ＥＰ３」，「ＥＰ４」，「ＥＰｐ」が例示されている。表示制御部１４は、ブレンドシェイプパラメータ入力欄８２において表情モデル「ＥＰ３」，「ＥＰ４」，「ＥＰｐ」を示す文字列が記載された部分および表情モデル「ＥＰ３」，「ＥＰ４」，「ＥＰｐ」に対応するスライドバーＳＢ１が表示された部分をハイライト表示させる。
　プレビューエリア８４には、ブレンドシェイプパラメータ入力欄８２で選択された１以上の表情モデルＥＰとその大きさおよび補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦとその大きさに基づいて顔生成部１３が生成したキャラクタの顔ＦＭが表示される。ユーザが表情モデルＥＰ若しくはその大きさ、または、モデル因子ＭＦ若しくはその大きさを変更すると、その変更に連動して、顔生成部１３は新たな顔ＦＭを生成する。表示制御部１４は新たに生成された顔ＦＭをプレビューエリア８４に表示させる。
　ブレンドシェイプパラメータ入力欄８２には、補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦによって表情に影響を受ける１以上の表情モデルＥＰが他と区別可能なようにハイライト表示される。ユーザは、ハイライト表示された１以上の表情モデルＥＰを順次選択し、共通のモデル因子ＭＦに関連付けられた１以上の表情モデルＥＰの表情を効率よく確認することができる。
［２－２－２．顔生成処理フロー］
　図８は、顔生成処理に係る情報処理方法を示すフローチャートである。顔生成処理は、例えば、図７に示したユーザインタフェースＵＩ１を用いて行われる。
　ステップＳ１において、ブレンドシェイプパラメータ取得部１１は、ブレンドシェイプパラメータαを取得したか否かを判定する。
　ブレンドシェイプパラメータ取得部１１は、１以上のブレンドシェイプモデルＢＳＭについて０よりも大きなウェイトが入力された場合には、ブレンドシェイプパラメータを取得したと判定する。ブレンドシェイプパラメータ取得部１１は、全てのブレンドシェイプモデルＢＳＭのウェイトが０である場合には、ブレンドシェイプパラメータを取得していないと判定する。各ブレンドシェイプパラメータＢＳＭのウェイトは、ブレンドシェイプパラメータ入力欄８２で選択された１以上の表情モデルＥＰおよびその大きさに基づいて演算される。０よりも大きなウェイトが入力されたブレンドシェイプモデルＢＳＭの数がｎ個（ｎは１以上Ｎ以下の整数）である場合、ブレンドシェイプパラメータ取得部１１は、ｎ個のブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）のそれぞれのウェイトを示すｎ個のブレンドシェイプパラメータαｉ（ｉ＝１～ｎ）を取得する。
　ステップＳ１の判定の結果、ブレンドシェイプパラメータ取得部１１がブレンドシェイプパラメータを取得したと判定した場合には（ステップＳ１：Ｙｅｓ）、ステップＳ２に進む。ブレンドシェイプパラメータ取得部１１がブレンドシェイプパラメータを取得していないと判定した場合には（ステップＳ１：Ｎｏ）、ブレンドシェイプパラメータ取得部１１がブレンドシェイプパラメータを取得するまでステップＳ１の判定を繰り返す。
　ステップＳ２において、補正パラメータ取得部１２は、補正パラメータβを取得したか否かを判定する。補正パラメータ取得部１２は、１以上の補正因子ＣＦについて０よりも大きな値が入力された場合には、補正パラメータを取得したと判定する。補正パラメータ取得部１２は、全ての補正因子ＣＦについて０の値が入力された場合には、補正パラメータを取得していないと判定する。各補正因子ＣＦの大きさは、補正パラメータ入力欄で選択された１以上のモデル因子ＭＦおよびその大きさに基づいて演算される。０よりも大きな値が入力された補正因子ＣＦの数がｋ個（ｋは１以上の整数）である場合には、補正パラメータ取得部１２は、ｋ個の補正因子ＣＦのそれぞれの大きさを示すｋ個の補正パラメータβｊ（ｊ＝１～ｋ）を取得する。
　ステップＳ２の判定の結果、補正パラメータ取得部１２が補正パラメータを取得したと判定した場合には（ステップＳ２：Ｙｅｓ）、ステップＳ３に進む。
　ステップＳ３において、顔生成部１３は、ベースモデルＢＭとブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）との間の変換式Ｐｉ（ｉ＝１～ｎ）を、補正因子ＣＦｌ（ｌ＝１～ｍ）およびブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）に対応付けられた補正式Ｍｉｊに基づいて補正する。顔生成部１３は、補正後の変換式Ｐｉ ｃ（ｉ＝１～ｎ）とブレンドシェイプパラメータαｉ（ｉ＝１～ｎ）と補正パラメータβｊ（ｊ＝１～ｋ）とを用いて、式（２）に基づいてキャラクタの顔ＦＭを生成する。顔生成部１３は、生成された顔ＦＭの行列Ｘのデータを表示制御部１４に出力する。
　次に、ステップＳ５において、表示制御部１４は、行列Ｘのデータに基づいて、キャラクタの顔ＦＭをプレビューエリア８４に表示させる。
　次に、ステップＳ６において、表示制御部１４は、処理を終了するか否かを判定する。終了ボタンの操作などによりユーザから処理を終了する旨の指示を受けた場合には、表示制御部１４は、処理を終了すると判定し（ステップＳ６：Ｙｅｓ）、図８の処理を終了する。処理を継続すると判定した場合には（ステップＳ６：Ｎｏ）、ステップＳ１に戻る。
　ステップＳ２の判定の結果、補正パラメータ取得部１２が補正パラメータを取得していないと判定した場合には（ステップＳ２：Ｎｏ）、ステップＳ４に進む。
　ステップＳ４において、顔生成部１３は、ベースモデルＢＭとブレンドシェイプモデルＢＳＭｉ（ｉ＝１～ｎ）との間の変換式Ｐｉ（ｉ＝１～ｎ）とブレンドシェイプパラメータαｉ（ｉ＝１～ｎ）とを用いて、式（１）に基づいてキャラクタの顔ＦＭを生成する。顔生成部１３は、生成された顔ＦＭの行列Ｘのデータを表示制御部１４に出力する。そして、ステップＳ５に進む。
［２－２―３．補正式生成処理用ユーザインタフェース］
　図９は、ユーザインタフェースＵＩ１を用いて補正式生成処理を行う例を示す図である。
　表示制御部１４は、ブレンドシェイプモデル選択欄８５と、補正因子入力欄８６と、編集エリア８７と、を表示装置８１に表示させる。
　ブレンドシェイプモデル選択欄８５には、例えば、複数のブレンドシェイプモデルＢＳＭのリストと、それぞれのブレンドシェイプモデルＢＳＭの選択または非選択を設定するための複数のスライドバーＳＢ３と、が表示される。ユーザがスライドバーＳＢ３を選択側にスライドさせることにより、ベースモデルＢＭにブレンドされるブレンドシェイプモデルＢＳＭが選択される。ブレンドシェイプモデルＢＳＭは、例えば文字列としてブレンドシェイプモデル選択欄８５に表示されが、ブレンドシェイプモデルＢＳＭの表示形式はこれに限定されない。ブレンドシェイプモデルＢＳＭは、例えば、デフォルメされた顔の絵としてブレンドシェイプモデル選択欄８５に表示されてもよい。
　ベースモデルＢＭには、選択された一つのブレンドシェイプモデルＢＳＭが１００％のウェイトでブレンドされる。ブレンドシェイプパラメータ取得部１１は、ユーザによって選択されたブレンドシェイプモデルＢＳＭのウェイトをブレンドシェイプパラメータαとして取得する。
　補正因子入力欄８６には、補正因子ＣＦが入力される。例えば、補正因子ＣＦにより補正された表情をポリゴンメッシュの変形により調整し、調整後の表情を補正因子ＣＦと関連付ける場合、補正因子入力欄８６には、調整の対象となる補正因子ＣＦが入力される。選択された補正因子ＣＦの大きさ（補正パラメータβ）は１である。補正パラメータ取得部１２は、ユーザによって選択された既存の補正因子ＣＦの大きさを補正パラメータβとして取得する。
　補正因子ＣＦにより補正されていない表情をポリゴンメッシュの変形により調整し、調整後の表情を新たに定義する補正因子ＣＦと関連付ける場合には、補正因子入力欄８６には、新たに定義される補正因子ＣＦが入力される。補正因子入力欄８６に新たに定義される補正因子ＣＦが入力された場合、補正パラメータ取得部１２は、補正パラメータβを取得しない。
　補正因子入力欄８６に、記憶部４０に記憶された既存の補正因子ＣＦが入力された場合、表示制御部１４は、ブレンドシェイプモデル選択欄８５に表示された複数のブレンドシェイプモデルＢＳＭのうち、補正因子入力欄８６に入力された補正因子ＣＦによって表情に影響を受ける１以上のブレンドシェイプモデルＢＳＭをハイライト表示させる。
　例えば、図９の例では、補正因子入力欄８６に既存の補正因子ＣＦとして「ＣＦｓ」が入力されている。補正因子「ＣＦｓ」によって表情に影響を受けるブレンドシェイプモデルＢＳＭとして、３つのブレンドシェイプモデル「ＢＳＭ３」，「ＢＳＭ４」，「ＢＳＭｔ」が例示されている。表示制御部１４は、ブレンドシェイプモデル選択欄８５においてブレンドシェイプモデル「ＢＳＭ３」，「ＢＳＭ４」，「ＢＳＭｔ」を示す文字列が記載された部分およびブレンドシェイプモデル「ＢＳＭ３」，「ＢＳＭ４」，「ＢＳＭｔ」に対応するスライドバーＳＢ３が表示された部分をハイライト表示させる。
　編集エリア８７には、編集の対象となる顔ＦＭが表示される。例えば、補正因子ＣＦにより補正された表情をポリゴンメッシュの変形により調整し、調整後の表情を補正因子ＣＦと関連付ける場合、編集エリア８７には、ブレンドシェイプモデル選択欄８５で選択されたブレンドシェイプモデルＢＳＭおよび補正因子入力欄８６に入力された補正因子ＣＦに基づいて顔生成部１３が生成したキャラクタの顔ＦＭが表示される。補正因子ＣＦにより補正されていない表情をポリゴンメッシュの変形により調整し、調整後の表情を新たに定義する補正因子ＣＦと関連付ける場合、編集エリア８７には、ブレンドシェイプモデル選択欄８５で選択されたブレンドシェイプモデルＢＳＭに基づいて顔生成部１３が生成したキャラクタの顔ＦＭが表示される。
　編集エリア８７では、顔ＦＭを構成するポリゴンメッシュの特定の頂点ＦＶ、辺ＦＳまたは面ＦＰをユーザが個別に移動させて顔を変形させることが可能である。編集エリア８７を用いてユーザが付加した顔ＦＭの変形量ΔＱはメッシュ変形検出部１５によって検出される。補正式生成部１６は、変形量ΔＱを用いて、式（３）に基づいて補正式Ｍｇを生成する。記憶部４０は、生成された補正式Ｍｇをブレンドシェイプモデル選択欄８５で選択されたブレンドシェイプモデルＢＳＭおよび補正因子入力欄８６に入力された補正因子ＣＦに関連付けて記憶する。
　ユーザがブレンドシェイプモデルＢＳＭまたは補正因子ＣＦを変更すると、その変更に連動して、顔生成部１３は新たな顔ＦＭを生成する。表示制御部１４は新たに生成された顔ＦＭを編集エリア８７に表示させる。補正因子入力欄８６に、記憶部４０に記憶された既存の補正因子ＣＦが入力された場合、ブレンドシェイプモデル選択欄８５には、補正因子入力欄８６に入力された既存の補正因子ＣＦによって影響を受ける１以上のブレンドシェイプモデルＢＳＭが他と区別可能なようにハイライト表示される。ユーザは、ハイライト表示された１以上のブレンドシェイプモデルＢＳＭを順次選択し、共通の補正因子ＣＦに関連付けられた１以上のブレンドシェイプモデルＢＳＭの表情を効率よく調整することができる。
［２－２―４．補正式生成処理フロー］
　図１０は、補正式生成処理に係る情報処理方法を示すフローチャートである。補正式生成処理は、例えば、図９に示したユーザインタフェースＵＩ１を用いて行われる。
　ステップＳ１１において、ブレンドシェイプパラメータ取得部１１は、ベースモデルＢＭにブレンドされるブレンドシェイプモデルＢＳＭが選択されたか否かを判定する。ユーザがスライドバーＳＢ２によって一つのブレンドシェイプモデルＢＳＭを選択した場合、ブレンドシェイプパラメータ取得部１１は、その一つのブレンドシェイプモデルＢＳＭのウェイトを１００％に設定し、そのウェイトをブレンドシェイプパラメータαとして取得する。ブレンドシェイプパラメータ取得部１１は、ブレンドシェイプパラメータαを取得した場合には、ブレンドシェイプモデルＢＳＭが選択されたと判定する。ユーザがいずれのスライドバーＳＢ２も操作せず、ブレンドシェイプパラメータαが取得されない場合には、ブレンドシェイプパラメータ取得部１１は、ブレンドシェイプモデルＢＳＭが選択されていないと判定する。
　ステップＳ１１の判定の結果、ブレンドシェイプモデルＢＳＭが選択されたとブレンドシェイプパラメータ取得部１１が判定した場合には（ステップＳ１１：Ｙｅｓ）、ステップＳ１２に進む。ステップＳ１１の判定の結果、ブレンドシェイプモデルＢＳＭが選択されていないとブレンドシェイプパラメータ取得部１１が判定した場合には（ステップＳ１１：Ｎｏ）、ブレンドシェイプモデルＢＳＭが選択されるまでステップＳ１１の判定を繰り返す。
　ステップＳ１２において、補正パラメータ取得部１２は、記憶部４０に記憶された既存の補正因子ＣＦをユーザが補正因子入力欄８６に入力したか否かを判定する。補正因子入力欄８６に入力された補正因子ＣＦが記憶部４０に記憶されたものと一致する場合には、補正パラメータ取得部１２は、既存の補正因子ＣＦが入力されたと判定する。この場合、補正パラメータ取得部１２は、入力された補正因子ＣＦに対する補正パラメータβとして、１を取得する。図９の補正因子入力欄８６に補正因子ＣＦが入力されない場合または入力された補正因子ＣＦが記憶部４０に記憶されたものと一致しない場合には、補正パラメータ取得部１２は、既存の補正因子ＣＦが入力されていないと判定する。
　ステップＳ１２の判定の結果、補正パラメータ取得部１２が、既存の補正因子ＣＦが補正因子入力欄８６に入力されたと判定した場合には（ステップＳ１２：Ｙｅｓ）、ステップＳ１３に進む。
　ステップＳ１３において、顔生成部１３は、ステップＳ１１で選択されたブレンドシェイプモデルＢＳＭとベースモデルＢＭとの間の変換式Ｐを、ステップＳ１２で入力された補正因子ＣＦおよびステップＳ１１で選択されたブレンドシェイプモデルＢＳＭに対応付けられた補正式Ｍに基づいて補正する。顔生成部１３は、補正後の変換式Ｐｃとブレンドシェイプパラメータαと補正パラメータβとを用いて、式（２）に基づいてキャラクタの顔ＦＭを生成する。顔生成部１３は、生成された顔ＦＭの行列Ｘのデータを表示制御部１４に出力する。
　次に、ステップＳ１４において、表示制御部１４は、行列Ｘのデータに基づいて、キャラクタの顔ＦＭを編集エリア８７に表示させる。
　次に、ステップＳ１５において、メッシュ変形検出部１５は、編集エリア８７を用いてユーザが付加した顔ＦＭの変形量ΔＱを取得したか否かを判定する。メッシュ変形検出部１５は、例えば、変形前の顔ＦＭを表す行列Ｘと変形後の顔ＦＭを表す行列Ｘ′との差分（Ｘ′－Ｘ）をΔＱとして検出する。ΔＱがゼロでなければ、メッシュ変形検出部１５は、変形量ΔＱを取得したと判定する。ΔＱがゼロであれば、メッシュ変形検出部１５は、変形量ΔＱを取得していないと判定する。
　ステップＳ１５の判定の結果、メッシュ変形検出部１５が変形量ΔＱを取得したと判定した場合には（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に進む。ステップＳ１５の判定の結果、メッシュ変形検出部１５が変形量ΔＱを取得していないと判定した場合には（ステップＳ１５：Ｎｏ）、メッシュ変形検出部１５が変形量ΔＱを取得するまでステップＳ１５の判定を繰り返す。
　ステップＳ１６において、補正式生成部１６は、変形量ΔＱを用いて、式（３）に基づいて補正式Ｍｇを生成する。
　次に、ステップＳ１７において、記憶部４０は、ステップＳ１６で生成された補正式Ｍｇをブレンドシェイプモデル選択欄８５で選択されたブレンドシェイプモデルＢＳＭおよび補正因子入力欄８６に入力された補正因子ＣＦに関連付けて記憶する。
　次に、ステップＳ２４において、表示制御部１４は、処理を終了するか否かを判定する。終了ボタンなどの操作によりユーザから処理を終了する旨の指示を受けた場合には、表示制御部１４は、処理を終了すると判定し（ステップＳ２４：Ｙｅｓ）、図１０の処理を終了する。処理を継続すると判定した場合には（ステップＳ２４：Ｎｏ）、ステップＳ１１に戻る。
　ステップＳ１２の判定の結果、補正パラメータ取得部１２が、既存の補正因子ＣＦが補正因子入力欄８６に入力されていないと判定した場合には（ステップＳ１２：Ｎｏ）、ステップＳ１８に進む。
　ステップＳ１８において、顔生成部１３は、ステップＳ１１で選択されたブレンドシェイプモデルＢＳＭとベースモデルＢＭとの間の変換式Ｐと、ブレンドシェイプパラメータαと、を用いて、式（１）に基づいてキャラクタの顔ＦＭを生成する。顔生成部１３は、生成された顔ＦＭの行列Ｘのデータを表示制御部１４に出力する。
　次に、ステップＳ１９において、表示制御部１４は、行列Ｘのデータに基づいて、キャラクタの顔ＦＭを編集エリア８７に表示させる。
　次に、ステップＳ２０において、メッシュ変形検出部１５は、編集エリア８７を用いてユーザが付加した顔ＦＭの変形量ΔＱを取得したか否かを判定する。
　ステップＳ２０の判定の結果、メッシュ変形検出部１５が変形量ΔＱを取得したと判定した場合には（ステップＳ２０：Ｙｅｓ）、ステップＳ２１に進む。ステップＳ２０の判定の結果、メッシュ変形検出部１５が変形量ΔＱを取得していないと判定した場合には（ステップＳ２０：Ｎｏ）、メッシュ変形検出部１５が変形量ΔＱを取得するまでステップＳ２０の判定を繰り返す。
　ステップＳ２１において、補正式生成部１６は、変形量ΔＱを用いて、式（３）に基づいて補正式Ｍｇを生成する。
　次に、ステップＳ２２において、補正パラメータ取得部１２は、記憶部４０に記憶されていない新規の補正因子ＣＦをユーザが補正因子入力欄８６に入力したか否かを判定する。
　ステップＳ２２の判定の結果、補正パラメータ取得部１２が、新規の補正因子ＣＦが補正因子入力欄８６に入力されたと判定した場合には（ステップＳ２２：Ｙｅｓ）、ステップＳ２３に進む。ステップＳ２２の判定の結果、補正パラメータ取得部１２が、新規の補正因子ＣＦが補正因子入力欄８６に入力されていないと判定した場合には（ステップＳ２２：Ｎｏ）、新規の補正因子ＣＦが補正因子入力欄８６に入力されるまでステップＳ２２の判定を繰り返す。
　ステップＳ２３において、記憶部４０は、ステップＳ２１で生成された補正式Ｍｇをブレンドシェイプモデル選択欄８５に入力されたブレンドシェイプモデルＢＳＭおよび補正因子入力欄８６に入力された補正因子ＣＦに関連付けて記憶する。そして、ステップＳ２４に進む。
［３．第２実施形態］
　図１１は、第２実施形態に係るユーザインタフェースＵＩ２の一例を示す図である。
　本実施形態において第１実施形態と異なる点は、モデル因子ＭＦがデフォルメされた顔の絵として補正パラメータ入力欄８８に表示されている点である。モデル因子ＭＦが絵柄で示されることで、モデル因子ＭＦがキャラクタの表情にどのような影響を与えるかが直感的に把握される。
　補正パラメータ入力欄８８には、複数のモデル因子ＭＦが、デフォルメされた顔の絵としてリストされている。各モデル因子ＭＦは、マウスでクリックするなどの方法でユーザが個別に選択することができる。図１１の例では、モデル因子ＭＦ２がユーザによって選択されている。選択されたモデル因子ＭＦ２の絵は、例えば、他と区別可能なように補正パラメータ入力欄８８において反転表示される。補正パラメータ入力欄８８の下部には、選択されたモデル因子ＭＦの大きさを設定するためのスライドバーＳＢ４が一つ表示されている。
［４．補正因子の変形例］
　図１２は、補正因子の変形例を説明する図である。
　第１実施形態では、補正因子ＣＦの例としてキャラクタの気分を挙げた。しかし、補正因子ＣＦは、キャラクタの表情に影響を与えるものであればよく、必ずしも気分に限定されない。
　図１２の例では、例えば、キャラクタ固有の表情の傾向（感情表現をする際の癖）が補正因子ＣＦとして挙げられている。感情を表現する際に眉毛や口角が左右非対称に動く人がいる。笑う時に左右どちらかの口角が上がりやすいなどの表情の癖は、キャラクタの個性を際立たせやすい。そのため、キャラクタの特徴付けをする際に役立つ。
　例えば、左側の眉毛および口角が上がりやすいという傾向を補正因子ＣＦｔとした場合、図１２の上段に示すように、笑顔を示すブレンドシェイプモデルＢＳＭ１は、左側の眉毛および口角が右側よりも吊り上った状態の顔に補正される（補正モデルＢＳＭ１ｔ）。このような表情の傾向は広く他の表情にも影響を与える。そのため、図１２の下段に示すように、怒り顔を示すブレンドシェイプモデルＢＳＭ２についても同様の補正を行うことができる（補正モデルＢＳＭ２ｔ）。
［５．効果］
　本実施形態の情報処理システム１は、ブレンドシェイプパラメータ取得部１１と補正パラメータ取得部１２と顔生成部１３とを有する。ブレンドシェイプパラメータ取得部１１は、ベースモデルＢＭにブレンドされるブレンドシェイプモデルＢＳＭのウェイトをブレンドシェイプパラメータαとして取得する。補正パラメータ取得部１２は、ブレンドシェイプモデルＢＳＭの表情に影響を与える補正因子ＣＦの大きさを補正パラメータβとして取得する。顔生成部１３は、ベースモデルＢＭとブレンドシェイプモデルＢＳＭとの間の変換式Ｐを、補正因子ＣＦとブレンドシェイプモデルＢＳＭとに対応付けられた補正式Ｍに基づいて補正し、補正後の変換式Ｐｃとブレンドシェイプパラメータαと補正パラメータβとを用いてキャラクタの顔を生成する。本実施形態の情報処理方法は、上述した情報処理システム１の情報処理がコンピュータにより実行される。また、本実施形態のプログラム４１は、上述した情報処理システム１の情報処理をコンピュータに実現させる。
　この構成によれば、気分などの抽象的かつ様々な表情に影響を与える因子として、補正因子ＣＦという新たな概念が導入される。補正因子ＣＦという新たなパラメータがブレンドシェイプに導入されることで、喜怒哀楽などの単純な感情表現だけでなく、心身の状態や心の揺らぎなど、キャラクタの表情に影響を与える様々な要因を網羅的に考慮した顔生成処理が可能となる。また、補正因子ＣＦによる表情への影響度が補正パラメータとして規定される。様々な補正因子ＣＦをその影響度まで考慮して組み合わせることで、より微妙な表情の変化が得られる。
　補正因子ＣＦ自体は、気分などの明確な意味づけがなされたパラメータである。そのため、ユーザは補正因子ＣＦによってキャラクタの顔がどのように変化するか予測しやすい。キャラクタの心情変化等に応じてどの補正因子ＣＦをどれくらいの大きさで組み合わせるかについて迷いが生じにくい。例えば、従来行われているＦＡＣＳ準拠のパラメータや表情パラメータ（笑顔や悲しい顔などのＦＡＣＳより抽象度の高いパラメータ）をコントロールする方法では、気分を直接扱うパラメータがないため、気分の変化に間接的に関連するパラメータをユーザが経験や勘に基づいて推測する必要がある。また、気分の大きさに合わせた適切なパラメータの大きさの組み合わせをユーザが試行錯誤によって探し出す必要がある。この方法では、気分が変化するごとにユーザが試行錯誤を繰り返す必要があり、ユーザの負担が大きい。これに対して、本実施形態では、気分に関連付けられた補正式を選択すれば適切な表情が得られる。気分の大きさが変化した場合でも、補正パラメータの大きさを変化させるだけで、微妙な表情の変化が実現される。よって、ユーザの負担が少ない。
　また、同じ補正因子ＣＦがキャラクタの表情に継続的に影響し続ける場面では、同じ補正因子ＣＦおよび同じ補正パラメータβを用いて、キャラクタがとり得る様々な表情を一括して補正することができる。例えば、キャラクタの気分を変えてアニメーションを再作成したいときなどは、ユーザは毎フレームあるいはキーフレーム毎にブレンドシェイプの各パラメータを変更することなく、アニメーション全体あるいは一部に作用するパラメータを調節するだけでアニメーションの再作成が可能となる。そのため、ユーザの負担は大幅に軽減される。
　補正因子ＣＦは、例えば、キャラクタの気分またはキャラクタ固有の表情の傾向である。
　この構成によれば、心身の状態や心の揺らぎ、感情表現を行う際の癖など、キャラクタの表情に影響を与える様々な要因をより網羅的に考慮した顔生成処理が可能となる。また、笑う時に左右どちらかの口角が上がりやすいなどの表情の癖は、キャラクタの個性を際立たせやすい。そのため、キャラクタの特徴付けをする際に役立つ。
　ブレンドシェイプモデルＢＳＭは、例えば、情動を表す表情モデルである。
　表情は、情動に応じて顔に表出される変化である。情動は、気分および表情の傾向（癖）とは異なる。情動は、明確な原因によって引き起こされる強い感情であり、恐怖、怒りおよび喜びなどの生理的な興奮を伴い、その持続時間は一般的に短い。情動よりも弱い感情は気分と呼ばれる。気分は必ずしも意識できるとは限らず、原因が明確でない場合もある。気分に関しては、大きな感情の変化はないが、情動に比べて持続時間は長い。従来のブレンドシェイプは、情動に基づく表情モデルのみでキャラクタの表情を生成する。そのため、気分を考慮した微妙な表情の変化が得られにくい。これに対して、本実施形態では、気分などの情動とは異なる新たな概念が補正因子ＣＦとして導入される。そのため、より複雑でリアルな表情が得られる。
　ブレンドシェイプパラメータ取得部１１は、例えば、ベースモデルＢＭにブレンドされるｎ個（ｎは１以上の整数）のブレンドシェイプモデルＢＳＭのそれぞれのウェイトを示すｎ個のブレンドシェイプパラメータαを取得する。補正パラメータ取得部１２は、例えば、キャラクタの表情に影響を与えるｋ個（ｋは１以上の整数）の補正因子ＣＦのそれぞれの大きさ示すｋ個の補正パラメータβを取得する。顔生成部１３は、例えば、ベースモデルＢＭとｎ個のブレンドシェイプモデルＢＳＭとの間の変換をそれぞれ行うｎ個の変換式Ｐのうち、ｋ個の補正因子ＣＦによって影響を受けるｍ個（ｍは１以上ｎ以下の整数）の変換式Ｐを補正し、補正後のｍ個の変換式Ｐｃを含むｎ個の変換式を用いてキャラクタの顔を生成する。
　この構成によれば、複数のブレンドシェイプモデルＢＳＭと複数の補正因子ＣＦとの組み合わせによって、キャラクタの微妙な心の動きを反映したリアルな表情が生成される。
　本実施形態の情報処理システム１は、メッシュ変形検出部１５と補正式生成部１６とを有する。メッシュ変形検出部１５は、ユーザが顔ＦＭを構成するポリゴンメッシュの特定の頂点ＦＶ、辺ＦＳまたは面ＦＰを個別に移動させて顔ＦＭを変形させたときのポリゴンメッシュの変形量ΔＱを検出する。補正式生成部１６は、単一のブレンドシェイプモデルＢＳＭに基づいて生成された顔ＦＭに対してユーザが付加した変形量ΔＱをメッシュ変形検出部１５から取得し、変形量ΔＱに基づいてベースモデルＢＭと単一のブレンドシェイプモデルＢＳＭとの間の変換式Ｐを補正する補正式Ｍを生成する。
　この構成によれば、補正因子ＣＦによる表情の変化を微細に調整することができる。
　情報処理システム１は、記憶部４０を有する。記憶部４０は、ベースモデルＢＭと複数のブレンドシェイプモデルＢＳＭとの間の変換をそれぞれ行う複数の変換式Ｐと、複数の補正因子ＣＦと、を記憶する。記憶部４０は、補正因子ＣＦごとに、補正因子ＣＦによって表情に影響を受ける１以上のブレンドシェイプモデルＢＳＭと、この１以上のブレンドシェイプモデルＢＳＭに対応した１以上の変換式Ｐをそれぞれ補正する１以上の補正式Ｍと、を関連付けて記憶する。
　この構成によれば、様々な補正因子ＣＦを用いて多彩な表情を生成することができる。
　情報処理システム１は、表示制御部１４を有する。表示制御部１４は、ブレンドシェイプパラメータ入力欄８２と補正パラメータ入力欄８３とプレビューエリア８４とを表示装置８１に表示させる。ブレンドシェイプパラメータ入力欄８２には、複数の表情モデルＥＰのリストが表示される。補正パラメータ入力欄８３には、複数のモデル因子ＭＦのリストが表示される。プレビューエリア８４には、ブレンドシェイプパラメータ入力欄８２で選択された１以上の表情モデルＥＰおよび補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦに基づいて顔生成部１３が生成したキャラクタの顔ＦＭが表示される。表示制御部１４は、ブレンドシェイプパラメータ入力欄８２に表示された複数の表情モデルＥＰのうち、補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦによって表情に影響を受ける１以上の表情モデルＥＰをハイライト表示させる。
　この構成によれば、ユーザは、ハイライト表示された１以上の表情モデルＥＰを順次選択し、共通のモデル因子ＭＦに関連付けられた１以上の表情モデルＥＰの表情を効率よく確認することができる。
　表示制御部は、ブレンドシェイプモデル選択欄８５と補正因子入力欄８６と編集エリア８７とを表示装置８１に表示させる。ブレンドシェイプモデル選択欄８５には、複数のブレンドシェイプモデルＢＳＭのリストが表示される。補正因子入力欄８６には、補正因子ＣＦが入力される。編集エリア８７には、ブレンドシェイプモデル選択欄８５で選択された１つのブレンドシェイプモデルＢＳＭおよび補正因子入力欄８６に入力された補正因子ＣＦに基づいて顔生成部１３が生成したキャラクタの顔ＦＭが表示される。編集エリア８７では、顔ＦＭを構成するポリゴンメッシュの特定の頂点ＦＶ、辺ＦＳまたは面ＦＰをユーザが個別に移動させて顔ＦＭを変形させることが可能である。表示制御部１４は、ブレンドシェイプモデル選択欄８５に表示された複数のブレンドシェイプモデルＢＳＭのうち、補正因子入力欄８６に入力された補正因子ＣＦによって表情に影響を受ける１以上のブレンドシェイプモデルＢＳＭをハイライト表示させる。
　この構成によれば、ユーザは、ハイライト表示された１以上のブレンドシェイプモデルＢＳＭを順次選択し、共通の補正因子ＣＦに関連付けられた１以上のブレンドシェイプモデルＢＳＭの表情を効率よく調整することができる。
　本実施形態のユーザインタフェースＵＩ１は、ブレンドシェイプパラメータ入力欄８２と補正パラメータ入力欄８３とプレビューエリア８４とを有する。ブレンドシェイプパラメータ入力欄８２には、複数の表情モデルＥＰのリストが表示される。補正パラメータ入力欄８３には、複数のモデル因子ＭＦのリストが表示される。プレビューエリア８４には、ブレンドシェイプパラメータ入力欄８２で選択された１以上の表情モデルＥＰおよび補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦに基づいて生成されたキャラクタの顔ＦＭが表示される。複数のモデル因子ＭＦの各々は、複数の表情モデルＥＰのうちの少なくとも１つの表情モデルＥＰの表情に影響を与える。ブレンドシェイプパラメータ入力欄８２に表示された複数の表情モデルＥＰのうち、補正パラメータ入力欄８３で選択された１以上のモデル因子ＭＦによって表情に影響を受ける１以上の表情モデルＥＰがハイライト表示される。
　この構成によれば、ユーザは、ハイライト表示された１以上の表情モデルＥＰを順次選択し、共通のモデル因子ＭＦに関連付けられた１以上の表情モデルＥＰの表情を効率よく確認することができる。
　インタフェースＵＩ１は、ブレンドシェイプモデル選択欄８５と補正因子入力欄８６と編集エリア８７とを有する。ブレンドシェイプモデル選択欄８５には、複数のブレンドシェイプモデルＢＳＭのリストが表示される。補正因子入力欄８６には、補正因子ＣＦが入力される。編集エリア８７には、ブレンドシェイプモデル選択欄８５で選択された１つのブレンドシェイプモデルＢＳＭおよび補正因子入力欄８６に入力された補正因子ＣＦに基づいて生成されたキャラクタの顔ＦＭが表示される。編集エリア８７では、顔ＦＭを構成するポリゴンメッシュの特定の頂点ＦＶ、辺ＦＳまたは面ＦＰをユーザが個別に移動させて顔ＦＭを変形させることが可能である。補正因子ＣＦは、複数のブレンドシェイプモデルＢＳＭのうちの少なくとも１つのブレンドシェイプモデルＢＳＭの表情に影響を与える。ブレンドシェイプモデル選択欄８５に表示された複数のブレンドシェイプモデルＢＳＭのうち、補正因子入力欄８６に入力された補正因子ＣＦによって表情に影響を受ける１以上のブレンドシェイプモデルＢＳＭがハイライト表示される。
　この構成によれば、ユーザは、ハイライト表示された１以上のブレンドシェイプモデルＢＳＭを順次選択し、共通の補正因子ＣＦに関連付けられた１以上のブレンドシェイプモデルＢＳＭの表情を効率よく調整することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得するブレンドシェイプパラメータ取得部と、
　前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得する補正パラメータ取得部と、
　前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する顔生成部と、
　を有する情報処理システム。
（２）
　前記補正因子は、前記キャラクタの気分またはキャラクタ固有の表情の傾向である、
　前記（１）に記載の情報処理システム。
（３）
　前記ブレンドシェイプモデルは、キャラクタの情動を表す表情モデルである
　前記（２）に記載の情報処理システム。
（４）
　前記ブレンドシェイプパラメータ取得部は、前記ベースモデルにブレンドされるｎ個（ｎは１以上の整数）のブレンドシェイプモデルのそれぞれのウェイトを示すｎ個のブレンドシェイプパラメータを取得し、
　前記補正パラメータ取得部は、前記キャラクタの表情に影響を与えるｋ個（ｋは１以上の整数）の補正因子のそれぞれの大きさ示すｋ個の補正パラメータを取得し、
　前記顔生成部は、前記ベースモデルと前記ｎ個のブレンドシェイプモデルとの間の変換をそれぞれ行うｎ個の変換式のうち、前記ｋ個の補正因子によって影響を受けるｍ個（ｍは１以上の整数）の変換式を補正し、補正後の前記ｍ個の変換式を含むｎ個の変換式を用いて前記キャラクタの顔を生成する
　前記（１）に記載の情報処理システム。
（５）
　ユーザが前記顔を構成するポリゴンメッシュの特定の頂点、辺または面を個別に移動させて前記顔を変形させたときの前記ポリゴンメッシュの変形量を検出するメッシュ変形検出部と、
　単一の前記ブレンドシェイプモデルに基づいて生成された前記顔に対してユーザが付加した前記変形量を前記メッシュ変形検出部から取得し、前記変形量に基づいて前記ベースモデルと前記単一のブレンドシェイプモデルとの間の変換式を補正する補正式を生成する補正式生成部と、
　を有する前記（１）ないし（４）のいずれか１つに記載の情報処理システム。
（６）
　前記ベースモデルと前記複数のブレンドシェイプモデルとの間の変換をそれぞれ行う複数の変換式と、複数の補正因子と、を記憶する記憶部を有し、
　前記記憶部は、補正因子ごとに、前記補正因子によって表情に影響を受ける１以上のブレンドシェイプモデルと、前記１以上のブレンドシェイプモデルに対応した１以上の変換式をそれぞれ補正する１以上の補正式と、を関連付けて記憶する
　前記（１）ないし（５）のいずれか１つに記載の情報処理システム。
（７）
　複数の表情モデルのリストが表示されるブレンドシェイプパラメータ入力欄と、複数のモデル因子のリストが表示される補正パラメータ入力欄と、前記ブレンドシェイプパラメータ入力欄で選択された１以上の表情モデルおよび前記補正パラメータ入力欄で選択された１以上のモデル因子に基づいて前記顔生成部が生成した前記キャラクタの顔が表示されるプレビューエリアと、を表示装置に表示させる表示制御部を有し、
　前記表示制御部は、前記ブレンドシェイプパラメータ入力欄に表示された前記複数の表情モデルのうち、前記補正パラメータ入力欄で選択された前記１以上のモデル因子によって表情に影響を受ける１以上の表情モデルをハイライト表示させる
　前記（１）ないし（６）のいずれか１つに記載の情報処理システム。
（８）
　前記表示制御部は、複数のブレンドシェイプモデルのリストが表示されるブレンドシェイプモデル選択欄と、補正因子が入力される補正因子入力欄と、前記ブレンドシェイプモデル選択欄で選択された１つのブレンドシェイプモデルおよび前記補正因子入力欄に入力された前記補正因子に基づいて前記顔生成部が生成した前記キャラクタの顔が表示され、且つ、前記顔を構成するポリゴンメッシュの特定の頂点、辺または面をユーザが個別に移動させて前記顔を変形させることが可能な編集エリアと、を表示装置に表示させ、
　前記表示制御部は、前記ブレンドシェイプモデル選択欄に表示された前記複数のブレンドシェイプモデルのうち、前記補正因子入力欄に入力された前記補正因子によって表情に影響を受ける１以上のブレンドシェイプモデルをハイライト表示させる
　前記（７）に記載の情報処理システム。
（９）
　ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得し、
　前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得し、
　前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１０）
　ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得し、
　前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得し、
　前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する、
　ことをコンピュータに実現させるプログラム。
（１１）
　複数の表情モデルのリストが表示されるブレンドシェイプパラメータ入力欄と、
　複数のモデル因子のリストが表示される補正パラメータ入力欄と、
　前記ブレンドシェイプパラメータ入力欄で選択された１以上の表情モデルおよび前記補正パラメータ入力欄で選択された１以上のモデル因子に基づいて生成されたキャラクタの顔が表示されるプレビューエリアと、
　を有し、
　前記複数のモデル因子の各々は、前記複数の表情モデルのうちの少なくとも１つの表情モデルの表情に影響を与え、
　前記ブレンドシェイプパラメータ入力欄に表示された前記複数の表情モデルのうち、前記補正パラメータ入力欄で選択された前記１以上のモデル因子によって表情に影響を受ける１以上の表情モデルがハイライト表示される、
　ユーザインタフェース。
（１２）
　複数のブレンドシェイプモデルのリストが表示されるブレンドシェイプモデル選択欄と、
　補正因子が入力される補正因子入力欄と、
　前記ブレンドシェイプモデル選択欄で選択された１つのブレンドシェイプモデルおよび前記補正因子入力欄に入力された前記補正因子に基づいて生成されたキャラクタの顔が表示され、且つ、前記顔を構成するポリゴンメッシュの特定の頂点、辺または面をユーザが個別に移動させて前記顔を変形させることが可能な編集エリアと、
　を有し、
　前記補正因子は、前記複数のブレンドシェイプモデルのうちの少なくとも１つのブレンドシェイプモデルの表情に影響を与え、
　前記ブレンドシェイプモデル選択欄に表示された前記複数のブレンドシェイプモデルのうち、前記補正因子入力欄に入力された前記補正因子によって表情に影響を受ける１以上のブレンドシェイプモデルがハイライト表示される、
　前記（１１）に記載のユーザインタフェース。
１　情報処理システム
１１　ブレンドシェイプパラメータ取得部
１２　補正パラメータ取得部
１３　顔生成部
１４　表示制御部
１５　メッシュ変形検出部
１６　補正式生成部
４０　記憶部
８１　表示装置
８２　ブレンドシェイプパラメータ入力欄
８３　補正パラメータ入力欄
８４　プレビューエリア
８５　ブレンドシェイプモデル選択欄
８６　補正因子入力欄
８７　編集エリア
８８　補正パラメータ入力欄
ＢＭ　ベースモデル
ＢＳＭ，ＢＳＭｉ，ＢＳＭ１，ＢＳＭ２，ＢＳＭＮ　ブレンドシェイプモデル
ＣＦ，ＣＦｊ　補正因子
ＥＰ　表情モデル
ＦＭ　顔
ＦＶ　頂点
ＦＳ　辺
ＦＰ　面
Ｍ，Ｍｉｊ，Ｍｇ　補正式
ＭＦ　モデル因子
Ｐ，Ｐｉ　変換式
Ｐｃ，Ｐｉ ｃ　補正後の変換式
α，αｉ　ブレンドシェイプパラメータ
β，βｊ　補正パラメータ
ΔＱ　変形量

Claims (12)

  1. 　ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得するブレンドシェイプパラメータ取得部と、
    　前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得する補正パラメータ取得部と、
    　前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する顔生成部と、
    　を有する情報処理システム。
  2. 　前記補正因子は、前記キャラクタの気分またはキャラクタ固有の表情の傾向である
    　請求項１に記載の情報処理システム。
  3. 　前記ブレンドシェイプモデルは、キャラクタの情動を表す表情モデルである
    　請求項２に記載の情報処理システム。
  4. 　前記ブレンドシェイプパラメータ取得部は、前記ベースモデルにブレンドされるｎ個（ｎは１以上の整数）のブレンドシェイプモデルのそれぞれのウェイトを示すｎ個のブレンドシェイプパラメータを取得し、
    　前記補正パラメータ取得部は、前記キャラクタの表情に影響を与えるｋ個（ｋは１以上の整数）の補正因子のそれぞれの大きさ示すｋ個の補正パラメータを取得し、
    　前記顔生成部は、前記ベースモデルと前記ｎ個のブレンドシェイプモデルとの間の変換をそれぞれ行うｎ個の変換式のうち、前記ｋ個の補正因子によって影響を受けるｍ個（ｍは１以上ｎ以下の整数）の変換式を補正し、補正後の前記ｍ個の変換式を含むｎ個の変換式を用いて前記キャラクタの顔を生成する
    　請求項１に記載の情報処理システム。
  5. 　ユーザが前記顔を構成するポリゴンメッシュの特定の頂点、辺または面を個別に移動させて前記顔を変形させたときの前記ポリゴンメッシュの変形量を検出するメッシュ変形検出部と、
    　単一の前記ブレンドシェイプモデルに基づいて生成された前記顔に対してユーザが付加した前記変形量を前記メッシュ変形検出部から取得し、前記変形量に基づいて前記ベースモデルと前記単一のブレンドシェイプモデルとの間の変換式を補正する補正式を生成する補正式生成部と、
    　を有する請求項１に記載の情報処理システム。
  6. 　前記ベースモデルと前記複数のブレンドシェイプモデルとの間の変換をそれぞれ行う複数の変換式と、複数の補正因子と、を記憶する記憶部を有し、
    　前記記憶部は、補正因子ごとに、前記補正因子によって表情に影響を受ける１以上のブレンドシェイプモデルと、前記１以上のブレンドシェイプモデルに対応した１以上の変換式をそれぞれ補正する１以上の補正式と、を関連付けて記憶する
    　請求項１に記載の情報処理システム。
  7. 　複数の表情モデルのリストが表示されるブレンドシェイプパラメータ入力欄と、複数のモデル因子のリストが表示される補正パラメータ入力欄と、前記ブレンドシェイプパラメータ入力欄で選択された１以上の表情モデルおよび前記補正パラメータ入力欄で選択された１以上のモデル因子に基づいて前記顔生成部が生成した前記キャラクタの顔が表示されるプレビューエリアと、を表示装置に表示させる表示制御部を有し、
    　前記表示制御部は、前記ブレンドシェイプパラメータ入力欄に表示された前記複数の表情モデルのうち、前記補正パラメータ入力欄で選択された前記１以上のモデル因子によって表情に影響を受ける１以上の表情モデルをハイライト表示させる
    　請求項１に記載の情報処理システム。
  8. 　前記表示制御部は、複数のブレンドシェイプモデルのリストが表示されるブレンドシェイプモデル選択欄と、補正因子が入力される補正因子入力欄と、前記ブレンドシェイプモデル選択欄で選択された１つのブレンドシェイプモデルおよび前記補正因子入力欄に入力された前記補正因子に基づいて前記顔生成部が生成した前記キャラクタの顔が表示され、且つ、前記顔を構成するポリゴンメッシュの特定の頂点、辺または面をユーザが個別に移動させて前記顔を変形させることが可能な編集エリアと、を表示装置に表示させ、
    　前記表示制御部は、前記ブレンドシェイプモデル選択欄に表示された前記複数のブレンドシェイプモデルのうち、前記補正因子入力欄に入力された前記補正因子によって表情に影響を受ける１以上のブレンドシェイプモデルをハイライト表示させる
    　請求項７に記載の情報処理システム。
  9. 　ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得し、
    　前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得し、
    　前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  10. 　ベースモデルにブレンドされるブレンドシェイプモデルのウェイトをブレンドシェイプパラメータとして取得し、
    　前記ブレンドシェイプモデルの表情に影響を与える補正因子の大きさを補正パラメータとして取得し、
    　前記ベースモデルと前記ブレンドシェイプモデルとの間の変換式を、前記補正因子と前記ブレンドシェイプモデルとに対応付けられた補正式に基づいて補正し、補正後の前記変換式と前記ブレンドシェイプパラメータと前記補正パラメータとを用いてキャラクタの顔を生成する、
    　ことをコンピュータに実現させるプログラム。
  11. 　複数の表情モデルのリストが表示されるブレンドシェイプパラメータ入力欄と、
    　複数のモデル因子のリストが表示される補正パラメータ入力欄と、
    　前記ブレンドシェイプパラメータ入力欄で選択された１以上の表情モデルおよび前記補正パラメータ入力欄で選択された１以上のモデル因子に基づいて生成されたキャラクタの顔が表示されるプレビューエリアと、
    　を有し、
    　前記複数のモデル因子の各々は、前記複数の表情モデルのうちの少なくとも１つの表情モデルの表情に影響を与え、
    　前記ブレンドシェイプパラメータ入力欄に表示された前記複数の表情モデルのうち、前記補正パラメータ入力欄で選択された前記１以上のモデル因子によって表情に影響を受ける１以上の表情モデルがハイライト表示される、
    　ユーザインタフェース。
  12. 　複数のブレンドシェイプモデルのリストが表示されるブレンドシェイプモデル選択欄と、
    　補正因子が入力される補正因子入力欄と、
    　前記ブレンドシェイプモデル選択欄で選択された１つのブレンドシェイプモデルおよび前記補正因子入力欄に入力された前記補正因子に基づいて生成されたキャラクタの顔が表示され、且つ、前記顔を構成するポリゴンメッシュの特定の頂点、辺または面をユーザが個別に移動させて前記顔を変形させることが可能な編集エリアと、
    　を有し、
    　前記補正因子は、前記複数のブレンドシェイプモデルのうちの少なくとも１つのブレンドシェイプモデルの表情に影響を与え、
    　前記ブレンドシェイプモデル選択欄に表示された前記複数のブレンドシェイプモデルのうち、前記補正因子入力欄に入力された前記補正因子によって表情に影響を受ける１以上のブレンドシェイプモデルがハイライト表示される、
    　請求項１１に記載のユーザインタフェース。
PCT/JP2020/041907 2019-11-25 2020-11-10 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース WO2021106553A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/756,052 US20230071947A1 (en) 2019-11-25 2020-11-10 Information processing system, information processing method, program, and user interface

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-212621 2019-11-25
JP2019212621 2019-11-25

Publications (1)

Publication Number Publication Date
WO2021106553A1 true WO2021106553A1 (ja) 2021-06-03

Family

ID=76130178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041907 WO2021106553A1 (ja) 2019-11-25 2020-11-10 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース

Country Status (2)

Country Link
US (1) US20230071947A1 (ja)
WO (1) WO2021106553A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532890A (ja) * 2007-07-06 2010-10-14 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド アバターカスタマイズの装置及び方法
US20140362091A1 (en) * 2013-06-07 2014-12-11 Ecole Polytechnique Federale De Lausanne Online modeling for real-time facial animation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532890A (ja) * 2007-07-06 2010-10-14 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド アバターカスタマイズの装置及び方法
US20140362091A1 (en) * 2013-06-07 2014-12-11 Ecole Polytechnique Federale De Lausanne Online modeling for real-time facial animation

Also Published As

Publication number Publication date
US20230071947A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
US10860838B1 (en) Universal facial expression translation and character rendering system
Jörg et al. Data-driven finger motion synthesis for gesturing characters
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
CN110490958B (zh) 动画绘制方法、装置、终端及存储介质
US20140160116A1 (en) Web Platform for Interactive Design, Synthesis and Delivery of 3D Character Motion Data
JP6574401B2 (ja) モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム
US10818063B2 (en) Repurposing existing animated content
US10614174B2 (en) System and method for adding surface detail to digital crown models created using statistical techniques
JP2002298155A (ja) 感情による３ｄコンピュータグラフィックス表情モデル形成システム
US20110080410A1 (en) System and method for making emotion based digital storyboard
KR101261737B1 (ko) 얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체
JP2019204476A (ja) 画像生成装置、画像生成方法及びプログラム
Neff et al. AER: Aesthetic Exploration and Refinement for expressive character animation
Koyama et al. Optimo: Optimization-guided motion editing for keyframe character animation
WO2021106553A1 (ja) 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース
JP4011327B2 (ja) 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
US8237719B1 (en) Pose-structured animation interface
JP2011215709A (ja) 漫画作成支援装置、漫画作成支援方法及びプログラム
JP5076138B2 (ja) 自己組織化マップを用いたパターン生成方法、そのプログラム及び装置
JP2714100B2 (ja) 動画作成方法
KR20200080577A (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
US11461951B2 (en) Post-split contralateral combinations
US8704828B1 (en) Inverse kinematic melting for posing models
Foster Corpus-based planning of deictic gestures in COMIC

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20893254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP