WO2022249539A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022249539A1
WO2022249539A1 PCT/JP2022/002349 JP2022002349W WO2022249539A1 WO 2022249539 A1 WO2022249539 A1 WO 2022249539A1 JP 2022002349 W JP2022002349 W JP 2022002349W WO 2022249539 A1 WO2022249539 A1 WO 2022249539A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
fitting
face
image
performer
Prior art date
Application number
PCT/JP2022/002349
Other languages
English (en)
French (fr)
Inventor
アンキット シャラマ
夏紀 福田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023523966A priority Critical patent/JPWO2022249539A1/ja
Publication of WO2022249539A1 publication Critical patent/WO2022249539A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • a known method is to record facial motion by attaching multiple markers to the performer's face and tracking the positions of the markers.
  • the Vicon Cara head-mounted camera system computes the 3D positions of markers tracked by multiple cameras and uses them to deform a 3D model of the performer's face.
  • a method of extracting facial feature points by image analysis and using the extracted feature points as markers is also known (see Patent Document 1).
  • Faceware's tracking system a performer performs a predetermined facial expression, and a facial expression model registered in the system is compared with the facial image of the performer to extract feature points.
  • it is difficult to improve the positional accuracy of the markers due to problems such as the accuracy of image analysis and the reproducibility of facial expressions by performers.
  • a method of superimposing a 3D model of the face on the face image and using it as a guide for placing markers on the face, and a method of superimposing the 3D model on the face image using the feature points of the face are also known (Patent Reference 2).
  • Patent Reference 2 A method of superimposing a three-dimensional model of a face exactly on a face image. Therefore, it is difficult to improve the positional accuracy of the marker.
  • the present disclosure proposes an information processing device, an information processing method, and a program capable of increasing the positional accuracy of the marker.
  • a display control unit that superimposes a distribution image showing the distribution of a plurality of marker points extracted from the facial model of the performer on the face image of the performer and displays the performer's facial image after superimposing the distribution image.
  • a fitting unit that fits the face model to the face image using the position information of the placed marker each time a marker is placed on the face of the face, and adjusts the superimposed position of the distribution image based on the fitting result;
  • an information processing apparatus having: Further, according to the present disclosure, there are provided an information processing method in which the information processing of the information processing device is executed by a computer, and a program for causing the computer to implement the information processing of the information processing device.
  • FIG. 1 is a diagram illustrating an overview of a video production system;
  • FIG. It is a figure which shows the installation method of the conventional marker. It is a figure which shows the installation method of the conventional marker. It is a figure which shows the installation method of the conventional marker.
  • FIG. 10 is a diagram showing how a marker is tracked; It is a figure explaining the outline
  • FIG. 4 is an explanatory diagram of marker points;
  • FIG. 10 illustrates fitting using landmarks;
  • FIG. 10 illustrates fitting using landmarks;
  • FIG. 10 illustrates fitting using landmarks;
  • FIG. 10 is a diagram showing fitting using markers;
  • FIG. 10 is a diagram showing fitting using markers;
  • FIG. 10 is a diagram showing fitting using markers; It is a flow which shows an example of the fitting of a 2nd step.
  • 4 is a diagram showing graphs of Equations 3 and 4;
  • FIG. It is a figure which shows an example of the notification method of an outlier.
  • FIG. 1 is a diagram for explaining an overview of a video production system 1. As shown in FIG. 1
  • the video production system 1 is a system that produces a digital human using facial marker tracking technology.
  • the video production system 1 tracks the movement of the marker MK placed on the face of the performer US.
  • a plurality of marker points CP indicating the installation positions of the markers MK are set in advance on the face of the performer US.
  • the video production system 1 models the facial expression of the performer US based on the relative movements between the markers MK (parts of the face defined as marker points CP).
  • performers are not limited to professional performers, but can also include general users.
  • a performer is a general term for users who use a system that provides digital humans, and is not a term for users who use digital humans to perform a specific purpose.
  • the video production system 1 acquires the base face model BM of the CG character.
  • the video production system 1 generates an expression model DM by applying the modeled expression to the face model BM.
  • the face model BM of the performer US is used as the face model of the CG character, but the modeled expression may be applied to the face model of another CG character.
  • the worker WK manually places the marker MK on the face of the performer US while referring to the reference information RI indicating the marker installation position.
  • a mannequin face marked with marker points CP is used as the reference information RI.
  • the operator marks the face of the performer US with a pen while confirming the position of the marker point CP.
  • markers MK are placed at the marked positions.
  • the installation form of the marker MK is not particularly limited.
  • a highly reflective member that serves as a marker MK is adhered to the face.
  • a mark to be the marker MK may be drawn on the face with a pen.
  • a mannequin face marked with marker points CP is used as the reference information RI, but the reference information RI is not limited to this.
  • an image of the face marked with the marker points CP may be printed, and the face of the performer US may be marked while referring to the printed paper.
  • FIG. 5 is a diagram showing how the marker MK is tracked.
  • a camera unit CU for photographing the performer US is attached to the head of the performer US on which the marker MK is installed.
  • a camera unit CU is fixed with a plurality of cameras CM whose fields of view are partially superimposed.
  • the camera unit CU uses a plurality of cameras CM to photograph the entire installation area of the marker MK.
  • a plurality of cameras CM are synchronously driven and monitor the movement of each marker MK.
  • Movement of the marker point CP is detected as movement of the marker MK.
  • the motion of the face is modeled based on the positional relationship between the marker points CP.
  • FIG. 6 is a diagram explaining an overview of the marker installation method of the present disclosure.
  • FIG. 7 is a diagram showing an installation scene of the marker MK.
  • the marker MK is placed on the face of the performer US while referring to the marker point CP written on a mannequin, paper, or the like. Therefore, the position of setting the marker MK is likely to be shifted.
  • a method of aligning a three-dimensional reference model with the face image of the performer US using feature point matching and displaying the marker points CP superimposed on the face image can be considered.
  • this method there is a possibility that the position of the marker MK will shift according to the movement of the performer US's face or change in facial expression.
  • the positions of the marker points CP on the face of the performer US cannot be indicated accurately.
  • the face model BM of the performer US in which the position information of the marker points CP is defined, is fitted (positioned) to the face image FI of the performer US.
  • the worker WK places the marker MK on the face of the performer US while confirming the position of the marker point CP positioned on the face image FI.
  • the position of the marker point CP is indicated by an AR (Augmented Reality) marker AM.
  • a plurality of AR markers AM corresponding one-to-one with the marker points CP are displayed on the face image FI.
  • a distribution image DI showing the distribution of a plurality of marker points CP is presented by a plurality of AR markers AM.
  • the video production system 1 repeats fitting using the position information of the installed marker MK each time the marker MK is installed so that the marker point CP is shown at a more accurate position. Accordingly, the accuracy of positioning between the face image FI and the face model BM increases each time the marker MK is placed. As a result, the positioning accuracy of the marker points MP with respect to the face image FI is also improved, and the positions of the markers MK that are set thereafter are also more accurate.
  • Installation of the marker MK is performed manually by the worker WK.
  • the camera 20 captures the hand HD of the worker WK placing the marker MK, but the image of the hand HD of the worker WK is removed from the face image FI by image processing.
  • FIG. 8 is a diagram showing an example of the configuration of the video production system 1. As shown in FIG.
  • the video production system 1 has a processing device 10, a camera 20, a display device 30 and a storage device 40.
  • the camera 20 is fixed in front of the performer US for which the marker MK is to be set.
  • the camera 20 photographs the face of the performer US at a predetermined frame rate while the marker MK is being placed, and sequentially outputs the face image FI of the performer US to the processing device 10 .
  • the processing device 10 is an information processing device that processes various types of information.
  • the processing device 10 has a landmark detection section 11 , a marker tracking section 12 , a fitting section 13 and a display control section 14 .
  • the processing device 10 extracts information about the face model BM of the performer US from the model information 41 .
  • the processing device 10 extracts registered landmark information and position information of the marker points CP from the face model BM.
  • the registered landmark information includes position information of a landmark (registered landmark L2: see FIG. 11) registered as a point group indicating the shape of the face.
  • the registered landmark L2 is extracted, for example, from the face image FI of the performer US photographed from the front.
  • the landmark detection unit 11 detects the landmark L1 corresponding to the registered landmark L2 from the face image FI for each frame.
  • the marker tracking unit 12 detects the marker MK from the face image FI and tracks the detected marker MK.
  • the fitting unit 13 fits the face model BM to the face image FI for each frame based on the positional information of the landmarks L1 and the positional information of the markers MK.
  • the display control unit 14 renders the face model BM based on the virtual viewpoint VP (see FIG. 6) obtained from the fitting result.
  • the display control unit 14 extracts position information of the marker points CP from the face model BM and generates a distribution image DI of the marker points CP.
  • the display control unit 14 outputs information on the face image FI, the rendering image, and the distribution image DI to the display device 30 .
  • the display control unit 14 displays the face model BM fitted to the face image FI, superimposed on the face image FI together with the distribution image DI.
  • the fitting unit 13 fits the face model BM to the face image FI using the position information of the placed marker MK each time the marker MK is placed on the face of the performer US after the distribution image DI is superimposed.
  • the fitting unit 13 adjusts the superimposed position of the distribution image DI superimposed on the face image FI based on the fitting result.
  • the storage device 40 stores information on settings, conditions and criteria used for various calculations, model information 41 on the face model BM, and programs 49 executed by the processing device 10 .
  • the program 49 is a program that causes a computer to execute information processing according to this embodiment.
  • the processing device 10 performs various processes according to programs 49 stored in the storage device 40 .
  • the storage device 40 may be used as a work area that temporarily stores the processing results of the processing device 10 .
  • the storage device 40 includes arbitrary non-transitory storage media such as semiconductor storage media and magnetic storage media, for example.
  • the storage device 40 includes, for example, an optical disc, a magneto-optical disc, or a flash memory.
  • the program 49 is stored, for example, in a non-transitory computer-readable storage medium.
  • the processing device 10 is, for example, a computer configured with a processor and memory.
  • the memory of the processing device 10 includes RAM (Random Access Memory) and ROM (Read Only Memory).
  • the processing device 10 realizes the function of each part by executing the program 49 .
  • FIG. 9 is a diagram showing an example of the face model BM of the performer US.
  • the face model BM is a three-dimensional model of the performer US's face.
  • the expression of the face model BM is, for example, expressionless.
  • a face model BM is created by general CG software.
  • the face of a face model is composed of polygon meshes.
  • a polygon mesh includes a plurality of vertices, and a plurality of sides and a plurality of faces obtained by connecting adjacent vertices.
  • the face model BM includes position information of a plurality of marker points CP set on the face of the performer US. Positions of the marker points CP are individually determined according to the shape of the performer's US face. The marker points CP are set substantially uniformly over the entire face. In order to accurately detect the facial expression, the density of the marker points CP set around the eyes and mouth is set higher than the density of the marker points CP set for other parts.
  • FIG. 10 is an explanatory diagram of the marker points CP.
  • fitting is repeated using the position information of the installed marker MK each time the marker MK is installed.
  • the stability of fitting changes depending on the order in which the markers MK are placed. For example, if the fitting is performed first using the position information of the marker MK whose position is less likely to change depending on the facial expression, the result of the subsequent fitting tends to be stable.
  • the multiple marker points CP are classified into multiple marker point groups CPG according to the order in which the markers MK are placed.
  • the priority of fitting is higher for a marker point group CPG whose position is less likely to change depending on facial expressions.
  • the worker WK places the marker MK first from the marker point group CPG with the highest priority.
  • the display control unit 14 sequentially displays the distribution image DI showing the positions of the marker point groups CPG with the highest priority in order to support the marker installation work.
  • a plurality of marker point groups CPG are distinguished by numbers attached after the symbols. The same applies to the method of distinguishing the components (marker point CP, marker MK, AR marker AM, etc.) corresponding to each marker point group CPG.
  • the face model BM includes position information of a plurality of marker point groups CPG with different fitting priorities.
  • the plurality of marker point groups CPG include a first marker point group CPG-1, a second marker point group CPG-2 and a third marker point group CPG-3 in descending order of fitting priority.
  • the first marker point CP-1 is set on a part of the face other than the chin.
  • the position of the first marker point CP-1 hardly changes depending on facial expressions.
  • the worker WK first places the first marker MK-1 on the first marker point group CPG-1. Based on the positional information of the first marker MK-1 placed in the first marker point group CPG-1, the facial model BM is positioned in the translational and rotational directions.
  • the first marker point group CPG-1 includes one or more anatomical feature points present in facial regions other than the chin.
  • An anatomical feature point means a characteristic body part obtained from the structure and shape of the human body.
  • Anatomical feature points are feature points resulting from morphological features such as bones and muscles, or structural features such as eyes, nose and ears, and can be clearly identified by visual inspection.
  • first marker points CP-1 are set at the outer corner of the eye, the inner corner of the eye, the bridge of the nose, the tip of the nose, and the tragus. These first marker points CP-1 are all anatomical feature points resulting from structural features such as eyes, nose and ears.
  • the worker WK can accurately place the first marker MK-1 at the first marker point CP-1 based on the morphological features of the anatomical feature points.
  • the second marker point CP-2 is set on the jaw. After finishing placing the first marker MK-1 on the first marker point group CPG-1, the worker WK starts placing the second marker MK-2 on the second marker point CP-2.
  • the second marker point group CPG-2 includes one or more anatomical feature points present on the jaw. In the example of FIG. 10, three second marker points CP-2 are set at the philtrum, the lunar labial groove and the genital point. These second marker points CP-2 are all anatomical feature points resulting from structural features of the jaw.
  • the third marker point CP-3 is set generally uniformly over the entire face. After finishing placing the second marker MK-2 on the second marker point group CPG-2, the worker WK starts placing the third marker MK-3 on the third marker point CP-3.
  • 11 and 12 are diagrams showing fitting using the landmark L1.
  • the fitting of the face model BM is performed in two stages. In the first stage, a rough fitting based on the shape of the face is performed. In the second stage, processing (refinement) is performed to improve the accuracy of fitting based on the position information of the markers MK that are sequentially placed.
  • a set of feature points for each part such as the outline of the face, eyes, nose, and mouth called landmarks is used.
  • landmarks There are various methods for determining landmarks.
  • 68 points are defined as landmarks in a machine learning library called dlib.
  • dlib a set of points (point group) defined by dlib is registered as a registered landmark L2.
  • X be the three-dimensional point group registered as the registered landmark L2
  • L be the number of points.
  • the landmark detection unit 11 detects the landmark L1 corresponding to the registered landmark L2 from the face image FI.
  • the point group y and the point group X are associated by the number defined for the registered landmark L2.
  • the fitting unit 13 performs fitting using the position information of the plurality of landmarks L1 extracted from the face image FI. Based on the fitting result, the fitting unit 13 sets the superimposed position of the first distribution image DI-1 showing the distribution of the first marker point group CPG-1 with the highest priority.
  • the fitting unit 13 aligns the point group X and the point group y using the rotation matrix R and translation matrix t of the face model BM. Since the point group X is a point group in a three-dimensional space, the fitting unit 13 projects the point group X onto a two-dimensional plane using the internal matrix K of the camera. Equation 1 for fitting is as follows.
  • the fitting unit 13 calculates the matrix R, t that minimizes the above equation 1.
  • an algorithm called ICP Interactive Closest Point
  • ICP is described in [1] below.
  • the display control unit 14 renders the face model BM using the calculated matrices R, t.
  • the display control unit 14 displays the rendered image of the face model BM superimposed on the face image FI.
  • the display control unit 14 uses the matrices R and t to generate the first distribution image DI-1 of the first marker point group CPG-1.
  • the display control unit 14 superimposes the generated first distribution image DI-1 on the face image FI and displays it.
  • the detection accuracy of landmark detection becomes unstable depending on the facial expression and face orientation of the performer US. For example, if the performer US tilts his/her face slightly to the side in order to place the marker MK near the ear, face detection in the stage prior to landmark detection fails.
  • fitting using the position information of the marker MK is performed as the second stage of fitting.
  • the positional information of the actually placed markers MK is used. Therefore, more accurate fitting is performed.
  • the performer US does not need to fix his facial expression so that the landmark L1 can be easily detected, the burden on the performer US is reduced.
  • the marker tracking unit 12 tracks the marker MK using the face image FI of the performer US. Let y' be the two-dimensional point group of the tracked marker MK. Let X' be a three-dimensional point group of marker points CP defined on the face model BM. Assuming that the number of markers MK placed on the face is M, the fitting equation 3 is as follows.
  • w M represents the weight of the positional information of the placed marker MK.
  • w L indicates the weight of the position information of the landmark L1.
  • the values of wM and wL are appropriately set according to the reliability of the position information of the marker MK.
  • the values of wM and wL may be fixed, or may be sequentially changed according to the installation status of the markers MK (positions and number of installed markers MK).
  • the position information of the marker MK is more reliable than the position information of the landmark L1. Therefore, setting w M to be larger than w L results in more robust registration against changes in facial expressions and face orientations. Therefore, for example, the fitting unit 13 increases the contribution of the position information of the markers MK to fitting as the number of installed markers MK increases. For example, wL is set to 0 when the number M of placed markers MK is equal to or greater than a reference value (for example, three). By doing so, the fitting is performed with sufficient consideration given to the highly reliable positional information of the marker MK.
  • a reference value for example, three
  • the number M of markers MK placed must be at least three or more.
  • the fitting unit 13 calculates the matrix R, t that minimizes the above equation 3.
  • the display control unit 14 renders the face model BM using the calculated matrices R and t.
  • the display control unit 14 superimposes the rendered image of the face model BM on the face image FI.
  • the display control unit 14 uses the matrices R and t to generate the second distribution image DI-2 of the second marker point group CPG-2.
  • the display control unit 14 superimposes the generated second distribution image DI-2 on the face image FI and displays it.
  • FIG. 16 is a flow showing an example of fitting in the second stage. The flow of FIG. 16 is performed for each frame.
  • the landmark detection unit 11 estimates the two-dimensional coordinates of the point group yi by detecting the landmark L1 (step ST1).
  • the marker tracking unit 12 determines whether or not the number M of markers MK placed on the face of the performer US is 3 or more (step ST2).
  • the installed marker MK (y' i ) has a marker ID (Identification).
  • the marker ID is used to manage which marker point CP in the point group X' the set marker MK(y' i ) corresponds to.
  • the markers MK (y' i ) installed in order of ID are associated with the marker points CP (X' i ). be able to.
  • the fitting unit 13 uses the two-dimensional coordinates of the M markers MK(y′ i ) estimated by tracking and the two-dimensional coordinates of the initially obtained point group y i to estimate the matrices R and t. (step ST6).
  • the fitting unit 13 updates the number M of already installed markers MK and then estimates the matrices R and t. Detection of whether or not a new marker MK has been installed is performed, for example, by detecting blobs around the presented marker point CP (AR marker AM). If a blob is detected, it is determined that a new marker MK has been placed.
  • the marker tracking unit 12 can track the position of the marker MK in the current frame from the position of the marker MK in the previous frame by calculating the optical flow of each marker MK, for example.
  • Lucas-Kanade method requires that the brightness of pixels be unchanged over time, be continuous over time (the amount of movement is small), and be spatially consistent.
  • a motion vector is estimated under the constraint that (the peripheral pixels also move in the same way).
  • the position of the marker MK in the current frame is obtained by adding the estimated motion vector to the position of the marker MK in the previous frame.
  • the Lucas-Kanade method is described in [2] below.
  • the position information of the markers MK placed on the face is used for fitting.
  • the position of the marker MK shifts from the position defined by the face model BM. Therefore, the order in which the markers MK are placed is determined so that the accuracy of fitting is less likely to decrease even if the facial expression changes.
  • the first marker point group CPG-1 is the target for setting the marker MK first.
  • a first marker MK-1 is placed in a first marker point group CPG-1 that is set for facial regions other than the jaw in order to measure the rigid body motion of the face (excluding relative motion between the upper jaw and the lower jaw).
  • the face model BM and the first distribution image DI-1 are superimposed and displayed on the face image FI.
  • the first distribution image DI-1 includes a plurality of first AR markers AM-1 indicating the positions of the first marker point group CPG-1.
  • the worker WK places the first marker MK-1 on the face of the performer US while referring to the position of the first AR marker AM-1 superimposed on the face image FI.
  • the fitting unit obtains the position information of the placed first marker MK-1 and the plurality of landmarks L1. Fitting is performed using the position information of The fitting unit 13 adjusts the superimposed position of the first distribution image DI-1 based on the fitting result.
  • the first AR marker AM-1 may be displayed at a position slightly deviated from the correct position.
  • the first marker point group CPG-1 includes one or more anatomical feature points whose positions can be accurately specified by visual observation.
  • the worker WK can place the first marker MK-1 at an accurate position based on the morphological features of the anatomical feature points.
  • the worker WK knows that the first marker point CP-1 is set as an anatomical feature point. An anatomical feature point located near the first AR marker AM-1 is searched. As a result, the worker WK can recognize that the inner corner of the eye near the first AR marker AM-1 is the first marker point CP-1.
  • the fitting unit 13 performs fitting of the face model BM using the position information of the first markers MK-1 placed at the anatomical feature points.
  • the fitting unit 13 adjusts the superimposed position of the first distribution image DI-1 based on the fitting result. Since the position of the first marker MK-1 placed at the anatomical feature point is accurate, the display position of the first distribution image DI-1 after adjustment is also more accurate than before adjustment. Therefore, the accuracy of the installation position of the first marker MK-1 that is newly installed according to the adjusted first distribution image DI-1 also increases.
  • the position of the first marker point group CPG-1 is difficult to change depending on facial expressions. Therefore, even if the facial expression of the performer US changes slightly during the work of setting the first marker MK-1, the display position of the first distribution image DI-1 is less likely to shift. Therefore, the worker WK can set the first marker MK-1 at a substantially accurate position. As the number of first markers MK-1 placed at accurate positions increases, the accuracy of the display position of the first distribution image DI-1 also increases. As a result, the accuracy of the display position of the first distribution image DI-1 increases each time the first marker MK-1 is placed.
  • the display control unit 14 displays a second distribution image DI-2 showing the distribution of the second marker point group CPG-2 based on the result of fitting using the position information of all the installed first markers MK-1. It is superimposed and displayed on the face image FI.
  • the second marker point group CPG-2 includes one or more anatomical feature points present on the jaw. While referring to the face model BM superimposed on the face image FI, the performer US determines that the anatomical feature points included in the face image FI are the anatomical feature points (second Adjust the position of the jaw (the relative position of the upper and lower jaws) so that it matches the marker point CP-2). As a result, the facial expression of the performer US approaches the facial expression of the performer US when the face model BM is generated. As a result, the face model BM is accurately positioned with respect to the face image FI.
  • the second distribution image DI-2 includes a plurality of second AR markers AM-2 indicating the positions of the second marker point group CPG-2.
  • the worker WK places the second marker MK-2 on the face of the performer US while referring to the position of the second AR marker AM-2 superimposed on the face image FI.
  • the fitting unit 13 performs fitting using the position information of the placed second marker MK-2 each time the second marker MK-2 is placed on the face of the performer US based on the second distribution image DI-2. conduct.
  • the fitting unit 13 adjusts the superimposed position of the second distribution image DI-2 superimposed on the face image FI based on the fitting result.
  • the display control unit 14 displays the third marker point group CPG-3 based on the result of fitting using the position information of all the installed markers MK (first marker MK-1, second marker MK-2).
  • a third distribution image DI-3 showing the distribution is superimposed on the face image FI and displayed.
  • the third distribution image DI-3 includes a plurality of third AR markers AM-3 indicating the positions of the third marker point group CPG-3.
  • the worker WK places the third marker MK-3 on the face of the performer US while referring to the position of the third AR marker AM-3 superimposed on the face image FI.
  • the fitting unit 13 performs fitting using the position information of the installed third marker MK-3 each time the third marker MK-3 is installed on the face of the performer US based on the third distribution image DI-3. conduct.
  • the fitting unit 13 adjusts the superimposed position of the third distribution image DI-3 superimposed on the face image FI based on the fitting result.
  • the position of the third marker point CP-3 is likely to change depending on facial expressions.
  • the facial expression of the performer US is close to that of the face model BM as a result of adjusting the jaw position based on the position of the second marker point CP-2. Therefore, the position of the third marker point CP-3 superimposed on the face image FI accurately reflects the position defined in the face model BM. Therefore, the worker WK can set the third marker MK-3 at a substantially accurate position.
  • the third marker point group CPG-3 is generally uniformly distributed on the front and sides of the face.
  • the face of the performer US faces the camera 20 immediately after the work of placing markers on the second marker point group CPG-2 is completed. Therefore, the display control unit 14 first superimposes the third distribution image DI-3 corresponding to the front part of the face on the face image FI (see the left diagram in FIG. 15).
  • the worker WK places the third marker MK-3 on the front part of the face while referring to the third distribution image DI-3.
  • the performer US tilts his face to the left (see the middle figure in FIG. 15).
  • the fitting unit 13 performs fitting using the position information of the installed markers MK (the first marker MK-1, the second marker MK-2, and the third marker MK-3) captured by the camera 20.
  • FIG. The greater the number of markers MK captured by the camera 20, the higher the accuracy of fitting.
  • the tilt of the face is appropriately set based on the fitting accuracy.
  • the display control unit 14 generates a third distribution image DI-3 corresponding to the orientation of the face based on the fitting result, and superimposes it on the face image FI.
  • the worker WK newly places a third marker MK-3 on the left side of the face while referring to the third distribution image DI-3. After that, the operation of changing the orientation of the face and placing the third marker MK-3 is repeated until the third marker MK-3 is placed on the entire left side of the face.
  • the performer US tilts his face to the right (see the right side of FIG. 15). Then, the third marker MK-3 is placed on the entire right side of the face in the same manner as the third marker MK-3 was placed on the left side of the face.
  • Equation 4 is obtained by adding the Tukey Loss function (equation 5) to Equation 3. This allows robust registration even with outliers.
  • FIG. 17 is a diagram showing graphs of Equations 3 and 4.
  • Formula 3 is denoted as "Original Loss Term”.
  • Equation 4 is shown as "Loss Term with Turkey Biweight Loss”. Using the Tukey Loss function removes the outliers from the minimization problem of Equation 3 and allows the fitting to be based on the correct points.
  • Equation 3 minimizes the distance (projection distance) between the point y' i of the face image FI and the point obtained by projecting the point X' of the face model BM onto the face image FI.
  • the minimization problem is pushed to outliers (y' i is incorrect). Integrating the Tukey Loss function removes the projected distance from the minimization problem once it is greater than a given distance. Therefore, robustness against outliers is enhanced.
  • RANSAC A method such as RANSAC can also be used in combination with Equation 2 for outlier detection.
  • RANSAC is described in [4] below.
  • FIG. 18 is a diagram showing an example of an outlier notification method.
  • the display control unit 14 notifies the worker WK of the marker MK that deviates from the position of the marker point CP (the display position of the AR marker AM) indicated by the distribution image DI and exceeds the allowable standard. Acceptance criteria are set based on the accuracy required for facial expression detection. For example, the marker tracking unit 12 exceeds the allowable standard when the distance between the position of the marker point CP indicated by the distribution image DI and the position of the marker MK placed by the worker WK is greater than a preset threshold. It is determined that deviation has occurred. For example, the display control unit 14 blinks the AR marker AM corresponding to the marker MK in which the divergence exceeds the allowable standard. As a result, attention is drawn to the outlier.
  • the processing device 10 has a display control section 14 and a fitting section 13 .
  • the display control unit 14 superimposes the distribution image DI of the marker points CP on the face image FI of the performer US for display.
  • a distribution image DI shows the distribution of a plurality of marker points CP extracted from the face model BM of the performer US.
  • the fitting unit 13 fits the face model BM to the face image FI using the position information of the placed marker MK each time the marker MK is placed on the face of the performer US after the distribution image DI is superimposed.
  • the fitting unit 13 adjusts the superimposed position of the distribution image DI based on the fitting result.
  • the processing of the processing device 10 is executed by a computer.
  • the program 49 of the present disclosure causes the computer to implement the processing of the processing device 10 .
  • the distribution image DI can be superimposed on the face model BM with high accuracy. Therefore, the accuracy of the installation position of the marker MK is enhanced.
  • the face model BM includes position information of a plurality of marker point groups CPG with different fitting priorities.
  • the display control unit 14 displays the distribution images DI in order from the position of the marker point group CPG with the highest priority.
  • the distribution image DI of the plurality of marker point groups CPG is displayed step by step according to the priority of fitting.
  • Appropriate fitting is performed by placing markers MK in each marker point group CPG according to the display order of the distribution image DI.
  • the priority of fitting is higher for a marker point group CPG whose position is less likely to change depending on facial expressions.
  • the marker MK is set first for the marker point group CPG whose position is difficult to change depending on facial expressions. If fitting is performed using the positional information of this marker MK, even if the expression of the performer US deviates from the expression of the face model BM, the distribution image DI is likely to be superimposed at an appropriate position on the face image FI.
  • the fitting unit 13 performs fitting using the position information of the plurality of landmarks L1 extracted from the face image FI. Based on the fitting result, the fitting unit 13 sets the superimposed position of the first distribution image DI-1 showing the distribution of the first marker point group CPG-1 with the highest priority.
  • the first distribution image DI-1 is superimposed on the appropriate position of the face image FI based on the position information of the landmark L1.
  • the first marker point group CPG-1 includes one or more anatomical feature points present in facial regions other than the chin.
  • the face image FI and the face model BM are accurately fitted even if the position of the chin is out of alignment with the facial expression of the face model BM.
  • the fitting is based on the position information of the landmark L1
  • the performer US can place markers MK on appropriate parts of the face. Therefore, the marker MK is accurately placed on the part of the face corresponding to the first marker point group CPG-1.
  • the fitting unit 13 performs fitting using the positional information of the placed marker MK and the positional information of the plurality of landmarks L1. I do.
  • the fitting unit 13 adjusts the superimposed position of the first distribution image DI-1 based on the fitting result.
  • the superimposed position of the first distribution image DI-1 is appropriately adjusted based on the position information of the placed marker MK and the position information of the landmark L1.
  • the fitting unit 13 increases the contribution of the position information of the markers MK to fitting as the number of installed markers MK increases.
  • the display control unit 14 displays the result of fitting using the position information of all the placed markers MK. Based on this, a second distribution image DI-2 showing the distribution of the second marker point group CPG-2 having the second highest priority is superimposed on the face image FI and displayed.
  • the second distribution image DI-2 is superimposed on the appropriate position of the face image FI based on the position information of the marker MK.
  • the second marker point group CPG-2 includes one or more anatomical feature points present on the jaw.
  • the performer US it is easier for the performer US to match the expression of the face with the expression of the face model BM based on the positions of the anatomical feature points.
  • the marker installation position (the display position of the second AR marker AM-2) suggested by the second distribution image DI-2 is optimized.
  • the display control unit 14 displays the face model BM fitted to the face image FI, superimposed on the face image FI together with the second distribution image DI-2.
  • the fitting unit 13 Every time a marker MK is placed on the face of the performer US based on the second distribution image DI-2, the fitting unit 13 performs fitting using the position information of the placed marker MK. The fitting unit 13 adjusts the superimposed position of the second distribution image DI-2 based on the fitting result.
  • the superimposed position of the second distribution image DI-2 is appropriately adjusted based on the position information of the placed marker MK.
  • the display control unit 14 displays all the placed markers MK.
  • a third distribution image DI-3 showing the distribution of the third marker point group CPG-3 having the third highest priority is superimposed on the face image FI and displayed based on the result of fitting using the position information.
  • the third distribution image DI-3 is superimposed on the appropriate position of the face image FI based on the position information of the marker MK.
  • the fitting unit 13 Every time a marker MK is placed on the face of the performer US based on the third distribution image DI-3, the fitting unit 13 performs fitting using the position information of the placed marker MK. The fitting unit 13 adjusts the superimposed position of the third distribution image DI-3 based on the fitting result.
  • the superimposed position of the third distribution image DI-3 is appropriately adjusted based on the position information of the placed marker MK.
  • the display control unit 14 notifies the marker MK that deviates from the position of the marker point CP indicated by the distribution image DI and exceeds the allowable standard.
  • the number of cameras 20 that capture the face image FI of the performer US is one.
  • the number of cameras 20 is not limited to one.
  • the face image FI of the performer US may be captured from multiple directions by multiple cameras 20 .
  • fitting may be performed using face images FI photographed from the front, oblique left, and oblique right of the performer US.
  • the actor US does not need to turn his face as shown in FIG. Therefore, all the third AR markers AM-3 can be displayed simultaneously.
  • the number of face models BM to be fitted is one.
  • the number of face models BM is not limited to one. It is also possible to use different face models BM to be fitted according to the state of the face of the performer US during the marker installation work.
  • the performer US may close his eyes if the marker MK is placed near his eyes. In that case, the fitting is preferably performed based on the face model BM with eyes closed. In other marker placement operations, the performer US can open his/her eyes. When the actor US has his eyes open, fitting is performed based on the face model BM with his eyes open.
  • the present technology can also take the following configuration.
  • a display control unit that superimposes and displays a distribution image of a plurality of marker points extracted from the facial model of the performer on the facial image of the performer; Each time a marker is placed on the performer's face after the distribution image is superimposed, the face model is fitted to the face image using the position information of the placed marker, and the distribution image is generated based on the fitting result.
  • a fitting unit that adjusts the superimposition position;
  • Information processing device having (2) the face model includes position information of a plurality of marker point groups with different fitting priorities;
  • the display control unit sequentially displays the distribution image indicating the positions of the marker point groups with the highest priority.
  • the priority is higher for the marker point group whose position is less likely to change depending on the facial expression.
  • the fitting unit performs the fitting using position information of a plurality of landmarks extracted from the face image, and based on the fitting result, a first marker point group indicating a distribution of the first marker point group with the highest priority. set the superimposed position of the distribution image, The information processing apparatus according to (2) or (3) above.
  • the first marker point group includes one or more anatomical feature points present in facial regions other than the chin, The information processing apparatus according to (4) above.
  • the fitting unit performs the fitting using the positional information of the placed markers and the positional information of the plurality of landmarks each time the markers are placed on the performer's face based on the first distribution image. and adjusting the superimposed position of the first distribution image based on the fitting result;
  • the information processing apparatus according to (4) or (5) above.
  • the fitting unit increases the contribution of the position information of the markers to the fitting as the number of the installed markers increases.
  • the display control unit After the markers are placed on all the marker points included in the first marker point group, the display control unit performs fitting based on the result of fitting using the position information of all the placed markers.
  • the information processing apparatus according to any one of (4) to (7) above.
  • the second marker point group includes one or more anatomical feature points present on the jaw,
  • the information processing apparatus according to (8) above.
  • the display control unit superimposes and displays the face model fitted to the face image together with the second distribution image on the face image.
  • the information processing device according to (9) above.
  • the fitting unit performs the fitting using the position information of the placed marker each time the marker is placed on the face of the performer based on the second distribution image, and performs the fitting based on the fitting result.
  • the display control unit After the markers are placed on all the marker points included in the first marker point group and the second marker point group, the display control unit performs fitting using position information of all the placed markers. displaying a third distribution image showing the distribution of the third marker point group with the third highest priority superimposed on the face image based on the result of The information processing apparatus according to any one of (8) to (11) above. (13) The fitting unit performs the fitting using position information of the placed marker each time the marker is placed on the performer's face based on the third distribution image, and performs the fitting based on the fitting result.
  • the display control unit notifies the marker that deviates from the position of the marker point indicated by the distribution image and exceeds an allowable standard.
  • the information processing apparatus according to any one of (1) to (13) above.
  • (15) displaying a distribution image of a plurality of marker points extracted from the facial model of the performer superimposed on the facial image of the performer; Each time a marker is placed on the performer's face after the distribution image is superimposed, the face model is fitted to the face image using the position information of the placed marker, and the distribution image is generated based on the fitting result.
  • a computer-implemented information processing method comprising: (16) displaying a distribution image of a plurality of marker points extracted from the facial model of the performer superimposed on the facial image of the performer; Each time a marker is placed on the performer's face after the distribution image is superimposed, the face model is fitted to the face image using the position information of the placed marker, and the distribution image is generated based on the fitting result. adjust the superposition position, A program that makes a computer do something.
  • processing device information processing device
  • fitting unit 14 display control unit BM face model CP marker point CPG marker point group CPG-1 first marker point group CPG-2 second marker point group CPG-3 third marker point group DI distribution image DI-1 first distribution Image DI-2 Second distribution image DI-3 Third distribution image FI Face image L1 Landmark MK Marker US Performer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置（１０）は、表示制御部（１４）とフィッティング部（１３）とを有する。表示制御部（１４）は、演者の顔画像に、演者の顔モデルから抽出された複数のマーカポイントの分布を示す分布画像を重畳して表示する。フィッティング部（１３）は、分布画像の重畳後に演者の顔にマーカが設置されるごとに、設置されたマーカの位置情報を用いて顔モデルを顔画像にフィッティングし、フィッティング結果に基づいて分布画像の重畳位置を調整する。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　演者の顔に複数のマーカを接着し、マーカの位置をトラッキングすることで顔のモーションを記録する方法が知られている。例えば、Ｖｉｃｏｎ　Ｃａｒａというヘッドマウンテッドカメラシステムでは、複数のカメラでトラッキングしたマーカの３次元位置を計算し、演者の顔の３次元モデルをデフォルメするために用いる。
特表２００９－５４５０８３号公報 特開２０１１－１０７８７７号公報
　リアルで自然に動くデジタルヒューマンを制作するためには、高精度なフェイシャルマーカのトラッキングが重要である。マーカが適切な位置に設置されていないと、トラッキングが期待どおりできなかったり、ＣＧによる表情再現時の品質が落ちるなどの問題が起こりうる。現状では、マーカ設置位置を示すリファレンス画像が紙やディスプレイに表示され、演者の顔とリファレンス画像とを見比べながらマーカが設置されている。しかし、この方法では、マーカの設置に時間がかかり、位置ずれも生じやすい。
　顔の特徴点を画像解析によって抽出し、抽出された特徴点をマーカとして用いる方法も知られている（特許文献１参照）。例えば、Ｆａｃｅｗａｒｅ社のトラッキングシステムでは、演者に所定の表情を演じてもらい、システムに登録された表情モデルと演者の顔画像とを照合して特徴点を抽出する。しかし、画像解析の精度や演者による表情の再現性などの問題により、マーカの位置精度を高めることは難しい。
　顔画像に顔の３次元モデルを重畳し、顔にマーカを設置するためのガイドとして用いる方法や、顔の特徴点を使って３次元モデルを顔画像に重畳する手法も知られている（特許文献２参照）。しかし、顔画像に顔の３次元モデルをぴったり重畳させる仕組みは提示されていない。そのため、マーカの位置精度を高めることは難しい。
　そこで、本開示では、マーカの位置精度を高めることが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布を示す分布画像を重畳して表示する表示制御部と、前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整するフィッティング部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
映像制作システムの概要を説明する図である。 従来のマーカの設置方法を示す図である。 従来のマーカの設置方法を示す図である。 従来のマーカの設置方法を示す図である。 マーカをトラッキングする様子を示す図である。 本開示のマーカ設置方法の概要を説明する図である。 マーカの設置風景を示す図である。 映像制作システムの構成の一例を示す図である。 演者の顔モデルの一例を示す図である。 マーカポイントの説明図である。 ランドマークを用いたフィッティングを示す図である。 ランドマークを用いたフィッティングを示す図である。 マーカを用いたフィッティングを示す図である。 マーカを用いたフィッティングを示す図である。 マーカを用いたフィッティングを示す図である。 第２段階のフィッティングの一例を示すフローである。 式３と式４のグラフを示す図である。 外れ値の通知方法の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．映像制作システムの概要］
［２．従来のマーカの設置方法とその課題］
［３．本開示のマーカ設置方法の概要］
［４．映像制作システムの構成］
［５．顔モデル］
［６．マーカポイント］
［７．ランドマークを用いたフィッティング］
［８．マーカを用いたフィッティング］
　［８－１．第１マーカポイント群へのマーカの配置］
　［８－２．第２マーカポイント群へのマーカの配置］
　［８－３．第３マーカポイント群へのマーカの配置］
［９．外れ値検出］
［１０．効果］
［１１．変形例］
［１．映像制作システムの概要］
　図１は、映像制作システム１の概要を説明する図である。
　映像制作システム１は、フェイシャルマーカのトラッキング技術を用いてデジタルヒューマンを制作するシステムである。映像制作システム１は、演者ＵＳの顔に設置されたマーカＭＫの動きをトラッキングする。演者ＵＳの顔には、予めマーカＭＫの設置位置を示す複数のマーカポイントＣＰが設定されている。映像制作システム１は、マーカＭＫ（マーカポイントＣＰとして定義された顔の部位）どうしの相対的な動きに基づいて、演者ＵＳの表情をモデリングする。
　なお、本開示において演者とは、プロフェッショナルなパフォーマに限定されず、一般ユーザも含みうるものとして説明する。本開示において演者とは、デジタルヒューマンを提供するシステムを利用するユーザの総称であり、デジタルヒューマンを利用して特定の目的を実行するユーザを表す用語ではない点に留意されたい。
　映像制作システム１は、ベースとなるＣＧキャラクタの顔モデルＢＭを取得する。映像制作システム１は、モデリングした表情を顔モデルＢＭに適用することにより、表情モデルＤＭを生成する。図１の例では、演者ＵＳの顔モデルＢＭがＣＧキャラクタの顔モデルとして用いられているが、他のＣＧキャラクタの顔モデルに、モデリングされた表情が適用されてもよい。
［２．従来のマーカの設置方法とその課題］
　図２ないし図４は、従来のマーカの設置方法を示す図である。
　従来の方法では、マーカ設置位置を示すリファレンス情報ＲＩを参照しながら、作業者ＷＫが手作業で演者ＵＳの顔にマーカＭＫを設置する。図２の例では、マネキンの顔にマーカポイントＣＰをマーキングしたものがリファレンス情報ＲＩとして用いられる。作業者は、マーカポイントＣＰの位置を確認しながら、演者ＵＳの顔にペンで印をつける。図３に示すように、全ての印がつけ終わったら、印の位置にマーカＭＫが設置される。
　マーカＭＫの設置形態は特に限定されない。図３の例では、マーカＭＫとなる高反射率の部材が顔に接着される。しかし、マーカＭＫとなる印がペンで顔に描き込まれてもよい。また、図２の例では、マーカポイントＣＰを記したマネキンの顔がリファレンス情報ＲＩとして用いられたが、リファレンス情報ＲＩはこのようなものに限定されない。図４に示すように、マーカポイントＣＰを記した顔の画像を印刷し、印刷された紙を参照しながら演者ＵＳの顔に印がつけられてもよい。
　図５は、マーカＭＫをトラッキングする様子を示す図である。
　マーカＭＫが設置された演者ＵＳの頭には、演者ＵＳを撮影するためのカメラユニットＣＵが取り付けられる。例えば、カメラユニットＣＵには、視野を部分的に重畳させた複数台のカメラＣＭが固定されている。カメラユニットＣＵは、複数のカメラＣＭを用いてマーカＭＫの設置領域全体を撮影する。複数のカメラＣＭは同期して駆動され、各マーカＭＫの動きを監視する。
　マーカポイントＣＰの動きは、マーカＭＫの動きとして検出される。顔の動きはマーカポイントＣＰどうし位置関係に基づいてモデリングされる。顔の動きを正確に再現するためには、マーカポイントＣＰの動きを高精度にトラッキングする必要がある。しかし、従来の方法では、マーカＭＫをマーカポイントＣＰに精度よく設置することが難しい。マーカＭＫの位置がずれていると、マーカポイントＣＰの動きが正確に検出できない。そのため、顔の動きを精度よくモデリングすることが難しい。
［３．本開示のマーカ設置方法の概要］
　図６は、本開示のマーカ設置方法の概要を説明する図である。図７は、マーカＭＫの設置風景を示す図である。
　上述のように、従来の方法では、マネキンや紙などに記されたマーカポイントＣＰを参照しながら演者ＵＳの顔にマーカＭＫが設置される。そのため、マーカＭＫの設置位置にずれが生じやすい。
　これを解決するために、例えば特徴点マッチングを使って３次元のリファレンスモデルを演者ＵＳの顔画像に位置合わせし、マーカポイントＣＰを顔画像に重畳表示するという方法が考えられる。しかし、この方法では、演者ＵＳの顔の動きや表情の変化に応じて、マーカＭＫの位置がずれてしまう可能性がある。また、人間の顔には個人差があるため、一般的なリファレンスモデルを用いても、演者ＵＳの顔のマーカポイントＣＰの位置を正確に示すことはできない。
　そこで、本開示では、マーカポイントＣＰの位置情報が定義された演者ＵＳの顔モデルＢＭが演者ＵＳの顔画像ＦＩにフィッティング（位置合わせ）される。作業者ＷＫは、顔画像ＦＩ上に位置決めされたマーカポイントＣＰの位置を確認しながら、演者ＵＳの顔にマーカＭＫを設置する。
　マーカポイントＣＰの位置は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）マーカＡＭによって示される。顔画像ＦＩには、マーカポイントＣＰと１対１に対応する複数のＡＲマーカＡＭが表示される。複数のＡＲマーカＡＭによって、複数のマーカポイントＣＰの分布を示す分布画像ＤＩが呈示される。顔モデルＢＭが顔画像ＦＩにフィッティングされることで、複数のＡＲマーカＡＭが顔画像ＦＩの適切な位置に位置決めされる。
　より正確な位置にマーカポイントＣＰが示されるように、映像制作システム１は、マーカＭＫが設置されるごとに、設置済みのマーカＭＫの位置情報を用いてフィッティングを繰り返す。これにより、マーカＭＫが設置されるごとに、顔画像ＦＩと顔モデルＢＭとの位置決めの精度が高まる。その結果、顔画像ＦＩに対するマーカポイントＭＰの位置決めの精度も高まり、その後に設置されるマーカＭＫの位置もより正確になる。
　マーカＭＫの設置は、作業者ＷＫによる手作業で行われる。カメラ２０には、マーカＭＫを設置する作業者ＷＫの手ＨＤが写るが、作業者ＷＫの手ＨＤの画像は画像処理によって顔画像ＦＩから除去される。
［４．映像制作システムの構成］
　図８は、映像制作システム１の構成の一例を示す図である。
　映像制作システム１は、処理装置１０、カメラ２０、表示装置３０および記憶装置４０を有する。カメラ２０は、マーカＭＫの設置対象となる演者ＵＳの前に固定される。カメラ２０は、マーカＭＫの設置作業が行われている間、演者ＵＳの顔を所定のフレームレートで撮影し、演者ＵＳの顔画像ＦＩを順次処理装置１０に出力する。
　処理装置１０は、各種情報を処理する情報処理装置である。処理装置１０は、ランドマーク検出部１１、マーカトラッキング部１２、フィッティング部１３および表示制御部１４を有する。
　処理装置１０は、モデル情報４１から演者ＵＳの顔モデルＢＭに関する情報を抽出する。処理装置１０は、顔モデルＢＭから登録ランドマーク情報およびマーカポイントＣＰの位置情報を抽出する。登録ランドマーク情報は、顔の形状を示す点群として登録されたランドマーク（登録ランドマークＬ２：図１１参照）の位置情報を含む。登録ランドマークＬ２は、例えば、演者ＵＳを正面から撮影した顔画像ＦＩから抽出される。
　ランドマーク検出部１１は、１フレームごとに、顔画像ＦＩから登録ランドマークＬ２に対応したランドマークＬ１を検出する。マーカトラッキング部１２は、顔画像ＦＩからマーカＭＫを検出し、検出されたマーカＭＫをトラッキングする。フィッティング部１３は、ランドマークＬ１の位置情報およびマーカＭＫの位置情報に基づいて、１フレームごとに、顔モデルＢＭを顔画像ＦＩにフィッティングする。
　表示制御部１４は、フィッティング結果から得られる仮想視点ＶＰ（図６参照）に基づいて顔モデルＢＭをレンダリングする。表示制御部１４は、顔モデルＢＭからマーカポイントＣＰの位置情報を抽出し、マーカポイントＣＰの分布画像ＤＩを生成する。表示制御部１４は、顔画像ＦＩ、レンダリング画像および分布画像ＤＩの情報を表示装置３０に出力する。これにより、表示制御部１４は、顔画像ＦＩにフィッティングされた顔モデルＢＭを分布画像ＤＩとともに顔画像ＦＩに重畳して表示する。
　フィッティング部１３は、分布画像ＤＩの重畳後に演者ＵＳの顔にマーカＭＫが設置されるごとに、設置されたマーカＭＫの位置情報を用いて顔モデルＢＭを顔画像ＦＩにフィッティングする。フィッティング部１３は、フィッティング結果に基づいて、顔画像ＦＩに重畳される分布画像ＤＩの重畳位置を調整する。
　記憶装置４０は、各種演算に用いられる設定、条件および基準に関する情報、顔モデルＢＭに関するモデル情報４１、ならびに、処理装置１０が実行するプログラム４９を記憶する。プログラム４９は、本実施形態に係る情報処理をコンピュータに実行させるプログラムである。処理装置１０は、記憶装置４０に記憶されているプログラム４９にしたがって各種の処理を行う。記憶装置４０は、処理装置１０の処理結果を一時的に記憶する作業領域として利用されてもよい。
　記憶装置４０は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶装置４０は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラム４９は、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
　処理装置１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理装置１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）が含まれる。処理装置１０は、プログラム４９を実行することにより、各部の機能を実現する。
［５．顔モデル］
　図９は、演者ＵＳの顔モデルＢＭの一例を示す図である。
　顔モデルＢＭは、演者ＵＳの顔面の３次元モデルである。顔モデルＢＭの表情は、例えば無表情である。顔モデルＢＭは、一般的なＣＧソフトウェアによって作成される。例えば、顔モデルの顔面はポリゴンメッシュによって構成される。ポリゴンメッシュは、複数の頂点と、隣接する頂点を結んで得られる複数の辺および複数の面と、を含む。
　顔モデルＢＭは、演者ＵＳの顔に設定された複数のマーカポイントＣＰの位置情報を含む。マーカポイントＣＰは、演者ＵＳの顔の形状に合わせて個々に位置が決定される。マーカポイントＣＰは、顔全体に概ね均一に設定される。表情を精度よく検出するために、目元および口元に設定されるマーカポイントＣＰの密度は他の部位に設定されるマーカポイントＣＰの密度よりも高く設定されている。
［６．マーカポイント］
　図１０は、マーカポイントＣＰの説明図である。
　本開示では、マーカＭＫが設置されるごとに設置済みのマーカＭＫの位置情報を用いてフィッティングが繰り返される。フィッティングの安定性は、マーカＭＫの設置順によって変化する。例えば、表情によって位置が変化しにくいマーカＭＫの位置情報を用いて先にフィッティングを行うと、その後に実施されるフィッティングの結果が安定しやすい。
　そのため、複数のマーカポイントＣＰは、マーカＭＫの設置順に応じた複数のマーカポイント群ＣＰＧに分類される。表情によって位置が変化しにくいマーカポイント群ＣＰＧほどフィッティングの優先度が高い。作業者ＷＫは、優先度の高いマーカポイント群ＣＰＧから先にマーカＭＫを設置する。表示制御部１４は、マーカ設置作業を支援するために、優先度の高いマーカポイント群ＣＰＧの位置を示す分布画像ＤＩから順に表示する。
　以下、複数のマーカポイント群ＣＰＧは、符号の後に付された番号によって区別される。各マーカポイント群ＣＰＧに対応した構成要素（マーカポイントＣＰ、マーカＭＫ、ＡＲマーカＡＭなど）を区別する方法も同様である。
　顔モデルＢＭは、フィッティングの優先度の異なる複数のマーカポイント群ＣＰＧの位置情報を含む。例えば、複数のマーカポイント群ＣＰＧは、フィッティングの優先度の高い順に、第１マーカポイント群ＣＰＧ－１、第２マーカポイント群ＣＰＧ－２および第３マーカポイント群ＣＰＧ－３を含む。
　第１マーカポイントＣＰ－１は、顎以外の顔の部位に設定される。第１マーカポイントＣＰ－１は、表情によって位置がほとんど変化しない。作業者ＷＫは、最初に第１マーカポイント群ＣＰＧ－１に第１マーカＭＫ－１を設置する。第１マーカポイント群ＣＰＧ－１に設置された第１マーカＭＫ－１の位置情報に基づいて、顔モデルＢＭの並進方向および回転方向の位置決めが行われる。
　第１マーカポイント群ＣＰＧ－１は、顎以外の顔の部位に存在する１以上の解剖学的特徴点を含む。解剖学的特徴点とは、人の体のつくりや形状から得られる特徴的な身体部位を意味する。解剖学的特徴点は、骨や筋肉などの形態的特徴、あるいは、目、鼻および耳などの構造的特徴に起因した特徴点であり、目視により明確に識別される。
　図１０の例では、８個の第１マーカポイントＣＰ－１が、目じり、目頭、鼻筋、鼻尖点および耳珠に設定されている。これらの第１マーカポイントＣＰ－１は、いずれも目、鼻および耳などの構造的特徴に起因した解剖学的特徴点である。作業者ＷＫは、解剖学的特徴点が持つ形態的特徴に基づいて、第１マーカポイントＣＰ－１に正確に第１マーカＭＫ－１を設置することができる。
　第２マーカポイントＣＰ－２は、顎に設定される。作業者ＷＫは、第１マーカポイント群ＣＰＧ－１への第１マーカＭＫ－１の設置が終了した後、第２マーカポイントＣＰ－２への第２マーカＭＫ－２の設置を開始する。第２マーカポイント群ＣＰＧ－２は、顎に存在する１以上の解剖学的特徴点を含む。図１０の例では、３個の第２マーカポイントＣＰ－２が、人中、月陰唇溝およびオトガイ点に設定されている。これらの第２マーカポイントＣＰ－２は、いずれも顎の構造的特徴に起因した解剖学的特徴点である。
　第３マーカポイントＣＰ－３は、顔全体に概ね均一に設定される。作業者ＷＫは、第２マーカポイント群ＣＰＧ－２への第２マーカＭＫ－２の設置が終了した後、第３マーカポイントＣＰ－３への第３マーカＭＫ－３の設置を開始する。
［７．ランドマークを用いたフィッティング］
　図１１および図１２は、ランドマークＬ１を用いたフィッティングを示す図である。
　顔モデルＢＭのフィッティングは、２段階に分けて行われる。第１段階では、顔の形状に基づく大まかなフィッティングが行われる。第２段階では、順次設置されるマーカＭＫの位置情報に基づいて、フィッティングの精度を高めていく処理（Ｒｅｆｉｎｅｍｅｎｔ）が行われる。
　第１段階のフィッティングでは、ランドマークと呼ばれる顔の輪郭、目や鼻、口といった各パーツの特徴点の集合が利用される。ランドマークの決定方法は様々存在するが、例えばｄｌｉｂという機械学習のライブラリでは６８個の点がランドマークとして定義されている。例えば、顔モデルＢＭには、ｄｌｉｂで定義された点の集合（点群）が登録ランドマークＬ２として登録されている。以下、登録ランドマークＬ２として登録された３次元点群をＸ、点の個数をＬとする。
　ランドマーク検出部１１は、顔画像ＦＩから、登録ランドマークＬ２に対応するランドマークＬ１を検出する。ランドマークＬ１として検出された２次元点群をｙとする。点群ｙと点群Ｘは、登録ランドマークＬ２に定義された番号によって対応づけられる。
　フィッティング部１３は、顔画像ＦＩから抽出された複数のランドマークＬ１の位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて、優先度が最も高い第１マーカポイント群ＣＰＧ－１の分布を示す第１分布画像ＤＩ－１の重畳位置を設定する。
　例えば、フィッティング部１３は、顔モデルＢＭの回転行列Ｒおよび平行移動行列ｔを用いて点群Ｘと点群ｙとの位置合わせを行う。点群Ｘは３次元空間の点群であるため、フィッティング部１３は、点群Ｘをカメラの内部行列Ｋを用いて２次元平面に投影する。フィッティングの式１は下記のようになる。
Figure JPOXMLDOC01-appb-M000001
　フィッティング部１３は、上記の式１を最小にするような行列Ｒ，ｔを算出する。点群間の位置合わせを行う手法としては、例えば、ＩＣＰ（Ｉｎｔｅｒａｃｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔ）と呼ばれる、２つの点群間の差を最小化するためのアルゴリズムが用いられる。ＩＣＰについては、下記［１］に記載がある。
［１］Ｓ．Ａｒｕｎ，Ｔ．Ｓ．Ｈｕａｎｇ，Ｓ．Ｄ．Ｂｌｏｓｔｅｉｎ，“Ｌｅａｓｔ－ｓｑｕａre　ｆｉｔｔｉｎｇ　ｏｆ　ｔｗｏ　３－Ｄ　ｐｏｉｎｔ　ｓｅｔｓ”　ＩＥＥＥ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９８７
　ＩＣＰを用いて式１を記載しなおすと、下記式２のようになる。
Figure JPOXMLDOC01-appb-M000002
　表示制御部１４は、算出された行列Ｒ，ｔを用いて顔モデルＢＭをレンダリングする。表示制御部１４は、顔モデルＢＭのレンダリング画像を顔画像ＦＩに重畳して表示する。表示制御部１４は、行列Ｒ，ｔを用いて、第１マーカポイント群ＣＰＧ－１の第１分布画像ＤＩ－１を生成する。表示制御部１４は、生成された第１分布画像ＤＩ－１を顔画像ＦＩに重畳して表示する。
［８．マーカを用いたフィッティング］
　図１３ないし図１５は、マーカＭＫを用いたフィッティングを示す図である。
　一般的に、ランドマーク検出は演者ＵＳの表情や顔の向きによって検出精度が不安定になる。例えば、演者ＵＳが耳付近のマーカＭＫを設置するために少し顔を横に傾けると、ランドマーク検出の前段階の顔検出が失敗する。
　そのため、本開示では、第２段階のフィッティングとして、マーカＭＫの位置情報を用いたフィッティングが行われる。第２段階のフィッティングでは、実際に設置されたマーカＭＫの位置情報が用いられる。そのため、より高精度なフィッティングが行われる。また、ランドマークＬ１が検出しやすいように演者ＵＳが表情を固定する必要がなくなるため、演者ＵＳの負担が軽減される。
　マーカトラッキング部１２は、演者ＵＳの顔画像ＦＩを用いてマーカＭＫのトラッキングを行う。トラッキングされたマーカＭＫの２次元点群をｙ′とする。顔モデルＢＭ上に定義されたマーカポイントＣＰの３次元点群をＸ′とする。顔に設置されたマーカＭＫの数をＭとすると、フィッティングの式３は下記のようになる。
Figure JPOXMLDOC01-appb-M000003
　式３において、ｗＭは設置済みのマーカＭＫの位置情報の重みを示す。ｗＬはランドマークＬ１の位置情報の重みを示す。ｗＭとｗＬの値は、マーカＭＫの位置情報の信頼度に応じて適切に設定される。ｗＭとｗＬの値は固定されていてもよいし、マーカＭＫの設置状況（設置されたマーカＭＫの位置や数）に応じて順次変更されてもよい。
　一般的に、マーカＭＫの位置情報のほうがランドマークＬ１の位置情報よりも信頼度は高い。そのため、ｗＭをｗＬよりも大きくしたほうが、表情や顔の向きの変化に頑健な位置合わせとなる。そのため、例えば、フィッティング部１３は、設置されたマーカＭＫの数が多くなるほど、フィッティングに対するマーカＭＫの位置情報の寄与を大きくする。例えば、設置されたマーカＭＫの数Ｍが基準値（例えば３つ）以上となった場合にｗＬは０に設定される。こうすることで、信頼度の高いマーカＭＫの位置情報を十分に加味したフィッティングが行われる。
　ここで、３次元の回転および並進の６つの未知のパラメータを解くためには、設置されたマーカＭＫの数Ｍは少なくとも３以上でなければならない。フィッティング部１３は、上記の式３を最小にするような行列Ｒ，ｔを算出する。表示制御部１４は、算出された行列Ｒ，ｔを用いて顔モデルＢＭをレンダリングする。表示制御部１４は、顔モデルＢＭのレンダリング画像を顔画像ＦＩに重畳する。表示制御部１４は、行列Ｒ，ｔを用いて、第２マーカポイント群ＣＰＧ－２の第２分布画像ＤＩ－２を生成する。表示制御部１４は、生成された第２分布画像ＤＩ－２を顔画像ＦＩに重畳して表示する。
　図１６は、第２段階のフィッティングの一例を示すフローである。図１６のフローは、１フレームごとに実施される。
　ランドマーク検出部１１は、ランドマークＬ１の検出を行うことで点群ｙｉの２次元座標を推定する（ステップＳＴ１）。マーカトラッキング部１２は、演者ＵＳの顔に設置されているマーカＭＫの数Ｍが３以上であるか否かを判定する（ステップＳＴ２）。
　設置済みのマーカＭＫの数Ｍが３よりも少ない場合には（ステップＳＴ２：ｎｏ）、フィッティング部１３は、ランドマークＬ１のみを用いたフィッティングを行う（ステップＳＴ６）。設置済みのマーカＭＫの数Ｍが３以上である場合には（ステップＳＴ２：ｙｅｓ）、フィッティング部１３は、各マーカＭＫ（ｙ′ｉ：ｉ＝０，１，２，…，Ｍ－１）の２次元座標の推定を行う（ステップＳＴ３～ＳＴ５）。
　ここで、設置済みのマーカＭＫ（ｙ′ｉ）は、マーカＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を保有している。マーカＩＤは、設置されたマーカＭＫ（ｙ′ｉ）が、点群Ｘ′のどのマーカポイントＣＰと対応しているのかを管理するために用いられる。予め点群Ｘ′の各マーカポイントＣＰにマーカＭＫの設置順をＩＤとして登録しておくことで、ＩＤ順に設置されたマーカＭＫ（ｙ′ｉ）をマーカポイントＣＰ（Ｘ′ｉ）と対応づけることができる。
　フィッティング部１３は、トラッキングによって推定されたＭ個のマーカＭＫ（ｙ′ｉ）の２次元座標と、最初に求めた点群ｙｉの２次元座標と、を用いて行列Ｒ，ｔの推定を行う（ステップＳＴ６）。
　新規に設置が提示されるマーカＭＫ（ｙ′ｉ）については、ｉ＝Ｍとなる。マーカトラッキング部１２によって新規のマーカＭＫ（ｙ′ｉ）の設置が検知された場合、フィッティング部１３は、設置済みのマーカＭＫの数Ｍを更新した上で行列Ｒ，ｔの推定を行う。新規のマーカＭＫが設置されたかどうかの検知は、例えば、提示したマーカポイントＣＰ（ＡＲマーカＡＭ）の周辺でｂｌｏｂの検出を行うことにより行われる。ｂｌｏｂが検出された場合には、新規のマーカＭＫの設置が行われたと判定される。
　マーカトラッキング部１２は、例えば各マーカＭＫのｏｐｔｉｃａｌ　ｆｌｏｗを算出することで、前フレームでのマーカＭＫの位置から現在のフレームでのマーカＭＫの位置を追跡することができる。
　Ｏｐｔｉｃａｌ　ｆｌｏｗの算出の手法は様々あるが、例えばＬｕｃａｓ－Ｋａｎａｄｅ法では、時間的に画素の輝度が不変であること、時間的に連続であること（移動量は少ない）、そして空間的に整合性が取れていること（周辺画素も同じように動く）という制約の下、移動ベクトルが推定される。現在のフレームにおけるマーカＭＫの位置は、前フレームにおけるマーカＭＫの位置に、推定した移動ベクトルを足すことで取得される。Ｌｕｃａｓ－Ｋａｎａｄｅ法については、下記［２］に記載がある。
［２］Ｔ．Ｋａｎａｄｅ，Ｂ．Ｄ．Ｌｕｃａｓ，“Ａｎ　ｉｎｔｅｒａｃｔｉｖｅ　ｉｍａｇｅ　ｒｅｇｉｓｔｒａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅ　ｗｉｔｈ　ａｎ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　Ｓｔｅｒｅｏ　Ｖｉｓｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｒｔｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　ｐｐ．６７４－６７９，１９８１
　上述の処理では、顔に設置されたマーカＭＫの位置情報がフィッティングに利用される。この場合、顔の表情が変化すると、マーカＭＫの位置が顔モデルＢＭで定義された位置からずれる。そのため、表情の変化が生じてもフィッティングの精度が低下しにくくなるように、マーカＭＫの設置順が決められる。
［８－１．第１マーカポイント群へのマーカの配置］
　ランドマークＬ１を用いたフィッティングが行われた後、最初にマーカＭＫの設置対象となるのは第１マーカポイント群ＣＰＧ－１である。顔の剛体運動（上顎と下顎の相対運動を除く）を計測するために、顎以外の顔の部位に設定された第１マーカポイント群ＣＰＧ－１に第１マーカＭＫ－１が設置される。
　ランドマークＬ１を用いたフィッティングが完了すると、顔画像ＦＩには、顔モデルＢＭおよび第１分布画像ＤＩ－１が重畳して表示される。第１分布画像ＤＩ－１には、第１マーカポイント群ＣＰＧ－１の位置を示す複数の第１ＡＲマーカＡＭ－１が含まれる。作業者ＷＫは、顔画像ＦＩに重畳された第１ＡＲマーカＡＭ－１の位置を参照しながら演者ＵＳの顔に第１マーカＭＫ－１を設置する。
　フィッティング部は、第１分布画像ＤＩ－１に基づいて演者ＵＳの顔に第１マーカＭＫ－１が設置されるごとに、設置された第１マーカＭＫ－１の位置情報および複数のランドマークＬ１の位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて第１分布画像ＤＩ－１の重畳位置を調整する。
　第１段階のフィッティングでは、顔の形状に基づく大まかな位置決めが行われる。そのため、第１ＡＲマーカＡＭ－１は正確な位置から若干ずれた位置に表示される可能性がある。しかし、第１マーカポイント群ＣＰＧ－１には、目視によって位置を正確に特定可能な１以上の解剖学的特徴点が含まれる。作業者ＷＫは、解剖学的特徴点が持つ形態的特徴に基づいて、第１マーカＭＫ－１を正確な位置に設置することができる。
　例えば、目頭が第１マーカポイントＣＰ－１として設定されている場合を想定する。第１ＡＲマーカＡＭ－１が目頭から若干ずれた位置に表示されている場合、作業者ＷＫは、第１マーカポイントＣＰ－１が解剖学的特徴点に設定されていることを知っていれば、第１ＡＲマーカＡＭ－１に近い位置にある解剖学的特徴点を探索する。その結果、作業者ＷＫは、第１ＡＲマーカＡＭ－１の近くにある目頭が第１マーカポイントＣＰ－１であると認識することができる。
　フィッティング部１３は、解剖学的特徴点に設置された第１マーカＭＫ－１の位置情報を用いて顔モデルＢＭのフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて第１分布画像ＤＩ－１の重畳位置を調整する。解剖学的特徴点に設置された第１マーカＭＫ－１の位置は正確であるため、調整後の第１分布画像ＤＩ－１の表示位置も調整前より正確になる。そのため、調整後の第１分布画像ＤＩ－１にしたがって新たに設置される第１マーカＭＫ－１の設置位置の精度も高くなる。
　第１マーカポイント群ＣＰＧ－１は、表情によって位置が変化しにくい。そのため、第１マーカＭＫ－１の設置作業中に演者ＵＳの表情が若干変化しても、第１分布画像ＤＩ－１の表示位置にずれが生じにくい。よって、作業者ＷＫは概ね正確な位置に第１マーカＭＫ－１を設置することができる。正確な位置に設置される第１マーカＭＫ－１の数が増えると、第１分布画像ＤＩ－１の表示位置の精度も高まる。その結果、第１マーカＭＫ－１が設置されるごとに、第１分布画像ＤＩ－１の表示位置の精度が高まる。
［８－２．第２マーカポイント群へのマーカの配置］
　第１マーカポイント群ＣＰＧ－１に含まれる全ての第１マーカポイントＣＰ－１に対して第１マーカＭＫ－１が設置された後、フィッティングの優先度が２番目に高い第２マーカポイント群ＣＰＧ－２への第２マーカＭＫ－２の設置が開始される。
　表示制御部１４は、設置された全ての第１マーカＭＫ－１の位置情報を用いたフィッティングの結果に基づいて、第２マーカポイント群ＣＰＧ－２の分布を示す第２分布画像ＤＩ－２を顔画像ＦＩに重畳して表示する。
　第２マーカポイント群ＣＰＧ－２は、顎に存在する１以上の解剖学的特徴点を含む。演者ＵＳは、顔画像ＦＩに重畳された顔モデルＢＭを参照しながら、顔画像ＦＩに含まれる解剖学的特徴点が、第２分布画像ＤＩ－２に示される解剖学的特徴点（第２マーカポイントＣＰ－２）と一致するように、顎の位置（上顎と下顎の相対位置）を調整する。これにより、演者ＵＳの表情が、顔モデルＢＭを生成したときの演者ＵＳの表情に近づく。その結果、顔モデルＢＭが顔画像ＦＩに対して正確に位置決めされる。
　第２分布画像ＤＩ－２には、第２マーカポイント群ＣＰＧ－２の位置を示す複数の第２ＡＲマーカＡＭ－２が含まれる。作業者ＷＫは、顔画像ＦＩに重畳された第２ＡＲマーカＡＭ－２の位置を参照しながら演者ＵＳの顔に第２マーカＭＫ－２を設置する。
　フィッティング部１３は、第２分布画像ＤＩ－２に基づいて演者ＵＳの顔に第２マーカＭＫ－２が設置されるごとに、設置された第２マーカＭＫ－２の位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて、顔画像ＦＩに重畳される第２分布画像ＤＩ－２の重畳位置を調整する。
［８－３．第３マーカポイント群へのマーカの配置］
　第１マーカポイント群ＣＰＧ－１および第２マーカポイント群ＣＰＧ－２に含まれる全てのマーカポイントＣＰ（第１マーカポイントＣＰ－１、第２マーカポイントＣＰ－２）に対してマーカＭＫ（第１マーカＭＫ－１、第２マーカＭＫ－２）が設置された後、フィッティングの優先度が３番目に高い第３マーカポイント群ＣＰＧ－３への第３マーカＭＫ－３の設置が開始される。
　表示制御部１４は、設置された全てのマーカＭＫ（第１マーカＭＫ－１、第２マーカＭＫ－２）の位置情報を用いたフィッティングの結果に基づいて、第３マーカポイント群ＣＰＧ－３の分布を示す第３分布画像ＤＩ－３を顔画像ＦＩに重畳して表示する。
　第３分布画像ＤＩ－３には、第３マーカポイント群ＣＰＧ－３の位置を示す複数の第３ＡＲマーカＡＭ－３が含まれる。作業者ＷＫは、顔画像ＦＩに重畳された第３ＡＲマーカＡＭ－３の位置を参照しながら演者ＵＳの顔に第３マーカＭＫ－３を設置する。
　フィッティング部１３は、第３分布画像ＤＩ－３に基づいて演者ＵＳの顔に第３マーカＭＫ－３が設置されるごとに、設置された第３マーカＭＫ－３の位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて、顔画像ＦＩに重畳される第３分布画像ＤＩ－３の重畳位置を調整する。
　第３マーカポイントＣＰ－３は、表情によって位置が変化しやすい。しかし、演者ＵＳの表情は、第２マーカポイントＣＰ－２の位置に基づいて顎の位置が調整された結果、顔モデルＢＭに近い表情となっている。そのため、顔画像ＦＩに重畳される第３マーカポイントＣＰ－３の位置は、顔モデルＢＭに定義された位置を正確に反映する。よって、作業者ＷＫは概ね正確な位置に第３マーカＭＫ－３を設置することができる。
　第３マーカポイント群ＣＰＧ－３は、顔の正面および側面に概ね均一に分布する。第２マーカポイント群ＣＰＧ－２へのマーカ設置作業が完了した直後は、演者ＵＳの顔はカメラ２０に対して正面を向いている。そのため、表示制御部１４は、最初に、顔の正面部分に対応する第３分布画像ＤＩ－３を顔画像ＦＩに重畳する（図１５の左の図を参照）。作業者ＷＫは、第３分布画像ＤＩ－３を参照しながら顔の正面部分に第３マーカＭＫ－３を設置する。
　顔の正面部分の第３マーカＭＫ－３の設置が完了したら、演者ＵＳは顔を左側に傾ける（図１５の中央の図を参照）。フィッティング部１３は、カメラ２０に写る設置済みのマーカＭＫ（第１マーカＭＫ－１、第２マーカＭＫ－２、第３マーカＭＫ－３）の位置情報を用いてフィッティングを行う。カメラ２０に写るマーカＭＫの数が多いほどフィッティングの精度は高くなる。顔の傾きはフィッティングの精度に基づいて適切に設定される。
　表示制御部１４は、フィッティング結果に基づいて、顔の向きに応じた第３分布画像ＤＩ－３を生成し、顔画像ＦＩに重畳する。作業者ＷＫは、第３分布画像ＤＩ－３を参照しながら新たに顔の左側に第３マーカＭＫ－３を設置する。その後、顔の左側全体に第３マーカＭＫ－３が設置されるまで、顔の向きの変更と第３マーカＭＫ－３の設置作業とが繰り返される。
　顔の左側の第３マーカＭＫ－３の設置が完了したら、演者ＵＳは顔を右側に傾ける（図１５の右側の図を参照）。そして、顔の左側に第３マーカＭＫ－３を設置したのと同様の方法で顔の右側全体に第３マーカＭＫ－３が設置される。
［９．外れ値検出］
　マーカＭＫを設置しながらフィッティングを繰り返す場合、マーカＭＫの設置位置のずれや設置時の表情の変化などにより、フィッティングがうまくいかなくなる場合がある。この問題は、表情によって位置の変化が大きい第３マーカポイント群ＣＰＧ－３に第３マーカＭＫ－３を設置する際に生じやすい。原因は、入力となるマーカＭＫ（ｙ′）の位置が正しくないことにある。そのため、フィッティング部１３は、下記式４に基づいてフィッティングを行うことができる。式４は、式３にＴｕｋｅｙ　Ｌｏｓｓ関数（式５）を加えたものである。これにより、外れ値があってもロバストに位置合わせが行われる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　図１７は、式３と式４のグラフを示す図である。式３は、「Ｏｒｉｇｉｎａｌ　Ｌｏｓｓ　Ｔｅｒｍ」と示される。式４は、「Ｌｏｓｓ　Ｔｅｒｍ　ｗｉｔｈ　Ｔｕｒｋｅｙ　Ｂｉｗｅｉｇｈｔ　Ｌｏｓｓ」として示しされる。Ｔｕｋｅｙ　Ｌｏｓｓ関数を用いると、式３の最小化問題から外れ値が除去され、正しい点に基づいてフィッティングが行われるようになる。
　式３は、顔画像ＦＩの点ｙ′ｉと、顔モデルＢＭの点Ｘ′を顔画像ＦＩに投影した点と、の間の距離（投影距離）を最小化する。式３のコスト関数を利用すると、最小化問題は外れ値（ｙ′ｉが正しくない）に引っ張られてしまう。Ｔｕｋｅｙ　Ｌｏｓｓ関数を統合すると、投影距離が所定の距離より大きくなったら、その投影距離は最小化問題から除去される。そのため、外れ値に対するロバスト性が高まる。図１７のグラフでは、式４をｃ＝５（一定の距離）でプロットしている。Ｔｕｋｅｙ　Ｌｏｓｓ関数については、下記［３］に記載がある。
［３］Ｖ．Ｂｅｌａｇｉａｎｎｉｓ，Ｃ．　Ｒｕｐｐｒｅｃｈｔ，Ｇ．Ｃａｒｎｅｉｒｏ　ａｎｄ　Ｎ．Ｎａｖａｂ，“Ｒｏｂｕｓｔ　Ｏｐｔｉｍｉｚａｔｉｏｎ　ｆｏｒ　Ｄｅｅｐ　Ｒｅｇｒｅｓｓｉｏｎ，”　ｉｎ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＩＣＣＶ），２０１５
　なお、外れ値検出のためにＲＡＮＳＡＣ等の手法を式２と組み合わせて使うこともできる。ＲＡＮＳＡＣについては、下記［４］に記載がある。
［４］Ｄ．Ｎｉｓｔｅｒ，“Ｐｒｅｅｍｐｔｉｖｅ　ＲＡＮＳＡＣ　ｆｏｒ　ｌｉｖｅ　ｓｔｒｕｃｔｕｒｅ　ａｎｄ　ｍｏｔｉｏｎ　ｅｓｔｉｍａｔｉｏｎ，”　ｉｎ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＩＣＣＶ），Ｎｉｃｅ，Ｆｒａｎｃｅ，２００５
　図１８は、外れ値の通知方法の一例を示す図である。
　表示制御部１４は、分布画像ＤＩによって示されるマーカポイントＣＰの位置（ＡＲマーカＡＭの表示位置）との間に許容基準を超える乖離が生じたマーカＭＫを作業者ＷＫに通知する。許容基準は、表情検出に求められる精度に基づいて設定される。例えば、マーカトラッキング部１２は、分布画像ＤＩによって示されるマーカポイントＣＰの位置と、作業者ＷＫが設置したマーカＭＫの位置と、の距離が予め設定された閾値よりも大きい場合に許容基準を超える乖離が生じたと判定する。表示制御部１４は、例えば、許容基準を超える乖離が生じたマーカＭＫに対応するＡＲマーカＡＭを点滅させる。これにより、外れ値に対する注意喚起が行われる。
［１０．効果］
　処理装置１０は、表示制御部１４とフィッティング部１３とを有する。表示制御部１４は、演者ＵＳの顔画像ＦＩにマーカポイントＣＰの分布画像ＤＩを重畳して表示する。分布画像ＤＩは、演者ＵＳの顔モデルＢＭから抽出された複数のマーカポイントＣＰの分布を示す。フィッティング部１３は、分布画像ＤＩの重畳後に演者ＵＳの顔にマーカＭＫが設置されるごとに、設置されたマーカＭＫの位置情報を用いて顔モデルＢＭを顔画像ＦＩにフィッティングする。フィッティング部１３は、フィッティング結果に基づいて分布画像ＤＩの重畳位置を調整する。本開示の情報処理方法は、処理装置１０の処理がコンピュータにより実行される。本開示のプログラム４９は、処理装置１０の処理をコンピュータに実現させる。
　この構成によれば、分布画像ＤＩを顔モデルＢＭに精度よく重畳することができる。そのため、マーカＭＫの設置位置の精度が高まる。
　顔モデルＢＭは、フィッティングの優先度が異なる複数のマーカポイント群ＣＰＧの位置情報を含む。表示制御部１４は、優先度の高いマーカポイント群ＣＰＧの位置を示す分布画像ＤＩから順に表示する。
　この構成によれば、複数のマーカポイント群ＣＰＧの分布画像ＤＩがフィッティングの優先度に応じて段階的に表示される。分布画像ＤＩの表示順にしたがって各マーカポイント群ＣＰＧにマーカＭＫを設置することで、適切なフィッティングが行われる。
　表情によって位置が変化しにくいマーカポイント群ＣＰＧほどフィッティングの優先度が高い。
　この構成によれば、表情によって位置が変化しにくいマーカポイント群ＣＰＧに対して最初にマーカＭＫが設置される。このマーカＭＫの位置情報を用いてフィッティングを行うと、演者ＵＳの表情が顔モデルＢＭの表情からずれていても、顔画像ＦＩの適切な位置に分布画像ＤＩが重畳されやすくなる。
　フィッティング部１３は、顔画像ＦＩから抽出された複数のランドマークＬ１の位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて、優先度が最も高い第１マーカポイント群ＣＰＧ－１の分布を示す第１分布画像ＤＩ－１の重畳位置を設定する。
　この構成によれば、第１分布画像ＤＩ－１がランドマークＬ１の位置情報に基づいて顔画像ＦＩの適切な位置に重畳される。
　第１マーカポイント群ＣＰＧ－１は、顎以外の顔の部位に存在する１以上の解剖学的特徴点を含む。
　この構成によれば、顎の位置が顔モデルＢＭの表情とずれていても、顔画像ＦＩと顔モデルＢＭとが精度よくフィッティングされる。また、フィッティングがランドマークＬ１の位置情報に基づくことで、第１分布画像ＤＩ－１の重畳位置が精度よく設定されなかった場合でも、解剖学的特徴点が持つ形態的特徴に基づいて演者ＵＳが顔の適切な部位にマーカＭＫを設置することができる。よって、第１マーカポイント群ＣＰＧ－１に対応した顔の部位に精度よくマーカＭＫが設置される。
　フィッティング部１３は、第１分布画像ＤＩ－１に基づいて演者ＵＳの顔にマーカＭＫが設置されるごとに、設置されたマーカＭＫの位置情報および複数のランドマークＬ１の位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて第１分布画像ＤＩ－１の重畳位置を調整する。
　この構成によれば、第１分布画像ＤＩ－１の重畳位置が、設置されたマーカＭＫの位置情報およびランドマークＬ１の位置情報に基づいて適切に調整される。
　フィッティング部１３は、設置されたマーカＭＫの数が多くなるほど、フィッティングに対するマーカＭＫの位置情報の寄与を大きくする。
　この構成によれば、設置されたマーカＭＫの数が多くなるほどフィッティングの精度が高まる。
　表示制御部１４は、第１マーカポイント群ＣＰＧ－１に含まれる全てのマーカポイントＣＰに対してマーカＭＫが設置された後、設置された全てのマーカＭＫの位置情報を用いたフィッティングの結果に基づいて、優先度が２番目に高い第２マーカポイント群ＣＰＧ－２の分布を示す第２分布画像ＤＩ－２を顔画像ＦＩに重畳して表示する。
　この構成によれば、第２分布画像ＤＩ－２がマーカＭＫの位置情報に基づいて顔画像ＦＩの適切な位置に重畳される。
　第２マーカポイント群ＣＰＧ－２は、顎に存在する１以上の解剖学的特徴点を含む。
　この構成によれば、解剖学的特徴点の位置に基づいて、演者ＵＳが顔の表情を顔モデルＢＭの表情に一致させやすくなる。顔の表情が顔モデルＢＭの表情に近づくことで、第２分布画像ＤＩ－２によって示唆されるマーカ設置位置（第２ＡＲマーカＡＭ－２の表示位置）が適正化される。
　表示制御部１４は、顔画像ＦＩにフィッティングされた顔モデルＢＭを第２分布画像ＤＩ－２とともに顔画像ＦＩに重畳して表示する。
　この構成によれば、演者ＵＳが顔の表情を顔モデルＢＭの表情に一致させやすくなる。
　フィッティング部１３は、第２分布画像ＤＩ－２に基づいて演者ＵＳの顔にマーカＭＫが設置されるごとに、設置されたマーカＭＫの位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて第２分布画像ＤＩ－２の重畳位置を調整する。
　この構成によれば、第２分布画像ＤＩ－２の重畳位置が、設置されたマーカＭＫの位置情報に基づいて適切に調整される。
　表示制御部１４は、第１マーカポイント群ＣＰＧ－１および第２マーカポイント群ＣＰＧ－２に含まれる全てのマーカポイントＣＰに対してマーカＭＫが設置された後、設置された全てのマーカＭＫの位置情報を用いたフィッティングの結果に基づいて、優先度が３番目に高い第３マーカポイント群ＣＰＧ－３の分布を示す第３分布画像ＤＩ－３を顔画像ＦＩに重畳して表示する。
　この構成によれば、第３分布画像ＤＩ－３がマーカＭＫの位置情報に基づいて顔画像ＦＩの適切な位置に重畳される。
　フィッティング部１３は、第３分布画像ＤＩ－３に基づいて演者ＵＳの顔にマーカＭＫが設置されるごとに、設置されたマーカＭＫの位置情報を用いてフィッティングを行う。フィッティング部１３は、フィッティング結果に基づいて第３分布画像ＤＩ－３の重畳位置を調整する。
　この構成によれば、第３分布画像ＤＩ－３の重畳位置が、設置されたマーカＭＫの位置情報に基づいて適切に調整される。
　表示制御部１４は、分布画像ＤＩによって示されるマーカポイントＣＰの位置との間に許容基準を超える乖離が生じたマーカＭＫを通知する。
　この構成によれば、位置ずれしたマーカＭＫの位置の調整を演者ＵＳに促すことができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［１１．変形例］
　上記実施形態では、演者ＵＳの顔画像ＦＩを撮影するカメラ２０の数が１つである例が説明された。しかし、カメラ２０の数は１つに限られない。複数のカメラ２０によって複数の方向から演者ＵＳの顔画像ＦＩが撮影されてもよい。例えば、演者ＵＳの正面、左斜めおよび右斜めから撮影した顔画像ＦＩを用いてフィッティングが行われてもよい。この場合、図１５に示したように演者ＵＳが顔の向きを変える必要はない。そのため、全ての第３ＡＲマーカＡＭ－３を同時に表示することができる。
　上記実施形態では、フィッティングの対象となる顔モデルＢＭの数が１つである例が説明された。しかし、顔モデルＢＭの数は１つに限られない。マーカ設置作業中の演者ＵＳの顔の状態に応じて、フィッティングの対象となる顔モデルＢＭを使い分けることもできる。例えば、目の近くにマーカＭＫが設置される場合、演者ＵＳは目を閉じる可能性がある。その場合、目を閉じた状態の顔モデルＢＭに基づいてフィッティングが行われることが好ましい。それ以外のマーカ設置作業では、演者ＵＳは目を開けることができる。演者ＵＳが目を開けているときには、目を開けた状態の顔モデルＢＭに基づいてフィッティングが行われる。
［付記］
　なお、本技術は以下のような構成も取ることができる。
（１）
　演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布画像を重畳して表示する表示制御部と、
　前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整するフィッティング部と、
　を有する情報処理装置。
（２）
　前記顔モデルは、フィッティングの優先度の異なる複数のマーカポイント群の位置情報を含み、
　前記表示制御部は、前記優先度の高いマーカポイント群の位置を示す前記分布画像から順に表示する、
　上記（１）に記載の情報処理装置。
（３）
　表情によって位置が変化しにくい前記マーカポイント群ほど前記優先度が高い、
　上記（２）に記載の情報処理装置。
（４）
　前記フィッティング部は、前記顔画像から抽出された複数のランドマークの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて、前記優先度が最も高い第１マーカポイント群の分布を示す第１分布画像の重畳位置を設定する、
　上記（２）または（３）に記載の情報処理装置。
（５）
　前記第１マーカポイント群は、顎以外の顔の部位に存在する１以上の解剖学的特徴点を含む、
　上記（４）に記載の情報処理装置。
（６）
　前記フィッティング部は、前記第１分布画像に基づいて前記演者の顔に前記マーカが設置されるごとに、設置された前記マーカの位置情報および前記複数のランドマークの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて前記第１分布画像の重畳位置を調整する、
　上記（４）または（５）に記載の情報処理装置。
（７）
　前記フィッティング部は、設置された前記マーカの数が多くなるほど、前記フィッティングに対する前記マーカの位置情報の寄与を大きくする、
　上記（６）に記載の情報処理装置。
（８）
　前記表示制御部は、前記第１マーカポイント群に含まれる全てのマーカポイントに対して前記マーカが設置された後、設置された全てのマーカの位置情報を用いたフィッティングの結果に基づいて、前記優先度が２番目に高い第２マーカポイント群の分布を示す第２分布画像を前記顔画像に重畳して表示する、
　上記（４）ないし（７）のいずれか１つに記載の情報処理装置。
（９）
　前記第２マーカポイント群は、顎に存在する１以上の解剖学的特徴点を含む、
　上記（８）に記載の情報処理装置。
（１０）
　前記表示制御部は、前記顔画像にフィッティングされた前記顔モデルを前記第２分布画像とともに前記顔画像に重畳して表示する、
　上記（９）に記載の情報処理装置。
（１１）
　前記フィッティング部は、前記第２分布画像に基づいて前記演者の顔に前記マーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて前記第２分布画像の重畳位置を調整する、
　上記（８）ないし（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記表示制御部は、前記第１マーカポイント群および前記第２マーカポイント群に含まれる全てのマーカポイントに対して前記マーカが設置された後、設置された全てのマーカの位置情報を用いたフィッティングの結果に基づいて、前記優先度が３番目に高い第３マーカポイント群の分布を示す第３分布画像を前記顔画像に重畳して表示する、
　上記（８）ないし（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記フィッティング部は、前記第３分布画像に基づいて前記演者の顔に前記マーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて前記第３分布画像の重畳位置を調整する、
　上記（１２）に記載の情報処理装置。
（１４）
　前記表示制御部は、前記分布画像によって示されるマーカポイントの位置との間に許容基準を超える乖離が生じた前記マーカを通知する、
　上記（１）ないし（１３）のいずれか１つに記載の情報処理装置。
（１５）
　演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布画像を重畳して表示し、
　前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整する、
　ことを有する、コンピュータにより実行される情報処理方法。
（１６）
　演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布画像を重畳して表示し、
　前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整する、
　ことをコンピュータに実現させるプログラム。
１０　処理装置（情報処理装置）
１３　フィッティング部
１４　表示制御部
ＢＭ　顔モデル
ＣＰ　マーカポイント
ＣＰＧ　マーカポイント群
ＣＰＧ－１　第１マーカポイント群
ＣＰＧ－２　第２マーカポイント群
ＣＰＧ－３　第３マーカポイント群
ＤＩ　分布画像
ＤＩ－１　第１分布画像
ＤＩ－２　第２分布画像
ＤＩ－３　第３分布画像
ＦＩ　顔画像
Ｌ１　ランドマーク
ＭＫ　マーカ
ＵＳ　演者

Claims (16)

  1. 　演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布を示す分布画像を重畳して表示する表示制御部と、
    　前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整するフィッティング部と、
    　を有する情報処理装置。
  2. 　前記顔モデルは、フィッティングの優先度の異なる複数のマーカポイント群の位置情報を含み、
    　前記表示制御部は、前記優先度の高いマーカポイント群の位置を示す前記分布画像から順に表示する、
    　請求項１に記載の情報処理装置。
  3. 　表情によって位置が変化しにくい前記マーカポイント群ほど前記優先度が高い、
    　請求項２に記載の情報処理装置。
  4. 　前記フィッティング部は、前記顔画像から抽出された複数のランドマークの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて、前記優先度が最も高い第１マーカポイント群の分布を示す第１分布画像の重畳位置を設定する、
    　請求項２に記載の情報処理装置。
  5. 　前記第１マーカポイント群は、顎以外の顔の部位に存在する１以上の解剖学的特徴点を含む、
    　請求項４に記載の情報処理装置。
  6. 　前記フィッティング部は、前記第１分布画像に基づいて前記演者の顔に前記マーカが設置されるごとに、設置された前記マーカの位置情報および前記複数のランドマークの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて前記第１分布画像の重畳位置を調整する、
    　請求項４に記載の情報処理装置。
  7. 　前記フィッティング部は、設置された前記マーカの数が多くなるほど、前記フィッティングに対する前記マーカの位置情報の寄与を大きくする、
    　請求項６に記載の情報処理装置。
  8. 　前記表示制御部は、前記第１マーカポイント群に含まれる全てのマーカポイントに対して前記マーカが設置された後、設置された全てのマーカの位置情報を用いたフィッティングの結果に基づいて、前記優先度が２番目に高い第２マーカポイント群の分布を示す第２分布画像を前記顔画像に重畳して表示する、
    　請求項４に記載の情報処理装置。
  9. 　前記第２マーカポイント群は、顎に存在する１以上の解剖学的特徴点を含む、
    　請求項８に記載の情報処理装置。
  10. 　前記表示制御部は、前記顔画像にフィッティングされた前記顔モデルを前記第２分布画像とともに前記顔画像に重畳して表示する、
    　請求項９に記載の情報処理装置。
  11. 　前記フィッティング部は、前記第２分布画像に基づいて前記演者の顔に前記マーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて前記第２分布画像の重畳位置を調整する、
    　請求項８に記載の情報処理装置。
  12. 　前記表示制御部は、前記第１マーカポイント群および前記第２マーカポイント群に含まれる全てのマーカポイントに対して前記マーカが設置された後、設置された全てのマーカの位置情報を用いたフィッティングの結果に基づいて、前記優先度が３番目に高い第３マーカポイント群の分布を示す第３分布画像を前記顔画像に重畳して表示する、
    　請求項８に記載の情報処理装置。
  13. 　前記フィッティング部は、前記第３分布画像に基づいて前記演者の顔に前記マーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記フィッティングを行い、フィッティング結果に基づいて前記第３分布画像の重畳位置を調整する、
    　請求項１２に記載の情報処理装置。
  14. 　前記表示制御部は、前記分布画像によって示されるマーカポイントの位置との間に許容基準を超える乖離が生じた前記マーカを通知する、
    　請求項１に記載の情報処理装置。
  15. 　演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布を示す分布画像を重畳して表示し、
    　前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整する、
    　ことを有する、コンピュータにより実行される情報処理方法。
  16. 　演者の顔画像に、前記演者の顔モデルから抽出された複数のマーカポイントの分布を示す分布画像を重畳して表示し、
    　前記分布画像の重畳後に前記演者の顔にマーカが設置されるごとに、設置された前記マーカの位置情報を用いて前記顔モデルを前記顔画像にフィッティングし、フィッティング結果に基づいて前記分布画像の重畳位置を調整する、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2022/002349 2021-05-26 2022-01-24 情報処理装置、情報処理方法およびプログラム WO2022249539A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023523966A JPWO2022249539A1 (ja) 2021-05-26 2022-01-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-088407 2021-05-26
JP2021088407 2021-05-26

Publications (1)

Publication Number Publication Date
WO2022249539A1 true WO2022249539A1 (ja) 2022-12-01

Family

ID=84229704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002349 WO2022249539A1 (ja) 2021-05-26 2022-01-24 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2022249539A1 (ja)
WO (1) WO2022249539A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238291A (ja) * 2003-03-13 2011-11-24 Sony Pictures Entertainment Inc デジタル顔モデルのアニメーション化のためのシステム及び方法
JP2013054761A (ja) * 2006-04-24 2013-03-21 Sony Corp 演技から作り出される顔アニメーション
US20180025506A1 (en) * 2013-06-04 2018-01-25 Intel Corporation Avatar-based video encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238291A (ja) * 2003-03-13 2011-11-24 Sony Pictures Entertainment Inc デジタル顔モデルのアニメーション化のためのシステム及び方法
JP2013054761A (ja) * 2006-04-24 2013-03-21 Sony Corp 演技から作り出される顔アニメーション
US20180025506A1 (en) * 2013-06-04 2018-01-25 Intel Corporation Avatar-based video encoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Weta Digital Face Pipeline: Alita Battle Angel", POLYGO NOTES, JP, JP, pages 1 - 16, XP009541383, Retrieved from the Internet <URL:https://kai-tei.daa.jp/2019_0312_8887/> [retrieved on 20221219] *

Also Published As

Publication number Publication date
JPWO2022249539A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
TWI591378B (zh) 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體
JP6587421B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5388932B2 (ja) 情報処理装置およびその制御方法
CN109313346B (zh) 双目视图和单目视图之间的转换
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
EP3067861A2 (en) Determination of a coordinate conversion parameter
JP2006072903A (ja) 画像合成方法及び装置
KR20180112756A (ko) 표정 검출 성능을 갖는 머리-장착형 디스플레이
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
CN111279390B (zh) 用于构建用户面部图像的装置和方法以及介质
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
JPH10143652A (ja) 医用画像合成装置
WO2021130860A1 (ja) 情報処理装置、制御方法及び記憶媒体
JP2006513509A (ja) 合成情報の投影
CN110245549A (zh) 实时面部和对象操纵
WO2022249539A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7427467B2 (ja) 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム
JP2006285531A (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム
JP2022516466A (ja) 情報処理装置、情報処理方法、並びにプログラム
JP4926598B2 (ja) 情報処理方法、情報処理装置
JP2021009557A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015201734A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
KR101818992B1 (ko) 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법
JP2014155635A (ja) 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22810825

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023523966

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22810825

Country of ref document: EP

Kind code of ref document: A1