WO2016151691A1 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2016151691A1
WO2016151691A1 PCT/JP2015/058542 JP2015058542W WO2016151691A1 WO 2016151691 A1 WO2016151691 A1 WO 2016151691A1 JP 2015058542 W JP2015058542 W JP 2015058542W WO 2016151691 A1 WO2016151691 A1 WO 2016151691A1
Authority
WO
WIPO (PCT)
Prior art keywords
clothing
dimensional model
image
control points
mesh data
Prior art date
Application number
PCT/JP2015/058542
Other languages
English (en)
French (fr)
Inventor
馨 杉田
正志 西山
関根　真弘
英貴 大平
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to JP2017507157A priority Critical patent/JP6302132B2/ja
Priority to PCT/JP2015/058542 priority patent/WO2016151691A1/ja
Publication of WO2016151691A1 publication Critical patent/WO2016151691A1/ja
Priority to US15/420,545 priority patent/US10366533B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • Embodiments described herein relate generally to an image processing apparatus, an image processing system, an image processing method, and a program.
  • a technique capable of acquiring, for example, a three-dimensional shape and a texture map (hereinafter referred to as a 3DCG model) of the whole body by scanning with a range finder has been developed.
  • a 3DCG model of the clothing part can be generated by scanning a subject wearing the clothing (for example, a mannequin).
  • a subject wearing the clothing for example, a mannequin
  • the 3DCG model of the clothing part generated in this way is displayed on a screen including a user, for example, the user virtually tries on the clothing (hereinafter referred to as virtual) without actually trying it on. It can be expressed as “try-on”.
  • the state (orientation, posture, body shape, etc.) of the user who performs the virtual fitting as described above is various. For this reason, it is preferable to generate a 3DCG model corresponding to each of these user states. However, it is difficult to prepare all such 3DCG models from the viewpoint of cost (expense) and time required to generate the 3DCG model.
  • a problem to be solved by the present invention is to provide an image processing apparatus, an image processing system, an image processing method, and a program capable of easily generating an image of clothes used for virtual fitting.
  • the image processing apparatus includes a first acquisition unit, a first setting unit, a second acquisition unit, an extraction unit, a first generation unit, a third acquisition unit, and a second acquisition unit.
  • the first acquisition unit acquires a first three-dimensional model of the subject.
  • the first setting means sets a plurality of first control points on the acquired first three-dimensional model.
  • the second acquisition unit acquires a clothing captured image including the subject wearing the clothing.
  • the extraction means extracts the region of the clothes worn by the subject included in the clothing captured image from the acquired clothing captured image.
  • the first generation unit generates mesh data representing the meshed clothing region by dividing the extracted clothing region into a mesh shape.
  • the third acquisition unit acquires a second three-dimensional model by deforming the acquired first three-dimensional model.
  • the second setting means sets a plurality of second control points corresponding to the plurality of first control points on the acquired second three-dimensional model.
  • the deformation means is based on movement amounts from a plurality of first control points set on the first three-dimensional model to a plurality of second control points set on the second three-dimensional model.
  • the generated mesh data is transformed.
  • the second generation unit generates an image of the garment using the acquired clothing captured image and the deformed mesh data.
  • FIG. 1 is a diagram for explaining a configuration of an image processing system according to the first embodiment.
  • FIG. 2 is a diagram for explaining the configuration of the image processing system.
  • FIG. 3 is a block diagram mainly illustrating an example of a functional configuration of the image processing apparatus.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of the image processing apparatus.
  • FIG. 5 is a diagram illustrating an example of the 3D model before deformation.
  • FIG. 6 is a diagram illustrating an example of a clothing region.
  • FIG. 7 is a diagram illustrating an example of a clothing image acquired from a clothing captured image.
  • FIG. 8 is a diagram illustrating an example of control points set on the pre-deformation 3D model.
  • FIG. 9 is a diagram illustrating an example of mesh data.
  • FIG. 1 is a diagram for explaining a configuration of an image processing system according to the first embodiment.
  • FIG. 2 is a diagram for explaining the configuration of the image processing system.
  • FIG. 10 is a diagram for explaining processing when calculating the influence degree.
  • FIG. 11 is a diagram for explaining the distance between the target control point and the target vertex calculated as the degree of influence.
  • FIG. 12 is a diagram illustrating an example of the post-deformation 3D model.
  • FIG. 13 is a diagram illustrating an example of control points set on the post-deformation 3D model.
  • FIG. 14 is a diagram illustrating an example of post-deformation mesh data.
  • FIG. 15 is a diagram illustrating an example of a clothing image generated by the clothing image generation unit.
  • FIG. 16 is a diagram illustrating an example of the post-deformation 3D model in which the position of the arm is changed.
  • FIG. 17 is a block diagram mainly illustrating an example of a functional configuration of the image processing apparatus according to the second embodiment.
  • FIG. 18 is a flowchart illustrating an example of a processing procedure of the image processing apparatus.
  • FIG. 19 is a diagram illustrating an example of a clothing captured image.
  • FIG. 20 is a diagram illustrating an example of a clothing area.
  • FIG. 21 is a diagram for explaining boundary information.
  • FIG. 22 is a diagram for explaining the distance between the vertex calculated as the degree of influence and the control point.
  • FIG. 23 is a block diagram mainly illustrating an example of a functional configuration of the image processing apparatus according to the third embodiment.
  • FIG. 24 is a flowchart illustrating an example of a processing procedure of the image processing apparatus.
  • FIG. 25 is a block diagram mainly showing a functional configuration of the image processing apparatus according to the fourth embodiment.
  • FIG. 26 is a flowchart illustrating an example of a processing procedure of the image processing apparatus.
  • FIG. 27 is a diagram for describing a clothing image generated in the present embodiment.
  • FIG. 28 is a diagram for explaining the opacity of the first image and the second image in the boundary region.
  • the image processing system includes a first imaging unit 100, a second imaging unit 200, an image processing device 300, and the like.
  • the first imaging unit 100 captures an image of a subject 402 placed on a turntable 401 that can rotate at an arbitrary angle, for example, and includes an image including the subject 402 (hereinafter, the depth of the subject 402).
  • This is an imaging device for outputting (denoted as an image).
  • the depth image is also called a distance image, and is an image in which the distance from the first imaging unit 100 is defined for each pixel.
  • a depth sensor is used as the first imaging unit 100.
  • the second imaging unit 200 is placed on the turntable 401 described above, images the subject 402 wearing the clothing 403, and includes an image including the subject 402 wearing the clothing 403 (hereinafter, This is an imaging device for outputting clothing captured images.
  • the clothing captured image is a bitmap image, and is an image in which pixel values indicating the color, brightness, and the like of the subject 402 (clothes 403 worn by the subject) are defined for each pixel.
  • a general-purpose camera or the like is used as the second imaging unit 200.
  • the subject 402 imaged by the first imaging unit 100 and the second imaging unit 200 is an object to try on clothes. 1 and 2, it is assumed that the subject 402 is a mannequin that imitates the shape of a human body, for example.
  • the subject 402 is described as a mannequin.
  • the subject 402 may be a mannequin that imitates the shape of a pet, such as a dog or a cat, and other objects, such as a person, It may be a living organism such as a pet.
  • the depth image of the subject 402 output by the first imaging unit 100 and the clothing captured image output by the second imaging unit 200 are acquired by the image processing device 300.
  • the image processing apparatus 300 uses the acquired depth image and captured clothing image of the subject 402 to change the subject 402 in a state (for example, orientation, posture, or body shape) different from the subject 402 wearing the clothing 403 described above.
  • the clothing image generated by the image processing apparatus 300 in this way is accumulated (stored) in the image processing apparatus 300.
  • the clothes image stored in the image processing apparatus 300 is used for virtual try-on.
  • a clothing image stored in the image processing apparatus 300 on an image including the user imaged by the imaging unit on a display device provided at a position facing a user in a store selling the clothing 403.
  • the user can virtually try on the clothes 403 (hereinafter referred to as virtual try-on).
  • the image processing system may further include a server device that is communicably connected to the image processing device 300 via a network, for example.
  • the clothing image generated by the image processing device 300 may be stored (stored) in the server device.
  • FIG. 3 is a block diagram mainly showing a functional configuration of the image processing apparatus 300 according to the present embodiment.
  • the image processing apparatus 300 includes a 3D model acquisition unit 301, a 3D model projection unit 302, a control point setting unit 303, a control point change unit 304, a captured captured image acquisition unit 305, a clothing region extraction unit 306, A mesh data generation unit 307, an influence calculation unit 308, a mesh data transformation unit 309, a clothing image generation unit 310, a presentation processing unit 311 and a clothing image storage unit 312 are included.
  • a part or all of these units 301 to 311 are realized by causing a computer such as a CPU provided in the image processing apparatus 300 to execute a program, that is, by software.
  • a part or all of each of the units 301 to 311 may be realized by hardware such as an IC (Integrated Circuit), or may be realized as a combination configuration of software and hardware.
  • the clothing image storage unit 312 is stored in a storage device such as an HDD (Hard Disk Disk Drive) provided in the image processing apparatus 300. Note that the clothing image storage unit 312 may be provided in, for example, an external device (server device) connected to the image processing apparatus 300 so as to be communicable.
  • the 3D model acquisition unit 301 acquires a depth image of the subject 402 output from the first imaging unit 100 described above.
  • the 3D model acquisition unit 301 acquires (generates) a three-dimensional model (hereinafter referred to as a 3D model) of the subject 402 by modeling the subject 402 based on the acquired depth image of the subject 402.
  • the 3D model of the subject 402 acquired by the 3D model acquisition unit 301 is a model representing the state (orientation, posture, body shape, etc.) of the subject 402 imaged by the first imaging unit 100.
  • the 3D model acquisition unit 301 acquires a 3D model different from the 3D model by deforming the acquired 3D model, for example.
  • the 3D model (first three-dimensional model) acquired based on the depth image of the subject 402 is converted into a 3D model before deformation, and the 3D model (first image acquired by deforming the 3D model before deformation). 2 three-dimensional model) is referred to as a post-deformation 3D model.
  • the post-deformation 3D model includes, for example, a 3D model in which the orientation, posture, or body shape of the pre-deformation 3D model is changed.
  • the 3D model (pre-deformation 3D model and post-deformation 3D model) acquired by the 3D model acquisition unit 301 includes a plurality of vertices, and each of the plurality of vertices has a three-dimensional position of the vertex. (Coordinates) is added. It is assumed that a number (hereinafter referred to as a vertex number) for identifying the vertex is assigned to each of the plurality of vertices constituting the 3D model. Note that the same vertex number is assigned to the corresponding vertex in the pre-deformation 3D model and the post-deformation 3D model (that is, a vertex at the same structural position in the 3D model).
  • the 3D model projection unit 302 projects the 3D model (pre-deformation 3D model and post-deformation 3D model) acquired by the 3D model acquisition unit 301 onto, for example, a screen surface.
  • the 3D model projection unit 302 projects the 3D model in accordance with the viewpoint position and the angle of view of the second imaging unit 200 described above (that is, the viewpoint position and the angle of view capturing the clothing captured image).
  • the control point setting unit 303 sets a plurality of control points (first control points) on the pre-deformation 3D model acquired by the 3D model acquisition unit 301.
  • the control point setting unit 303 refers to the pre-deformation 3D model projected on the screen surface by the 3D model projection unit 302 and sets control points from among a plurality of vertices constituting the pre-deformation 3D model ( select.
  • control point setting unit 303 sets a plurality of control points (second control points) on the deformed 3D model acquired by the 3D model acquisition unit 301.
  • control point setting unit 303 sets (selects) a control point corresponding to the control point set on the pre-deformation 3D model among the plurality of vertices constituting the post-deformation 3D model.
  • the control point changing unit 304 changes the control point set by the control point setting unit 303, for example, in response to a user operation on the image processing apparatus 300.
  • the clothing captured image acquisition unit 305 acquires the clothing captured image output from the second imaging unit 200 described above.
  • the clothing region extraction unit 306 extracts a region of the clothing 403 worn by the subject 402 included in the clothing captured image (hereinafter referred to as a clothing region) from the clothing captured image acquired by the clothing captured image acquisition unit 305.
  • the mesh data generation unit 307 generates mesh data representing the meshed clothing region by dividing the clothing region extracted by the clothing region extraction unit 306 into a mesh shape. Note that the mesh data generated by the mesh data generation unit 307 has a plurality of vertices represented by meshing the clothing region.
  • the influence degree calculation unit 308 is configured to control each of a plurality of control points set on the pre-deformation 3D model.
  • the degree of influence indicating the degree of influence of movement on each of the plurality of vertices of the mesh data generated by the mesh data generation unit 307 (that is, the degree of influence of the control point on the vertex) calculate.
  • the influence calculation unit 308 includes a plurality of control points set on the 3D model before deformation by the control point setting unit 303 and a plurality of vertices included in the mesh data generated by the mesh data generation unit 307. The degree of influence is calculated for each combination.
  • the mesh data deformation unit 309 includes a plurality of control points set on the 3D model before deformation by the control point setting unit 303, a plurality of control points set on the 3D model after deformation by the control point setting unit 303, and mesh data Based on the mesh data generated by the generation unit 307 and the influence degree calculated by the influence degree calculation unit 308, a process of deforming the mesh data is executed.
  • the details of the processing executed by the mesh data deforming unit 309 will be described later, but the mesh data deforming unit 309 controls the control set on the post-deformation 3D model from a plurality of control points set on the pre-deformation 3D model.
  • the mesh data generated by the mesh data generation unit 307 is deformed.
  • the mesh data deformed by the mesh data deforming unit 309 is referred to as post-deformed mesh data.
  • the clothing image generation unit 310 generates an image of the clothing 403 (that is, a clothing image) using the clothing captured image (the clothing region extracted from the clothing image) and the mesh data after deformation.
  • the clothing image generated by the clothing image generation unit 310 is an image representing the state of the clothing 403 when the deformed 3D model (the subject represented by the orientation, posture, and body shape) wears the clothing 403.
  • the clothing image generated by the clothing image generation unit 310 is presented (displayed) to the administrator of the image processing apparatus 300 by the presentation processing unit 311.
  • the clothing image generated by the clothing image generation unit 310 is stored (accumulated) in the clothing image storage unit 312.
  • the 3D model acquisition unit 301 acquires a 3D model (pre-deformation 3D model) of the subject 402 based on the depth image of the subject 402 output from the first imaging unit 100 (step S1). Note that although the pre-deformation 3D model is acquired based on the depth image of the subject 402 here, the pre-deformation 3D model is acquired using, for example, a 3D scanner if the structures match. It doesn't matter.
  • FIG. 5 shows the pre-deformation 3D model 501 acquired by the 3D model acquisition unit 301.
  • the pre-deformation 3D model 501 is an example of a 3D model acquired based on a depth image of the subject 402 facing substantially in front of the first imaging unit 100, for example.
  • the pre-deformation 3D model 501 is composed of a plurality of vertices.
  • a three-dimensional position (coordinate) of the vertex is added to each of the plurality of vertices.
  • a vertex number is assigned to each of the plurality of vertices.
  • the captured clothing image acquisition unit 305 acquires the captured clothing image output from the second imaging unit 200 (step S2).
  • This clothing captured image is an image including the subject 402 wearing the clothing 403 in a state (posture and the like) equivalent to that at the time of imaging by the first imaging unit 100 described above.
  • the clothing region extraction unit 306 performs, for example, a mask process on the clothing captured image acquired by the clothing captured image acquisition unit 305, thereby changing the clothing captured image from the clothing captured image (that is, the clothing captured image into the clothing captured image).
  • the type of clothes 403 worn by the included subject 402 is extracted (step S3).
  • FIG. 6 shows a clothing region 601 extracted by the clothing region extraction unit 306 (that is, an extraction result by the clothing region extraction unit 306).
  • Such extraction of the clothing region 601 may be realized using, for example, a general-purpose image editing tool.
  • a clothing image that is, the second imaging unit as illustrated in FIG. 7 can be obtained from the clothing captured image acquired by the clothing captured image acquisition unit 305.
  • the image 701 image of the clothing 403 in a state worn by the subject 402 taken by the user 200
  • the clothing image 701 acquired in this way is stored in the clothing image storage unit 312 for use in the virtual try-on described above.
  • the control point setting unit 303 sets a plurality of control points on the pre-deformation 3D model 501 acquired by the 3D model acquisition unit 301 (step S4).
  • the 3D model projection unit 302 projects, for example, the pre-deformation 3D model 501 acquired by the 3D model acquisition unit 301 onto the screen surface according to the viewpoint position and the angle of view of the second imaging unit 200. It is assumed that the positional relationship between the first imaging unit 100 and the second imaging unit 200 is calibrated in advance.
  • the control point setting unit 303 is a vertex that appears on the forefront when the pre-deformation 3D model 501 is projected on the screen surface among the plurality of vertices constituting the pre-deformation 3D model 501 and is projected.
  • the vertex located on the outermost periphery of the 3D model before deformation is set (selected) as a control point.
  • the control point setting unit 303 holds the vertex number assigned to each of the plurality of control points set on the pre-deformation 3D model 501 in the control point setting unit 303.
  • control point is selected from all the vertices that make up the 3D model before deformation, but vertices that are susceptible to changes in body orientation, posture, or body shape (ie, physical feature points) It is also possible to select a control point from among the vertices. Specifically, representative vertices (for example, vertices located on the shoulder, elbow, waist, etc.) in the 3D model such as a plurality of orientations, postures, and body shapes may be selected in advance.
  • a vertex associated with the clothing 403 is selected in advance, and a control point is selected from the vertex. May be selected. Specifically, if the garment 403 is to be worn on the upper body such as a top, for example, a vertex located on the upper body of the 3D model before deformation may be selected in advance as the vertex associated with the clothing 403. . On the other hand, if the garment 403 is to be worn on the lower body such as the bottom, for example, a vertex located on the lower body of the 3D model before deformation may be selected in advance as the vertex associated with the clothing 403.
  • FIG. 8 shows an example of control points set on the pre-deformation 3D model 501 shown in FIG.
  • only one control point is given a reference for convenience, but a plurality of control points including the control point 501a are set (arranged) on the 3D model 501 before deformation.
  • the garment 403 is worn on the upper body, and an example is shown in which the control points are set from the vertices located on the upper body of the 3D model before deformation.
  • the pre-deformation 3D model 501 in which a plurality of control points are set by the control point setting unit 303 as shown in FIG. 8 is presented to an administrator, for example.
  • the administrator can confirm a plurality of control points set on the 3D model 501 before deformation.
  • the control point changing unit 304 changes the control points (for example, control points according to the operation of the administrator). Move, add and delete). According to this, it is possible to set the vertex intended by the user on the 3D model 501 before deformation.
  • the mesh data generation unit 307 converts the clothing region 601 extracted by the clothing region extraction unit 306 into a mesh (that is, divides it into a mesh shape), thereby generating mesh data ( That is, mesh data representing meshed clothing region 601 is generated (step S5).
  • FIG. 9 shows the mesh data 801 generated by the mesh data generation unit 307.
  • the mesh data 801 has a plurality of vertices including a vertex 801a.
  • the plurality of vertices are vertices of small areas in the clothes area 601 divided in a mesh shape.
  • Such generation of mesh data may be realized using, for example, a general-purpose CG (Computer Graphics) tool.
  • CG Computer Graphics
  • the influence calculation unit 308 includes the mesh data 801 generated by the mesh data generation unit 307 and each of the plurality of control points set on the pre-deformation 3D model 501 by the control point setting unit 303.
  • the degree of influence for each combination of a plurality of vertices (that is, the degree of influence of each control point on each vertex) is calculated (step S6).
  • a target control point 501a among a plurality of control points on one vertex (hereinafter referred to as a target vertex) 801a among a plurality of vertices.
  • the process will be specifically described.
  • the influence calculation unit 308 is generated by the mesh data generation unit 307 with respect to the image 901 obtained by projecting the 3D model 501 before deformation onto the screen surface by the 3D model projection unit 302 described above.
  • the image 902 is generated by superimposing the mesh data (that is, mesh data representing the meshed clothing region 601). Note that the image 902 is an image representing a state in which the subject 402 wears the clothes 403.
  • the influence calculation unit 308 uses the area of the pre-deformation 3D model 501 in the image 902 (that is, the area obtained by projecting the pre-deformation 3D model 501 on the screen surface) as the influence of the target control point 501a on the target vertex 801a.
  • the distance between the target control point 501a and the target vertex 801a in the sum area 903 with the area of the mesh data 801 (that is, the clothes area 601 represented by the mesh data 801) is calculated.
  • FIG. 11 is an enlarged view of the region 903 (the sum region of the region of the 3D model 501 before deformation and the region of the mesh data 801) shown in FIG.
  • the target control point 501a is set at a position inside the arm of the 3D model 501 (region) before deformation.
  • the target vertex 801a is arranged near the center of the mesh data 801.
  • the influence calculation unit 308 calculates the shortest path 1001 from the target vertex 801a passing through the area 903 to the target control point 501a, and based on the calculated shortest path, the target control point 501a and the target vertex 801a. The distance between is calculated.
  • the influence degree of the target control point 501a on the target vertex 801a increases as the value (that is, the distance) decreases. Represents that.
  • the value based on the bend angle is multiplied or added, based on the path.
  • the calculated distance may be increased (that is, the influence of the target control point 501a on the target vertex 801a is reduced).
  • the distance calculated based on the path may be increased. Good. It is assumed that the skeleton (position) of the 3D model before deformation is estimated from the position of the joint in the 3D model before deformation.
  • the control point set at the arm position of the 3D model 501 and the torso position are set. It is possible to prevent the set control points from affecting each other.
  • the 3D model acquisition unit 301 acquires the post-deformation 3D model by deforming the pre-deformation 3D model 501 acquired in step S1 (step S7).
  • the post-deformation 3D model is generated by, for example, deforming (changing) at least one of the orientation, posture, and body shape of the pre-deformation 3D model.
  • FIG. 12 shows the post-deformation 3D model 502 acquired by the 3D model acquisition unit 301.
  • the post-deformation 3D model 502 is an example of a 3D model in which the orientation of the pre-deformation 3D model 501 shown in FIG. 5 is changed by about 10 degrees.
  • the post-deformation 3D model 502 includes a plurality of vertices similar to the pre-deformation 3D model 501.
  • the same vertex numbers are assigned to the corresponding vertices (that is, vertices at the same structural position).
  • a post-deformation 3D model may be acquired (generated) based on a depth image output by imaging by the imaging unit 100.
  • control point setting unit 303 sets a plurality of control points on the post-deformation 3D model 502 acquired by the 3D model acquisition unit 301 (step S8).
  • the control point setting unit 303 sets a control point corresponding to the control point set on the pre-deformation 3D model 501 among a plurality of vertices constituting the post-deformation 3D model 502 (that is, the pre-deformation 3D).
  • the vertex corresponding to the vertex set as the control point on the model 501 is set as the control point).
  • control point setting unit 303 is assigned to each of the vertex numbers held in the control point setting unit 303 in step S4 described above (that is, each of the plurality of control points set on the 3D model 501 before deformation).
  • the vertex having the same vertex number as the control point is set as the control point.
  • FIG. 13 shows an example of control points set on the post-deformation 3D model 502 shown in FIG.
  • FIG. 13 for convenience, only one control point is provided with a reference symbol, but a plurality of control points including the control point 502a are set (arranged) on the transformed 3D model 502.
  • the control point 502a set at the same position (left arm) as the control point 501a set on the pre-deformation 3D model 501 shown in FIG. 8 is the control point corresponding to the control point 501a (that is, The control point assigned the same vertex number as the control point 501a).
  • the mesh data deforming unit 309 includes a plurality of control points set on the 3D model before deformation in step S4, and the degree of influence calculated in step S7 (that is, the influence of each control point on each vertex). Degree) and a plurality of control points set on the 3D model after deformation in step S8, the mesh data generated in step S5 is deformed (step S9).
  • the mesh data deforming unit 309 performs, for example, weighted averaging of movement amounts (vectors) of corresponding control points set on the pre-deformation 3D model and the post-deformation 3D model by the degree of influence, so that a plurality of mesh data has Determine (change) the position of each vertex.
  • mesh data (deformed mesh data) 802 obtained by modifying the mesh data 801 shown in FIG. 9 is generated.
  • this mesh data for example, a Rigid deformation technique can be used.
  • the distance used in this method the above-described influence degree may be used.
  • the mesh data deformation unit 309 calculates w i for all control points i based on the following equation (1). Note that i is an index of a control point set on the 3D model 501 before deformation.
  • D i is the distance from the vertex j to the control point i (that is, the degree of influence of the control point i on the vertex j).
  • (alpha) in Formula (1) is a constant, for example, can be 1 or 2 grade
  • the mesh data deforming unit 309 calculates ⁇ based on the following equation (4).
  • the mesh data deformation unit 309 calculates A i based on the following equation (6).
  • the two-dimensional coordinates in the deformed mesh data are calculated for all of the plurality of vertices of the mesh data using the above formulas (1) to (10).
  • the mesh data 801 shown in FIG. 9 can be transformed into post-deformation mesh data 802 by setting the positions of the vertices of the mesh data to the two-dimensional coordinates calculated in this way.
  • connection relationship between the vertices for configuring the mesh surface in the mesh data does not change in the process of step S9. Further, as described above, all the vectors used in the mesh data transformation algorithm are assumed to be row vectors.
  • the post-deformation mesh data 802 is distorted. May be removed.
  • the clothing image generation unit 310 generates an image (clothing image) of the clothing 403 using the clothing photographed image and the deformed mesh data 802 (step S10).
  • the shape of the clothing region 601 represented by the mesh data (hereinafter referred to as pre-deformation mesh data) 801 generated in step S5 described above matches the shape of the clothing 403 included in the clothing captured image. For this reason, the colors corresponding to a plurality of vertices included in the pre-deformation mesh data 801 can be specified from the clothes photographed image.
  • the clothing image generation unit 310 generates a clothing image 702 as shown in FIG. 15, for example, by adding a corresponding color to each of a plurality of vertices included in the post-deformation mesh data 802. Can do.
  • the clothing image 702 shown in FIG. 15 is obtained by deforming the clothing image 701 shown in FIG. 7 described above, and the state of the clothing 403 when the 3D model 502 after the deformation wears the clothing 403 (that is, the second image 702).
  • the presentation processing unit 311 presents the clothing image 702 generated by the clothing image generation unit 310 (step S11).
  • the administrator can confirm the clothing image 702 by the clothing image generation unit 310.
  • the above-described 3D model 501 before deformation described above As a result of confirming the clothing image 702, if the administrator determines that the clothing image 702 is not appropriate (that is, the clothing image 702 needs to be corrected), the above-described 3D model 501 before deformation described above. It is possible to instruct change of the control point set above (for example, movement, addition and deletion of the control point).
  • step S12 it is determined whether or not a change of the control point set on the pre-deformation 3D model 501 has been instructed.
  • step S12 If it is determined that the change of the control point has been instructed (YES in step S12), for example, the control point is changed according to the operation of the administrator, and then the process returns to step S6 described above and the process is repeated.
  • the clothing image 702 is stored in the clothing image storage unit 312. (Step S13). In this case, the clothing image 702 is stored in association with the state (orientation, posture, body shape, etc.) of the post-deformation 3D model 502, for example.
  • a clothing image 702 representing a state in which the orientation of the subject 402 is changed from that of the clothing 403 worn by the subject 402 is generated.
  • a clothes image in which the position of the sleeve is changed from the clothes 403 worn by the subject 402 is generated. It is also possible.
  • mesh data is obtained by acquiring the pre-deformation 3D model (first three-dimensional model) 501 of the subject 402 and dividing the clothing region 601 extracted from the captured clothing image into a mesh shape.
  • a post-deformation 3D model (second three-dimensional model) 502 is obtained by generating 801 and deforming the pre-deformation 3D model 501.
  • the mesh data 801 is deformed based on the movement amount to (), and a clothes image is generated using the clothes photographed image and the deformed mesh data 802.
  • the second imaging unit 200 only captures a specific orientation, posture, and body-shaped subject (for example, a mannequin) 402 wearing a garment 403.
  • a posture and body subject wears the clothing 403
  • a clothing image representing the state of the clothing 403 that is, a clothing image obtained by two-dimensionally deforming the image 701 of the clothing 403 worn by the subject 402
  • 702 is generated. It becomes possible. For this reason, in the present embodiment, it is possible to reduce the cost and time required for generating a clothing image, and it is possible to easily generate a clothing image used for virtual fitting.
  • the movement of each of the plurality of control points set on the pre-deformation 3D model 501 is moved to each of the plurality of vertices of the mesh data 801.
  • the degree of influence representing the degree of influence is calculated, and the mesh data is transformed using the degree of influence.
  • the degree of influence calculated in the present embodiment is the area of the untransformed 3D model 501 when the mesh data 801 is superimposed on the untransformed 3D model 501 so that the subject 402 represents the state of wearing the clothes 403. And the distance between each control point and each vertex in the sum area of the clothes area 601 represented by the mesh data 801.
  • the mesh data can be deformed so that, for example, the arm control points and the torso control points set on the 3D model do not affect each other, and thus more appropriately.
  • Mesh data can be transformed, and as a result, a highly accurate clothing image 702 can be generated.
  • vertices located on the outer periphery of the pre-deformation 3D model 501 and corresponding to physical feature points in the pre-deformation 3D model 501 are defined as control points on the pre-deformation 3D model 501.
  • mesh data can be deformed so as to appropriately reflect the movement of control points between the pre-deformation 3D model 501 and the post-deformation 3D model 502.
  • the image processing apparatus 300 When the image processing apparatus 300 according to the present embodiment accumulates clothing images of various patterns (orientations, postures, and body shapes), when the user performs virtual try-on in the store as described above, for example, imaging
  • the body type parameter of the user captured by the unit can be acquired, and a clothing image associated with a body type parameter similar to the body type parameter can be selected.
  • a highly accurate composite image representing a state in which the user wears clothes (a state in which the clothes are fitted to the user's orientation, posture, and body shape).
  • clothes images of various patterns are stored.
  • a 3D model of the subject 402 wearing the garment 403 that is, a 3D model before deformation
  • the 3D model after deformation corresponding to the user's state is acquired at the time of virtual fitting as described above, and a clothing image that fits the orientation, posture, and body shape of the user is generated.
  • the generation of the clothing image in the present embodiment may be executed at the time of virtual try-on in the store.
  • FIG. 17 is a block diagram mainly showing a functional configuration of the image processing apparatus according to the present embodiment.
  • the same parts as those in FIG. 3 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • parts different from FIG. 3 will be mainly described.
  • the configuration of the image processing system including the image processing apparatus according to the present embodiment is the same as that of the first embodiment described above, and will be described with reference to FIGS. 1 and 2 as appropriate.
  • the image processing apparatus 1100 includes a boundary information acquisition unit 1101 and a depth information calculation unit 1102.
  • the garment 403 worn by the subject 402 is a garment with loose arms or torso (loose)
  • the arm and the torso are integrated in the garment region extracted from the captured clothing image.
  • the arm and the torso are integrated in this way, for example, the shortest distance between the control point set at the position of the arm and the apex arranged on the torso is shortened (that is, the Therefore, when the mesh data is deformed, the body may be distorted in accordance with the change in the arm position.
  • the boundary information acquisition unit 1101 acquires boundary information indicating the boundary of the clothing region extracted by the clothing region extraction unit 306.
  • the boundary information acquired by the boundary information acquisition unit 1101 is the distance between each of a plurality of control points set on the 3D model before deformation and each of a plurality of vertices included in the mesh data (described later). That is, it is used when calculating the degree of influence of each control point on each vertex.
  • the mesh data of the clothing area in the first embodiment described above is two-dimensional data. For this reason, when mesh data is deformed, for example, the meshes of the arm and the torso may overlap each other. When a clothing image is generated using such mesh data, the clothing image may not be drawn correctly.
  • the depth information calculation unit 1102 calculates depth information corresponding to each of a plurality of vertices included in the mesh data generated by the mesh data generation unit 307.
  • the depth information (coordinates) corresponding to each of the plurality of vertices is added to the three-dimensional position (coordinates) added to the control points (vertices) set on the 3D model after deformation by the control point setting unit 303. It is calculated based on the included depth information (information indicating the position of the control point in the depth direction with respect to the second imaging unit 200).
  • the depth information calculated by the depth information calculation unit 1102 is used when a clothing image is generated using the deformed mesh data as will be described later.
  • steps S21 to S23 corresponding to the steps S1 to S3 shown in FIG. 4 are executed.
  • the boundary information acquisition unit 1101 acquires boundary information indicating the boundary (region boundary) of the clothing region extracted from the clothing captured image by the clothing region extraction unit 306 (step SS24).
  • the clothing area is presented to an administrator or the like.
  • the administrator can check the clothing region (that is, the extraction result) extracted by the clothing region extraction unit 306.
  • FIG. 19 shows an example of a clothing captured image acquired by the clothing captured image acquisition unit 305.
  • FIG. 20 shows an example of a clothing region extracted from the clothing captured image shown in FIG. In the clothing region shown in FIG. 20, the arms and the torso are integrated. In such a clothing region (which is meshed mesh data), the shortest distance between the control point set at the position of the arm and the apex placed on the torso, for example, in the influence calculation process described later Is calculated to be short, and the degree of influence is not appropriate.
  • the administrator can specify a boundary (representing boundary information) on the presented clothing area.
  • boundaries 1201 and 1202 are designated at both sides of the clothing area.
  • step S24 the boundary information acquisition unit 1101 can acquire the boundary information designated by the administrator as described above.
  • the boundary information acquired by the boundary information acquisition unit 1101 in this way is added (given) to the clothing area as attribute information.
  • step S24 When the process of step S24 is executed, the processes of steps S25 and S26 corresponding to the processes of steps S4 and S5 shown in FIG. 4 described above are executed.
  • the depth information calculation unit 1102 calculates depth information corresponding to each of a plurality of vertices included in the mesh data generated by the mesh data generation unit 307 (step S27).
  • the depth information calculation unit 1102 has, for example, the mesh data in the case where the mesh data is superimposed on the 3D model before deformation so that the subject 402 represents the state of wearing the clothes 403 as described above.
  • the position of the vertex in the depth direction from the three-dimensional position (coordinates) added to the post-deformation 3D model corresponding to the control point (ie, the apex constituting the pre-deformation 3D model) located in the vicinity of each of the vertices Coordinates (that is, depth information) are calculated (interpolated).
  • the depth information corresponding to each of the plurality of vertices included in the mesh data calculated by the depth information calculation unit 1102 is added to the vertices.
  • the influence calculation unit 308 includes each of a plurality of control points set on the 3D model before deformation by the control point setting unit 303 and each of a plurality of vertices included in the mesh data generated by the mesh data generation unit 307.
  • the degree of influence for each combination is calculated (step S28).
  • the influence degree calculation unit 308 is based on the shortest path from each vertex to each control point, and the influence degree of each control point with respect to each vertex (that is, each The distance between the vertex and each control point) is calculated.
  • the shortest path in this case is a path that does not cross the boundaries 1201 and 1202 indicated by the boundary information added to the clothes area (mesh data) (for example, a path) 1301).
  • step S28 When the process of step S28 is executed, the processes of steps S29 to S31 corresponding to the processes of steps S7 to S9 shown in FIG. 4 are executed.
  • the clothing image generation unit 310 generates a clothing image by adding a corresponding color to each of a plurality of vertices included in the post-deformation mesh data (step S32). At this time, the clothing image generation unit 310 generates a clothing image with a correct depth relationship by using, for example, a Z buffer together. Specifically, the clothing image generation unit 310 performs hidden surface removal processing and the like based on depth information added to each of a plurality of vertices included in the post-deformation mesh data.
  • step S32 When the process of step S32 is executed, the processes of steps S33 to S35 corresponding to the processes of steps S11 to S13 shown in FIG. 4 are executed. In addition, when it determines with the change of the control point having been instruct
  • the depth information corresponding to each vertex is added to each of a plurality of vertices included in the mesh data, and the mesh data (deformed mesh after deformation) is generated when generating the clothing image.
  • the boundary information indicating the boundary of the extracted clothing region is acquired, and the appropriate degree of influence is calculated by calculating the distance between each control point and each vertex using the boundary information.
  • FIG. 23 is a block diagram mainly illustrating a functional configuration of the image processing apparatus according to the present embodiment.
  • the same parts as those in FIG. 3 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • parts different from FIG. 3 will be mainly described.
  • the configuration of the image processing system including the image processing apparatus according to the present embodiment is the same as that of the first embodiment described above, and will be described with reference to FIGS. 1 and 2 as appropriate.
  • the image processing apparatus 1400 includes a clothing captured image acquisition unit 1401 and a clothing image generation unit 1402.
  • the clothing captured image acquisition unit 1401 acquires a clothing captured image including the subject 402 wearing the clothing 403, which is output from the second imaging unit 200.
  • the clothing captured image acquired by the clothing captured image acquisition unit 1401 includes, for example, a clothing captured image (first clothing captured image) including the subject 402 in the first state and a second state different from the first state.
  • a clothing captured image (second clothing captured image) including the subject 402 in the state is included.
  • the first clothing captured image includes, for example, a clothing captured image including a subject 402 facing substantially in the front direction with respect to the second imaging unit 200 (and the first imaging unit 100).
  • the captured clothing image includes a captured clothing image including a subject 402 facing in a direction (angle) rotated about 10 degrees from the substantially front direction.
  • the pre-deformation 3D model acquired by the 3D model acquisition unit 301 is a model representing the first state (for example, orientation, posture, body shape, etc.) of the subject 402.
  • the post-deformation 3D model acquired by the 3D model acquisition unit 301 is a model representing the second state (for example, orientation, posture, and body shape) of the subject 402.
  • the clothing image generation unit 1402 generates an image of the clothing 403 using the second clothing captured image acquired by the clothing captured image acquisition unit 1401 and the mesh data (deformed mesh data) deformed by the mesh data deformation unit 309. To do.
  • the 3D model acquisition unit 301 based on the depth image of the subject 402 in the first state output from the first imaging unit 100, the 3D model (pre-deformation 3D model) of the subject 402 in the first state. Is acquired (step S41).
  • the pre-deformation 3D model acquired in step S41 is, for example, a model that represents the subject 402 facing substantially in the front direction.
  • the garment captured image acquisition unit 1401 acquires the first garment captured image output from the second imaging unit 200.
  • the first clothing captured image is an image including the subject 402 wearing the clothing 403 in a state equivalent to the image capturing by the first image capturing unit 100 described above (that is, the first state).
  • the first clothing captured image is an image including the subject 402 wearing, for example, the clothing 403 and facing substantially in the front direction.
  • the clothing captured image acquisition unit 1401 includes the second clothing including the subject 402 wearing the clothing 403 in a state different from the first state (that is, the second state).
  • a captured image is acquired.
  • the second clothing captured image is an image including a subject 402 wearing, for example, clothing 403 and facing a direction (angle) rotated about 10 degrees from the front direction.
  • the clothing captured image acquisition unit 1401 includes the first clothing captured image including the subject 402 in the first state wearing the clothing 403 and the second clothing imaging including the subject 402 in the second state wearing the clothing 403. An image is acquired (step S42).
  • the above-described first and second clothes captured images may be acquired by, for example, the second imaging unit 200 capturing the subject 402 while manually rotating the rotary table 401 described above, or automatically rotate. It may be acquired by controlling the second imaging unit 200 so that the subject 402 placed on the rotated turn table 401 is automatically imaged according to the rotation angle.
  • steps S43 to S49 corresponding to the processes of steps S3 to S9 shown in FIG. 4 are executed.
  • the post-deformation 3D model acquired in step S47 is, for example, a model representing the subject 402 (that is, the subject 402 in the second state) facing in a direction (angle) rotated approximately 10 degrees from the front direction. .
  • the mesh data deformed in step S49 represents a region corresponding to the region of the clothing 403 worn by the subject 402 in the second state included in the above-described second clothing captured image. It becomes data.
  • the clothing image generation unit 1402 applies the post-deformation mesh data (mask image) to the second clothing captured image (that is, executes a mask process), so that the second clothing captured image is extracted from the second clothing captured image.
  • the area of the clothes 403 can be cut out (step S50). Thereby, the clothing image generation unit 1402 generates a clothing image.
  • step S50 When the process of step S50 is executed, the processes of steps S51 to S53 corresponding to the processes of steps S11 to S13 shown in FIG. 4 are executed. In addition, when it determines with the change of the control point having been instruct
  • mesh data deformed mesh data deformed in the same manner as in the first embodiment described above includes the second subject 402 in the second state wearing the clothing 403.
  • a clothing image is generated by applying it to a clothing image.
  • the clothing 403 in the clothing image is generated.
  • the color (and pattern) may be different from the actual clothes 403.
  • it becomes possible to cut out the region (part) of the clothing 403 from the second clothing captured image compared with the clothing image in the first embodiment described above, A highly accurate clothing image can be generated.
  • clothing picked-up images of various rotation angles are continuously taken (acquired) by automatically rotating the turntable 401 on which the subject 402 is placed.
  • clothes images corresponding to the various angles (orientations) can be easily generated.
  • a clothing image corresponding to the posture or body shape can be generated by capturing a clothing captured image including the subject 402 having a different posture or body shape.
  • the area of the clothes 403 in the second clothes captured image may not completely match the area of the clothes 403 represented by the above-described deformed mesh data. For this reason, it is possible to adopt a configuration in which multi-level (for example, 0 to 255) transmissivity is mainly given to the boundary portion of the mesh data after deformation (that is, the mask image). According to this, even if there is an error between the area of the clothes 403 in the second clothes captured image and the area of the clothes 403 represented by the above-described deformed mesh data, the influence of the error is affected. It becomes possible to reduce.
  • multi-level for example, 0 to 255
  • FIG. 25 is a block diagram mainly illustrating a functional configuration of the image processing apparatus according to the present embodiment.
  • the same parts as those in FIGS. 3 and 23 described above are denoted by the same reference numerals, and detailed description thereof is omitted.
  • portions different from those in FIGS. 3 and 23 will be mainly described.
  • the configuration of the image processing system including the image processing apparatus according to the present embodiment is the same as that of the first embodiment described above, and will be described with reference to FIGS. 1 and 2 as appropriate.
  • the image processing apparatus 1500 includes a first image generation unit 1501, a second image generation unit 1502, and a clothing image generation unit 1503.
  • the first image generation unit 1501 is a functional unit corresponding to the clothing image generation unit 310 described in the first embodiment, and adds a corresponding color to each of a plurality of vertices included in the deformed mesh data. As a result, an image of the clothing 403 (hereinafter referred to as a first image) is generated. Note that the color corresponding to each of the plurality of vertices included in the mesh data after deformation can be specified from the clothes photographed image (first clothes photographed image).
  • the second image generation unit 1502 is a functional unit corresponding to the clothes image generation unit 1402 described in the third embodiment, and applies the deformed mesh data to the second clothes photographed image to apply the clothes. 403 images (hereinafter referred to as second images) are generated.
  • the clothing image generation unit 1503 generates a clothing image using the first image generated by the first image generation unit 1501 and the second image generated by the second image generation unit 1502.
  • steps S61 to S69 corresponding to the steps S41 to S49 shown in FIG. 24 are executed.
  • the first image generation unit 1501 generates a first image using the first clothes photographed image and the deformed mesh data (step S70). Note that the first image generation unit 1501 generates a first image by executing the same process as the process of step S10 shown in FIG. 4 described above.
  • the second image generation unit 1502 generates a second image using the second clothes photographed image and the deformed mesh data (step S71). Note that the second image generation unit 1502 generates a second image by executing the same process as the process of step S50 shown in FIG. 24 described above.
  • the clothing image generation unit 1503 generates a clothing image by mixing the first image generated by the first image generation unit 1501 and the second image generated by the second image generation unit 1502. (Step S72).
  • the clothes image (that is, the first image) generated by the processing described in the first embodiment described above is attached with a color corresponding to the mesh data after deformation (each of a plurality of vertices). Since the image is generated by going, the background area or the like is not included in the image, but the color of the clothing 403 in the image may be different from the actual clothing 403 as described above.
  • the clothes image (that is, the second image) generated by the processing described in the third embodiment is an image generated by cutting out the area of the clothes 403 from the second clothes photographed image.
  • the color of the clothes 403 in the image has high accuracy.
  • the area of the clothes 403 in the second clothes photographed image and the area of the clothes 403 represented by the deformed mesh data do not completely match, the area of the clothes 403 in the second clothes photographed image May be cut off or a background area may be included in the clothing image.
  • the first image is adopted as the area near the contour (hereinafter referred to as the first area) 1601, and the area other than the vicinity of the contour (hereinafter referred to as the second area).
  • the clothing image is generated so that the second image is adopted in the region (1).
  • the first area can be defined as an area having a certain number of pixels inward from the outline of the clothes 403 in the first image, for example.
  • step S72 When the process of step S72 is executed, the processes of steps S73 to S75 corresponding to the processes of steps S11 to S13 shown in FIG. 4 (steps S51 to S53 shown in FIG. 23) are executed. If it is determined in step S74 that a change of the control point has been instructed, for example, the control point is changed in accordance with the operation of the administrator, and then the process returns to step S66 and the process is repeated.
  • a clothing image is generated by mixing.
  • the clothing image is generated by using different images (that is, the first image and the second image) for the first region and the second region, respectively.
  • the opacity (or transparency) of the first image and the second image is changed in the boundary region between the first region and the second region. By doing so, it is possible to make the boundary between the images smooth.
  • an image processing apparatus an image processing system, an image processing method, and a program capable of easily generating an image of clothes used for virtual fitting.

Abstract

　実施形態によれば、第１の取得手段は、被写体の第１の３次元モデルを取得する。第１の設定手段は、第１の３次元モデル上に複数の第１の制御点を設定する。第２の取得手段は、衣服を着用した被写体を含む衣服撮像画像を取得する。抽出手段は、衣服撮像画像から被写体が着用した衣服の領域を抽出する。第１の生成手段は、メッシュ化された衣服の領域を表すメッシュデータを生成する。第３の取得手段は、第２の３次元モデルを取得する。第２の設定手段は、第２の３次元モデル上に複数の第２の制御点を設定する。変形手段は、第１の３次元モデル上に設定された複数の第１の制御点から第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいてメッシュデータを変形する。第２の生成手段は、衣服撮像画像及び変形されたメッシュデータを用いて衣服の画像を生成する。

Description

画像処理装置、画像処理システム、画像処理方法及びプログラム
　本発明の実施形態は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
　近年では、レンジファインダによるスキャンを行うことにより、例えば全身の３次元形状及びテクスチャマップ（以下、３ＤＣＧモデルと表記）を取得することが可能な技術が開発されている。
　この技術によれば、衣服を着用した被写体（例えば、マネキン等）をスキャンすることによって、当該衣服部分の３ＤＣＧモデルを生成することができる。このように生成された衣服部分の３ＤＣＧモデルを例えばユーザを含む画面上に合成して表示した場合には、ユーザは、実際に試着を行うことなく、当該衣服を仮想的に試着（以下、仮想試着と表記）するようなことが可能となる。
特開２０１１－１８０７９０号公報
　ところで、上記した仮想試着を行うユーザの状態（向き、姿勢及び体型等）は様々である。このため、これらのユーザの状態の各々に応じた３ＤＣＧモデルを生成しておくことが好ましい。しかしながら、このような３ＤＣＧモデルを全て用意することは、当該３ＤＣＧモデルの生成に要するコスト（費用）及び時間の観点から困難である。
　そこで、本発明が解決しようとする課題は、仮想試着に用いられる衣服の画像を容易に生成することが可能な画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することにある。
　実施形態に係る画像処理装置は、第１の取得手段と、第１の設定手段と、第２の取得手段と、抽出手段と、第１の生成手段と、第３の取得手段と、第２の設定手段と、変形手段と、第２の生成手段とを具備する。前記第１の取得手段は、被写体の第１の３次元モデルを取得する。前記第１の設定手段は、前記取得された第１の３次元モデル上に複数の第１の制御点を設定する。前記第２の取得手段は、衣服を着用した前記被写体を含む衣服撮像画像を取得する。前記抽出手段は、前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出する。前記第１の生成手段は、前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する。前記第３の取得手段は、前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得する。前記第２の設定手段は、前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する。前記変形手段は、前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する。前記第２の生成手段は、前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する。
図１は、第１の実施形態における画像処理システムの構成について説明するための図である。 図２は、画像処理システムの構成について説明するための図である。 図３は、画像処理装置の主として機能構成の一例を示すブロック図である。 図４は、画像処理装置の処理手順の一例を示すフローチャートである。 図５は、変形前３Ｄモデルの一例を示す図である。 図６は、衣服領域の一例を示す図である。 図７は、衣服撮像画像から取得される衣服画像の一例を示す図である。 図８は、変形前３Ｄモデル上に設定された制御点の一例を示す図である。 図９は、メッシュデータの一例を示す図である。 図１０は、影響度を算出する際の処理について説明するための図である。 図１１は、影響度として算出される対象制御点と対象頂点との間の距離について説明するための図である。 図１２は、変形後３Ｄモデルの一例を示す図である。 図１３は、変形後３Ｄモデル上に設定された制御点の一例を示す図である。 図１４は、変形後メッシュデータの一例を示す図である。 図１５は、衣服画像生成部によって生成される衣服画像の一例を示す図である。 図１６は、腕の位置を変更した変形後３Ｄモデルの一例を示す図である。 図１７は、第２の実施形態に係る画像処理装置の主として機能構成の一例を示すブロック図である。 図１８は、画像処理装置の処理手順の一例を示すフローチャートである。 図１９は、衣服撮像画像の一例を示す図である。 図２０は、衣服領域の一例を示す図である。 図２１は、境界情報について説明するための図である。 図２２は、影響度として算出される頂点と制御点との間の距離について説明するための図である。 図２３は、第３の実施形態に係る画像処理装置の主として機能構成の一例を示すブロック図である。 図２４は、画像処理装置の処理手順の一例を示すフローチャートである。 図２５は、第４の実施形態に係る画像処理装置の主として機能構成を示すブロック図である。 図２６は、画像処理装置の処理手順の一例を示すフローチャートである。 図２７は、本実施形態において生成される衣服画像について説明するための図である。 図２８は、境界領域における第１の画像及び第２の画像の不透明度について説明するための図である。
　以下、図面を参照して、各実施形態について説明する。
　（第１の実施形態）
　まず、図１及び図２を参照して、第１の実施形態に係る画像処理装置を含む画像処理システムの構成の一例について説明する。図１及び図２に示すように、画像処理システムは、第１の撮像部１００、第２の撮像部２００及び画像処理装置３００等を備える。
　第１の撮像部１００は、図１に示すように、例えば任意の角度に回転可能な回転台４０１に載置された被写体４０２を撮像し、当該被写体４０２を含む画像（以下、被写体４０２のデプス画像と表記）を出力するための撮像装置である。デプス画像は、距離画像とも称され、画素毎に第１の撮像部１００からの距離が規定された画像である。第１の撮像部１００としては、例えばデプスセンサ等が用いられる。
　第２の撮像部２００は、図２に示すように、上記した回転台４０１に載置され、衣服４０３を着用した被写体４０２を撮像し、当該衣服４０３を着用した被写体４０２を含む画像（以下、衣服撮像画像と表記）を出力するための撮像装置である。衣服撮像画像は、ビットマップ画像であり、画素毎に被写体４０２（が着用した衣服４０３）の色彩及び輝度等を示す画素値が規定された画像である。第２の撮像部２００としては、例えば汎用のカメラ等が用いられる。
　ここで、本実施形態において、第１の撮像部１００及び第２の撮像部２００によって撮像される被写体４０２は、衣服を試着する対象である。図１及び図２においては、被写体４０２が例えば人体の形状を模したマネキンである場合が想定されている。以下の説明においては、被写体４０２はマネキンであるものとして説明するが、当該被写体４０２は、例えば犬や猫等のペットの形状を模したマネキン及びその他の物体であってもよいし、例えば人物やペット等の生物であってもよい。
　第１の撮像部１００によって出力された被写体４０２のデプス画像及び第２の撮像部２００によって出力された衣服撮像画像は、画像処理装置３００によって取得される。画像処理装置３００は、取得された被写体４０２のデプス画像及び衣服撮像画像を用いて、上記した衣服４０３を着用した被写体４０２とは異なる状態（例えば、向き、姿勢または体型等）の被写体が衣服４０３を着用した場合における当該衣服４０３の状態を表す画像（以下、衣服画像と表記）を生成する機能を有する。このように画像処理装置３００によって生成された衣服画像は、当該画像処理装置３００内に蓄積（格納）される。
　本実施形態に係る画像処理装置３００内に蓄積された衣服画像は、仮想試着に用いられる。具体的には、例えば衣服４０３を販売する店舗内のユーザと対面した位置に設けられた表示装置に、撮像部によって撮像されたユーザを含む画像上に画像処理装置３００内に蓄積された衣服画像（つまり、衣服４０３の画像）を重畳した合成画像を表示することによって、当該ユーザは、当該衣服４０３を仮想的に試着する（以下、仮想試着と表記）ことができる。
　なお、図１及び図２においては省略されているが、画像処理システムは、例えばネットワークを介して画像処理装置３００と通信可能に接続されたサーバ装置を更に備える構成であっても構わない。この場合、画像処理装置３００によって生成された衣服画像は、サーバ装置に蓄積（格納）されてもよい。
　図３は、本実施形態に係る画像処理装置３００の主として機能構成を示すブロック図である。図３に示すように、画像処理装置３００は、３Ｄモデル取得部３０１、３Ｄモデル投影部３０２、制御点設定部３０３、制御点変更部３０４、衣服撮像画像取得部３０５、衣服領域抽出部３０６、メッシュデータ生成部３０７、影響度算出部３０８、メッシュデータ変形部３０９、衣服画像生成部３１０、提示処理部３１１及び衣服画像格納部３１２を含む。
　本実施形態において、これらの各部３０１～３１１の一部または全ては、例えば画像処理装置３００に備えられるＣＰＵ等のコンピュータにプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、各部３０１～３１１の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。また、本実施形態において、衣服画像格納部３１２は、画像処理装置３００に備えられる例えばＨＤＤ（Hard Disk Drive）等の記憶装置に格納されているものとする。なお、衣服画像格納部３１２は、例えば画像処理装置３００と通信可能に接続される外部装置（サーバ装置）等に備えられていてもよい。
　３Ｄモデル取得部３０１は、上述した第１の撮像部１００から出力された被写体４０２のデプス画像を取得する。３Ｄモデル取得部３０１は、取得された被写体４０２のデプス画像に基づいて当該被写体４０２をモデル化することによって、当該被写体４０２の３次元モデル（以下、３Ｄモデルと表記）を取得（生成）する。ここで、３Ｄモデル取得部３０１によって取得される被写体４０２の３Ｄモデルは、第１の撮像部１００によって撮像された被写体４０２の状態（向き、姿勢及び体型等）を表すモデルである。
　また、３Ｄモデル取得部３０１は、例えば取得された３Ｄモデルを変形することによって当該３Ｄモデルとは異なる３Ｄモデルを取得する。
　以下の説明においては、被写体４０２のデプス画像に基づいて取得された３Ｄモデル（第１の３次元モデル）を変形前３Ｄモデル、当該変形前３Ｄモデルを変形することによって取得された３Ｄモデル（第２の３次元モデル）を変形後３Ｄモデルと称する。なお、変形後３Ｄモデルには、例えば変形前３Ｄモデルの向き、姿勢または体型等が変更された３Ｄモデルが含まれる。
　上記したように３Ｄモデル取得部３０１によって取得される３Ｄモデル（変形前３Ｄモデル及び変形後３Ｄモデル）は複数の頂点から構成されており、当該複数の頂点の各々には当該頂点の３次元位置（座標）が付加されている。３Ｄモデルを構成する複数の頂点の各々には、当該頂点を識別するための番号（以下、頂点番号と表記）が割り当てられているものとする。なお、変形前３Ｄモデル及び変形後３Ｄモデルにおいて対応する頂点（つまり、３Ｄモデルにおける構造的に同一の位置の頂点）には同一の頂点番号が割り当てられている。
　３Ｄモデル投影部３０２は、３Ｄモデル取得部３０１によって取得された３Ｄモデル（変形前３Ｄモデル及び変形後３Ｄモデル）を例えばスクリーン面に投影する。この場合、３Ｄモデル投影部３０２は、上述した第２の撮像部２００の視点位置及び画角（つまり、衣服撮像画像を撮像した視点位置及び画角）に合わせて３Ｄモデルを投影する。
　制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル上に複数の制御点（第１の制御点）を設定する。この場合、制御点設定部３０３は、３Ｄモデル投影部３０２によってスクリーン面に投影された変形前３Ｄモデルを参照して、当該変形前３Ｄモデルを構成する複数の頂点の中から制御点を設定（選択）する。
　同様に、制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形後３Ｄモデル上に複数の制御点（第２の制御点）を設定する。この場合、制御点設定部３０３は、変形後３Ｄモデルを構成する複数の頂点のうち、変形前３Ｄモデル上に設定された制御点に対応する制御点を設定（選択）する。
　制御点変更部３０４は、例えば画像処理装置３００に対するユーザの操作に応じて、制御点設定部３０３によって設定された制御点を変更する。
　衣服撮像画像取得部３０５は、上述した第２の撮像部２００から出力された衣服撮像画像を取得する。
　衣服領域抽出部３０６は、衣服撮像画像取得部３０５によって取得された衣服撮像画像から、当該衣服撮像画像に含まれる被写体４０２が着用した衣服４０３の領域（以下、衣服領域と表記）を抽出する。
　メッシュデータ生成部３０７は、衣服領域抽出部３０６によって抽出された衣服領域をメッシュ状に分割することによって、メッシュ化された当該衣服領域を表すメッシュデータを生成する。なお、メッシュデータ生成部３０７によって生成されるメッシュデータは、衣服領域がメッシュ化されることによって表される複数の頂点を有する。
　影響度算出部３０８は、例えば変形前３Ｄモデルが変形した（つまり、被写体４０２の向き、姿勢または体型等が変化した）場合における当該変形前３Ｄモデル上に設定された複数の制御点の各々の移動が、メッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々（の移動）に対して与える影響の度合いを表す影響度（つまり、当該頂点に対する当該制御点の影響度）を算出する。なお、影響度算出部３０８は、制御点設定部３０３によって変形前３Ｄモデル上に設定された複数の制御点の各々及びメッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々の組み合わせ毎に影響度を算出する。
　メッシュデータ変形部３０９は、制御点設定部３０３によって変形前３Ｄモデル上に設定された複数の制御点、当該制御点設定部３０３によって変形後３Ｄモデル上に設定された複数の制御点、メッシュデータ生成部３０７によって生成されたメッシュデータ及び影響度算出部３０８によって算出された影響度に基づいて、当該メッシュデータを変形する処理を実行する。このメッシュデータ変形部３０９によって実行される処理の詳細については後述するが、メッシュデータ変形部３０９は、変形前３Ｄモデル上に設定された複数の制御点から変形後３Ｄモデル上に設定された制御点への移動量に基づいて、メッシュデータ生成部３０７によって生成されたメッシュデータを変形する。以下の説明においては、メッシュデータ変形部３０９によって変形されたメッシュデータを変形後メッシュデータと称する。
　衣服画像生成部３１０は、衣服撮像画像（から抽出された衣服領域）及び変形後メッシュデータを用いて衣服４０３の画像（つまり、衣服画像）を生成する。この衣服画像生成部３１０によって生成される衣服画像は、変形後３Ｄモデル（によって表される向き、姿勢及び体型の被写体）が衣服４０３を着用した場合における当該衣服４０３の状態を表す画像である。
　衣服画像生成部３１０によって生成された衣服画像は、提示処理部３１１によって画像処理装置３００の管理者等に提示（表示）される。また、衣服画像生成部３１０によって生成された衣服画像は、衣服画像格納部３１２に格納（蓄積）される。
　次に、図４のフローチャートを参照して、本実施形態に係る画像処理装置３００の処理手順について説明する。
　まず、３Ｄモデル取得部３０１は、第１の撮像部１００から出力された被写体４０２のデプス画像に基づいて、当該被写体４０２の３Ｄモデル（変形前３Ｄモデル）を取得する（ステップＳ１）。なお、ここでは変形前３Ｄモデルが被写体４０２のデプス画像に基づいて取得されるものとして説明したが、当該変形前３Ｄモデルは、構造が一致していれば例えば３Ｄスキャナ等を用いて取得されても構わない。
　ここで、図５は、３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル５０１を示す。図５に示す例では、変形前３Ｄモデル５０１は、例えば第１の撮像部１００に対して略正面方向を向いた被写体４０２のデプス画像に基づいて取得された３Ｄモデルの例を示している。なお、変形前３Ｄモデル５０１は複数の頂点から構成されている。また、この複数の頂点の各々には、当該頂点の３次元位置（座標）が付加されている。更に、複数の頂点の各々には、頂点番号が割り当てられている。
　再び図４に戻ると、衣服撮像画像取得部３０５は、第２の撮像部２００から出力された衣服撮像画像を取得する（ステップＳ２）。この衣服撮像画像は、上述した第１の撮像部１００による撮像時と同等の状態（姿勢等）で衣服４０３を着用した被写体４０２を含む画像である。
　次に、衣服領域抽出部３０６は、衣服撮像画像取得部３０５によって取得された衣服撮像画像に対して例えばマスク処理を実行することによって、当該衣服撮像画像から衣服領域（つまり、当該衣服撮像画像に含まれる被写体４０２が着用した衣服４０３の型）を抽出する（ステップＳ３）。
　ここで、図６は、衣服領域抽出部３０６によって抽出された衣服領域６０１（つまり、衣服領域抽出部３０６による抽出結果）を示す。このような衣服領域６０１の抽出は、例えば汎用の画像編集ツール等を用いて実現されても構わない。
　なお、衣服領域抽出部３０６によって抽出された衣服領域６０１を利用することによって、衣服撮像画像取得部３０５によって取得された衣服撮像画像から図７に示すような衣服画像（つまり、第２の撮像部２００によって撮像された被写体４０２が着用した状態の衣服４０３の画像）７０１を取得する（切り取る）ことができる。このように取得された衣服画像７０１は、上述した仮想試着に用いるために衣服画像格納部３１２に蓄積される。
　再び図４に戻ると、制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル５０１上に複数の制御点を設定する（ステップＳ４）。この場合、３Ｄモデル投影部３０２は、例えば３Ｄモデル取得部３０１によって取得された変形前３Ｄモデル５０１を、第２の撮像部２００の視点位置及び画角に合わせてスクリーン面に投影する。なお、第１の撮像部１００及び第２の撮像部２００の位置関係は予めキャリブレーションされているものとする。これにより、制御点設定部３０３は、変形前３Ｄモデル５０１を構成する複数の頂点のうち、変形前３Ｄモデル５０１がスクリーン面に投影された際に最前面に現れる頂点であって、当該投影された場合における変形前３Ｄモデルの最外周に位置する頂点を制御点として設定（選択）する。この場合、制御点設定部３０３は、変形前３Ｄモデル５０１上に設定された複数の制御点の各々に割り当てられている頂点番号を当該制御点設定部３０３内部に保持する。
　ここでは、変形前３Ｄモデルを構成する全ての頂点の中から制御点が選択されるものとして説明したが、体の向き、姿勢または体型の変化に影響を受けやすい頂点（つまり、身体的特徴点に該当する頂点）を予め選択しておき、当該頂点の中から制御点が選択されるようにしてもよい。具体的には、複数の向き、姿勢または体型等の３Ｄモデルにおける代表的な頂点（例えば、肩、ひじ及び腰等に位置する頂点）が予め選択されていればよい。
　更に、衣服領域抽出部３０６によって抽出された衣服領域の形状（つまり、衣服４０３の種類）等に基づいて、当該衣服４０３と関連のある頂点を予め選択しておき、当該頂点の中から制御点が選択されるようにしてもよい。具体的には、衣服４０３が例えばトップスのような上半身に着用するものであれば、当該衣服４０３と関連のある頂点としては変形前３Ｄモデルの上半身に位置する頂点が予め選択されていればよい。一方、衣服４０３が例えばボトムのような下半身に着用するものであれば、当該衣服４０３と関連のある頂点としては変形前３Ｄモデルの下半身に位置する頂点が予め選択されていればよい。
　ここで、図８は、図５に示す変形前３Ｄモデル５０１上に設定された制御点の一例を示す。図８においては便宜的に１つの制御点のみに参照符号が付されているが、変形前３Ｄモデル５０１上には、制御点５０１ａを含む複数の制御点が設定（配置）されている。図８に示す例では、衣服４０３が上半身に着用するものであり、変形前３Ｄモデルの上半身に位置する頂点の中から制御点が設定された場合の例を示している。
　なお、図８に示すような制御点設定部３０３によって複数の制御点が設定された変形前３Ｄモデル５０１は、例えば管理者等に提示される。これにより、管理者は、変形前３Ｄモデル５０１上に設定された複数の制御点を確認することができる。ここで、例えば管理者が複数の制御点を確認した結果、制御点の変更等を望む場合、制御点変更部３０４は、例えば管理者の操作に応じて当該制御点の変更（例えば、制御点の移動、追加及び削除等）を行う。これによれば、ユーザの意図する頂点を変形前３Ｄモデル５０１上に設定することが可能となる。
　再び図４に戻ると、メッシュデータ生成部３０７は、衣服領域抽出部３０６によって抽出された衣服領域６０１をメッシュに変換する（つまり、メッシュ状に分割する）ことによって当該衣服領域６０１のメッシュデータ（つまり、メッシュ化された衣服領域６０１を表すメッシュデータ）を生成する（ステップＳ５）。
　ここで、図９は、メッシュデータ生成部３０７によって生成されたメッシュデータ８０１を示す。図９においては便宜的に１つの頂点のみに参照符号が付されているが、メッシュデータ８０１は、頂点８０１ａを含む複数の頂点を有する。この複数の頂点は、メッシュ状に分割された衣服領域６０１中の小さな領域の各々の頂点である。このようなメッシュデータの生成は、例えば汎用のＣＧ（Computer Graphics）ツール等を用いて実現されても構わない。
　再び図４に戻ると、影響度算出部３０８は、制御点設定部３０３によって変形前３Ｄモデル５０１上に設定された複数の制御点の各々及びメッシュデータ生成部３０７によって生成されたメッシュデータ８０１が有する複数の頂点の各々の組み合わせ毎の影響度（つまり、各頂点に対する各制御点の影響度）を算出する（ステップＳ６）。
　ここで、複数の頂点のうちの１の頂点（以下、対象頂点と表記）８０１ａに対する複数の制御点のうちの１の制御点（以下、対象制御点と表記）５０１ａの影響度を算出する際の処理について具体的に説明する。
　この場合、影響度算出部３０８は、図１０に示すように、上述した３Ｄモデル投影部３０２が変形前３Ｄモデル５０１をスクリーン面に投影した画像９０１に対して、メッシュデータ生成部３０７によって生成されたメッシュデータ（つまり、メッシュ化された衣服領域６０１を表すメッシュデータ）を重ね合わせた画像９０２を生成する。なお、画像９０２は、被写体４０２が衣服４０３を着用した状態を表す画像である。
　次に、影響度算出部３０８は、対象頂点８０１ａに対する対象制御点５０１ａの影響度として、画像９０２における変形前３Ｄモデル５０１の領域（つまり、変形前３Ｄモデル５０１をスクリーン面に投影した領域）とメッシュデータ８０１の領域（つまり、メッシュデータ８０１によって表される衣服領域６０１）との和領域９０３内での対象制御点５０１ａと対象頂点８０１ａとの間の距離を算出する。
　ここで、図１１を参照して、影響度算出部３０８によって影響度として算出される対象制御点５０１ａと対象頂点８０１ａとの間の距離について具体的に説明する。図１１は、図１０に示す領域９０３（変形前３Ｄモデル５０１の領域とメッシュデータ８０１の領域との和領域）を拡大した図である。
　図１１に示す例では、対象制御点５０１ａは、変形前３Ｄモデル５０１（の領域）の腕の内側の位置に設定されているものとする。一方、対象頂点８０１ａは、メッシュデータ８０１の中央部付近に配置されているものとする。
　この場合、影響度算出部３０８は、領域９０３内を通る対象頂点８０１ａから対象制御点５０１ａまでの最短経路１００１を算出し、当該算出された最短経路に基づいて当該対象制御点５０１ａと対象頂点８０１ａとの間の距離を算出する。
　なお、対象制御点５０１ａと対象頂点８０１ａとの間の距離が影響度として算出される場合、当該影響度は、値（つまり、距離）が小さいほど対象頂点８０１ａに対する対象制御点５０１ａの影響が大きいことを表す。
　ここで、図１１に示す例のように、対象頂点８０１ａから対象制御点５０１ａまでの経路が折れ曲がる場合には、当該折れ曲がる角度に応じた値を乗算または加算等することによって、当該経路に基づいて算出される距離を増大する（つまり、対象頂点８０１ａに対する対象制御点５０１ａの影響が小さくなる）ようにしてもよい。
　また、対象頂点８０１ａから対象制御点５０１ａまでの経路が変形前３Ｄモデル（被写体４０２）のスケルトン（骨）と交差する場合には、当該経路に基づいて算出される距離を増大するようにしてもよい。なお、変形前３Ｄモデルのスケルトン（の位置）は、当該変形前３Ｄモデルにおける関節の位置等から推定されるものとする。
　本実施形態においては、このような対象制御点５０１ａと対象頂点８０１ａとの間の距離を影響度として算出することにより、例えば３Ｄモデル５０１の腕の位置に設定された制御点と胴の位置に設定された制御点が相互に影響しないようにすることができる。
　再び図４に戻ると、３Ｄモデル取得部３０１は、ステップＳ１において取得された変形前３Ｄモデル５０１を変形することによって変形後３Ｄモデルを取得する（ステップＳ７）。なお、この変形後３Ｄモデルは、例えば変形前３Ｄモデルの向き、姿勢及び体型の少なくとも１つを変形（変更）することによって生成されるものとする。
　ここで、図１２は、３Ｄモデル取得部３０１によって取得された変形後３Ｄモデル５０２を示す。図１２に示す例では、変形後３Ｄモデル５０２は、上述した図５に示す変形前３Ｄモデル５０１の向きを１０度程度変更した３Ｄモデルの例を示している。変形後３Ｄモデル５０２は、変形前３Ｄモデル５０１と同様の複数の頂点から構成されている。変形前３Ｄモデルと変形後３Ｄモデルとでは、対応する頂点（つまり、構造的に同一の位置の頂点）には同一の頂点番号が割り当てられている。
　なお、変形前３Ｄモデルとの間で頂点（に割り当てられている頂点番号）の対応が取れるのであれば、例えば上述した回転台４０１を回転させることによって向きが変更された被写体４０２を第１の撮像部１００が撮像することによって出力されたデプス画像に基づいて変形後３Ｄモデルが取得（生成）されても構わない。
　再び図４に戻ると、制御点設定部３０３は、３Ｄモデル取得部３０１によって取得された変形後３Ｄモデル５０２上に複数の制御点を設定する（ステップＳ８）。この場合、制御点設定部３０３は、変形後３Ｄモデル５０２を構成する複数の頂点のうち、変形前３Ｄモデル５０１上に設定された制御点に対応する制御点を設定する（つまり、変形前３Ｄモデル５０１上に制御点として設定された頂点に対応する頂点を制御点として設定する）。具体的には、制御点設定部３０３は、上述したステップＳ４において制御点設定部３０３に保持された頂点番号（つまり、変形前３Ｄモデル５０１上に設定された複数の制御点の各々に割り当てられている頂点番号）と同一の頂点番号が割り当てられている頂点を制御点として設定する。
　ここで、図１３は、図１２に示す変形後３Ｄモデル５０２上に設定された制御点の一例を示す。図１３においては便宜的に１つの制御点のみに参照符号が付されているが、変形後３Ｄモデル５０２上には、制御点５０２ａを含む複数の制御点が設定（配置）されている。なお、図８に示す変形前３Ｄモデル５０１上に設定されている制御点５０１ａと同一の位置（左腕部）に設定されている制御点５０２ａは、当該制御点５０１ａに対応する制御点（つまり、当該制御点５０１ａと同一の頂点番号が割り当てられた制御点）である。
　再び図４に戻ると、メッシュデータ変形部３０９は、ステップＳ４において変形前３Ｄモデル上に設定された複数の制御点、ステップＳ７において算出された影響度（つまり、各頂点に対する各制御点の影響度）及びステップＳ８において変形後３Ｄモデル上に設定された複数の制御点に基づいて、ステップＳ５において生成されたメッシュデータを変形する（ステップＳ９）。この場合、メッシュデータ変形部３０９は、例えば変形前３Ｄモデル及び変形後３Ｄモデル上に設定された対応する制御点の移動量（ベクトル）を影響度で加重平均することによって、メッシュデータが有する複数の頂点の各々の位置を決定（変更）する。このような処理が実行されることによって、図１４に示すように、図９に示すメッシュデータ８０１が変形されたメッシュデータ（変形後メッシュデータ）８０２が生成される。
　なお、このメッシュデータの変形アルゴリズムとしては、例えばＲｉｇｉｄ　Ｄｅｆｏｒｍａｔｉｏｎの手法を用いることができる。この手法において用いられる距離としては、上述した影響度を用いればよい。
　以下、Ｒｉｇｉｄ　Ｄｅｆｏｒｍａｔｉｏｎの手法を用いた場合におけるメッシュデータの変形処理について具体的に説明する。ここでは、メッシュデータが有する複数の頂点のうちのある頂点ｊの位置を決定する場合について説明する。なお、ｊは、メッシュデータが有する頂点のインデックスである。
Figure JPOXMLDOC01-appb-M000001
　まず、メッシュデータ変形部３０９は、以下の式（１）に基づいて、全ての制御点ｉについてｗｉを算出する。なお、ｉは、変形前３Ｄモデル５０１上に設定された制御点のインデックスである。
Figure JPOXMLDOC01-appb-M000002
　この式（１）において、Ｄｉは、頂点ｊから制御点ｉまでの距離（つまり、頂点ｊに対する制御点ｉの影響度）である。また、式（１）におけるαは、定数であり、例えば１または２等とすることができる。
Figure JPOXMLDOC01-appb-M000003
　次に、メッシュデータ変形部３０９は、以下の式（４）に基づいて、μを算出する。
Figure JPOXMLDOC01-appb-M000004
　次に、メッシュデータ変形部３０９は、以下の式（６）に基づいて、Ａｉを算出する。
Figure JPOXMLDOC01-appb-M000005
　本実施形態においては、上記した式（１）～式（１０）を用いて、メッシュデータが有する複数の頂点の全てについて変形後メッシュデータにおける２次元座標が算出される。メッシュデータが有する複数の頂点の各々の位置を、このように算出された２次元座標とすることで、図９に示すメッシュデータ８０１を変形後メッシュデータ８０２に変形することができる。
　メッシュデータにおけるメッシュの面を構成するための頂点間の接続関係は、ステップＳ９の処理においては変化しないものとする。また、上記したようにメッシュデータの変形アルゴリズムにおいて用いられるベクトルは、全て行ベクトルであるものとする。
　なお、上述したように対象頂点８０１ａから対象制御点５０１ａまでの経路が変形前３Ｄモデルのスケルトンと交差する場合に当該経路に基づいて算出される距離を増大させるようにした場合、スケルトンに近い領域で変形後メッシュデータ８０２内のメッシュが裏返る等の歪みが生じる場合がある。この場合には、変形後メッシュデータ８０２の輪郭付近の頂点を固定し、当該変形後メッシュデータ８０２が有する各頂点（座標）に対しラプラシアンフィルタを適用することによって、当該変形後メッシュデータ８０２から歪みが除去されるようにしてもよい。
　次に、衣服画像生成部３１０は、衣服撮影画像及び変形後メッシュデータ８０２を用いて衣服４０３の画像（衣服画像）を生成する（ステップＳ１０）。
　ここで、上述したステップＳ５において生成されたメッシュデータ（以下、変形前メッシュデータと表記）８０１によって表される衣服領域６０１の形状は、衣服撮像画像に含まれる衣服４０３の形状と一致する。このため、変形前メッシュデータ８０１が有する複数の頂点に対応する色彩は衣服撮影画像から特定可能である。
　このため、衣服画像生成部３１０は、変形後メッシュデータ８０２が有する複数の頂点の各々に対して対応する色彩を付加していくことにより、例えば図１５に示すような衣服画像７０２を生成することができる。なお、図１５に示す衣服画像７０２は、上述した図７に示す衣服画像７０１を変形したものであり、変形後３Ｄモデル５０２が衣服４０３を着用した場合における当該衣服４０３の状態（つまり、第２の撮像部２００によって撮像された被写体４０２が着用した衣服４０３とは向きを変えた状態）を表す画像である。
　次に、提示処理部３１１は、衣服画像生成部３１０によって生成された衣服画像７０２を提示する（ステップＳ１１）。これにより、管理者は、衣服画像生成部３１０によって衣服画像７０２を確認することができる。
　ここで、管理者は、衣服画像７０２を確認した結果、当該衣服画像７０２が適切でない（つまり、衣服画像７０２の修正が必要である）と判断される場合には、上述した変形前３Ｄモデル５０１上に設定された制御点の変更（例えば、制御点の移動、追加及び削除等）を指示することができる。
　この場合、変形前３Ｄモデル５０１上に設定された制御点の変更が指示されたか否かが判定される（ステップＳ１２）。
　制御点の変更が指示されたと判定された場合（ステップＳ１２のＹＥＳ）、例えば管理者の操作に応じて当該制御点が変更された上で、上述したステップＳ６に戻って処理が繰り返される。
　一方、制御点の変更が指示されていないと判定された場合（ステップＳ１２のＮＯ）、すなわち、衣服画像７０２の修正が必要でない場合には、当該衣服画像７０２は、衣服画像格納部３１２に蓄積される（ステップＳ１３）。この場合、衣服画像７０２は、例えば変形後３Ｄモデル５０２の状態（向き、姿勢及び体型等）と対応づけて蓄積される。
　ここでは、例えば変形前３Ｄモデル５０１の向きを変更した変形後３Ｄモデル５０２を取得することによって、被写体４０２が着用した衣服４０３とは向きを変えた状態を表す衣服画像７０２が生成されるものとして説明したが、例えば図１６に示すように腕の位置を変更した変形後３Ｄモデル５０３を取得することによって、被写体４０２が着用した衣服４０３とは袖の位置を変えた状態の衣服画像を生成することも可能である。このように本実施形態においては、変形前３Ｄモデル５０１の向き、姿勢及び体型を変更した様々な変形後３Ｄモデルを取得（生成）することによって、様々な状態（向き、姿勢または体型）の被写体が衣服４０３を着用した場合における当該衣服４０３の状態を表す衣服画像を生成することが可能となる。具体的には、変形前３Ｄモデル５０１の向いている角度（例えば、回転角度０度）から±５度及び±１０度の向きの衣服画像、腕の開き方が異なる衣服画像、異なる体型にフィットした状態の衣服画像等を生成することが可能となる。
　上記したように本実施形態においては、被写体４０２の変形前３Ｄモデル（第１の３次元モデル）５０１を取得し、衣服撮像画像から抽出された衣服領域６０１をメッシュ状に分割することによってメッシュデータ８０１を生成し、変形前３Ｄモデル５０１を変形することによって変形後３Ｄモデル（第２の３次元モデル）５０２を取得する。更に、本実施形態においては、変形前３Ｄモデル５０１上に設定された複数の制御点（第１の制御点）から変形後３Ｄモデル５０２上に設定された複数の制御点（第２の制御点）への移動量に基づいてメッシュデータ８０１を変形し、衣服撮影画像及び変形されたメッシュデータ８０２を用いて衣服画像を生成する。
　すなわち、本実施形態においては、このような構成により、衣服４０３を着用した、特定の向き、姿勢及び体型の被写体（例えば、マネキン）４０２を第２の撮像部２００によって撮像するのみで、異なる向き、姿勢及び体型の被写体が衣服４０３を着用した場合における当該衣服４０３の状態を表す衣服画像（つまり、被写体４０２が着用した衣服４０３の画像７０１を２次元的に変形した衣服画像）７０２を生成することが可能となる。このため、本実施形態においては、衣服画像の生成に必要なコスト及び時間を削減することができ、仮想試着に用いられる衣服画像を容易に生成することが可能となる。
　また、本実施形態においては、変形前３Ｄモデル５０１が変形した場合における当該変形前３Ｄモデル５０１上に設定された複数の制御点の各々の移動が、メッシュデータ８０１が有する複数の頂点の各々に対して与える影響の度合いを表す影響度を算出し、当該影響度を用いてメッシュデータを変形する。なお、本実施形態において算出される影響度は、被写体４０２が衣服４０３を着用した状態を表すように変形前３Ｄモデル５０１上にメッシュデータ８０１を重ね合わせた場合における当該変形前３Ｄモデル５０１の領域と当該メッシュデータ８０１によって表される衣服領域６０１との和領域内での各制御点と各頂点との間の距離を含む。本実施形態においては、このような構成により、例えば３Ｄモデル上に設定された腕の制御点と胴の制御点が互いに影響しないようにメッシュデータを変形することが可能となるため、より適切にメッシュデータを変形でき、結果として精度の高い衣服画像７０２を生成することが可能となる。
　また、本実施形態においては、例えば変形前３Ｄモデル５０１の外周に位置する頂点であって、当該変形前３Ｄモデル５０１における身体的特徴点に該当する頂点を制御点として当該変形前３Ｄモデル５０１上に設定することにより、変形前３Ｄモデル５０１及び変形後３Ｄモデル５０２間での制御点の移動を適切に反映するようにメッシュデータを変形することが可能となる。
　本実施形態に係る画像処理装置３００によって様々なパターン（向き、姿勢及び体型）の衣服画像を蓄積しておくことによって、上述したように店舗内においてユーザが仮想試着を行う際には、例えば撮像部によって撮像された当該ユーザの体型パラメータを取得し、当該体型パラメータと類似する体型パラメータに対応づけられた衣服画像を選択することができる。これにより、ユーザが衣服を着用した状態（衣服がユーザの向き、姿勢及び体型にフィットした状態）を表す精度の高い合成画像を表示することが可能となる。
　なお、本実施形態においては、様々なパターンの衣服画像を蓄積しておくものとして説明したが、例えば衣服４０３毎に、当該衣服４０３を着用した被写体４０２の３Ｄモデル（つまり、変形前３Ｄモデル）５０１及び衣服撮像画像のみを蓄積しておき、上記した仮想試着時に、ユーザの状態に応じた変形後３Ｄモデルを取得して、当該ユーザの向き、姿勢及び体型にフィットする衣服画像を生成するようにしても構わない。すなわち、本実施形態における衣服画像の生成は、店舗内における仮想試着時に実行されても構わない。
　（第２の実施形態）
　次に、第２の実施形態について説明する。図１７は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図３と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図３とは異なる部分について主に述べる。
　また、本実施形態に係る画像処理装置を含む画像処理システムの構成は、前述した第１の実施形態と同様であるため、適宜、図１及び図２を用いて説明する。
　図１７に示すように、本実施形態に係る画像処理装置１１００は、境界情報取得部１１０１及び奥行き情報算出部１１０２を含む。
　ここで、例えば被写体４０２が着用した衣服４０３が腕または胴体に膨らみがある（ルーズな）衣服である場合には、衣服撮像画像から抽出された衣服領域において腕と胴体とが一体化する可能性がある。このように腕と胴体とが一体化した場合には、例えば腕の位置に設定されている制御点と胴体に配置されている頂点との間の最短距離が短くなる（つまり、当該頂点に対する当該制御点の影響度が大きくなる）ため、メッシュデータを変形する際に、腕の位置の変化に応じて胴体にも歪みが生じる場合がある。
　そこで、本実施形態において、境界情報取得部１１０１は、衣服領域抽出部３０６によって抽出された衣服領域の境界を示す境界情報を取得する。なお、境界情報取得部１１０１によって取得された境界情報は、後述するように変形前３Ｄモデル上に設定された複数の制御点の各々とメッシュデータが有する複数の頂点の各々との間の距離（つまり、各頂点に対する各制御点の影響度）を算出する際に用いられる。
　また、前述した第１の実施形態における衣服領域のメッシュデータは、２次元データである。このため、メッシュデータを変形した場合に、例えば腕と胴体とのメッシュ同士が重なり合うことがある。このようなメッシュデータを用いて衣服画像を生成した場合には、当該衣服画像が正しく描画されない可能性がある。
　そこで、本実施形態において、奥行き情報算出部１１０２は、メッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出する。なお、この複数の頂点の各々に対応する奥行き情報（座標）は、制御点設定部３０３によって変形後３Ｄモデル上に設定された制御点（頂点）に付加されている３次元位置（座標）に含まれる奥行き情報（当該制御点の第２の撮像部２００に対する奥行き方向の位置を示す情報）に基づいて算出される。奥行き情報算出部１１０２によって算出された奥行き情報は、後述するように変形後メッシュデータを用いて衣服画像を生成する際に用いられる。
　次に、図１８のフローチャートを参照して、本実施形態に係る画像処理装置１１００の処理手順について説明する。
　まず、前述した図４に示すステップＳ１～Ｓ３の処理に相当するステップＳ２１～Ｓ２３の処理が実行される。
　次に、境界情報取得部１１０１は、衣服領域抽出部３０６によって衣服撮像画像から抽出された衣服領域の境界（領域境界）を示す境界情報を取得する（ステップＳＳ２４）。
　具体的には、上記したステップＳ２３において衣服領域が抽出された場合、当該衣服領域は、管理者等に対して提示される。これにより、管理者は、衣服領域抽出部３０６によって抽出された衣服領域（つまり、抽出結果）を確認することができる。
　ここで、図１９は、衣服撮像画像取得部３０５によって取得された衣服撮像画像の一例を示す。また、図２０は、図１９に示す衣服撮像画像から抽出された衣服領域の一例を示す。この図２０に示す衣服領域においては、腕と胴体とが一体化している。このような衣服領域（がメッシュ化されたメッシュデータ）では、後述する影響度の算出処理において、例えば腕の位置に設定されている制御点と胴体に配置されている頂点との間の最短距離が短く算出されてしまうため、影響度が適切でない。
　この場合、管理者は、図２１に示すように、例えば提示された衣服領域上で、境界（を表す境界情報）を指定することができる。図２１に示す例では、衣服領域の両脇の部分において境界１２０１及び１２０２が指定されている。
　これにより、ステップＳ２４において、境界情報取得部１１０１は、上記したように管理者によって指定された境界情報を取得することができる。
　このように境界情報取得部１１０１によって取得された境界情報は、属性情報として衣服領域に付加される（与えられる）。
　ステップＳ２４の処理が実行されると、前述した図４に示すステップＳ４及びＳ５の処理に相当するステップＳ２５及びＳ２６の処理が実行される。
　次に、奥行き情報算出部１１０２は、メッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出する（ステップＳ２７）。
　具体的には、奥行き情報算出部１１０２は、例えば上述したように被写体４０２が衣服４０３を着用した状態を表すように変形前３Ｄモデル上にメッシュデータを重ね合わせた場合における、当該メッシュデータが有する複数の頂点の各々の近傍に位置する制御点（つまり、変形前３Ｄモデルを構成する頂点）に対応する変形後３Ｄモデルに付加されている３次元位置（座標）から当該頂点の奥行き方向の位置を示す座標（つまり、奥行き情報）を算出（補間）する。このように奥行き情報算出部１１０２によって算出されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報は、当該頂点に付加される。
　次に、影響度算出部３０８は、制御点設定部３０３によって変形前３Ｄモデル上に設定された複数の制御点の各々及びメッシュデータ生成部３０７によって生成されたメッシュデータが有する複数の頂点の各々の組み合わせ毎の影響度（各頂点に対する各制御点の影響度）を算出する（ステップＳ２８）。
　この場合、影響度算出部３０８は、前述した第１の実施形態において説明したように、各頂点から各制御点までの最短経路に基づいて、各頂点に対する各制御点の影響度（つまり、各頂点と各制御点との間の距離）を算出する。本実施形態において、この場合における最短経路は、図２２に示すように、上記した衣服領域（のメッシュデータ）に付加された境界情報によって示される境界１２０１及び１２０２を跨がない経路（例えば、経路１３０１）であるものとする。
　ステップＳ２８の処理が実行されると、図４に示すステップＳ７～Ｓ９の処理に相当するステップＳ２９～Ｓ３１の処理が実行される。
　次に、衣服画像生成部３１０は、変形後メッシュデータが有する複数の頂点の各々に対して対応する色彩を付加していくことにより衣服画像を生成する（ステップＳ３２）。このとき、衣服画像生成部３１０は、例えばＺバッファを併用することにより正しい奥行き関係で衣服画像を生成する。具体的には、衣服画像生成部３１０は、変形後メッシュデータが有する複数の頂点の各々に付加された奥行き情報に基づいて隠面消去処理等を実行する。
　ステップＳ３２の処理が実行されると、前述した図４に示すステップＳ１１～Ｓ１３の処理に相当するステップＳ３３～Ｓ３５の処理が実行される。なお、ステップＳ３４において制御点の変更が指示されたと判定された場合、上述したステップＳ２７に戻って処理が繰り返される。
　上記したように本実施形態においては、メッシュデータが有する複数の頂点の各々に対して当該頂点に対応する奥行き情報を付加し、衣服画像を生成する際に、変形されたメッシュデータ（変形後メッシュデータ）に付加された奥行き情報に基づいて隠面消去処理を実行することにより、正しい奥行き関係での描画を行うことが可能となるため、精度の高い衣服画像を生成することが可能となる。
　更に、本実施形態においては、抽出された衣服領域の境界を示す境界情報を取得し、当該境界情報を用いて各制御点と各頂点との間の距離を算出することにより、適切な影響度を算出することが可能となり、結果として、変形前３Ｄモデル及び変形後３Ｄモデルの変化に応じた正確な衣服画像を生成することが可能となる。
　（第３の実施形態）
　次に、第３の実施形態について説明する。図２３は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図３と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図３と異なる部分について主に述べる。
　また、本実施形態に係る画像処理装置を含む画像処理システムの構成は、前述した第１の実施形態と同様であるため、適宜、図１及び図２を用いて説明する。
　図２３に示すように、本実施形態に係る画像処理装置１４００は、衣服撮像画像取得部１４０１及び衣服画像生成部１４０２を含む。
　衣服撮像画像取得部１４０１は、第２の撮像部２００から出力された、衣服４０３を着用した被写体４０２を含む衣服撮像画像を取得する。この衣服撮像画像取得部１４０１によって取得される衣服撮像画像には、例えば第１の状態の被写体４０２を含む衣服撮像画像（第１の衣服撮像画像）及び当該第１の状態とは異なる第２の状態の被写体４０２を含む衣服撮像画像（第２の衣服撮像画像）が含まれる。具体的には、第１の衣服撮像画像は第２の撮像部２００（及び第１の撮像部１００）に対して例えば略正面方向を向いた被写体４０２を含む衣服撮像画像を含み、第２の衣服撮像画像は当該略正面方向から１０度程度回転した方向（角度）を向いた被写体４０２を含む衣服撮像画像を含む。
　なお、本実施形態において、３Ｄモデル取得部３０１によって取得される変形前３Ｄモデルは、被写体４０２の第１の状態（例えば、向き、姿勢及び体型等）を表すモデルとする。一方、３Ｄモデル取得部３０１によって取得される変形後３Ｄモデルは、被写体４０２の第２の状態（例えば、向き、姿勢及び体型等）を表すモデルとする。
　衣服画像生成部１４０２は、衣服撮像画像取得部１４０１によって取得された第２の衣服撮像画像及びメッシュデータ変形部３０９によって変形されたメッシュデータ（変形後メッシュデータ）を用いて衣服４０３の画像を生成する。
　次に、図２４のフローチャートを参照して、本実施形態に係る画像処理装置１４００の処理手順について説明する。
　まず、３Ｄモデル取得部３０１は、第１の撮像部１００から出力された第１の状態の被写体４０２のデプス画像に基づいて、当該第１の状態の被写体４０２の３Ｄモデル（変形前３Ｄモデル）を取得する（ステップＳ４１）。このステップＳ４１において取得される変形前３Ｄモデルは、例えば略正面方向を向いた被写体４０２を表すモデルである。
　次に、衣服撮像画像取得部１４０１は、第２の撮像部２００から出力された第１の衣服撮像画像を取得する。この第１の衣服撮像画像は、上述した第１の撮像部１００による撮像時と同等の状態（つまり、第１の状態）で衣服４０３を着用した被写体４０２を含む画像である。換言すれば、第１の衣服撮像画像は、例えば衣服４０３を着用し、かつ、略正面方向を向いた被写体４０２を含む画像である。
　また、衣服撮像画像取得部１４０１は、第１の衣服撮像画像に加えて、第１の状態とは異なる状態（つまり、第２の状態）で衣服４０３を着用した被写体４０２を含む第２の衣服撮像画像を取得する。この第２の衣服撮像画像は、例えば衣服４０３を着用し、かつ、略正面方向から１０度程度回転した向き（角度）を向いた被写体４０２を含む画像である。
　すなわち、衣服撮像画像取得部１４０１は、衣服４０３を着用した第１の状態の被写体４０２を含む第１の衣服撮像画像及び衣服４０３を着用した第２の状態の被写体４０２を含む第２の衣服撮像画像を取得する（ステップＳ４２）。
　上記した第１及び第２の衣服撮像画像は、例えば前述した回転台４０１を手動で回転させながら第２の撮像部２００が被写体４０２を撮像することによって取得されてもよいし、自動的に回転させた回転台４０１に載置された被写体４０２を回転角度に応じて自動的に撮像するように第２の撮像部２００を制御することによって取得されても構わない。
　以下、前述した図４に示すステップＳ３～Ｓ９の処理に相当するステップＳ４３～Ｓ４９の処理が実行される。
　ここで、ステップＳ４７において取得される変形後３Ｄモデルは、例えば略正面方向から１０度程度回転した向き（角度）を向いた被写体４０２（つまり、第２の状態の被写体４０２）を表すモデルとする。
　この場合、ステップＳ４９において変形されたメッシュデータ（変形後メッシュデータ）は、上述した第２の衣服撮像画像に含まれる第２の状態の被写体４０２が着用した衣服４０３の領域に相当する領域を表すデータとなる。
　このため、衣服画像生成部１４０２は、第２の衣服撮像画像に対して変形後メッシュデータ（マスク画像）を適用する（つまり、マスク処理を実行する）ことによって、当該第２の衣服撮像画像から衣服４０３の領域を切り抜くことができる（ステップＳ５０）。これにより、衣服画像生成部１４０２は、衣服画像を生成する。
　ステップＳ５０の処理が実行されると、前述した図４に示すステップＳ１１～Ｓ１３の処理に相当するステップＳ５１～Ｓ５３の処理が実行される。なお、ステップＳ５２において制御点の変更が指示されたと判定された場合には、例えば管理者の操作に応じて当該制御点が変更された上で、ステップＳ４６に戻って処理が繰り返される。
　上記したように本実施形態においては、前述した第１の実施形態と同様に変形されたメッシュデータ（変形後メッシュデータ）を、衣服４０３を着用した第２の状態の被写体４０２を含む第２の衣服撮像画像に適用することによって衣服画像が生成される。
　ここで、前述した第１の実施形態においては変形後メッシュデータが有する複数の頂点の各々に対して対応する色彩を付加していくことにより衣服画像を生成するため、当該衣服画像における衣服４０３の色彩（及び模様）等が実際の衣服４０３と異なってしまう場合がある。これに対して、本実施形態においては、第２の衣服撮像画像から衣服４０３の領域（部分）を切り抜くことが可能となるため、前述した第１の実施形態における衣服画像と比較して、より精度の高い衣服画像を生成することが可能となる。
　なお、本実施形態においては、上述したように被写体４０２が載置された回転台４０１を自動的に回転させることによって様々な回転角度の衣服撮像画像を連続的に撮像（取得）しておくことにより、当該様々な角度（向き）に対応する衣服画像を容易に生成することが可能となる。同様に、異なる姿勢または体型の被写体４０２を含む衣服撮像画像を撮像しておくことにより、当該姿勢または体型に対応する衣服画像を生成することも可能である。
　また、本実施形態においては、第２の衣服撮像画像中の衣服４０３の領域と上述した変形後メッシュデータによって表される衣服４０３の領域とが完全に一致しない場合がある。このため、変形後メッシュデータ（つまり、マスク画像）の主として境界部分に多段階（例えば、０～２５５）の透過度を持たせるような構成とすることも可能である。これによれば、第２の衣服撮像画像中の衣服４０３の領域と上述した変形後メッシュデータによって表される衣服４０３の領域とに誤差が生じている場合であっても、当該誤差の影響を軽減することが可能となる。
　（第４の実施形態）
　次に、第４の実施形態について説明する。図２５は、本実施形態に係る画像処理装置の主として機能構成を示すブロック図である。なお、前述した図３及び図２３と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図３及び図２３と異なる部分について主に述べる。
　また、本実施形態に係る画像処理装置を含む画像処理システムの構成は、前述した第１の実施形態と同様であるため、適宜、図１及び図２を用いて説明する。
　なお、本実施形態は、前述した第１の実施形態と第３の実施形態とを組み合わせた構成とする点で、前述した各実施形態とは異なる。
　図２５に示すように、本実施形態に係る画像処理装置１５００は、第１画像生成部１５０１、第２画像生成部１５０２及び衣服画像生成部１５０３を含む。
　第１画像生成部１５０１は、前述した第１の実施形態において説明した衣服画像生成部３１０に相当する機能部であり、変形後メッシュデータが有する複数の頂点の各々に対して対応する色彩を付加していくことにより衣服４０３の画像（以下、第１の画像と表記）を生成する。なお、変形後メッシュデータが有する複数の頂点の各々に対応する色彩は、衣服撮影画像（第１の衣服撮影画像）から特定可能である。
　第２画像生成部１５０２は、前述した第３の実施形態において説明した衣服画像生成部１４０２に相当する機能部であり、第２の衣服撮影画像に対して変形後メッシュデータを適用することにより衣服４０３の画像（以下、第２の画像と表記）を生成する。
　衣服画像生成部１５０３は、第１画像生成部１５０１によって生成された第１の画像及び第２画像生成部１５０２によって生成された第２の画像を用いて衣服画像を生成する。
　次に、図２６のフローチャートを参照して、本実施形態に係る画像処理装置１５００の処理手順について説明する。
　まず、前述した図２４に示すステップＳ４１～Ｓ４９の処理に相当するステップＳ６１～Ｓ６９の処理が実行される。
　次に、第１画像生成部１５０１は、第１の衣服撮影画像及び変形後メッシュデータを用いて第１の画像を生成する（ステップＳ７０）。なお、第１画像生成部１５０１は、前述した図４に示すステップＳ１０の処理と同様の処理を実行することによって第１の画像を生成する。
　また、第２画像生成部１５０２は、第２の衣服撮影画像及び変形後メッシュデータを用いて第２の画像を生成する（ステップＳ７１）。なお、第２画像生成部１５０２は、前述した図２４に示すステップＳ５０の処理と同様の処理を実行することによって第２の画像を生成する。
　次に、衣服画像生成部１５０３は、第１画像生成部１５０１によって生成された第１の画像と第２画像生成部１５０２によって生成された第２の画像とを混合することによって衣服画像を生成する（ステップＳ７２）。
　ここで、前述した第１の実施形態において説明した処理によって生成される衣服画像（つまり、第１の画像）は変形後メッシュデータ（が有する複数の頂点の各々）に対応する色彩を付していくことによって生成された画像であるため、当該画像中に背景領域等が含まれることはないが、上述したように当該画像における衣服４０３の色彩が実際の衣服４０３と異なってしまう場合がある。
　一方、前述した第３の実施形態において説明した処理によって生成される衣服画像（つまり、第２の画像）は第２の衣服撮影画像から衣服４０３の領域を切り抜くことによって生成された画像であるため、当該画像における衣服４０３の色彩等に関しては高い精度を有する。しかしながら、第２の衣服撮影画像中の衣服４０３の領域と変形後メッシュデータによって表される衣服４０３の領域とが完全に一致しない場合には、当該第２の衣服撮影画像中の衣服４０３の領域が削られてしまうまたは衣服画像中に背景領域が含まれてしまう場合がある。
　このため、本実施形態においては、図２７に示すように、輪郭付近の領域（以下、第１の領域）１６０１には第１の画像を採用し、当該輪郭付近以外の領域（以下、第２の領域）には第２の画像を採用するように、衣服画像が生成される。
　なお、第１の領域は、例えば第１の画像における衣服４０３の輪郭線から内側方向に一定ピクセル数分の幅を有する領域と定義することができる。
　ステップＳ７２の処理が実行されると、前述した図４に示すステップＳ１１～Ｓ１３（図２３に示すステップＳ５１～Ｓ５３）の処理に相当するステップＳ７３～Ｓ７５の処理が実行される。なお、ステップＳ７４において制御点の変更が指示されたと判定された場合には、例えば管理者の操作に応じて当該制御点が変更された上で、ステップＳ６６に戻って処理が繰り返される。
　上記したように本実施形態においては、前述した第１の実施形態において説明した処理によって生成される第１の画像と前述した第３の実施形態において説明した処理によって生成される第２の画像とを混合することによって衣服画像が生成される。本実施形態においては、このような構成により、例えば背景領域等が含まれることなく、色彩に関する精度の高い衣服画像を生成することが可能となる。
　なお、本実施形態では第１の領域及び第２の領域にそれぞれ異なる画像（つまり、第１の画像及び第２の画像）を採用して衣服画像を生成するため、当該衣服画像において、第１の領域部分と第２の領域部分とが分離しているような不自然な状態となる場合がある。このため、本実施形態においては、図２８に示すように、第１の領域と第２の領域との境界領域において第１の画像及び第２の画像の不透明度（または透明度）を変化させる構成とすることで、当該画像間の境界が滑らかとなるようにすることも可能である。
　以上説明した少なくとも１つの実施形態によれば、仮想試着に用いられる衣服の画像を容易に生成することが可能な画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することが可能となる。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。　
　１００…第１の撮像部、２００…第２の撮像部、３００，１１００，１４００，１５００…画像処理装置、３０１…３Ｄモデル取得部、３０２…３Ｄモデル投影部、３０３…制御点設定部、３０４…制御点変更部、３０５，１４０１…衣服撮像画像取得部、３０６…衣服領域抽出部、３０７…メッシュデータ生成部、３０８…影響度算出部、３０９…メッシュデータ変形部、３１０，１４０２，１５０３…衣服画像生成部、３１１…提示処理部、３１２…衣服画像格納部、１１０１…境界情報取得部、１１０２…奥行き情報算出部、１５０１…第１画像生成部、１５０２…第２画像生成部。

Claims (12)

  1. 　被写体の第１の３次元モデルを取得する第１の取得手段と、
    　前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
    　衣服を着用した前記被写体を含む衣服撮像画像を取得する第２の取得手段と、
    　前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出する抽出手段と、
    　前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
    　前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得する第３の取得手段と、
    　前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
    　前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
    　前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する第２の生成手段と
    　を具備することを特徴とする画像処理装置。
  2. 　前記生成されたメッシュデータは、複数の頂点を有し、
    　前記第１の３次元モデルが変形した場合における当該第１の３次元モデル上に設定された複数の第１の制御点の各々の移動が、前記生成されたメッシュデータが有する複数の頂点の各々に対して与える影響の度合いを表す影響度を、当該第１の制御点及び頂点の組み合わせ毎に算出する影響度算出手段を更に具備し、
    　前記変形手段は、前記算出された影響度を用いて前記メッシュデータを変形する
    　ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記影響度算出手段は、前記第１の制御点及び頂点の組み合わせ毎に算出される影響度として、前記被写体が前記衣服を着用した状態を表すように前記第１の３次元モデル上に前記生成されたメッシュデータを重ね合わせた場合における当該第１の３次元モデルの領域と当該メッシュデータによって表される衣服の領域との和領域内での当該第１の制御点と当該頂点との間の距離を算出することを特徴とする請求項２記載の画像処理装置。
  4. 　前記第１の３次元モデル上に設定される複数の第１の制御点は、当該第１の３次元モデルにおける身体的特徴点を含むことを特徴とする請求項３記載の画像処理装置。
  5. 　前記第１の３次元モデル上に設定される複数の第１の制御点は、当該第１の３次元モデルを投影した場合における当該第１の３次元モデルの外周に位置することを特徴とする請求項３記載の画像処理装置。
  6. 　前記抽出された衣服の領域の境界を示す境界情報を取得する第４の取得手段を更に具備し、
    　前記影響度算出手段は、前記取得された境界情報によって示される境界に基づいて前記第１の制御点と前記頂点との間の距離を算出する
    　ことを特徴とする請求項３記載の画像処理装置。
  7. 　奥行き情報算出手段を更に具備し、
    　前記第１の取得手段は、撮像部によって撮像された被写体の第１の３次元モデルを取得し、
    　前記第１の３次元モデル上に設定される複数の第１の制御点の各々は、当該第１の制御点の前記撮像部に対する奥行き方向の位置を示す奥行き情報を含み、
    　前記奥行き情報算出手段は、前記第１の３次元モデル上に設定された複数の第１の制御点の各々に含まれる奥行き情報に基づいて、前記生成されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報を算出し、
    　前記第２の生成手段は、前記衣服の画像を生成する際に、前記変形されたメッシュデータが有する複数の頂点の各々に対応する奥行き情報に基づいて隠面消去処理を実行する
    　ことを特徴とする請求項１記載の画像処理装置。
  8. 　第１の状態の被写体の第１の３次元モデルを取得する第１の取得手段と、
    　前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
    　衣服を着用した前記第１の状態の被写体を含む第１の衣服撮像画像及び前記衣服を着用した第２の状態の被写体を含む第２の衣服撮像画像を取得する第２の取得手段と、
    　前記取得された第１の衣服撮像画像から、当該第１の衣服撮像画像に含まれる前記第１の状態の被写体が着用した前記衣服の領域を抽出する抽出手段と、
    　前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
    　前記取得された第１の３次元モデルを変形することによって前記第２の状態の被写体の第２の３次元モデルを取得する第３の取得手段と、
    　前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
    　前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
    　前記取得された第２の衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する第２の生成手段と
    　を具備することを特徴とする画像処理装置。
  9. 　第１の状態の被写体の第１の３次元モデルを取得する第１の取得手段と、
    　前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
    　衣服を着用した前記第１の状態の被写体を含む第１の衣服撮像画像及び前記衣服を着用した第２の状態の被写体を含む第２の衣服撮像画像を取得する第２の取得手段と、
    　前記取得された第１の衣服撮像画像から、当該第１の衣服撮像画像に含まれる前記第１の状態の被写体が着用した前記衣服の領域を抽出する抽出手段と、
    　前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
    　前記取得された第１の３次元モデルを変形することによって前記第２の状態の被写体の第２の３次元モデルを取得する第３の取得手段と、
    　前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
    　前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
    　前記取得された第１の衣服撮像画像及び前記変形されたメッシュデータを用いて第１の画像を生成する第２の生成手段と、
    　前記取得された第２の衣服撮像画像及び前記変形されたメッシュデータを用いて第２の画像を生成する第３の生成手段と、
    　前記生成された第１の画像及び前記生成された第２の画像に基づいて前記衣服の画像を生成する第４の生成手段と
    　を具備することを特徴とする画像処理装置。
  10. 　被写体を撮像する撮像部と、画像処理装置と、格納部とを備える画像処理システムであって、
    　前記画像処理装置は、
    　前記撮像部によって撮像された被写体の第１の３次元モデルを取得する第１の取得手段と、
    　前記取得された第１の３次元モデル上に複数の第１の制御点を設定する第１の設定手段と、
    　前記撮像部によって撮像された、衣服を着用した前記被写体を含む衣服撮像画像を取得する第２の取得手段と、
    　前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出する抽出手段と、
    　前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成する第１の生成手段と、
    　前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得する第３の取得手段と、
    　前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定する第２の設定手段と、
    　前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形する変形手段と、
    　前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成する第２の生成手段と、
    　を含み、
    　前記格納部は、前記生成された前記衣服の画像を格納する
    　ことを特徴とする画像処理システム。
  11. 　画像処理装置が実行する画像処理方法であって、
    　被写体の第１の３次元モデルを取得するステップと、
    　前記取得された第１の３次元モデル上に複数の第１の制御点を設定するステップと、
    　衣服を着用した前記被写体を含む衣服撮像画像を取得するステップと、
    　前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出するステップと、
    　前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成するステップと、
    　前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得するステップと、
    　前記取得された第２の３次元モデル上に、前記複数の第１の制御点に対応する複数の第２の制御点を設定するステップと、
    　前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形するステップと、
    　前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成するステップと
    　を具備することを特徴とする画像処理方法。
  12. 　画像処理装置のコンピュータによって実行されるプログラムであって、
    　前記コンピュータに、
    　被写体の第１の３次元モデルを取得するステップと、
    　前記取得された第１の３次元モデル上に複数の第１の制御点を設定するステップと、
    　衣服を着用した前記被写体を含む衣服撮像画像を取得するステップと、
    　前記取得された衣服撮像画像から、当該衣服撮像画像に含まれる前記被写体が着用した前記衣服の領域を抽出するステップと、
    　前記抽出された衣服の領域をメッシュ状に分割することによって、メッシュ化された当該衣服の領域を表すメッシュデータを生成するステップと、
    　前記取得された第１の３次元モデルを変形することによって第２の３次元モデルを取得するステップと、
    　前記取得された第２の３次元モデル上に、前記前記複数の第１の制御点に対応する複数の第２の制御点を設定するステップと、
    　前記第１の３次元モデル上に設定された複数の第１の制御点から前記第２の３次元モデル上に設定された複数の第２の制御点への移動量に基づいて、前記生成されたメッシュデータを変形するステップと、
    　前記取得された衣服撮像画像及び前記変形されたメッシュデータを用いて前記衣服の画像を生成するステップと
    　を実行させるためのプログラム。
PCT/JP2015/058542 2015-03-20 2015-03-20 画像処理装置、画像処理システム、画像処理方法及びプログラム WO2016151691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017507157A JP6302132B2 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理システム、画像処理方法及びプログラム
PCT/JP2015/058542 WO2016151691A1 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理システム、画像処理方法及びプログラム
US15/420,545 US10366533B2 (en) 2015-03-20 2017-01-31 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058542 WO2016151691A1 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理システム、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/420,545 Continuation US10366533B2 (en) 2015-03-20 2017-01-31 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2016151691A1 true WO2016151691A1 (ja) 2016-09-29

Family

ID=56977563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058542 WO2016151691A1 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理システム、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10366533B2 (ja)
JP (1) JP6302132B2 (ja)
WO (1) WO2016151691A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204377A1 (en) * 2017-01-17 2018-07-19 Samsung Electronics Co., Ltd. Display apparatus and method for image processing
CN109035413A (zh) * 2017-09-01 2018-12-18 深圳市云之梦科技有限公司 一种图像变形的虚拟试穿方法及系统
WO2019029670A1 (zh) * 2017-08-11 2019-02-14 捷开通讯(深圳)有限公司 虚拟试衣的方法、用于虚拟试衣的移动终端及存储设备
CN110070600A (zh) * 2018-11-02 2019-07-30 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
JP2020535498A (ja) * 2017-08-28 2020-12-03 チンタオ ハイアール ウォッシング マシーン カンパニー リミテッド 着用物品の３ｄモデル構築システム及び方法
JP2020536298A (ja) * 2017-08-28 2020-12-10 チンタオ ハイアール ウォッシング マシーン カンパニー リミテッド 着用物品情報収集システム及び方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10502532B2 (en) * 2016-06-07 2019-12-10 International Business Machines Corporation System and method for dynamic camouflaging
US10140764B2 (en) * 2016-11-10 2018-11-27 Adobe Systems Incorporated Generating efficient, stylized mesh deformations using a plurality of input meshes
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10242502B2 (en) * 2017-07-27 2019-03-26 Facebook, Inc. Providing an augmented reality overlay for display over a view of a user
KR102002225B1 (ko) * 2017-11-23 2019-07-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 번호판 인식 방법 및 그 시스템
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
WO2021067888A1 (en) * 2019-10-03 2021-04-08 Cornell University Optimizing bra sizing according to the 3d shape of breasts
US10769807B1 (en) * 2019-11-25 2020-09-08 Pet3D Corp System, method, and apparatus for clothing a pet
KR102535404B1 (ko) * 2021-04-20 2023-05-26 한국전자통신연구원 혼합 현실에서의 물리 현상을 표현하기 위한 물리 현상 표현 방법 및 그 방법을 수행하는 혼합 현실 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190974A (ja) * 2012-03-13 2013-09-26 Satoru Ichimura 情報処理装置および情報処理方法、ならびに、プログラム
US20140168217A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944556A (ja) 1995-08-03 1997-02-14 Sanyo Electric Co Ltd 試着シミュレーション方法
US5850222A (en) * 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
JP2003085588A (ja) * 2001-06-28 2003-03-20 Shiyuusaku Furushima 三次元形状モデリング方法
JP2003221718A (ja) 2002-01-25 2003-08-08 Nec Soft Ltd 試着システム、試着方法、および、試着プログラム
JP2005122558A (ja) 2003-10-17 2005-05-12 Digital Fashion Ltd 画像表示装置、画像表示方法、画像表示プログラム及び画像表示プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4473754B2 (ja) * 2005-03-11 2010-06-02 株式会社東芝 仮想試着装置
JP2007004718A (ja) 2005-06-27 2007-01-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
JP5429992B2 (ja) 2010-02-26 2014-02-26 日本ユニシス株式会社 三次元形状モデル生成装置、三次元形状モデル生成方法、三次元形状モデル生成プログラム、及び三次元形状モデル生成システム
WO2013123306A1 (en) * 2012-02-16 2013-08-22 Brown University System and method for simulating realistic clothing
JP2014089665A (ja) 2012-10-31 2014-05-15 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
CN103473806B (zh) * 2013-09-23 2016-03-16 北京航空航天大学 一种基于单幅图像的服装三维模型构建方法
KR101778833B1 (ko) * 2014-04-03 2017-09-26 한국전자통신연구원 3d 의류 모델 복원 방법 및 장치
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190974A (ja) * 2012-03-13 2013-09-26 Satoru Ichimura 情報処理装置および情報処理方法、ならびに、プログラム
US20140168217A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAORU SUGITA ET AL.: "Jinbutsu Silhouette eno Jikukan Ichi Awase ni yoru Ifuku Gazo no Gosei", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D, vol. J97-D, no. 9, 1 September 2014 (2014-09-01), pages 1519 - 1527 *
MASAHIRO SEKINE ET AL.: "Jinbutsu Rinkaku o Mochiita Fit-kan no Takai Kaso Shichaku Muke Ifuku Gazo Gosei", SSII2013, DAI 19 KAI SYMPOSIUM ON SENSING VIA IMAGE INFORMATION KOEN RONBUNSHU, 12 June 2013 (2013-06-12), pages IS1 - 12-1 to IS1-12-6 *
MASAHIRO SEKINE ET AL.: "Virtual Fitting by Single-shot Body Shape Estimation", PROCEEDINGS OF 3D BODY SCANNING TECHNOLOGIES, 21 October 2014 (2014-10-21) - 22 October 2014 (2014-10-22), pages 406 - 413, XP055316827 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204377A1 (en) * 2017-01-17 2018-07-19 Samsung Electronics Co., Ltd. Display apparatus and method for image processing
WO2019029670A1 (zh) * 2017-08-11 2019-02-14 捷开通讯(深圳)有限公司 虚拟试衣的方法、用于虚拟试衣的移动终端及存储设备
JP2020535498A (ja) * 2017-08-28 2020-12-03 チンタオ ハイアール ウォッシング マシーン カンパニー リミテッド 着用物品の３ｄモデル構築システム及び方法
JP2020536298A (ja) * 2017-08-28 2020-12-10 チンタオ ハイアール ウォッシング マシーン カンパニー リミテッド 着用物品情報収集システム及び方法
CN109035413A (zh) * 2017-09-01 2018-12-18 深圳市云之梦科技有限公司 一种图像变形的虚拟试穿方法及系统
CN110070600A (zh) * 2018-11-02 2019-07-30 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN110070600B (zh) * 2018-11-02 2023-09-15 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置

Also Published As

Publication number Publication date
JP6302132B2 (ja) 2018-03-28
JPWO2016151691A1 (ja) 2017-06-15
US10366533B2 (en) 2019-07-30
US20170140574A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6302132B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR101707707B1 (ko) 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
KR101833364B1 (ko) 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4473754B2 (ja) 仮想試着装置
US9348950B2 (en) Perceptually guided capture and stylization of 3D human figures
JP4401727B2 (ja) 画像表示装置及び方法
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
KR20180069786A (ko) 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템
JP6373026B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9224245B2 (en) Mesh animation
CN109816766A (zh) 图像处理装置、图像处理方法及存储介质
KR101744079B1 (ko) 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
JP4878330B2 (ja) 対象物の関節構造の取得方法及び装置
US10395404B2 (en) Image processing device for composite images, image processing system and storage medium
JP2017187882A (ja) 画像処理に用いられるコンピュータープログラム
CN110443884B (zh) 手部运动重建方法和装置
JP2006004158A (ja) 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
JP2009211513A (ja) 画像処理装置及びその方法
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
CN110533761B (zh) 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
WO2019150431A1 (ja) 情報処理装置
JP6545847B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015212891A (ja) 画像処理装置及び画像処理装置の制御方法
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15886248

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507157

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15886248

Country of ref document: EP

Kind code of ref document: A1