WO2015129353A1 - 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体 - Google Patents

仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体 Download PDF

Info

Publication number
WO2015129353A1
WO2015129353A1 PCT/JP2015/051763 JP2015051763W WO2015129353A1 WO 2015129353 A1 WO2015129353 A1 WO 2015129353A1 JP 2015051763 W JP2015051763 W JP 2015051763W WO 2015129353 A1 WO2015129353 A1 WO 2015129353A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
try
fitting
dimensional
motion
Prior art date
Application number
PCT/JP2015/051763
Other languages
English (en)
French (fr)
Inventor
泰男 木下
Original Assignee
泰男 木下
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 泰男 木下 filed Critical 泰男 木下
Priority to US15/100,547 priority Critical patent/US20160300393A1/en
Publication of WO2015129353A1 publication Critical patent/WO2015129353A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to a virtual try-on technique for virtually trying on clothes.
  • Internet shopping With the recent development of the Internet and mobile phone networks (hereinafter collectively referred to as communication lines), shopping via communication lines (hereinafter referred to as Internet shopping) has become popular.
  • Internet shopping a user selects a desired product from a plurality of products displayed on a screen, and the selected product is ordered.
  • Patent Document 1 a body shape representative point is set from a photographed user's image, clothes drawing data is processed to match the user's body shape based on the body shape representative point, and the processed clothes drawing data is used. It is displayed superimposed on the person's image.
  • Patent Document 2 first and second feature points that characterize the front and side body shapes of the subject are extracted from the subject image, and third feature points that characterize the form of the product are extracted from the product image.
  • a product image is synthesized with the subject image based on the feature points.
  • Patent Document 3 the clothing data is scaled and displayed based on the state of the marker attached to the human body.
  • clothes data including a three-dimensional shape of clothes, three-dimensional body shape data of a try-on person, and a plurality of posture data of the try-on persons are stored. Estimating the try-on's posture data, generating time-series posture data from the posture data, estimating the clothing movement based on the time-series posture data, etc., and generating the clothing image based on the estimated clothing motion The data is synthesized with the try-on person in the video.
  • JP 2004-086662 A Japanese Patent Laid-Open No. 2005-216094 JP 2005-256232 A JP 2006-249618 A
  • the present invention has been made in view of the above problems, and an object thereof is to increase the degree of freedom of operation in a three-dimensional virtual fitting technique.
  • a try-on information storage for storing the try-on information including the three-dimensional data of the try-on and the position of the feature point set on the three-dimensional data.
  • a motion data storage unit that stores motion data indicating a three-dimensional position of a human body feature point at each time
  • a clothing data storage unit that stores clothing data including clothing shape data
  • the fitting person information A fitting data acquisition unit that acquires the motion data, a motion data acquisition unit that acquires the motion data, the feature points in the motion data at each time, and the feature points set in the three-dimensional body shape data of the fitting person
  • Motion data that transforms the motion data at each time to match the three-dimensional body shape data of the fitting person Based on the deformed motion data, a deformation body, a motion body data generation section that generates motion body data that three-dimensionally moves the three-dimensional body shape data of the fitting person, and the clothes data storage section
  • a clothing data acquisition unit that acquires data
  • a try-on image generation unit that generate
  • the motion data is deformed so as to match the three-dimensional body shape data of the try-on, and the motion body type data is generated based on the deformed motion data and the three-dimensional body shape data. Therefore, if motion data is generated based on the operation of a model or the like, it is possible to generate motion body type data in which the try-on person himself performed the operation. In addition, since the three-dimensional shape data of the clothes is virtually dressed on such motion body type data, it is possible to confirm the try-on state when the try-on person is performing a predetermined motion. That is, in this configuration, since motion data can be generated from a third party's operation, it is possible to check the try-on state in various operation states.
  • the motion data deformation unit is set to the three-dimensional body shape data of the fitting person.
  • the position of the corresponding feature point of the motion data is moved based on the distance between adjacent feature points.
  • the fitting person information includes identification information of a permitted person who has permitted the fitting image generation operation by the fitting person, and includes user identification information.
  • a user of the virtual try-on system can perform a third-party try-on image generation operation.
  • the operation is permitted only when the user is permitted to perform the try-on image generation operation by the try-on person, it is possible to prevent generation of an unspecified third-party try-on image.
  • the virtual try-on system includes a group information storage unit that stores group information that defines information on the try-on members belonging to the same group, The fitting person information of the fitting person belonging to the same group is acquired, the motion data defines a plurality of movements, and the fitting image generation unit is a virtual fitting of the fitting person belonging to the same group. The fitting image including the state is generated.
  • a virtual for a virtual fitting system for virtually trying on a garment by a fitting person is a try-on program, and the try-on information is acquired from a try-on information storage unit that stores the try-on information including the position of the feature point set on the three-dimensional figure data of the try-on and the three-dimensional figure data.
  • a try-on information acquisition function for acquiring motion data from a motion data storage unit that stores motion data indicating a three-dimensional position of a human body feature point at each time, and the motion at each time Based on the positional relationship between the feature points in the data and the feature points set in the three-dimensional body shape data of the try-on person at each time.
  • the motion data transformation function for transforming the motion data so as to conform to the three-dimensional body shape data of the fitting person, the three-dimensional body shape data of the fitting person is moved three-dimensionally based on the transformed motion data.
  • the clothes data acquisition function for acquiring the clothes data from the clothes data storage unit for storing the clothes data including the shape data of the clothes, and the clothes data
  • a computer is caused to realize a try-on image generation function for generating a try-on image in which the clothes are attached to the three-dimensional body type data of each frame of the action type data.
  • the pre-stored three-dimensional figure data of the try-on and the three-dimensional figure data set in advance A try-onr information acquisition step for acquiring try-onr information including the position of the feature point; a motion data acquisition step for acquiring motion data indicating a three-dimensional position of the feature point of the human body at each time stored in advance; Based on the positional relationship between the feature points in the motion data at each time and the feature points set in the three-dimensional body shape data of the try-on, the motion data at each time is converted into the three-dimensional shape of the try-on person.
  • a motion body type data generation step for generating motion body type data for three-dimensional movement Based on the clothing data, a motion body type data generation step for generating motion body type data for three-dimensional movement, a clothing data acquisition step for acquiring clothing data including shape data of clothing stored in advance, A try-on image generation step of generating a try-on image in which the clothes are put on the three-dimensional body type data of each frame of the motion body type data.
  • an additional characteristic configuration of the above-described virtual try-on system can be added to such a virtual try-on method, and the same effects can be obtained.
  • the virtual try-on system generates an image in which clothes having a three-dimensional shape are virtually attached to three-dimensional body shape data.
  • a virtual try-on system can be configured as a part of an online clothing sales system.
  • an Internet mail order system can be constructed if the virtual try-on system described above is used to try on and send order data for a favorite garment to an order receiving server (not shown).
  • clothes can be purchased without going to an actual store. Therefore, even if it is troublesome or difficult to go to an actual store, clothes can be purchased.
  • FIG. 1 and 2 are a configuration diagram and a functional block diagram of the virtual try-on system in this embodiment.
  • a server S and a communication terminal T are connected via a network N.
  • the server S is composed of a general purpose computer.
  • the server S is configured by installing a server program of the virtual try-on system on this general-purpose computer.
  • the communication terminal T can be constituted by a general-purpose computer, but in this embodiment, it is constituted by a portable network device such as a so-called smart phone or tablet computer.
  • a communication terminal T is configured by installing a program for a communication terminal of the virtual try-on system in this network device.
  • WiFi or a cellular phone network is used for connection from the communication terminal T to the network N.
  • the network N uses the Internet, but a LAN (Local Area Network), a WAN (Wide Area Network), or the like may be used.
  • the server program and the communication terminal program of the virtual try-on system can be installed on a general-purpose computer via a network such as the Internet or a LAN. It is also possible to record these programs on a recording medium such as a CD-ROM, DVD-ROM, flash memory, hard disk, etc., and install the program via this storage medium.
  • the management server S includes a try-on person information storage unit 11, a motion data storage unit 12, a clothing data storage unit 13, and an authentication unit 14.
  • FIG. 3 shows the configuration of each data (fitting person information, motion data, clothes data) stored in these storage units.
  • each storage unit includes a nonvolatile storage medium such as a hard disk and a DBMS (DataBase Management System), but a DBSM is not necessarily required.
  • these storage units are configured on a single server S. However, these storage units may be distributed to a plurality of servers.
  • the information on each try-on (customer) is stored in the try-on information storage unit 11, if the try-on information storage unit 11 is configured using an existing customer information management database, two The complexity of heavy management can be eliminated.
  • the try-on information storage unit 11 stores try-on information for each try-on (customer).
  • the try-on information includes identification information (hereinafter referred to as a try-on ID) that can specify the try-on, the three-dimensional data of the try-on, and the position information of the feature points on the three-dimensional data. (Hereinafter referred to as feature point position information) (see FIG. 3).
  • the try-on ID only needs to be information that can uniquely identify the try-on, and can be a customer ID, particularly when a customer information management database is used.
  • the three-dimensional body shape data is three-dimensional shape data of the body of the fitting person, and can be measured by a so-called body scanner or the like.
  • the feature points are points that change in position according to the movement of the body such as walking among points on the body, and points that are used when dressing clothes data virtually. Points as described in 2 can be used.
  • the setting of the feature points may be performed automatically when the three-dimensional body type data is acquired, or the acquired three-dimensional body type data may be displayed on a display and manually set by the operator. Further, the operator may correct the automatically set feature point position.
  • the feature point position information is the three-dimensional coordinates of each of such a plurality of feature points.
  • An arbitrary position can be used as the origin at this time.
  • an arbitrarily set origin of the world coordinate system may be used, and one of the feature points may be the origin.
  • the person to be measured wears clothes that have a clear body line, such as naked body or underwear or leotard, and measures 3D body shape data. You may measure it.
  • the motion data storage unit 12 stores a plurality of motion data.
  • Each motion data includes identification information (hereinafter referred to as “motion ID”), feature point movement information, and explanatory text that can uniquely identify each motion data (see FIG. 3).
  • the feature point movement information indicates the movement state of each feature point at each time when the body performs a series of actions. Note that the feature points used in the motion data correspond to the feature points used in the try-on information.
  • the motion data can be acquired as, for example, a three-dimensional position of the marker when a marker is attached to the feature point position of the model and the model performs a predetermined operation.
  • M is the number of feature points
  • ⁇ is the time length of the motion data.
  • the expression method of the feature point movement information is not limited to this, and other expression methods may be used. For example, the coordinates of the feature points at time 0 and the movement vector from the previous time of each feature point can be used.
  • the explanatory text is text information that briefly represents the motion of each motion data, and is presented to the user of the virtual try-on system when selecting the motion data. Since the motion ID is a value unique to each motion data, it is possible to search for motion data using the motion ID as a key.
  • motion data can be generated from the actions of any person. That is, it can be generated from the motion of the model, or can be generated from the motion of the try-onr. In the present embodiment, the motion data is generated from the operation of a model other than the fitting person.
  • the clothing data storage unit 13 stores a plurality of clothing data.
  • the clothing data includes identification information (hereinafter referred to as clothing ID) that can uniquely identify each piece of clothing data, and three-dimensional shape data of the clothing.
  • clothing ID identification information
  • colors and patterns are registered as sub data of each shape data. Therefore, the clothing data further includes a color pattern ID and a thumbnail image.
  • the color pattern ID is identification information for specifying a color or a pattern. Therefore, when searching for clothing data using the clothing ID as a key, clothing data having a plurality of colors and patterns may be acquired. At this time, when it is desired to acquire clothes data limited to colors and patterns, the clothes ID and the color pattern ID may be used as search keys.
  • the thumbnail image is image data when the color or pattern is attached to the clothes of the three-dimensional shape data.
  • the authentication unit 14 performs authentication using the user identification information acquired by the identification information acquisition unit 21 of the communication terminal T described later. Specifically, the authentication unit 14 determines whether or not try-on information having a try-on ID that matches the identification information is stored in the try-on information storage unit 11, and performs authentication. When the identification information acquisition unit 21 also acquires authentication information such as a password, authentication is performed based on whether or not a pair of identification information and authentication information is stored in the try-onr information storage unit 11. . The authentication unit 14 notifies the control unit 20 of the communication terminal T of the authentication result, and the control unit 20 controls the communication terminal T so as to allow the try-on operation only when the authentication is successful.
  • the communication terminal T includes a control unit 20, an identification information acquisition unit 21, a try-on information acquisition unit 22, a motion data acquisition unit 23, a clothing data acquisition unit 24, a motion data transformation unit 25, an action body type data generation unit 26, and a try-on image generation.
  • a portion 27 is provided.
  • these functional units are configured by the cooperation of the program according to the present invention read into the communication terminal T and the CPU, but are configured by hardware or hardware and software. It doesn't matter.
  • the control unit 20 controls the processing flow of the entire communication terminal T, including the adjustment of the operation timing of each functional unit.
  • the identification information acquisition unit 21 acquires user identification information via the GUI, and transmits it to the authentication unit 14 of the server S. Specifically, the identification information acquisition unit 21 displays an input form for inputting identification information such as a customer ID on the display D of the communication terminal T, and displays the identification information input by the user operating the touch panel TP. get. At this time, if it is configured to acquire not only identification information but also authentication information such as a password, security can be improved. The user identification information acquired by the identification information acquisition unit 21 is sent to the authentication unit 14.
  • the try-on ID is set as the terminal identification information of the communication terminal T, and the identification information acquisition unit 21 acquires the identification information from the user.
  • the terminal identification information can be transmitted to the authentication unit 14 of the server S. Thereby, a user's convenience can be improved.
  • the fitting person information acquisition unit 22 acquires the fitting person information of the user who has been successfully authenticated from the fitting person information storage unit 11 of the server S using the identification information acquired by the identification information acquisition unit 21 as a key. Therefore, in this embodiment, the user and the fitting person are the same.
  • the motion data acquisition unit 23 acquires motion data from the motion data storage unit 12 of the server S.
  • all motion data can be acquired at an arbitrary timing, or a motion ID can be designated and only motion data having the motion ID can be acquired. However, even in the latter case, it is desirable to obtain the motion IDs and explanations of all motion data in advance.
  • the clothing data acquisition unit 24 acquires clothing data from the clothing data storage unit 13 of the server S. Similar to the acquisition of motion data, acquisition of clothing data can acquire arbitrary data at an arbitrary timing. However, it is desirable to obtain in advance at least one thumbnail image associated with the clothing ID and each clothing ID among all the clothing data. Thereby, thumbnail images of all clothes can be presented to the user.
  • the motion data deforming unit 25 deforms the motion data based on the feature points in the motion data and the feature points in the three-dimensional body shape data of the user (fitting person) to generate deformed motion data. In other words, the motion data deforming unit 25 performs a process of generating deformed motion data in which the motion data is adapted to the user's body shape. Specific processing will be described later.
  • the action body type data generation unit 26 generates action body type data using the deformation motion data and the three-dimensional body type data.
  • the action body type data is time-series data obtained by moving the three-dimensional body type data of the user according to the deformation motion data.
  • the try-on image generation unit 27 generates an image (hereinafter, referred to as a try-on image) in which clothes are put on the motion form data. Specifically, the try-on image generation unit 27 generates a three-dimensional shape in which the three-dimensional shape data of the selected clothes data is adapted to the action body type data, and the two-dimensional shape viewed from an arbitrary viewpoint. Generate an image sequence.
  • the control unit 20 displays on the display D an input form for inputting user (fitting person) identification information.
  • the user operates the touch panel TP to input identification information.
  • the input identification information is acquired by the identification information acquisition unit 21 (# 01).
  • the identification information acquired by the identification information acquisition unit 21 is transmitted to the authentication unit 14 of the server S.
  • the authentication unit 14 that has acquired the identification information authenticates the user (# 02). Specifically, the authentication unit 14 accesses the fitting person information storage unit 11 of the server S and determines whether or not the same fitting person ID as the acquired identification information is registered. If the same try-on ID as the acquired identification information is registered in the try-on information storage unit 11, the authentication unit 14 notifies the control unit 20 that the authentication is successful (Yes branch of # 02). On the other hand, if the same try-on ID as the acquired identification information is not registered, the authentication unit 14 notifies the control unit 20 that the authentication has failed (No branch of # 02).
  • the try-on information acquisition unit 22 acquires the try-on information from the try-on information storage unit 11 using the identification information acquired by the identification information acquisition unit 21 as a search key (# 03).
  • the control unit 20 displays a data selection screen 30 shown in FIG. 5 on the display D in order to allow the user to select data used for virtual fitting.
  • the data selection screen 30 includes a clothing selection menu 31 for selecting a clothing type and an operation selection menu 32 for selecting an operation. These menus can be configured as pull-down menus, and both are shown with the menus open in FIG.
  • the data selection screen 30 includes thumbnail images 33 of a plurality of clothes.
  • the type of clothes is determined by the first character of the clothes ID. For example, if the clothes ID is 1 [0-9] +, it is a tee shirt, if it is 2 [0-9] +, it is a blouse, if it is 3 [0-9] +, it is jeans or the like.
  • the thumbnail images included in the clothing data are displayed as a list on the display D.
  • the types of clothes that can be used in the virtual try-on system are not limited to these, and may be kimonos, swimsuits, underwear, or the like.
  • the clothing data in this embodiment may include thumbnail images of different colors (patterns).
  • thumbnail images of different colors (patterns) are not displayed at the same time, only representative thumbnail images (for example, those having the smallest color pattern ID) are displayed, and there are clothes of different colors (patterns). It is preferable to perform a display indicating that.
  • the user operates the touch panel TP to touch one thumbnail image 33 and selects a desired clothing (# 04).
  • the selected thumbnail image 33 is displayed in the selected clothing display area 37.
  • the user operates the touch panel TP to select one operation (# 05). In the illustrated example, walking is selected.
  • the control unit 20 executes the following virtual try-on process.
  • the layering button 34 is touched, jeans are selected from the clothing selection menu 31, and the thumbnail image 33 of jeans is selected. Thereafter, the try-on button 35 is touched.
  • the number of layered clothes may be more than two, and even if the number of layered clothes increases, each selected thumbnail image is displayed in the selected clothes display area 37, so that the user can select the selected clothes. Can be easily confirmed.
  • the control unit 20 When the try-on button 35 is touched, the control unit 20 notifies the motion data transformation unit 25 of the motion ID associated with the selected operation. Receiving the notification, the motion data transformation unit 25 transforms the motion data having the notified motion ID (# 06). In other words, the motion data transformation unit 26 converts the motion data into the 3D body data of the try-onr based on the positional relationship between the feature points in the motion data and the feature points set in the 3D body type data of the try-onr. Perform appropriate processing. Specifically, the following processing is performed.
  • the feature points of this embodiment are expressed in a graph structure as shown in FIGS. That is, the feature points are nodes, and each node has an edge with respect to an adjacent feature point.
  • 6 and 7 show a part of the graph structure of feature points set in the three-dimensional body data and a part of the graph structure of feature points set in motion data corresponding to one time corresponding thereto.
  • each node is connected to an adjacent node by one or two edges, but may be adjacent to more edges.
  • node N1 is connected to nodes N2 and N4 by edges E1 and E3.
  • the node N3 is connected to the node N2 by the edge E2.
  • Each node Ni and ni has three-dimensional coordinates P i (X i , Y i , Z i ) and p i (x i , y i , z i ), respectively.
  • the motion data deforming unit 25 adapts the motion data to the three-dimensional body shape data of the try-on by deforming the graph structure of FIG. 7 using the graph structure of FIG. First, the motion data transformation unit 25 selects one node from the graph structure of the three-dimensional body data, and selects a node corresponding to the node from the graph structure of the motion data.
  • the selected node is referred to as a reference node. For example, when the node N1 is selected from the three-dimensional body type data, the node n1 is selected from the motion data.
  • nodes adjacent to the reference node are sequentially selected.
  • the node N2 and the node n2 corresponding to the node N2 are set as adjacent nodes.
  • the distance between the reference node and the adjacent node is obtained.
  • the motion data transformation unit 25 as the length of the edge e1 is the same as the length of the edge E1, moving the node n2 That feature point p 2 to p 2 '.
  • p 2 ′ (x 2 , y 2 , z 2 ) ⁇ L 1 / l 1 It becomes.
  • the node (feature point p 2 ) moves, the node (feature point) directly or indirectly connected to the node n2 moves in the same manner. That is, the node n3 moves in parallel by the same amount as the node n2.
  • the motion data transformation unit 26 sets the adjacent node as the reference node, and performs the same processing as described above. That is, the node N2 and the node n2 are set as reference nodes, and the node n3 (feature point p 3 ) is moved. This process is recursively performed until there are no adjacent nodes of the reference node.
  • the same processing as that of the node n2 is performed for another node n4 adjacent to the reference node n1. Further, this process is performed on the motion data at each time.
  • the position of the feature point of the motion data is changed based on the length between adjacent feature points of the fitting person's three-dimensional body data, and the motion data is adapted to the fitting person's three-dimensional body data.
  • the deformation processing of motion data is not limited to this, and other methods may be used.
  • the configuration may be such that the motion data conversion unit 26 is not provided, or the motion data transformation unit 26 may be configured to output the motion data through. .
  • the control unit 20 instructs the motion body type data generation unit 26 to generate motion body type data, and the motion body type data generation unit 26 that has received the instruction generates motion body type data.
  • the motion body type data generation unit 26 uses the motion data transformation unit 25 to generate motion body type data obtained by moving the try-on's 3D body type data based on the motion data adapted to the 3D body type data of the try-on. For example, an edge connecting a feature point (node) and an adjacent feature point is regarded as a skeleton, and the three-dimensional body shape data is deformed according to the feature point coordinates (skeleton position) at each time. Thereby, the same operation as the model can be performed on the three-dimensional body shape data of the try-on.
  • the generation of the action body type data is not limited to this, and other methods may be used.
  • the control unit 20 When the generation of the action body type data is completed, the control unit 20 notifies the fitting image generation unit 27 of the clothes ID of the selected clothing, and the fitting image generation unit 27 that has received the notification generates the fitting image. (# 08). Specifically, the following processing is performed.
  • the try-on image generation unit 27 acquires the three-dimensional shape data of the clothes having the notified clothes ID.
  • three-dimensional shape data in which the clothing is dressed is generated for the three-dimensional body shape data at each time of the action body shape data, and the color or pattern of the clothing is mapped to the clothing portion of the three-dimensional shape data. I do.
  • the technique of the above-mentioned patent document can be used for virtual dressing of clothes on the three-dimensional body shape data.
  • the fitting image generation unit 27 generates a series of two-dimensional images obtained by viewing the three-dimensional shape data at each time from a predetermined viewpoint as fitting images.
  • the control unit 20 displays a series of fitting images on the display D (# 09).
  • a user interface for inputting the viewpoint position can be formed on the display D so that the user can input the viewpoint position by operating the touch panel TP.
  • the input viewpoint position is notified to the try-on image generation unit 27, and the try-on image generation unit 27 again generates a two-dimensional try-on image viewed from the notified viewpoint.
  • the selection operation similar to the above can be performed by returning to the data selection screen 30 of FIG.
  • the color selection menu can be displayed by long-pressing the thumbnail image 33 or the like.
  • the fitting image generating unit 27 can reduce the amount of calculation if only the color and pattern mapping is performed.
  • the virtual try-on system of the present embodiment it is possible to virtually try on clothes in a state where motion data registered in advance is adapted to the wearer. Thereby, it is possible to check the try-on state when various operations are performed in the actually tried-on state without trying on.
  • the virtual try-on system in the second embodiment is different from the first embodiment in that the user and the try-on person are different. That is, in the virtual try-on system of the present embodiment, it is possible to perform virtual try-on by a third party.
  • the try-on person information of the present embodiment includes the identification information (hereinafter referred to as the "permitted person ID") of the authorized person in addition to the tried-on person ID, the three-dimensional body shape data, and the feature point position information.
  • the permitted person ID is identification information of a person who is permitted to try on by the try-on person. In other words, the permitted person can perform a virtual try-on operation using the three-dimensional body shape data of a third-party try-on. It should be noted that the try-on information need not be held in a single table, and may be held in another format as long as the allowable relationship between the try-on and the user can be grasped. Further, a plurality of authorized person IDs may be set for one try-on person information.
  • the difference between the functional unit of the present embodiment and the functional unit of the first embodiment is an identification information acquisition unit 21 and an authentication unit 14.
  • the identification information acquisition unit 21 acquires user identification information (hereinafter referred to as a user ID) and a try-on identification information (a try-on ID), and sends them to the authentication unit 14 of the server S. Send.
  • the authentication unit 14 Upon receiving the user ID and the try-on ID, the authentication unit 14 first searches for the try-on information using the try-on ID as a key. At this time, if the corresponding try-on information cannot be retrieved, the communication terminal T is notified that the authentication has failed. On the other hand, when the corresponding try-on information can be searched, the authorized person ID of the searched-on try-in information is collated with the user ID received from the communication terminal T. At this time, if the permitted person ID matches the user ID, the authentication unit 14 notifies the communication terminal T that the authentication has been successful, and if they do not match, notifies the authentication failure.
  • the communication terminal T (control unit 20) that has received the authentication result from the authentication unit 14 performs a virtual try-on using the three-dimensional body shape data of the wearer information as in the first embodiment.
  • the process is terminated and, for example, the screen returns to the display of the identification information input screen.
  • the user can perform virtual try-on using the three-dimensional body data of a third party such as a family or a lover. Therefore, when presenting clothes to a family, a lover or the like, clothes suitable for the partner can be selected without being known to the partner.
  • the virtual try-on system in the present embodiment is different from the above-described embodiment in that virtual try-on of a plurality of persons (groups) can be performed. Therefore, the virtual try-on system of the present embodiment is different from the first embodiment in that the server S includes a group information storage unit 15 as shown in the functional block diagram of FIG.
  • the try-on information in this embodiment includes a group ID as shown in FIG.
  • the group information storage unit 15 stores group information as shown in FIG.
  • the group information includes a group ID for identifying the group and a try-on ID of a try-on that belongs to each group.
  • This group information is information that can be generated from the try-on information, but by storing the group information in advance, the processing at the time of authentication can be reduced.
  • the try-on information storage unit 11 or a memory or the like in which temporarily generated group information is stored is the present invention. It functions as a group information storage unit.
  • the processing of the virtual try-on system in the present embodiment is mainly different from the processing in the first embodiment in the processing of the try-on person information acquisition unit 22. In the following description, only this different part will be described.
  • the authentication unit 14 performs authentication based on the identification information from the identification information acquisition unit 21, and the authentication result is transmitted to the control unit 20.
  • the control unit 20 sends an instruction to the fitting person information acquisition unit 22 to acquire the fitting person information.
  • the try-onr information acquisition unit 22 acquires from the try-onr information storage unit 11 the try-on information corresponding to the try-on ID of the acquired group information.
  • the try-on information of the try-on ID 3, 4 is acquired.
  • the virtual try-on system of this embodiment acquires a plurality of pieces of try-on information. And the virtual try-on process similar to Example 1 is performed with respect to the three-dimensional body-form data contained in each try-on person information.
  • clothes can be selected for each try-on, and motion data including motions of a plurality of people is used. It is also preferable to provide a user interface for the user to specify which operation corresponds to which try-on.
  • the motion data transformation unit 25 adapts the motion of each model included in the motion data to the corresponding three-dimensional body shape data of the try-on, and the motion body data generation unit 26 transforms each model. Based on the motion and the corresponding three-dimensional body shape data of the try-on users, motion body type data including the motion body types of the plurality of try-on users is generated. Then, the try-on image generation unit 27 generates a try-on image in which clothes are virtually put on the action body type of each of the try-onrs of such action body type data.
  • a single try-on image can include the try-on states of a plurality of people such as family members and lovers. Therefore, it is possible to easily coordinate the clothes of a plurality of people. At this time, it is expected that the virtual try-on system also functions as a communication tool when a plurality of try-ons meet and exchange opinions.
  • the virtual try-on system is configured by the server S and the communication terminal T, but the system configuration is not limited to this, and the arrangement of the functional units can be changed as appropriate. For example, it can be distributed to a larger number of devices, or all functional units can be arranged in a single device.
  • the actually measured data of the try-on is used as the three-dimensional body shape data, but the three-dimensional body shape data may be set by other methods. For example, it is possible to select the one closest to the body shape of the fitting person from a plurality of three-dimensional body form data registered in advance in the system, and use the selected data as the three-dimensional body shape data of the fitting person. It is also possible to input numerical data relating to the body shape of a try-on and generate three-dimensional body shape data from the input numerical data.
  • the 3D body shape data set by these methods does not strictly represent the body shape of the fitting person, but it can reduce the labor involved in obtaining the 3D body shape data and confirm the approximate fitting state. can do.
  • the present invention can be used for a virtual try-on technique for virtually trying on clothes on three-dimensional body shape data.

Abstract

　試着者情報を取得する試着者情報取得部と、モーションデータを取得するモーションデータ取得部と、モーションデータ中の特徴点と、試着者の３次元体型データに設定された特徴点との位置関係に基づいて、モーションデータを試着者の３次元体型データに適合するように変形するモーションデータ変形部と、変形されたモーションデータに基づいて、試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成部と、衣服データを取得する衣服データ取得部と、衣服データに基づいて、動作体型データの各時刻の３次元体型データに衣服を着せ付けた試着画像を生成する試着画像生成部と、を備える。

Description

仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体
　本発明は、仮想的に衣服を試着する仮想試着技術に関する。
　近年のインターネットや携帯電話網（以下、通信回線と総称する）の発展に伴い、通信回線を介した買い物（以下、インターネットショッピングと称する）が盛んになっている。一般的に、インターネットショッピングでは、ユーザが、画面上に表示された複数の商品から所望の商品を選択し、選択された商品が発注される。
　このようなインターネットショッピングを利用すれば、ユーザは商品が販売されている店舗に出かけることなく、買い物を行うことができる。そのため、ユーザは実物の商品を見ることなく買い物を行う。
　一方、衣服等を購入する際には、その衣服が自分に似合っているか、他の衣服とのコーディネート等を確認するために、試着が行われることが多い。しかしながら、インターネットショッピングでは、当然ながら試着を行うこができない。そのため、衣服を購入してから、購入を後悔する場合も見られる。このような問題を解決するために、仮想試着技術が提案されている。
　特許文献１では、撮影された利用者の画像から体型代表点を設定し、体型代表点に基づいて服描画用データを利用者の体型に合うように加工し、加工した服描画用データを利用者の画像に重ね合わせて表示している。また、特許文献２では、被写体画像から、被写体の正面および側面の体型を特徴付ける第１および第２の特徴点を抽出し、商品画像から商品の形態を特徴付ける第３特徴点を抽出し、これらの特徴点に基づいて被写体画像に商品画像を合成している。
　一方、特許文献３では、人体に取り付けられたマーカの状態に基づいて服飾データをスケーリングし、表示している。また、特許文献４では、衣服の３次元形状等を含む衣服データと、試着者の３次元体型データと、試着者の複数の姿勢データと、を記憶し、試着者の動画像の各画像における試着者の姿勢データを推定し、姿勢データから時系列姿勢データを生成し、時系列姿勢データ等に基づいて衣服の動きを推定し、推定された衣服の動きに基づいて生成された衣服の画像データを動画中の試着者に合成している。
特開２００４－０８６６６２号公報 特開２００５－２１６０９４号公報 特開２００５－２５６２３２号公報 特開２００６－２４９６１８号公報
　これらの特許文献の技術を用いれば、仮想的な衣服の試着を行うことができる。しかしながら、特許文献１，２では、試着者の２次元画像に、衣服の２次元画像を合成しているため、固定的な視点からの確認ができるのみであり、異なる視点からの確認をすることができない。これに対して、特許文献３，４では、３次元的に仮想試着が行われているため、異なる視点からの確認を行うことができる。しかしながら、特許文献３，４では、予め取得しておいた試着者自身の動作に基づいた試着状態を確認することができるに過ぎないため、動作の自由度が低く、十分な試着状態を確認することができない。
　本発明は上記課題に鑑みてなされたものであり、その目的は、３次元的な仮想試着技術において、動作の自由度を高めることにある。
　本発明の仮想試着システムの好適な実施形態の一つでは、試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部と、各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部と、衣服の形状データを含む衣服データを記憶する衣服データ記憶部と、前記試着者情報を取得する試着者情報取得部と、前記モーションデータを取得するモーションデータ取得部と、各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形部と、変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成部と、前記衣服データ記憶部から前記衣服データを取得する衣服データ取得部と、前記衣服データに基づいて、前記動作体型データの各時刻の前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成部と、を備えている。
　この構成では、モーションデータが試着者の３次元体型データに適合するように変形され、変形されたモーションデータと３次元体型データとに基づいて動作体型データが生成される。そのため、モーションデータをモデル等の動作に基づいて生成しておけば、試着者自身がその動作を行った動作体型データを生成することができる。また、このような動作体型データに対して衣服の３次元形状データを仮想的に着せ付けるため、試着者自身が所定の動作を行っている際の試着状態を確認することができる。すなわち、この構成では、モーションデータを第三者の動作から生成しておくことができるため、様々な動作状態における試着状態を確認することができる。
　モーションデータの変形処理は様々な方法を用いることができるが、本発明の仮想試着システムの好適な実施形態の一つでは、前記モーションデータ変形部は、前記試着者の３次元体型データに設定された特徴点のうちの隣接する特徴点間の距離に基づいて、対応する前記モーションデータの特徴点の位置を移動させる。
　本発明の仮想試着システムの好適な実施形態の一つでは、前記試着者情報は、前記試着者が前記試着画像の生成操作を許可した被許可者の識別情報を含み、利用者の識別情報を取得する識別情報取得部と、前記利用者の識別情報が前記被許可者の識別情報として含まれている前記試着者情報に対してのみ前記試着画像の生成操作を許容するように制御する制御部を備えている。
　この構成では、仮想試着システムの利用者が、第三者の試着画像の生成操作を行うことができる。ただし、利用者が試着者から試着画像の生成操作を許可されている場合にのみ操作が許容されるため、不特定の第三者の試着画像の生成を防止することができる。
　本発明の仮想試着システムの好適な実施形態の一つでは、同一のグループに属する前記試着者の情報を規定するグループ情報を記憶するグループ情報記憶部を備え、前記試着者情報取得部は、前記同一のグループに属する前記試着者の前記試着者情報を取得し、前記モーションデータには複数人の動作が規定され、前記試着画像生成部は、前記同一のグループに属する試着者の仮想的な試着状態が含まれた前記試着画像を生成する。
　この構成では、単一の試着画像に複数の試着者の仮想的な試着状態を含めることができる。これにより、複数人のトータルコーディネート等を確認することができる。
　本発明の、試着者に仮想的に衣服を試着させる仮想試着システムのための仮想試着プログラムの好適な実施形態の一つでは、試着者に仮想的に衣服を試着させる仮想試着システムのための仮想試着プログラムであって、試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部から、当該試着者情報を取得する試着者情報取得機能と、各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部から、当該モーションデータを取得するモーションデータ取得機能と、各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形機能と、変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成機能と、衣服の形状データを含む衣服データを記憶する衣服データ記憶部から、当該衣服データを取得する衣服データ取得機能と、前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成機能と、をコンピュータに実現させる。当然ながら、このような仮想試着プログラムに対しても上述の仮想試着システムの付加的な特徴構成を付加することができ、同様の作用効果を奏する。
　本発明の、試着者に仮想的に衣服を試着させる仮想試着方法の好適な実施形態の一つでは、予め記憶されている試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を取得する試着者情報取得ステップと、予め記憶されている各時刻における人体の特徴点の３次元的な位置を示すモーションデータを取得するモーションデータ取得ステップと、各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形ステップと、変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成ステップと、予め記憶されている衣服の形状データを含む衣服データを取得する衣服データ取得ステップと、前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成ステップと、を備えている。当然ながら、このような仮想試着方法に対しても上述の仮想試着システムの付加的な特徴構成を付加することができ、同様の作用効果を奏する。
仮想試着システムの構成図である。 実施例１，２における仮想試着システムの機能ブロック図である。 サーバに記憶されているデータの構成を表す図である。 実施例１における仮想試着システムの処理の流れを表すフローチャートである。 仮想試着に用いるデータの選択画面の例である。 ３次元体型データ上の特徴点のグラフ構造を表す図である。 モーションデータ上の特徴点のグラフ構造を表す図である。 実施例３における仮想試着システムの機能ブロック図である。 実施例３における試着者情報およびグループ情報の例である。
　以下に図面を用いて、本発明に係る仮想試着システムの実施形態を説明する。仮想試着システムは、３次元の体型データに対して３次元形状を有する衣服を仮想的に着せ付けた画像を生成するものである。以下の説明では詳述はしないが、このような仮想試着システムは、衣服のインターネット販売システムの一部として構成することができる。例えば、上述の仮想試着システムを用いて試着をし、気に入った衣服に対する発注データを受注サーバ（図示せず）に送信するように構成すれば、インターネット通信販売システムを構築することができる。このようなインターネット通信販売システムを用いることにより、実在の店舗に出向くことなく、衣服を購入することができる。そのため、実際の店舗に出向くことが面倒または困難な人であっても、衣服を購入することができる。
　図１および図２は、本実施例における仮想試着システムの構成図および機能ブロック図である。図に示すように、本実施例における仮想試着システムは、サーバＳと通信端末ＴとがネットワークＮを介して接続されている。サーバＳは汎用コンピュータで構成されている。この汎用コンピュータに仮想試着システムのサーバ用のプログラムがインストールされることにより、サーバＳが構成される。一方、通信端末Ｔは、汎用のコンピュータで構成することも可能であるが、本実施例では、いわゆるスマートホンやタブレット型コンピュータ等のポータブル型のネットワーク機器によって構成している。このネットワーク機器に仮想試着システムの通信端末用のプログラムがインストールされることにより、通信端末Ｔが構成される。本実施例では、通信端末ＴからネットワークＮへの接続は、ＷｉＦｉもしくは携帯電話網が使用される。また、本実施例では、ネットワークＮはインターネットを利用するが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を利用しても構わない。なお、仮想試着システムのサーバ用プログラムおよび通信端末用プログラムは、インターネットやＬＡＮ等のネットワークを介して汎用コンピュータにインストールすることができる。また、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ、フラッシュメモリ，ハードディスク等の記録媒体にこれらのプログラムを記録し、この記憶媒体を介してインストールを行うことも可能である。
〔管理サーバ〕
　管理サーバＳは、試着者情報記憶部１１，モーションデータ記憶部１２，衣服データ記憶部１３，認証部１４を備えている。図３にこれらの記憶部に記憶されている各データ（試着者情報，モーションデータ，衣服データ）の構成を示している。本実施形態では、各記憶部は、ハーディスク等の不揮発性記憶媒体およびＤＢＭＳ（ＤａｔａＢａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）から構成されているが、ＤＢＳＭは必ずしも必要ではない。また、本実施形態では、これらの記憶部を単一のサーバＳ上に構成しているが、これらを複数のサーバに分散配置しても構わない。特に、後述するように、試着者情報記憶部１１には試着者（顧客）毎の情報が記憶されるため、試着者情報記憶部１１を既存の顧客情報管理データベースを用いて構成すれば、二重管理の煩雑さを解消することができる。
　試着者情報記憶部１１には、試着者（顧客）毎の試着者情報が記憶されている。本実施形態では、試着者情報には、試着者を特定可能な識別情報（以下、試着者ＩＤと称する），その試着者の３次元体型データ，その３次元体型データ上の特徴点の位置情報（以下、特徴点位置情報と称する）が含まれている（図３参照）。
　試着者ＩＤは、試着者を一意に特定可能な情報であればよく、特に、顧客情報管理データベースを利用する場合には、顧客ＩＤとすることもできる。３次元体型データは試着者の身体の３次元の形状データであり、いわゆるボディスキャナ等で測定することができる。また、特徴点は、身体上の点のうち、歩行等の身体の動きに応じて位置等が変化する点や、衣服データを仮想的に着せ付ける際に使用する点であり、例えば、特許文献２に記載されているような点を用いることができる。この特徴点の設定は、３次元体型データを取得した際に自動的に行っても構わないし、取得した３次元体型データをディスプレイに表示し、オペレータが手動で設定しても構わない。また、自動設定した特徴点位置をオペレータが修正するようにしても構わない。
　特徴点位置情報は、このような複数の特徴点のそれぞれの３次元座標である。この際の原点は、任意の位置を用いることができる。例えば、任意に設定されたワールド座標系の原点を用いてもよいし、特徴点の一つを原点とすることもできる。
　なお、３次元体型データを取得する際に顔の画像を取得しておき、試着画像を生成する際に３次元体型データにマッピングすると好ましい。また、一般的には、被測定者は裸体または下着やレオタード等のボディーラインが明確となる衣服を着用して３次元体型データを測定するが、仮想試着を行う衣服と同時に着用したい衣服を着用して測定しても構わない。この場合には、着用している衣服の画像を取得しておき、試着画像を生成する際にその衣服の画像を３次元データにマッピングすることが好ましい。これにより、既存の衣服と仮想的な衣服データとのコーディネートを確認することができる。
　モーションデータ記憶部１２には、複数のモーションデータが記憶されている。各モーションデータには、各々のモーションデータを一意に特定可能な識別情報（以下、モーションＩＤと称する），特徴点移動情報，説明文が含まれている（図３参照） 。特徴点移動情報は、身体がある一連の動作を行った際の各時刻における各特徴点の移動状態を示すものである。なお、モーションデータで用いられている特徴点は、試着者情報で用いられている特徴点に対応している。モーションデータは、例えば、モデルの特徴点位置にマーカを取り付け、モデルが所定の動作を行う際に、そのマーカの３次元位置として取得することができる。
　本実施形態における特徴点移動情報は、各時刻における各特徴点の座標を用いる。例えば、時刻ｔｊにおける特徴点ｐｉの座標をｐｉ（ｔｊ）＝（ｘｉ（ｔｊ），ｙｉ（ｔｊ），ｚｉ（ｔｊ））と表すと、特徴点移動情報は
｛ｊ∈｛０，・・・，τ｝：｛ｉ∈｛１，・・・，Ｍ｝：ｐｉ（ｔｊ）｝｝
となる。ここで、Ｍは特徴点の数であり、τはモーションデータの時間長さである。なお、特徴点移動情報の表現方法はこれに限定されるものではなく、他の表現方法を用いても構わない。例えば、時刻０における特徴点の座標と、各々の特徴点の前時刻からの移動ベクトルを用いることもできる。
　説明文は、各モーションデータがどのような動作であるかを簡潔に表す文字情報であり、モーションデータの選択の際に仮想試着システムの利用者に提示される。また、モーションＩＤは各モーションデータ固有の値であるため、モーションＩＤをキーとしてモーションデータを検索することができる。
　なお、モーションデータは、任意の人物の動作から生成することができる。すなわち、モデルの動作から生成することもできるし、試着者自身の動作から生成することもできる。本実施形態では、モーションデータは試着者以外のモデルの動作から生成されている。
　衣服データ記憶部１３には、複数の衣服データが記憶されている。衣服データには、各衣服データを一意に特定可能な識別情報（以下、衣服ＩＤと称する），衣服の３次元形状データが含まれている。本実施形態では、色や模様は、各形状データのサブデータとして登録されている。そのため、衣服データはさらに色模様ＩＤとサムネイル画像とを含んでいる。色模様ＩＤは、色や模様を特定するための識別情報である。そのため、衣服ＩＤをキーとして衣服データを検索した際には、複数の色や模様を有する衣服データが取得される場合がある。このとき、色や模様までを限定した衣服データを取得したい場合には、衣服ＩＤと色模様ＩＤとを検索キーとすれば良い。サムネイル画像は、その３次元形状データの衣服に、その色や模様を付した際の画像データである。
　認証部１４は、後述する通信端末Ｔの識別情報取得部２１が取得した利用者の識別情報を用いて認証を行う。具体的には、認証部１４は、その識別情報と一致する試着者ＩＤを有する試着者情報が試着者情報記憶部１１に記憶されているか否かを判定し、認証を行う。なお、識別情報取得部２１がパスワード等の認証情報も取得している場合には、識別情報と認証情報との対が試着者情報記憶部１１に記憶されているか否かに基づいて認証を行う。認証部１４は、認証結果を通信端末Ｔの制御部２０に通知し、制御部２０は認証が成功した場合にのみ試着操作を許容するように通信端末Ｔを制御する。
〔通信端末〕
　通信端末Ｔは、制御部２０，識別情報取得部２１，試着者情報取得部２２，モーションデータ取得部２３，衣服データ取得部２４，モーションデータ変形部２５，動作体型データ生成部２６，試着画像生成部２７を備えている。本実施形態では、これらの機能部は、通信端末Ｔに読み込まれた本発明に係るプログラムとＣＰＵとが協働することによって構成されるが、ハードウェアまたは、ハードウェアとソフトウェアとによって構成しても構わない。
　制御部２０は、各機能部の作動時期の調整をはじめとして、通信端末Ｔ全体の処理の流れを制御する。
　識別情報取得部２１は、ＧＵＩを介して利用者の識別情報を取得し、サーバＳの認証部１４に送信する。具体的には、識別情報取得部２１は、通信端末ＴのディスプレイＤに顧客ＩＤ等の識別情報を入力するための入力フォームを表示し、利用者がタッチパネルＴＰを操作して入力した識別情報を取得する。このとき、識別情報だけでなく、パスワード等の認証情報を取得するように構成すれば、セキュリティを高めることができる。識別情報取得部２１によって取得された利用者の識別情報は認証部１４に送られる。
　なお、通信端末Ｔが自身の端末識別情報を有している場合には、試着者ＩＤを通信端末Ｔの端末識別情報としておき、識別情報取得部２１は、利用者から識別情報を取得することなく、自身の端末識別情報をサーバＳの認証部１４に送信するように構成することもできる。これにより、利用者の利便性を高めることができる。
　試着者情報取得部２２は、識別情報取得部２１が取得した識別情報をキーとして、サーバＳの試着者情報記憶部１１から、認証が成功した利用者の試着者情報を取得する。したがって、本実施例においては、利用者と試着者とは同一となる。
　モーションデータ取得部２３は、サーバＳのモーションデータ記憶部１２からモーションデータを取得する。モーションデータの取得の方法としては、任意のタイミングで全てのモーションデータを取得することもできるし、モーションＩＤを指定し、そのモーションＩＤを持つモーションデータのみを取得することもできる。ただし、後者の場合であっても、全モーションデータのモーションＩＤと説明文は予め取得しておくことが望ましい。
　衣服データ取得部２４は、サーバＳの衣服データ記憶部１３から衣服データを取得する。衣服データの取得もモーションデータの取得と同様に、任意のタイミングで、任意のデータを取得することができる。ただし、全衣服データのうち、衣服ＩＤと各々の衣服ＩＤに関連付けられている少なくとも一つのサムネイル画像を予め取得しておくことが望ましい。これにより、全衣服のサムネイル画像を利用者に提示することができる。
　モーションデータ変形部２５は、モーションデータ中の特徴点と利用者（試着者）の３次元体型データ中の特徴点とに基づいて、モーションデータの変形を行い、変形モーションデータを生成する。換言すると、モーションデータ変形部２５は、モーションデータを利用者の体型に適合させた変形モーションデータの生成処理を行う。具体的な処理は後述する。
　動作体型データ生成部２６は、変形モーションデータと３次元体型データとを用いて、動作体型データを生成する。動作体型データは、利用者の３次元体型データを、変形モーションデータに応じて動かした時系列データである。
　試着画像生成部２７は、動作体型データに対して、衣服を着せ付けた画像（以下、試着画像と称する）を生成する。具体的には、試着画像生成部２７は、選択された衣服データの３次元形状データを動作体型データに適合させた３次元形状を生成し、その３次元形状を任意の視点から見た２次元画像列を生成する。
　以下に、図４のフローチャートを用いて本実施例における仮想試着システムの処理の流れを説明する。なお、上述したように、モーションデータと衣服データの取得は任意であるため、以下の処理に先立って、モーションデータ取得部２３および衣服データ取得部２４によって取得されているものとする。
　利用者がタッチパネルＴＰを介して、仮想試着システム用のアイコンをタッチすると、仮想試着システムのためのプログラムがロードおよび起動され、以下の処理が実行される。
　制御部２０は、ディスプレイＤ上に、利用者（試着者）の識別情報を入力する入力フォームを表示する。それに対して利用者は、タッチパネルＴＰを操作して、識別情報を入力する。入力された識別情報は識別情報取得部２１によって取得される（＃０１）。識別情報取得部２１によって取得された識別情報は、サーバＳの認証部１４に送信される。
　識別情報を取得した認証部１４は、利用者の認証を行う（＃０２）。具体的には、認証部１４は、サーバＳの試着者情報記憶部１１にアクセスし、取得した識別情報と同じ試着者ＩＤが登録されているか否かを判定する。試着者情報記憶部１１に、取得した識別情報と同じ試着者ＩＤが登録されていれば、認証部１４は認証が成功した旨を制御部２０に通知する（＃０２のＹｅｓ分岐）。一方、取得した識別情報と同じ試着者ＩＤが登録されていなければ、認証部１４は認証が失敗した旨を制御部２０に通知する（＃０２のＮｏ分岐）。
　認証が成功すると、制御部２０は試着者情報取得部２２に対して、サーバＳの試着者情報記憶部１１から、認証が成功した利用者（＝試着者）の試着者情報を取得するよう指示する。指示を受けた試着者情報取得部２２は、識別情報取得部２１によって取得された識別情報を検索キーとして、試着者情報記憶部１１から試着者情報を取得する（＃０３）。
　次に、制御部２０は、利用者に仮想試着に用いるデータを選択させるために、図５に示すデータ選択画面３０をディスプレイＤに表示する。データ選択画面３０には、衣服の種類を選択するための衣服選択メニュー３１，動作を選択するための動作選択メニュー３２が含まれている。これらのメニューはプルダウンメニューとして構成することができ、図５では両方ともメニューが開いた状態で表されている。また、データ選択画面３０には、複数の衣服のサムネイル画像３３が含まれている。
　本実施形態では、衣服は衣服ＩＤの先頭文字によって種類が決定されている。例えば、衣服ＩＤが１［０－９］＋であればティーシャツ，２［０－９］＋であればブラウス，３［０－９］＋であればジーンズ等となっている。利用者がタッチパネルＴＰを介して衣服選択メニュー３１を操作して、ティーシャツを選択した場合には、制御部２０は、衣服ＩＤ＝１［０－９］＋の衣服データを選択し、選択された衣服データに含まれているサムネイル画像をディスプレイＤに一覧表示する。当然ながら、仮想試着システムで使用可能な衣服の種類はこれらに限定されるものではなく、着物，水着，下着等であっても構わない。なお、上述したように、本実施形態における衣服データには色（模様）違いのサムネイル画像が含まれている場合がある。その場合には、色（模様）違いのサムネイル画像は同時には表示せず、代表的な（例えば、色模様ＩＤが最小のもの）サムネイル画像のみを表示し、色（模様）違いの衣服があることを示す表示を行うことが好ましい。
　このように表示された複数のサムネイル画像３３に対して、利用者はタッチタネルＴＰを操作して一つのサムネイル画像３３をタッチし、所望の衣服を選択する（＃０４）。選択されたサムネイル画像３３は、選択衣服表示領域３７に表示される。
　また、利用者は、タッチパネルＴＰを操作して、ひとつの動作を選択する（＃０５）。図の例では、ウォーキングが選択されている。
　利用者は、衣服および動作の選択が完了すると、タッチパネルＴＰを操作して試着ボタン３５をタッチする。制御部２０は試着ボタン３５のタッチを検知すると、以下の仮想試着処理を実行させる。なお、本実施形態では、複数の衣服を重ね着することが可能となっている。例えば、ティーシャツとジーンズとを仮想試着することができる。この場合には、例えば、ティーシャツのサムネイル画像３３を選択した状態で、重ね着ボタン３４をタッチし、衣服選択メニュー３１からジーンズを選択し、ジーンズのサムネイル画像３３を選択する。その後、試着ボタン３５をタッチする。当然ながら、重ね着の数は２よりも多くても構わず、重ね着数が多くなっても選択された各々のサムネイル画像が選択衣服表示領域３７に表示されるため、利用者は選択した衣服を容易に確認することができる。
　試着ボタン３５がタッチされると、制御部２０は、選択された動作に関連付けられているモーションＩＤをモーションデータ変形部２５に通知する。通知を受けたモーションデータ変形部２５では、通知されたモーションＩＤを持つモーションデータの変形を行う（＃０６）。換言すると、モーションデータ変形部２６は、モーションデータ中の特徴点と、試着者の３次元体型データに設定された特徴点との位置関係に基づいて、モーションデータを試着者の３次元体型データに適合する処理を行う。具体的には以下の処理が行われる。
　本実施形態の特徴点は、図６および図７に示すようにグラフ構造で表現されている。すなわち、特徴点がノードであり、各ノードは隣接する特徴点に対するエッジを有している。図６および図７は、３次元体型データに設定された特徴点のグラフ構造の一部分およびそれに対応する一時刻のモーションデータに設定された特徴点のグラフ構造の一部分を示している。本実施形態では、簡単化するために、各ノードは隣接ノードと１または２のエッジで連結されているが、より多くのエッジで隣接するようにしても構わない。例えば、ノードＮ１はエッジＥ１およびＥ３によってノードＮ２およびＮ４と連結している。一方、ノードＮ３はエッジＥ２によってノードＮ２と連結している。なお、各ノードＮｉおよびｎｉはそれぞれ３次元座標Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ）およびｐｉ（ｘｉ，ｙｉ，ｚｉ）を有している。
　モーションデータ変形部２５は、図６のグラフ構造を用いて、図７のグラフ構造を変形することにより、モーションデータを試着者の３次元体型データに適合させる。まず、モーションデータ変形部２５は、３次元体型データのグラフ構造から一つのノードを選択し、モーションデータのグラフ構造からそのノードに対応するノードを選択する。以下、この選択されたノードを基準ノードと称する。例えば、３次元体型データからノードＮ１を選択すると、モーションデータからはノードｎ１が選択される。
　次に、基準ノードに隣接するノード（以下、隣接ノードと称する）を順次選択する。ここでは、まずノードＮ２とそれに対応するノードｎ２を隣接ノードとする。そして、基準ノードと隣接ノードとの距離を求める。３次元体型データでは、基準ノードＮ１と隣接ノードＮ２との距離（エッジＥ１の長さ）Ｌ１は、
　　Ｌ１＝｛（Ｘ２－Ｘ１）２＋（Ｙ２－Ｙ１）２＋（Ｚ２－Ｚ１）２）｝１／２
となる。一方、モーションデータでは、基準ノードｎ１と隣接ノードｎ２との距離（エッジｅ１の長さ）ｌ１は、
　　ｌ１＝｛（ｘ２－ｘ１）２＋（ｙ２－ｙ１）２＋（ｚ２－ｚ１）２）｝１／２なる。
　次に、モーションデータ変形部２５は、エッジｅ１の長さがエッジＥ１の長さと同じになるように、ノードｎ２すなわち特徴点ｐ２をｐ２’に移動させる。具体的には、
　　ｐ２’＝（ｘ２，ｙ２，ｚ２）×Ｌ１／ｌ１
となる。
　なお、このノードｎ２（特徴点ｐ２）の移動に伴い、ノードｎ２に直接的または間接的に繋がっているノード（特徴点）も同様に移動する。すなわち、ノードｎ３はノードｎ２と同じだけ並行移動する。
　次に、モーションデータ変形部２６は、隣接ノードを基準ノードに設定し、上述と同様の処理を行う。すなわち、ノードＮ２およびノードｎ２を基準ノードとし、ノードｎ３（特徴点ｐ３）を移動させる。基準ノードの隣接ノードがなくなるまで、この処理を再帰的に行う。
　また、基準ノードｎ１に隣接するもう一つのノードｎ４に対してもノードｎ２と同様の処理が行われる。さらに、各時刻のモーションデータに対して、この処理が行われる。
　上述の処理により、試着者の３次元体型データの隣接する特徴点間の長さに基づいて、モーションデータの特徴点の位置が変更され、モーションデータを試着者の３次元体型データに適合させることができる。モーションデータの変形処理はこれに限定されるものではなく、他の方法を用いても構わない。
　モーションデータが試着者の動作から生成されている場合には、モーションデータ変換部２６を設けない構成としてもよいし、モーションデータ変形部２６がモーションデータをスルー出力するように構成しても構わない。
　モーションデータの変形が完了すると、制御部２０は動作体型データ生成部２６に対して動作体型データの生成を行うよう指示し、その指示を受けた動作体型データ生成部２６は動作体型データの生成を行う（＃０７）。動作体型データ生成部２６は、モーションデータ変形部２５によって、試着者の３次元体型データに適合されたモーションデータに基づいて、試着者の３次元体型データを動かした動作体型データを生成する。例えば、特徴点（ノード）と隣接特徴点とを連結するエッジを骨格ととらえ、各時刻における特徴点座標（骨格位置）に応じて３次元体型データを変形させる。これにより、試着者の３次元体型データにモデルと同様の動作を行わせることができる。なお、動作体型データの生成はこれに限定されるものでなく、他の方法を用いても構わない。
　動作体型データの生成が完了すると、制御部２０は試着画像生成部２７に対して、選択された衣服の衣服ＩＤを通知し、その通知を受けた試着画像生成部２７は試着画像の生成を行う（＃０８）。具体的には以下の処理が行われる。
　まず、試着画像生成部２７は、通知された衣服ＩＤを持つ衣服の３次元形状データを取得する。次に、動作体型データの各時刻における３次元体型データに対して、その衣服を着せ付けた３次元形状データを生成し、この３次元形状データの衣服の部分に、衣服の色や模様のマッピングを行う。なお、３次元体型データに対する衣服の仮想的な着せ付けは、上述の特許文献の技術を用いることができる。
　そして、試着画像生成部２７は、各時刻における３次元形状データを所定の視点から見た一連の２次元画像を試着画像として生成する。
　試着画像の生成が完了すると、制御部２０は一連の試着画像をディスプレイＤに表示する（＃０９）。このとき、ディスプレイＤ上に視点位置を入力するユーザインターフェースを形成しておき、利用者がタッチパネルＴＰを操作して、視点位置を入力できるようにすることができる。入力された視点位置は試着画像生成部２７に通知され、試着画像生成部２７は通知された視点から見た２次元の試着画像を再度生成する。
　また、違う衣服や動作を選択したい場合（＃１０，＃１１のＹｅｓ分岐）には、図５のデータ選択画面３０に戻って、上述と同様の選択動作を行うことができる。また、衣服の色や模様のみを変更したい場合には、例えば、サムネイル画像３３を長押しする等によって色選択メニューを表示するように構成することができる。衣服の色や模様のみを変更した場合には、試着画像生成部２７は、色や模様のマッピングのみを行うようにすると、演算量を削減することができ、好適である。
　このように、本実施例の仮想試着システムを用いれば、予め登録されているモーションデータを試着者に適合させた状態で衣服の仮想的な試着を行うことができる。これにより、試着することなく、実際に試着した状態で、様々な動作をした際の試着状態を確認することができる。
　実施例２における仮想試着システムは、利用者と試着者とが異なる点において実施例１と異なっている。すなわち、本実施例の仮想試着システムでは、第三者の仮想的な試着を行うことができる。
　そのため、本実施形態の試着者情報には、試着者ＩＤ，３次元体型データ，特徴点位置情報に加えて、被許可者の識別情報（以下、被許可者ＩＤと称する）が含まれている。この被許可者ＩＤは、試着者から試着操作を許可された人の識別情報である。すなわち、被許可者は第三者である試着者の３次元体型データを用いた仮想試着操作を行うことができる。なお、試着者情報は単一のテーブルに保持される必要はなく、試着者と利用者との許容関係が把握できれば、他の形式で保持されても構わない。また、一の試着者情報に対して複数の被許可者ＩＤを設定しても構わない。
　本実施例における仮想試着システムの機能ブロックは実施例１と同様であるため、詳細な説明は省略し、異なる部分だけを説明する。
　本実施例の機能部と実施例１の機能部とで異なる点は、識別情報取得部２１と認証部１４である。まず、本実施例における識別情報取得部２１は、利用者の識別情報（以下、利用者ＩＤと称する）と試着者の識別情報（試着者ＩＤ）とを取得し、サーバＳの認証部１４に送信する。
　利用者ＩＤと試着者ＩＤとを受信した認証部１４では、まず、試着者ＩＤをキーとして、試着者情報を検索する。このとき、該当する試着者情報が検索できない場合には、通信端末Ｔに対して認証が失敗した旨を通知する。一方、該当する試着者情報が検索できた場合には、検索された試着者情報の被許可者ＩＤと通信端末Ｔから受信した利用者ＩＤとを照合する。このとき、被許可者ＩＤと利用者ＩＤとが一致すれば、認証部１４は通信端末Ｔに対して認証が成功した旨を通知し、一致しなければ認証が失敗した旨を通知する。
　認証部１４から認証結果を受信した通信端末Ｔ（制御部２０）は、認証結果が成功であれば、実施例１と同様に試着者情報の３次元体型データを用いて仮想的な試着を行う。一方、認証結果が失敗であれば、処理を終了し、例えば、識別情報の入力画面の表示に戻る。
　このように、本実施例の仮想試着システムでは、利用者は家族や恋人等の第三者の３次元体型データを用いて仮想試着を行うことができる。そのため、家族や恋人等に衣服をプレゼントする等の際に、相手に知られることなく、相手に合った衣服を選択することができる。
　本実施例における仮想試着システムは、複数人（グループ）の仮想試着が行える点において上述の実施例と異なっている。そのため、本実施例の仮想試着システムは、図８の機能ブロック図に示すように、サーバＳがグループ情報記憶部１５を備えている点において実施例１と異なっている。
　また、本実施例における試着者情報には、図９に示すようにグループＩＤが含まれている。グループＩＤは、各々の試着者がいかなるグループに属しているかを示している。例えば、試着者ＩＤ＝１の試着者はグループＩＤ＝１のグループに属している。一方、試着者ＩＤ＝４の試着者はグループＩＤ＝１およびグループＩＤ＝３のグループに属している。このように、各々の試着者は複数のグループに属することが可能となっている。
　グループ情報記憶部１５には、図９に示すようなグループ情報が記憶されている。グループ情報は、グループを識別するためのグループＩＤと、各々のグループに属する試着者の試着者ＩＤと、が含まれている。このグループ情報は試着者情報から生成可能な情報であるが、予めグループ情報を記憶しておくことで、認証時の処理を低減することができる。なお、グループ情報記憶部１５を備えない構成とすることは可能であるが、その場合には、試着者情報記憶部１１または一時的に生成されたグループ情報が記憶されるメモリ等が本発明のグループ情報記憶部として機能する。
　他の機能部は実施例１と同様であるため、説明は省略する。また、本実施例における仮想試着システムの処理は、主に試着者情報取得部２２の処理が実施例１の処理と異なっている。以下の説明では、この異なる部分のみを説明する。
　まず、実施例１と同様に、識別情報取得部２１からの識別情報に基づいて、認証部１４が認証を行い、認証結果が制御部２０に送信される。制御部２０は、認証が成功した際には、試着者情報取得部２２に試着者情報を取得するように指示を送る。
　制御部２０からの指示を受けた試着者情報取得部２２は、実施例１と同様に、識別情報取得部２１により取得された識別情報をキーとして、試着者情報記憶部１１から試着者情報を取得する。さらに、本実施例では、取得した試着者情報のグループＩＤをキーとして、グループ情報記憶部１５からグループ情報を取得する。例えば、試着者ＩＤ＝１の場合には、グループＩＤ＝１のグループ情報｛１，３，４｝が検索される。なお、試着者ＩＤ＝４の試着者情報のように複数のグループＩＤを有している場合には、制御部２０はディスプレイＤおよびタッチパネルＴＰを制御して、利用者に所望のグループを選択させることが好ましい。
　さらに、試着者情報取得部２２は、取得したグループ情報の試着者ＩＤに対応する試着者情報を試着者情報記憶部１１から取得する。上述の例の場合には、試着者ＩＤ＝３，４の試着者情報が取得される。
　このようにして、本実施例の仮想試着システムでは、複数の試着者情報を取得する。そして、各々の試着者情報に含まれる３次元体型データに対して、実施例１と同様の仮想試着処理を行う。当然ながら、衣服は試着者毎に選択可能であり、モーションデータは複数人の動作が含まれたものを使用する。また、いずれの動作がいずれの試着者に対応するかを、利用者が指定するためのユーザインターフェースを提供すると好適である。
　具体的には、モーションデータ変形部２５は、モーションデータに含まれている各々のモデルの動作を対応する試着者の３次元体型データに適合させ、動作体型データ生成部２６は、各々の変形された動作と対応する試着者の３次元体型データとに基づいて、複数人の試着者の動作体型が含まれた動作体型データを生成する。そして、試着画像生成部２７は、このような動作体型データの各々の試着者の動作体型に対して仮想的に衣服を着せ付けた試着画像を生成する。
　このように、本実施例の仮想試着システムでは、単一の試着画像に、家族や恋人同士等の複数人の試着状態を含めることができる。そのため、複数人の衣服のトータルコーディネートを容易に行うことができる。また、この際に、複数の試着者が会して意見を出し合うことにより、この仮想試着システムはコミュニケーションツールとしても機能することが期待される。
　本実施形態では、仮想試着システムをサーバＳと通信端末Ｔとで構成したが、システム構成はこれに限定されるものではなく、各機能部の配置は適宜変更可能である。例えば、より多くの機器に分散することもできるし、全ての機能部を単一の機器に配置することもできる。
　上述の実施形態では、３次元体型データとして試着者の実測データを用いたが、３次元体型データを他の方法によって設定しても構わない。例えば、予めシステムに登録されている複数の３次元体型データから最も試着者の体型に近いものを選択し、その選択されたものを試着者の３次元体型データとして用いることができる。また、試着者の体型に関する数値データを入力し、入力された数値データから３次元体型データを生成することもできる。当然ながら、これらの方法によって設定された３次元体型データは厳密には試着者の体型を表せていないが、３次元体型データの取得に係る手間を低減することができ、おおよその試着状態を確認することができる。
　本発明は、３次元の体型データに仮想的に衣服を試着させる仮想試着技術に利用することができる。
１１：試着者情報記憶部
１２：モーションデータ記憶部
１３：衣服データ記憶部
１５：グループ情報記憶部
２０：制御部
２１：識別情報取得部
２２：試着者情報取得部
２３：モーションデータ取得部
２４：衣服データ取得部
２５：モーションデータ変形部
２６：動作体型データ生成部
２７：試着画像生成部

Claims (7)

  1. 　試着者に仮想的に衣服を試着させる仮想試着システムであって、
    　試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部と、
    　各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部と、
    　衣服の形状データを含む衣服データを記憶する衣服データ記憶部と、
    　前記試着者情報を取得する試着者情報取得部と、
    　前記モーションデータを取得するモーションデータ取得部と、
    　各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形部と、
    　変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成部と、
    　前記衣服データ記憶部から前記衣服データを取得する衣服データ取得部と、
    　前記衣服データに基づいて、前記動作体型データの各時刻の前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成部と、を備える仮想試着システム。
  2. 　前記モーションデータ変形部は、前記試着者の３次元体型データに設定された特徴点のうちの隣接する特徴点間の距離に基づいて、対応する前記モーションデータの特徴点の位置を移動させる請求項１記載の仮想試着システム。
  3. 　前記試着者情報は、前記試着者が前記試着画像の生成操作を許可した被許可者の識別情報を含み、
    　利用者の識別情報を取得する識別情報取得部と、
    　前記利用者の識別情報が前記被許可者の識別情報として含まれている前記試着者情報に対してのみ前記試着画像の生成操作を許容するように制御する制御部を備えた請求項１または２記載の仮想試着システム。
  4. 　同一のグループに属する前記試着者の情報を規定するグループ情報を記憶するグループ情報記憶部を備え、
    　前記試着者情報取得部は、前記同一のグループに属する前記試着者の前記試着者情報を取得し、
    　前記モーションデータには複数人の動作が規定され、
    　前記試着画像生成部は、前記同一のグループに属する試着者の仮想的な試着状態が含まれた前記試着画像を生成する１から３のいずれか一項に記載の仮想試着システム。　
  5. 　試着者に仮想的に衣服を試着させる仮想試着システムのための仮想試着プログラムであって、
    　試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部から、当該試着者情報を取得する試着者情報取得機能と、
    　各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部から、当該モーションデータを取得するモーションデータ取得機能と、
    　各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形機能と、
    　変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成機能と、
    　衣服の形状データを含む衣服データを記憶する衣服データ記憶部から、当該衣服データを取得する衣服データ取得機能と、
    　前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成機能と、をコンピュータに実現させる仮想試着プログラム。
  6. 　試着者に仮想的に衣服を試着させる仮想試着方法であって、
    　予め記憶されている試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を取得する試着者情報取得ステップと、
    　予め記憶されている各時刻における人体の特徴点の３次元的な位置を示すモーションデータを取得するモーションデータ取得ステップと、
    　各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形ステップと、
    　変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成ステップと、
    　予め記憶されている衣服の形状データを含む衣服データを取得する衣服データ取得ステップと、
    　前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成ステップと、を備える仮想試着方法。
  7. 　試着者に仮想的に衣服を試着させる仮想試着システムのための仮想試着プログラムを記憶したコンピュータが読み取り可能な記憶媒体であって、
    　試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部から、当該試着者情報を取得する試着者情報取得機能と、
    　各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部から、当該モーションデータを取得するモーションデータ取得機能と、
    　各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形機能と、
    　変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成機能と、
    　衣服の形状データを含む衣服データを記憶する衣服データ記憶部から、当該衣服データを取得する衣服データ取得機能と、
    　前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成機能と、をコンピュータに実現させる仮想試着プログラムを記憶したコンピュータが読み取り可能な記憶媒体。
     
     
PCT/JP2015/051763 2014-02-27 2015-01-23 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体 WO2015129353A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/100,547 US20160300393A1 (en) 2014-02-27 2015-01-23 Virtual trial-fitting system, virtual trial-fitting program, virtual trial-fitting method, and storage medium in which virtual fitting program is stored

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014036150A JP5605885B1 (ja) 2014-02-27 2014-02-27 仮想試着システムおよび仮想試着プログラム
JP2014-036150 2014-02-27

Publications (1)

Publication Number Publication Date
WO2015129353A1 true WO2015129353A1 (ja) 2015-09-03

Family

ID=51840480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/051763 WO2015129353A1 (ja) 2014-02-27 2015-01-23 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体

Country Status (3)

Country Link
US (1) US20160300393A1 (ja)
JP (1) JP5605885B1 (ja)
WO (1) WO2015129353A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844513A (zh) * 2016-04-14 2016-08-10 王春林 基于云服务的服饰试穿方法及装置
JP7055526B1 (ja) * 2021-11-26 2022-04-18 株式会社Vrc 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP7242110B1 (ja) 2022-09-20 2023-03-20 Ｓｙｎｆｌｕｘ株式会社 情報処理システム、情報処理方法、型紙データの生成方法及びプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682959A (zh) * 2016-11-29 2017-05-17 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN107358493A (zh) * 2017-05-10 2017-11-17 应凯 具有自适应形象设计功能的智能试衣系统
WO2018209567A1 (zh) * 2017-05-16 2018-11-22 深圳市三维人工智能科技有限公司 一种模型的对位方法和系统
JP2019121086A (ja) 2017-12-28 2019-07-22 トヨタ自動車株式会社 通信販売システム
CN108229559B (zh) * 2017-12-29 2021-05-18 深圳市商汤科技有限公司 服饰检测方法、装置、电子设备、程序和介质
JP6545847B2 (ja) * 2018-03-01 2019-07-17 株式会社東芝 画像処理装置、画像処理方法及びプログラム
KR102128716B1 (ko) * 2018-07-04 2020-07-08 신은희 인체 사이즈에 따른 의류 패턴 조절 장치 및 방법
JP6813839B1 (ja) * 2019-09-09 2021-01-13 株式会社カザック 眼鏡試着支援装置およびプログラム
CN111862318A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 数字人体试衣方法及系统
US11398079B2 (en) * 2020-09-23 2022-07-26 Shopify Inc. Systems and methods for generating augmented reality content based on distorted three-dimensional models
WO2022137307A1 (ja) * 2020-12-21 2022-06-30 株式会社データグリッド 仮想試着方法、仮想試着システムおよびプログラム
CN113112407B (zh) * 2021-06-11 2021-09-03 上海英立视电子有限公司 基于电视的照镜视野生成方法、系统、设备及介质
CN114556332B (zh) * 2021-06-22 2022-11-11 株式会社威亚视 信息处理设备、3d系统以及信息处理方法
CN114663175A (zh) * 2022-02-07 2022-06-24 苏州大学 一种服装动态合体性评估方法
CN114663199B (zh) * 2022-05-17 2022-08-30 武汉纺织大学 一种动态展示的实时三维虚拟试衣系统及方法
CN115272632B (zh) * 2022-07-07 2023-07-18 武汉纺织大学 基于姿态迁移的虚拟试衣方法
CN117312591B (zh) * 2023-10-17 2024-03-12 南京海汇装备科技有限公司 一种基于虚拟现实的图像数据存储管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223247A (ja) * 1996-02-19 1997-08-26 Toyobo Co Ltd 衣服の動きのシミュレーション方法
JP2002058045A (ja) * 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
JP3314704B2 (ja) * 1998-01-20 2002-08-12 東洋紡績株式会社 試着状況を示す画像の合成方法および該方法を用いた仮想試着システム
JP2005256232A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄデータ表示方法、装置、およびプログラム
JP2006249618A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511210B1 (ko) * 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법
US9240067B2 (en) * 2009-10-15 2016-01-19 Yeda Research & Development Co. Ltd. Animation of photo-images via fitting of combined models
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
JP5786463B2 (ja) * 2011-06-01 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9607419B2 (en) * 2012-12-14 2017-03-28 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item
JP6341646B2 (ja) * 2013-10-17 2018-06-13 セーレン株式会社 試着支援装置及び方法
US20150134302A1 (en) * 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09223247A (ja) * 1996-02-19 1997-08-26 Toyobo Co Ltd 衣服の動きのシミュレーション方法
JP3314704B2 (ja) * 1998-01-20 2002-08-12 東洋紡績株式会社 試着状況を示す画像の合成方法および該方法を用いた仮想試着システム
JP2002058045A (ja) * 2000-08-08 2002-02-22 Komatsu Ltd 現実の物体をバーチャル３次元空間に登場させるためのシステム及び方法
JP2005256232A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄデータ表示方法、装置、およびプログラム
JP2006249618A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844513A (zh) * 2016-04-14 2016-08-10 王春林 基于云服务的服饰试穿方法及装置
JP7055526B1 (ja) * 2021-11-26 2022-04-18 株式会社Vrc 情報処理装置、情報処理方法、情報処理システム、及びプログラム
WO2022185631A1 (ja) * 2021-11-26 2022-09-09 株式会社Vrc 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP7242110B1 (ja) 2022-09-20 2023-03-20 Ｓｙｎｆｌｕｘ株式会社 情報処理システム、情報処理方法、型紙データの生成方法及びプログラム
WO2024062761A1 (ja) * 2022-09-20 2024-03-28 Ｓｙｎｆｌｕｘ株式会社 情報処理システム、情報処理方法、型紙データの生成方法及びプログラム
JP2024043878A (ja) * 2022-09-20 2024-04-02 Ｓｙｎｆｌｕｘ株式会社 情報処理システム、情報処理方法、型紙データの生成方法及びプログラム

Also Published As

Publication number Publication date
JP5605885B1 (ja) 2014-10-15
US20160300393A1 (en) 2016-10-13
JP2015162033A (ja) 2015-09-07

Similar Documents

Publication Publication Date Title
JP5605885B1 (ja) 仮想試着システムおよび仮想試着プログラム
US11301912B2 (en) Methods and systems for virtual fitting rooms or hybrid stores
US8818883B2 (en) Personalized shopping avatar
US10653962B2 (en) Generating and utilizing digital avatar data for online marketplaces
US9990663B2 (en) Measuring shirt
JP6242768B2 (ja) 仮想試着装置、仮想試着方法、およびプログラム
EP3745352B1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
JP6320237B2 (ja) 仮想試着装置、仮想試着方法、およびプログラム
JP6338966B2 (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
WO2014011086A9 (ru) Способ обеспечения удаленной примерки и/или выбора одежды
JP2016038811A (ja) 仮想試着装置、仮想試着方法、およびプログラム
CN104318446A (zh) 一种虚拟试衣方法及系统
WO2020203656A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6262105B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6656572B1 (ja) 情報処理装置、表示制御方法および表示制御プログラム
KR20170006604A (ko) 서버 장치 및 이에 의한 의류 추천 방법
JP2018106736A (ja) 仮想試着装置、仮想試着方法、およびプログラム
JP2022036963A (ja) サイズ測定システム
US20170154472A1 (en) System and method for determining custom sizes by visual annotation
KR102143439B1 (ko) 의류 공유 및 코디네이션 방법
US10217154B2 (en) Clothing measurement prediction system and method
JP2008003850A (ja) フィット感判断支援システム
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
JP2018113060A (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
KR20200020342A (ko) 단말기 상에서 체형 정보를 입력하는 방법 및 입력된 체형 정보에 기초하여 가상 의류 착용 방법과 이를 위한 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15754693

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15100547

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15754693

Country of ref document: EP

Kind code of ref document: A1