WO2022185631A1 - 情報処理装置、情報処理方法、情報処理システム、及びプログラム - Google Patents

情報処理装置、情報処理方法、情報処理システム、及びプログラム Download PDF

Info

Publication number
WO2022185631A1
WO2022185631A1 PCT/JP2021/043402 JP2021043402W WO2022185631A1 WO 2022185631 A1 WO2022185631 A1 WO 2022185631A1 JP 2021043402 W JP2021043402 W JP 2021043402W WO 2022185631 A1 WO2022185631 A1 WO 2022185631A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
model
user
behavior
clothes
Prior art date
Application number
PCT/JP2021/043402
Other languages
English (en)
French (fr)
Inventor
英弟 謝
道久 井口
彦鵬 張
夢▲せん▼ 許
雨佳 劉
Original Assignee
株式会社Vrc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Vrc filed Critical 株式会社Vrc
Priority to PCT/JP2021/043402 priority Critical patent/WO2022185631A1/ja
Priority to CN202180007588.1A priority patent/CN114902266A/zh
Priority to JP2021571024A priority patent/JP7055526B1/ja
Priority to JP2022056038A priority patent/JP2023079142A/ja
Publication of WO2022185631A1 publication Critical patent/WO2022185631A1/ja
Priority to TW111144460A priority patent/TWI822476B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Definitions

  • the present invention relates to a technique for selecting clothes that suit the user's taste from among multiple clothes.
  • Patent Literature 1 discloses a virtual try-on system that provides an image of a user trying on desired clothes.
  • a virtual try-on consists of various elements, but in the virtual try-on system described in Patent Document 1, it was difficult to obtain feedback of information on the user's behavior during the virtual try-on.
  • the present invention provides a technology that facilitates obtaining feedback of information regarding the user's behavior during virtual try-on.
  • One aspect of the present disclosure includes 3D model acquisition means for acquiring a 3D model of a living body wearing clothes from a 3D model providing means; objective information acquiring means for acquiring objective information about at least one of the clothes and the living body; display means for displaying the 3D model in the virtual space; reception means for receiving an input of an instruction indicating user behavior in the virtual space; and feedback means for feeding back feedback information including behavior information indicating user behavior to a destination corresponding to the 3D model providing means.
  • the action information may include information about the position of the viewpoint when displaying the 3D model in the virtual space.
  • the behavior information may include information on the movement to be made by the living creature while wearing the clothes.
  • the information about the motion may include information about a motion selected from a plurality of predefined motions.
  • the behavior information may include the number of times the living entity wears the clothes in a predetermined period.
  • the behavior information may include information about the length of time the 3D model was viewed.
  • the behavior information may include information about the user's preferences entered for the clothing.
  • the behavior information may include information on purchasing behavior for the clothes.
  • the objective information may include information regarding the difference in shape or size between the living organism and the clothing.
  • the objective information may include information relating to pressure applied to the living organism when the clothing is put on the living organism, or tension generated in the clothing.
  • the objective information may include information regarding the material of the clothing.
  • the objective information may include information about the background when displaying the 3D model in the virtual space.
  • the feedback information may include trend information about trends in the world at the time when the behavior information was acquired.
  • the 3D model acquisition means may acquire the 3D model in which the living organism is dressed in the clothing selected based on the feedback information acquired in the past.
  • Another aspect of the present disclosure includes a server and an information processing device, wherein the server includes 3D model providing means for providing a 3D model of a living creature wearing clothes, and the information processing device includes: 3D model acquiring means for acquiring a 3D model of a living organism wearing clothes from the 3D model providing means; objective information acquiring means for acquiring objective information on at least one of the clothing and the living organism; and the 3D model in virtual space.
  • a computer acquires a 3D model of a living body wearing clothes from a 3D model providing means; and acquires objective information about at least one of the clothes and the living body; displaying the 3D model in a virtual space; receiving an input of an instruction indicating a user's behavior in the virtual space; and a behavior indicating the user's behavior while displaying the objective information and the 3D model. and feeding back feedback information including information to a destination corresponding to the 3D model providing means.
  • Yet another aspect of the present disclosure is a step of acquiring a 3D model of a living body wearing clothes from a 3D model providing means, acquiring objective information about at least one of the clothes and the living body, and displaying the 3D model; receiving an input of an instruction indicating behavior of the user in the virtual space; and behavior information indicating behavior of the user while displaying the objective information and the 3D model. and feeding feedback information to a destination corresponding to the 3D model providing means.
  • the feedback information including objective information and behavior information is fed back to the destination corresponding to the 3D model providing means.
  • FIG. 2 is a diagram exemplifying the functional configuration of the virtual try-on system 1;
  • FIG. 2 is a block diagram illustrating the functional configuration of the virtual try-on system 1;
  • FIG. 2 is a block diagram showing the hardware configuration of the user terminal 10;
  • FIG. 4 is a sequence diagram showing the operation of the virtual try-on system 1;
  • FIG. The figure which shows the structure of clothes model DB211.
  • FIG. 1 is a diagram illustrating a functional configuration of a virtual try-on system 1 that is an embodiment of an information processing system of the present disclosure.
  • the virtual try-on system 1 is a system that provides information about clothes, and more specifically, a system that outputs information about the result of a simulation in which a 3D model of a human body is dressed with a 3D model of clothes.
  • the virtual try-on system 1 is used for the purpose of searching clothes that suit the user's taste from among a plurality of clothes.
  • a 3D model is a three-dimensional virtual object representing a three-dimensional shape of an object in virtual space.
  • the virtual try-on system 1 provides a clothing search service.
  • the virtual try-on system 1 has a server 20 and a user terminal 10 as hardware.
  • the server 20 and user terminal 10 are connected via a network 300 .
  • the server 20 is a computer that functions as a server in the clothing search service.
  • the user terminal 10 is an example of an information processing device according to the present disclosure, and is a computer that functions as a client in a clothing search service. Note that although one user terminal 10 is illustrated in FIG. 1 , there may be a plurality of user terminals 10 .
  • FIG. 2 is a block diagram showing the functional configuration of the virtual try-on system 1.
  • the virtual try-on system 1 includes 3D model acquisition means 11, objective information acquisition means 12, reception means 13, display means 14, feedback means 15, action information acquisition means 16, storage means 17, control means 19, 3D model provision means 21, It has analysis means 22 , storage means 23 and control means 29 .
  • the 3D model acquisition means 11 , the objective information acquisition means 12 , the acceptance means 13 , the display means 14 , the feedback means 15 , the storage means 17 and the control means 19 are implemented in the user terminal 10 .
  • the 3D model providing means 21 , analysis means 22 , storage means 23 and control means 29 are mounted on the server 20 .
  • the 3D model providing means 21 provides the user terminal 10 with a 3D model.
  • the 3D model providing means 21 stores a clothing model DB 211 and a user model DB 212 .
  • the clothing model DB 211 is a DB that stores information on multiple pieces of clothing. This clothing information includes a 3D model representing the three-dimensional shape of the clothing.
  • a user model DB is a DB that stores information about a plurality of users. This user-related information includes a 3D model representing the 3D shape of the user's human body (an example of a living organism).
  • the 3D model providing means 21 uses the clothing model DB 211 and the user model DB 212 to search for clothing suitable for the user of the user terminal 10 and provides the 3D model of the clothing to the user terminal 10 .
  • the 3D model providing means 21 synthesizes a 3D model of a human body wearing desired clothes (the human body of the user of the user terminal 10) by using the clothes model DB 211 and the user model DB 212 (that is, a virtual try-on model). ) and provided to the user terminal 10 .
  • the 3D model acquisition means 11 acquires a 3D model of clothes or a 3D model of a human body wearing clothes (for example, the human body of the user of the user terminal 10) from the 3D model providing means 21.
  • the objective information acquisition means 12 acquires objective information on at least one of the clothes and the human body based on the 3D model acquired by the 3D model acquisition means 11 .
  • the objective information includes information about the size difference of a specific part (eg waist and/or neck) between the 3D model of the human body and the 3D model of the clothes when the clothes are put on the human body.
  • the objective information also includes information about the pressure applied to specific parts of the human body (for example, the chest and/or upper arms) when the clothing is put on the human body, or the tension generated in the clothing. Information about pressure or tension may be provided in the form of pressure maps or tension maps.
  • the objective information also includes information about the material of clothing (for example, material such as cotton, polyester, silk, etc., or parameters such as coefficient of friction).
  • the objective information also includes information about the background (for example, mountains, sea, office district, inside a house, etc.) when the 3D model is displayed in the virtual space.
  • the receiving means 13 receives input of instructions indicating user actions.
  • the display means 14 is a 3D model (a 3D model of clothes, a 3D model of a human body wearing clothes) acquired by the 3D model acquisition means 11, and displays the 3D model in virtual space.
  • the display means 14 may change the appearance or movement of the 3D model being displayed according to the instructions received by the receiving means 13 .
  • the feedback means 15 is means for outputting feedback information to the destination corresponding to the 3D model providing means 21 , specifically to the analysis means 22 .
  • This feedback information includes objective information and behavioral information.
  • the behavior information includes behavior information of the user operating the user terminal 10 and behavior information of the user (human body) in the virtual space.
  • Examples of the former action information include information on the position of the viewpoint when displaying the 3D model in the virtual space, information on the history of movement of the position, information on the length of time the 3D model was browsed, and information on the user input for clothing. (for example, input of "Like button” etc.), and information on purchasing behavior for clothes (for example, whether the user bought the displayed clothes).
  • the user is made to move while wearing clothes (for example, walking, running, raising hands, etc.), and the number of times the user (human body) wears clothes in a predetermined period. , the number of times the user has changed into the displayed clothes, or the number of times the user has changed into other clothes.
  • the information about the motion to be made by the user may be information about a motion selected from a plurality of predefined motions.
  • the information about the motion to be made by the user (human body) may specify a starting pose (eg, A pose) and an ending pose (eg, sitting on a chair). In the virtual try-on, a 3D model of the user in clothing is moved from a specified starting pose to an ending pose.
  • the storage means 17 stores various data and programs.
  • the control means 19 performs various controls.
  • the analysis means 22 analyzes feedback information obtained from one or more user terminals 10. Analysis means 22 stores feedback information DB 221 .
  • This feedback information DB 221 is a DB that accumulates feedback information from the user terminal 10 that executes processing for virtual try-on of clothes.
  • the analysis means 22 analyzes this feedback information DB 221, and based on the analysis results, provides information for improving the ability of the 3D model provision means 21 to search for clothes that suit the user's taste, for example, the 3D model provision means 21 provide to
  • the storage means 23 stores various data and programs.
  • the control means 29 performs various controls.
  • FIG. 3 is a block diagram illustrating the hardware configuration of the user terminal 10.
  • the user terminal 10 is a computer device having a CPU 101, a memory 102, a storage 103, a communication device 104, an input device 105, and an output device 106, such as a smartphone or personal computer.
  • the CPU 101 is a processor that controls other elements of the user terminal 10 according to programs.
  • the memory 102 is a main storage device that functions as a work area when the CPU 101 executes programs.
  • Memory 102 includes, for example, RAM.
  • a storage 103 is an auxiliary storage device that stores various data and programs, and includes, for example, an HDD or SSD.
  • the communication device 104 is a device that communicates with other devices according to a predetermined communication standard (eg, LTE, WiFi, Ethernet, etc.).
  • the input device 105 is a device for inputting information or commands to the user terminal 10, and includes, for example, at least one of a touch screen, keypad, buttons, and microphone.
  • Output device 106 is a device for outputting information to a user and includes, for example, a display and/or speakers.
  • the storage 103 is installed with an application program (hereinafter referred to as "client program") that executes processing for virtual try-on of clothes.
  • client program an application program
  • the functions shown in FIG. 2 are implemented by the CPU 101 executing this client program.
  • the CPU 101 is an example of the 3D model acquisition means 11
  • the objective information acquisition means 12 the feedback means 15, and the control means 19,
  • the input device 105 is an example of the reception means 13.
  • at least one of the memory 102 and the storage 103 is an example of the storage means 17 .
  • the server 20 is a computer device having a CPU, memory, storage, and communication IF.
  • This storage stores a program (hereinafter referred to as “server program”) for causing the computer device to function as a server in the virtual try-on system 1 .
  • server program a program for causing the computer device to function as a server in the virtual try-on system 1 .
  • the functions shown in the figure are implemented by the CPU executing the server program.
  • the CPU is an example of the 3D model providing means 21, the analysis means 22, and the control means 29, and at least one of the memory and the storage is an example of the storage means 23.
  • FIG. 4 is a sequence diagram showing an operation example of the virtual try-on system 1 .
  • the 3D model acquisition unit 11 of the user terminal 10 transmits a clothing search request (or extraction request) to the server 20 (step S2).
  • This search request includes information that serves as a search key for extracting or searching clothes (that is, search conditions for narrowing down clothes).
  • the search key includes, for example, information such as the user ID of the user of the user terminal 10, the type of clothing, size, and price range.
  • the 3D model providing means 21 of the server 20 Upon receiving this search request, the 3D model providing means 21 of the server 20 extracts clothes records that match this search request (or search conditions) from the records recorded in the clothes model DB 211 (step S4 ).
  • FIG. 5 is a diagram showing a configuration example of the clothing model DB 211.
  • FIG. Clothing model DB 211 includes a plurality of records. Each record corresponds to one garment. Each record includes garment ID 211a, brand 211b, type 211c, size 211d, price 211e, and 3D model 211f.
  • the clothing ID 211a is identification information that uniquely identifies clothing.
  • the brand 211b indicates the brand of the clothing.
  • the type 211c indicates the type of clothing (for example, shirt, jacket, skirt, pants, etc.).
  • the size 211d indicates the size of the garment.
  • the price 211e indicates the price of the garment.
  • the 3D model 211f indicates the location of the 3D modeling data of the clothing itself or the 3D modeling data.
  • the clothing model DB 211 may include, in addition to or in place of these pieces of information, clothing color, clothing designer, clothing manufacturer, fabric used for clothing, fabric brand, clothing, and so on. It may also include information such as the year of sale, the place of production of the fabric, the place of sale of the clothes, and the like.
  • the 3D model providing means 21 refers to the analysis results provided by the analyzing means 22 when extracting clothes from the clothes model DB 211.
  • the 3D model provision means 21 acquires the analysis result from the analysis means 22, for example, when a search request is received from the user terminal 10 as a trigger.
  • This analysis result includes at least one of (a) the individual preference of the user who made the target search request and (b) the preference of multiple users who use the virtual try-on system 1 . The results of this analysis will be described later.
  • the 3D model providing means 21 extracts from the clothes model DB 211 clothes that match the search request received from the user terminal 10 and the analysis results obtained from the analysis means 22 .
  • the search request includes information such as type "shirt”, size “M”, price range "10,000 to 20,000 yen”, and the analysis result is "this user prefers soft touch and loose fitting" and "
  • the 3D model providing means 21 extracts records of clothes that satisfy these conditions from the clothes model DB 211 .
  • the 3D model providing means 21 extracts multiple records that satisfy these conditions.
  • the 3D model providing means 21 transmits the extracted information about the clothes to the user terminal 10 (step S6).
  • This information includes, for example, a list and thumbnail images of a plurality of extracted clothes. These clothes are candidates for virtual try-on.
  • the 3D model acquisition means 11 acquires information about this clothing.
  • the display means 14 displays information about this clothing. Furthermore, the display means 14 displays a screen prompting the user to select clothes to be virtually tried on from among a plurality of clothes.
  • the accepting means 13 accepts selection of clothing by the user (step S8).
  • the 3D model acquisition means 11 sends a virtual try-on request to the server 20 (step S10).
  • the virtual try-on request includes the garment ID of the garment selected by the user.
  • the 3D model providing means 21 of the server 20 Upon receiving a virtual try-on request from the user terminal 10, the 3D model providing means 21 of the server 20 reads out the record corresponding to the user ID received in step S2 from the user model DB 212, and from this record a 3D model of the user's human body. 212c is obtained (step S12). Furthermore, the 3D model providing means 21 reads a record corresponding to the clothes ID included in the virtual try-on request from the clothes model DB 211 and acquires the 3D model from this record.
  • FIG. 6 is a diagram showing a configuration example of the user model DB 212.
  • FIG. User model DB 212 includes a plurality of records. Each record corresponds to one user. Each record includes user ID 212a, attributes 212b, 3D model 212c, and purchase history 212d.
  • the user ID 212a is identification information that uniquely identifies a user.
  • the attribute 212b is information indicating attributes of the user, and includes, for example, the user's name 212b1, gender 212b2, and age 212b3.
  • the 3D model 212c indicates the 3D modeling data of the user's human body itself or the location of the 3D modeling data.
  • the purchase history 212d indicates the history of clothes purchased by the user in the past.
  • the 3D model providing means 21 uses the 3D model 211f and the 3D model 212c to generate a 3D model expressing the 3D shape of the user (human body) wearing the selected clothes (step S14).
  • the process of generating a 3D model of a user wearing clothes is a change in which, when clothes are put on the human body, wrinkles are formed in the clothes along the body shape, and the hem or sleeves of the clothes hang down due to gravity.
  • the 3D model providing means 21 transmits to the user terminal 10 data indicating the simulation result of the 3D model of the human body wearing the clothes (step S16).
  • the data representing the simulation results are, for example, the 3D modeling data of the clothed human body itself, the data of still images of the 3D model of the clothed human body in a predetermined pose, and the data of the 3D model of the clothed human body. They are moving image data showing predetermined movements (walking, running, jumping, raising the right hand, etc.) or image data showing a pressure map of a human body wearing clothes.
  • the 3D model acquisition means 11 acquires data indicating simulation results from the server 20.
  • the display means 14 displays this simulation result (step S18).
  • FIG. 7 is a diagram illustrating a virtual try-on screen displayed on the user terminal 10.
  • the virtual try-on screen includes an area 91 for displaying a 3D model and a UI object 92 for inputting user's instructions.
  • An area 91 displays an image UD of a 3D model of a human body in clothes.
  • the UI object 92 includes soft buttons for accepting user's action instructions such as purchase of clothes, change of viewpoint, and the like.
  • the reception means 13 receives instructions regarding the user's behavior (step S20).
  • the display means 14 may change the display of the 3D model according to the operation received by the receiving means 13 .
  • the viewpoint of the 3D model may be changed or the pose of the 3D model may be changed in real time according to the user's button operation.
  • the receiving unit 13 stores information about the received instruction in the storage unit 17 .
  • the action information acquisition means 16 acquires action information indicating the action of the user based on the instruction regarding the action of the user received by the reception means 13 while the display means 14 is displaying the 3D model of the human body wearing clothes. (step S22).
  • the action information acquisition means 16 acquires action information from the storage means 17 .
  • the behavior information includes at least one of the behavior information of the user operating the user terminal 10 and the behavior information of the user (human body) in the virtual space displayed by the display means 14 .
  • the display means 14 causes the 3D model being displayed to act according to the acquired action information.
  • the objective information acquisition means 12 acquires objective information regarding the 3D model (step S16) acquired by the 3D model acquisition means 11 (step S24).
  • objective information about the 3D model is obtained from the server 20 and stored in the storage means 17 together with the 3D model.
  • Objective information acquisition means 12 acquires objective information from storage means 17 .
  • step S26 the feedback means 15 transmits the feedback information to the server 20.
  • the feedback information includes objective information acquired in step S24, action information acquired in step S22, and a time stamp indicating the current time.
  • Step S26 is executed triggered by a predetermined event. This event is, for example, an event to stop displaying the 3D model that is being displayed, and more specifically, is an instruction to change into other clothes, an instruction to end virtual try-on, or an instruction to purchase the clothes.
  • the analysis means 22 receives this feedback information and stores the received feedback information in the feedback information DB 221 (step S28).
  • FIG. 8 is a diagram showing a configuration example of the feedback information DB 221.
  • FIG. 8 in the feedback information DB 221, objective information 221c and action information 221d are associated with a set of user ID 221a and clothing ID 221b.
  • the user ID 221a is the identification information of the user who provided the feedback information, and is the user ID transmitted by the 3D model acquisition means 11 in step S2.
  • the clothing ID 221b is the ID of the clothing in the 3D model of the user (human body) wearing the clothing acquired by the 3D model acquiring means 11 in step S16.
  • the objective information 221c is information obtained by the objective information obtaining means 12 from the 3D model of the user (human body) wearing the clothes.
  • the objective information is, for example, the size difference 221c1 between the clothes and the human body (at a predetermined part) in this 3D model, and the representative value ( For example, pressure applied to a specific part) 221c2, the material of the clothing 221c3, and information 221c4 indicating the background for displaying the 3D model.
  • the action information 221d is information indicating an instruction regarding the user's action received by the receiving means 13 while the 3D model of the user wearing clothes is displayed on the display.
  • the behavior information includes a viewpoint 221d1 from which the 3D model 212c is viewed in the virtual space when the 3D model in the virtual space is displayed, a movement 221d2 of the displayed 3D model, and a viewing time (that is, display time) 221d3 of the 3D model. and purchase behavior 221d4 indicating whether the user has purchased the displayed clothes.
  • the analysis means 22 analyzes the feedback information DB 221 (step S30).
  • the analysis performed by the analysis means 22 using the feedback information DB 221 is roughly classified into the following two.
  • the analysis means 22 analyzes the feedback information from the user recorded in the feedback information DB 221 to obtain each user's clothing preferences.
  • the analysis means 22 provides the 3D model providing means 21 with information indicating this analysis result.
  • the 3D model providing means 21 uses the information provided by the analysis means 22, the 3D model providing means 21 performs filtering (narrowing down) so that clothes matching the user's taste are extracted when extracting 3D models of clothes.
  • the 3D model providing means 21 can perform processing such as extracting clothes by raising the priority of loose fitting clothes.
  • the analysis means 22 analyzes the feedback information from the user group recorded in the feedback information DB 221 to obtain the clothing preferences of the user group.
  • the user group is set based on, for example, user attributes (age, gender, place of residence, height, weight, purchase history, etc.).
  • all users may be treated as a single user group. For example, male users who are taller than the standard tend to purchase tight-fitting pants (for example, clothes in which the waist, hip, and thigh size differences 221c1 are all positive values smaller than the standard value). If the analysis reveals that, the 3D model providing means 21 can perform processing such as extracting clothes by increasing the priority of tight-fitting pants.
  • feedback information including objective information and behavior information is fed back to the analysis means 22 corresponding to the 3D model provision means 21, so that the 3D model provision means 21 can be adapted to the user's taste. It will be possible to provide a 3D model of a living organism with clothes on. Therefore, when there are many clothes for virtual try-on, it becomes easy for the user to select clothes that suit his/her taste from among them.
  • Feedback information transmitted from the user terminal 10 to the server 20 may include trend information.
  • the trend information may include information on fashion (for example, red is in fashion this year) and information on social conditions (for example, there is a high interest in SDGs, environmental issues, etc.).
  • trend information may be generated from the access history and included in the feedback information.
  • the virtual try-on was performed on a human body as a living entity, but the virtual try-on may be performed on a living entity other than the human body, such as an animal as a pet.
  • the 3D model of the user of the user terminal 10 is used to perform the virtual try-on, but the 3D model of someone other than the user may be used to perform the virtual try-on.
  • the user allows another person to virtually try on clothes, and gives the other person the clothes that the user likes.
  • Information related to purchasing behavior included in the behavior information is not limited to those exemplified in the embodiments.
  • Information related to purchasing behavior may be, for example, information indicating whether or not 3D modeling data (rather than the actual item) of clothing was purchased.
  • Purchasing behavior may also include a history of rentals or free downloads in addition to purchases.
  • 3D modeling data it is easier to identify its use (than real clothes). For example, it is easy to record in which application the 3D modeling data of clothes was used, and to record the history of game titles or application names.
  • a user purchases the actual clothes after purchasing the 3D modeling data it is possible to provide a service such as discounting the price of the actual clothes.
  • the information on purchasing behavior may include "reasons for not purchasing the clothing", especially when the user does not purchase the clothing after virtual try-on.
  • the virtual try-on system 1 can easily acquire objective information such as the size difference between the clothes and the user's body. You can also record the reason by doing it.
  • the virtual try-on system 1 can also record, for each piece of clothing, the percentage of users who actually purchased the clothing among the users who tried on the clothing.
  • the hardware configuration of the virtual try-on system 1 is not limited to that illustrated in the embodiment.
  • the virtual try-on system 1 may have any hardware configuration as long as it can implement the required functions.
  • a plurality of physical devices may work together to function as the server 20 .
  • the server 20 may be a physical server or a virtual server (including so-called cloud).
  • the correspondence relationship between functional elements and hardware is not limited to the one illustrated in the embodiment.
  • at least part of the functions described as being implemented in the user terminal 10 in the embodiments may be implemented in the server 20 .
  • the application program executed by the CPU 101 may be provided by downloading via a network such as the Internet, or may be recorded on a computer-readable non-temporary recording medium such as a DVD-ROM. may be provided as-is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理装置は、衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得する３Ｄモデル取得手段と、前記衣服及び生命体の少なくとも一方に関する客観情報を取得する客観情報取得手段と、仮想空間において前記３Ｄモデルを表示する表示手段と、前記仮想空間におけるユーザの行動を示す指示の入力を受け付ける受け付け手段と、前記客観情報及び前記表示手段が前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするフィードバック手段とを有する。

Description

情報処理装置、情報処理方法、情報処理システム、及びプログラム
　本発明は、複数の衣服の中からユーザの嗜好に適合した衣服を選択する技術に関する。
　仮想試着に関する技術が知られている。例えば特許文献１には、所望の衣服を試着したユーザの画像を提供する仮想試着システムが開示されている。
特開２０１９－１４４８９０号公報
　仮想試着は様々な要素で構成されているが、特許文献１に記載の仮想試着システムにおいては、仮想試着中のユーザの行動に関する情報のフィードバックを得ることが難しかった。
　これに対し本発明は、仮想試着中のユーザの行動に関する情報のフィードバックを得ることを容易にする技術を提供する。
　本開示の一態様は、衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得する３Ｄモデル取得手段と、前記衣服及び生命体の少なくとも一方に関する客観情報を取得する客観情報取得手段と、仮想空間において前記３Ｄモデルを表示する表示手段と、前記仮想空間におけるユーザの行動を示す指示の入力を受け付ける受け付け手段と、前記客観情報及び前記表示手段が前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするフィードバック手段と、を有する情報処理装置を提供する。
　前記行動情報が、前記仮想空間において前記３Ｄモデルを表示するときの視点の位置に関する情報を含むものであってもよい。
　前記行動情報が、前記衣服を着せた状態において前記生命体にさせる動きに関する情報を含むものであってもよい。
　前記動きに関する情報が、あらかじめ定義された複数の動きの中から選択された動きに関する情報を含むものであってもよい。
　前記行動情報が、所定の期間において前記生命体が前記衣服を着た回数を含むものであってもよい。
　前記行動情報が、前記３Ｄモデルを閲覧した時間長に関する情報を含むものであってもよい。
　前記行動情報が、前記衣服に対して入力されたユーザの好みに関する情報を含むものであってもよい。
　前記行動情報が、前記衣服に対する購買行動に関する情報を含むものであってもよい。
　前記客観情報が、前記生命体と前記衣服との形状又はサイズの差に関する情報を含むものであってもよい。
　前記客観情報が、前記衣服を前記生命体に着せたときに前記生命体に係る圧力、又は前記衣服に生じる張力に関する情報を含むものであってもよい。
　前記客観情報が、前記衣服の素材に関する情報を含むものであってもよい。
　前記客観情報が、前記仮想空間において前記３Ｄモデルを表示するときの背景に関する情報を含むものであってもよい。
　前記フィードバック情報が、前記行動情報が取得された時期における世間のトレンドに関するトレンド情報を含むものであってもよい。
　前記３Ｄモデル取得手段が、過去に取得された前記フィードバック情報に基づいて選択された前記衣服を前記生命体に着せた前記３Ｄモデルを取得するものであってもよい。
　本開示の別の一態様は、サーバと、情報処理装置とを有し、前記サーバは、衣服を着せた生命体の３Ｄモデルを提供する３Ｄモデル提供手段を有し、前記情報処理装置は、衣服を着せた生命体の３Ｄモデルを前記３Ｄモデル提供手段から取得する３Ｄモデル取得手段と、前記衣服及び生命体の少なくとも一方に関する客観情報を取得する客観情報取得手段と、仮想空間において前記３Ｄモデルを表示する表示手段と、前記仮想空間におけるユーザの行動を示す指示の入力を受け付ける受け付け手段と、前記客観情報及び前記表示手段が前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするフィードバック手段と、を有する情報処理システムを提供する。
　本開示のさらに別の一態様は、コンピュータに、衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得するステップと、前記衣服及び生命体の少なくとも一方に関する客観情報を取得するステップと、仮想空間において前記３Ｄモデルを表示するステップと、前記仮想空間におけるユーザの行動を示す指示の入力を受け付けるステップと、前記客観情報及び前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするステップと、を実行させるためのプログラムを提供する。
　本開示のさらに別の一態様は、衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得するステップと、前記衣服及び生命体の少なくとも一方に関する客観情報を取得するステップと、仮想空間において前記３Ｄモデルを表示するステップと、前記仮想空間におけるユーザの行動を示す指示の入力を受け付けるステップと、前記客観情報及び前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするステップと、を含む情報処理方法を提供する。
　本発明によれば、客観情報及び行動情報を含むフィードバック情報が３Ｄモデル提供手段に対応する宛先にフィードバックされるので、３Ｄモデル提供手段がユーザの好みに合った衣服を着せた生命体の３Ｄモデルを提供できるようになる。従って、仮想試着の対象となる多くの衣服があるときに、ユーザがその中から自分の好みに合う衣服を選ぶことが容易になる。
仮想試着システム１の機能構成を例示する図。 仮想試着システム１の機能構成を例示するブロック図。 ユーザ端末１０のハードウェア構成を示すブロック図。 仮想試着システム１の動作を示すシーケンス図。 衣服モデルＤＢ２１１の構成を示す図。 ユーザモデルＤＢ２１２の構成を示す図。 仮想試着画面を例示する図。 フィードバック情報ＤＢ２２１の構成を示す図。
１…仮想試着システム、２０…サーバ、１０…ユーザ端末、３００…ネットワーク、１１…３Ｄモデル取得手段、１２…客観情報取得手段、１３…受け付け手段、１４…表示手段、１５…フィードバック手段、２１…３Ｄモデル提供手段、２２…分析手段、２１１…衣服モデルＤＢ、２１２…ユーザモデルＤＢ、２２１…フィードバック情報ＤＢ
１．構成
　図１は、本開示の情報処理システムの一実施形態である仮想試着システム１の機能構成を例示する図である。仮想試着システム１は、衣服に関する情報を提供するシステムであり、より詳細には、人体の３Ｄモデルに衣服の３Ｄモデルを着せたシミュレーションを行った結果に関する情報を出力するシステムである。一例において、仮想試着システム１は、ユーザが複数の衣服の中から自分の嗜好に合う衣服を検索する目的で用いられる。３Ｄモデルとは、仮想空間における対象物の３次元形状を表現する立体的な仮想オブジェクトをいう。
　仮想試着システム１は、衣服検索サービスを提供する。仮想試着システム１は、ハードウェアとしては、サーバ２０及びユーザ端末１０を有する。サーバ２０とユーザ端末１０とは、ネットワーク３００を介して接続される。サーバ２０は、衣服検索サービスにおけるサーバとして機能するコンピュータである。ユーザ端末１０は、本開示における情報処理装置の一例であり、衣服検索サービスにおけるクライアントとして機能するコンピュータである。なお、図１では、１台のユーザ端末１０が図示されているが、ユーザ端末１０は複数台あってもよい。
　図２は仮想試着システム１の機能構成を示すブロック図である。仮想試着システム１は、３Ｄモデル取得手段１１、客観情報取得手段１２、受け付け手段１３、表示手段１４、フィードバック手段１５、行動情報取得手段１６、記憶手段１７、制御手段１９、３Ｄモデル提供手段２１、分析手段２２、記憶手段２３、及び制御手段２９を有する。この例において、３Ｄモデル取得手段１１、客観情報取得手段１２、受け付け手段１３、表示手段１４、フィードバック手段１５、記憶手段１７、及び制御手段１９はユーザ端末１０に実装される。３Ｄモデル提供手段２１、分析手段２２、記憶手段２３、及び制御手段２９はサーバ２０に実装される。
　３Ｄモデル提供手段２１は、ユーザ端末１０に３Ｄモデルを提供する。３Ｄモデル提供手段２１は、衣服モデルＤＢ２１１及びユーザモデルＤＢ２１２を記憶している。衣服モデルＤＢ２１１は、複数の衣服に関する情報を記憶したＤＢである。この衣服に関する情報はその衣服の３次元形状を表現した３Ｄモデルを含む。また、ユーザモデルＤＢは、複数のユーザに関する情報を記憶したＤＢである。このユーザに関する情報は、そのユーザの人体（生命体の一例）の３次元形状を表現した３Ｄモデルを含む。３Ｄモデル提供手段２１は、衣服モデルＤＢ２１１とユーザモデルＤＢ２１２とを利用することにより、ユーザ端末１０のユーザが着るのに適した衣服を検索し、その衣服の３Ｄモデルをユーザ端末１０に提供する。また、３Ｄモデル提供手段２１は、衣服モデルＤＢ２１１とユーザモデルＤＢ２１２とを利用することにより、所望の衣服を着た人体（ユーザ端末１０のユーザの人体）の３Ｄモデルを合成し（すなわち、仮想試着し）、ユーザ端末１０に提供する。
　３Ｄモデル取得手段１１は、衣服の３Ｄモデルまたは衣服を着た人体（例えばユーザ端末１０のユーザの人体）の３Ｄモデルを３Ｄモデル提供手段２１から取得する。
　客観情報取得手段１２は、３Ｄモデル取得手段１１が取得した３Ｄモデルに基づき、衣服及び人体の少なくとも一方に関する客観情報を取得する。一例において、客観情報は、衣服を人体に着せたときの人体の３Ｄモデルと衣服の３Ｄモデルとの特定部位（例えば腰及び／又は首）のサイズ差に関する情報を含む。また、客観情報は、衣服を人体に着せたときに人体の特定部位（例えば胸及び／又は二の腕）にかかる圧力、又は衣服に生じる張力に関する情報を含む。圧力又は張力に関する情報は、圧力マップ又は張力マップの形態で提供されてもよい。また、客観情報は、衣服の素材に関する情報（例えば綿、ポリエステル、絹等の素材。あるいは摩擦係数などのパラメータ）を含む。また、客観情報は、仮想空間において３Ｄモデルを表示するときの背景（例えば山、海、オフィス街、家の中など）に関する情報を含む。
　受け付け手段１３は、ユーザの行動を示す指示の入力を受け付ける。表示手段１４は、３Ｄモデル取得手段１１によって取得された３Ｄモデル（衣服の３Ｄモデル、衣服を着た人体の３Ｄモデル）であって、仮想空間において３Ｄモデルを表示する。表示手段１４は、受け付け手段１３が受け付けた指示に従って、表示中の３Ｄモデルの外観又は動きを変化させてもよい。
　フィードバック手段１５は、３Ｄモデル提供手段２１に対応する宛先、具体的には分析手段２２にフィードバック情報を出力する手段である。このフィードバック情報は、客観情報及び行動情報を含む。ここで、行動情報は、ユーザ端末１０を操作するユーザの行動情報と、仮想空間内のユーザ（人体）の行動情報とを含む。
　前者の行動情報の例として、仮想空間において３Ｄモデルを表示するときの視点の位置、又は位置の移動履歴に関する情報と、３Ｄモデルを閲覧した時間長に関する情報と、衣服に対して入力されたユーザの好みに関する情報（例えば「いいねボタン」等の入力）と、衣服に対する購買行動（例えば表示された衣服を買ったかどうか）に関する情報とが挙げられる。
　また、後者の行動情報として、衣服を着せた状態においてユーザ（人体）にさせる動き（例えば歩く、走る、手を上げる等）に関する情報と、所定の期間においてユーザ（人体）が衣服を着た回数、表示中の衣服に着替えた回数、あるいは他の衣服に着替えた回数とが挙げられる。ユーザ（人体）にさせる動きに関する情報は、あらかじめ定義された複数の動きの中から選択された動きに関する情報であってもよい。ユーザ（人体）にさせる動きに関する情報は、開始ポーズ（例えばＡポーズ）及び終了ポーズ（例えば椅子に座ったポーズ）を指定するものであってもよい。仮想試着においては、指定された開始ポーズから終了ポーズまで、衣服を着せたユーザの３Ｄモデルが動かされる。
　記憶手段１７は、各種のデータ及びプログラムを記憶する。制御手段１９は、各種の制御を行う。
　分析手段２２は、１又は複数のユーザ端末１０から取得したフィードバック情報を分析する。分析手段２２は、フィードバック情報ＤＢ２２１を記憶する。このフィードバック情報ＤＢ２２１は、衣服の仮想試着のための処理を実行するユーザ端末１０からのフィードバック情報を蓄積したＤＢである。分析手段２２は、このフィードバック情報ＤＢ２２１を分析し、その分析結果に基づいて、３Ｄモデル提供手段２１がユーザの好みに合った衣服を検索する能力を高めるための情報を、例えば３Ｄモデル提供手段２１に提供する。
　記憶手段２３は、各種のデータ及びプログラムを記憶する。制御手段２９は、各種の制御を行う。
　図３は、ユーザ端末１０のハードウェア構成を例示するブロック図である。ユーザ端末１０は、ＣＰＵ１０１、メモリ１０２、ストレージ１０３、通信装置１０４、入力装置１０５、及び出力装置１０６を有するコンピュータ装置、例えばスマートフォン又はパーソナルコンピュータである。ＣＰＵ１０１は、プログラムに従ってユーザ端末１０の他の要素を制御するプロセッサである。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する主記憶装置である。メモリ１０２は例えばＲＡＭを含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＨＤＤ又はＳＳＤを含む。通信装置１０４は所定の通信規格（例えば、ＬＴＥ、ＷｉＦｉ、イーサネットなど）に従って他の装置と通信する装置である。入力装置１０５はユーザ端末１０に情報又は命令を入力するための装置であり、例えば、タッチスクリーン、キーパッド、ボタン、及びマイクロフォンの少なくとも一種を含む。出力装置１０６はユーザに情報を出力するための装置であり、例えば、ディスプレイ及び／又はスピーカを含む。
　この例において、ストレージ１０３には、衣服の仮想試着のための処理を実行するアプリケーションプログラム（以下「クライアントプログラム」という）がインストールされている。ＣＰＵ１０１がこのクライアントプログラムを実行することにより、図２に示す機能が実装される。ＣＰＵ１０１がクライアントプログラムを実行している状態において、ＣＰＵ１０１が３Ｄモデル取得手段１１、客観情報取得手段１２、フィードバック手段１５、及び制御手段１９の一例であり、入力装置１０５が受け付け手段１３の一例であり、メモリ１０２及びストレージ１０３の少なくとも一方が記憶手段１７の一例である。
　図示は省略するが、サーバ２０は、ＣＰＵ、メモリ、ストレージ、及び通信ＩＦを有するコンピュータ装置である。このストレージには、コンピュータ装置を仮想試着システム１におけるサーバとして機能させるためのプログラム（以下「サーバプログラム」という）が記憶される。このＣＰＵがサーバプログラムを実行することにより、図に示す機能が実装される。ＣＰＵがサーバプログラムを実行している状態において、ＣＰＵが３Ｄモデル提供手段２１、分析手段２２、及び制御手段２９の一例であり、メモリ及びストレージの少なくとも一方が記憶手段２３の一例である。
２．動作
　図４は仮想試着システム１の動作例を示すシーケンス図である。この動作例では、ユーザ端末１０の３Ｄモデル取得手段１１が、衣服の検索要求（又は抽出要求）をサーバ２０に送信する（ステップＳ２）。この検索要求は、衣服を抽出又は検索する検索キーとなる情報（すなわち衣服を絞り込むための検索条件）を含む。検索キーは、例えば、ユーザ端末１０のユーザのユーザＩＤ、衣服の種別、サイズ、及び価格帯などの情報を含む。
　サーバ２０の３Ｄモデル提供手段２１は、この検索要求を受け取ると、衣服モデルＤＢ２１１に記録されているレコードの中から、この検索要求（又は検索条件）に適合する衣服のレコードを抽出する（ステップＳ４）。
　図５は衣服モデルＤＢ２１１の構成例を示す図である。衣服モデルＤＢ２１１は複数のレコードを含む。各レコードは１つの衣服に対応する。各レコードは、衣服ＩＤ２１１ａ、ブランド２１１ｂ、種別２１１ｃ、サイズ２１１ｄ、価格２１１ｅ、及び３Ｄモデル２１１ｆを含む。衣服ＩＤ２１１ａは、衣服を一意に特定する識別情報である。ブランド２１１ｂは、その衣服のブランドを示す。種別２１１ｃは、その衣服の種別（例えば、シャツ、ジャケット、スカート、パンツなど）を示す。サイズ２１１ｄは、その衣服のサイズを示す。価格２１１ｅは、その衣服の価格を示す。３Ｄモデル２１１ｆは、その衣服の３Ｄモデリングデータそのもの又は３Ｄモデリングデータの所在を示す。なおここで図示したデータは一例であり、衣服モデルＤＢ２１１はこれらの情報に加え、又は代えて、衣服の色、衣服のデザイナー、衣服の製造者、衣服に使用される生地、生地のブランド、衣服の販売年、生地の生産地、衣服の販売地などの情報を含んでもよい。
　この例において、３Ｄモデル提供手段２１は、衣服モデルＤＢ２１１から衣服を抽出する際、分析手段２２から提供される分析結果を参照する。３Ｄモデル提供手段２１は、例えばユーザ端末１０から検索要求を受信したことを契機として、分析手段２２から分析結果を取得する。この分析結果は、（ａ）対象となる検索要求をしたユーザ個人の嗜好及び（ｂ）仮想試着システム１を利用する複数のユーザの嗜好の少なくとも一方を含む。この分析結果については後述する。
　３Ｄモデル提供手段２１は、ユーザ端末１０から受信した検索要求及び分析手段２２から取得した分析結果に適合する衣服を、衣服モデルＤＢ２１１から抽出する。例えば、検索要求が、種別「シャツ」、サイズ「Ｍ」、価格帯「10,000～20,000円」という情報を含んでおり、分析結果が、「このユーザは柔らかい肌触り、緩めのフィッティングを好む」及び「今シーズンは紺色が流行している」という情報を含んでいた場合、３Ｄモデル提供手段２１は、衣服モデルＤＢ２１１から、これらの条件を満たす衣服のレコードを抽出する。この例において、３Ｄモデル提供手段２１は、これらの条件を満たす複数のレコードを抽出する。
　再び４を参照する。３Ｄモデル提供手段２１は、抽出した衣服に関する情報をユーザ端末１０に対して送信する（ステップＳ６）。この情報は、例えば、抽出された複数の衣服の一覧及びサムネイル画像を含む。これらの衣服は、仮想試着の候補となる。
　ユーザ端末１０において、３Ｄモデル取得手段１１がこの衣服に関する情報を取得する。表示手段１４は、この衣服に関する情報を表示する。さらに、表示手段１４は、複数の衣服の中から仮想試着する衣服を選択するようユーザに促す画面を表示する。受け付け手段１３は、ユーザによる衣服の選択を受け付ける（ステップＳ８）。
　ユーザが衣服を選択すると、３Ｄモデル取得手段１１は、仮想試着の要求をサーバ２０に送信する（ステップＳ１０）。仮想試着の要求は、ユーザにより選択された衣服の衣服ＩＤを含む。
　ユーザ端末１０から仮想試着の要求を受信すると、サーバ２０の３Ｄモデル提供手段２１は、ステップＳ２において受信したユーザＩＤに対応したレコードをユーザモデルＤＢ２１２から読み出し、このレコードから当該ユーザの人体の３Ｄモデル２１２ｃを取得する（ステップＳ１２）。さらに、３Ｄモデル提供手段２１は、仮想試着要求に含まれる衣服ＩＤに対応するレコードを衣服モデルＤＢ２１１から読み出し、このレコードから３Ｄモデルを取得する。
　図６はユーザモデルＤＢ２１２の構成例を示す図である。ユーザモデルＤＢ２１２は、複数のレコードを含む。各レコードは１人のユーザに対応する。各レコードは、ユーザＩＤ２１２ａ、属性２１２ｂ、３Ｄモデル２１２ｃ、及び購買履歴２１２ｄを含む。ユーザＩＤ２１２ａは、ユーザを一意に特定する識別情報である。属性２１２ｂは、そのユーザの属性を示す情報であり、例えば、そのユーザの氏名２１２ｂ１、性別２１２ｂ２、及び年齢２１２ｂ３を含む。３Ｄモデル２１２ｃは、そのユーザの人体の３Ｄモデリングデータそのもの又は３Ｄモデリングデータの所在を示す。購買履歴２１２ｄは、そのユーザが過去に購入した衣服の履歴を示す。
　３Ｄモデル提供手段２１は、この３Ｄモデル２１１ｆと３Ｄモデル２１２ｃとを用いて、選択した衣服を着たユーザ（人体）の３次元形状を表現した３Ｄモデルを生成する（ステップＳ１４）。この例において、衣服を着たユーザの３Ｄモデルを生成する処理は、人体に衣服を着せたときに、体型に沿って衣服にシワができたり、重力によって衣服の裾又は袖が垂れ下がったりする変化をシミュレーションする処理を含む。３Ｄモデル提供手段２１は、この衣服を着た人体の３Ｄモデルのシミュレーション結果を示すデータをユーザ端末１０に送信する（ステップＳ１６）。シミュレーション結果を示すデータは、例えば、衣服を着た人体の３Ｄモデリングデータそのもの、衣服を着た人体の３Ｄモデルに所定のポーズを取らせた静止画のデータ、衣服を着た人体の３Ｄモデルに所定の動き（歩く、走る、ジャンプする、右手を上げるなど）をさせた動画データ、又は衣服を着た人体の圧力マップを示す画像データである。
　ユーザ端末１０において、３Ｄモデル取得手段１１は、サーバ２０からシミュレーション結果を示すデータを取得する。表示手段１４は、このシミュレーション結果を表示する（ステップＳ１８）。
　図７は、ユーザ端末１０に表示される仮想試着画面を例示する図である。仮想試着画面は、３Ｄモデルを表示する領域９１及びユーザの指示を入力するためのＵＩオブジェクト９２を含む。領域９１には、衣服を着た人体の３Ｄモデルの画像ＵＤが表示される。ＵＩオブジェクト９２は、例えば、衣服の購入、視点の変更等、ユーザの行動の指示を受け付けるためのソフトボタンを含む。
　表示手段１４が仮想試着の３Ｄモデルを表示している間、受け付け手段１３は、ユーザの行動に関する指示を受け付ける（ステップＳ２０）。シミュレーション結果が衣服を着た人体の３Ｄモデリングデータそのものである場合、表示手段１４は、受け付け手段１３が受け付けた操作に応じて３Ｄモデルの表示を変更してもよい。例えば、ユーザのボタン操作に応じてリアルタイムで３Ｄモデルの視点を変更したり、３Ｄモデルのポーズを変更したりしてもよい。受け付け手段１３は、受け付けた指示に関する情報を記憶手段１７に記憶する。
　行動情報取得手段１６は、表示手段１４が衣服を着た人体の３Ｄモデルを表示している間に受け付け手段１３が受け付けたユーザの行動に関する指示に基づいて、ユーザの行動を示す行動情報を取得する（ステップＳ２２）。この例において、行動情報取得手段１６は、記憶手段１７から行動情報を取得する。上述したように、行動情報には、ユーザ端末１０を操作するユーザの行動情報、及び表示手段１４によって表示される仮想空間内のユーザ（人体）の行動情報の少なくとも一方が含まれる。受け付け手段１３が後者の行動情報を取得した場合、表示手段１４は、取得された行動情報に従って表示中の３Ｄモデルを行動させる。
　次に、客観情報取得手段１２は、３Ｄモデル取得手段１１によって取得された３Ｄモデル（ステップＳ１６）に関する客観情報を取得する（ステップＳ２４）。一例において、３Ｄモデルに関する客観情報は、３Ｄモデルと一緒にサーバ２０から取得され、記憶手段１７に記憶される。客観情報取得手段１２は、記憶手段１７から客観情報を取得する。
　ステップＳ２６において、フィードバック手段１５が、フィードバック情報をサーバ２０に送信する。フィードバック情報は、ステップＳ２４において取得された客観情報と、ステップＳ２２において取得された行動情報と、現在時刻を示すタイムスタンプとを含む。ステップＳ２６は、所定のイベントを契機として実行される。このイベントは、例えば、表示中の３Ｄモデルの表示を中止するイベントであり、具体的には、例えば他の衣服へ着替える指示、仮想試着の終了指示、又はその衣服を購入する指示である。
　サーバ２０において、分析手段２２がこのフィードバック情報を受信し、受信したフィードバック情報をフィードバック情報ＤＢ２２１に記憶する（ステップＳ２８）。
　図８はフィードバック情報ＤＢ２２１の構成例を示す図である。図８に示すように、フィードバック情報ＤＢ２２１では、ユーザＩＤ２２１ａ及び衣服ＩＤ２２１ｂの組に対して、客観情報２２１ｃ及び行動情報２２１ｄが対応付けられている。
　ここで、ユーザＩＤ２２１ａは、フィードバック情報の提供元であるユーザの識別情報であり、ステップＳ２において３Ｄモデル取得手段１１が送信したユーザＩＤである。衣服ＩＤ２２１ｂは、ステップＳ１６において３Ｄモデル取得手段１１が取得した衣服を着たユーザ（人体）の３Ｄモデルにおける当該衣服のＩＤである。
　客観情報２２１ｃは、この衣服を着たユーザ（人体）の３Ｄモデルから客観情報取得手段１２が取得した情報である。客観情報は、例えば、この３Ｄモデルにおける衣服と人体との（所定の部位における）サイズ差２２１ｃ１と、人体が衣服を着た場合において人体の各部にかかる圧力の分布を示すプレッシャマップにおける代表値（例えば特定部位にかかる圧力）２２１ｃ２と、当該衣服の素材２２１ｃ３と、当該３Ｄモデルを表示する背景を示す情報２２１ｃ４の各情報を含む。
　行動情報２２１ｄは、衣服を着たユーザの３Ｄモデルがディスプレイに表示されている間に、受け付け手段１３が受け付けたユーザの行動に関する指示を示す情報である。行動情報は、仮想空間内の３Ｄモデルを表示する際に仮想空間内において３Ｄモデル２１２ｃを見る視点２２１ｄ１と、表示される３Ｄモデルの動き２２１ｄ２と、３Ｄモデルの閲覧時間（すなわち、表示時間）２２１ｄ３と、表示された衣服をユーザが購入したかどうかを示す購買行動２２１ｄ４の各情報を含む。
　次にサーバ２０では、分析手段２２がフィードバック情報ＤＢ２２１を分析する（ステップＳ３０）。分析手段２２がフィードバック情報ＤＢ２２１を用いて行う分析には、大きく分けて次の２つがある。
（ａ）特定の個人を対象とする分析。
（ｂ）特定の個人を対象としないユーザ群を対象とする分析。
前者の分析において、分析手段２２は、フィードバック情報ＤＢ２２１に記録されたそのユーザからのフィードバック情報を分析することにより、各ユーザの衣服に関する嗜好を求める。そして、分析手段２２は、この分析結果を示す情報を３Ｄモデル提供手段２１に提供する。分析手段２２から提供される情報を用いて、３Ｄモデル提供手段２１は、衣服の３Ｄモデルを抽出する際に、ユーザの嗜好に合った衣服が抽出されるようにフィルタリング（絞り込み）を行う。例えば、あるユーザに対応した複数のフィードバック情報を分析したところ、そのユーザは、フィッティングが緩めのシャツ（例えば、胸、胴、及び二の腕におけるサイズ差２２１ｃ１いずれも基準値よりも大きな正の値である衣服）を購買する傾向があるということが分析により判明した場合、３Ｄモデル提供手段２１は、フィッティングが緩めの衣服の優先度を上げて衣服の抽出を行う、といった処理が可能である。
　後者の分析において、分析手段２２は、フィードバック情報ＤＢ２２１に記録されたユーザ群からのフィードバック情報を分析することにより、そのユーザ群における衣服に関する嗜好を求める。ユーザ群は、例えばユーザの属性（年齢、性別、居住地、身長、体重、購買履歴など）に基づいて設定される。あるいは、全てのユーザが単一のユーザ群として扱われてもよい。例えば、身長が基準よりも高い男性のユーザがタイトなフィッティングのパンツ（例えば、ウエスト、ヒップ、及び太ももにおけるサイズ差２２１ｃ１いずれも基準値よりも小さな正の値である衣服）を購買する傾向があるということが分析により判明した場合、３Ｄモデル提供手段２１は、タイトなフィッティングのパンツの優先度を上げて衣服の抽出を行う、といった処理が可能である。
　以上のように、本実施形態によれば、客観情報及び行動情報を含むフィードバック情報が３Ｄモデル提供手段２１に対応する分析手段２２にフィードバックされるので、３Ｄモデル提供手段２１がユーザの好みに合った衣服を着せた生命体の３Ｄモデルを提供できるようになる。従って、仮想試着の対象となる多くの衣服があるときに、ユーザがその中から自分の好みに合う衣服を選ぶことが容易になる。
３．変形例
　本発明は上述の実施形態に限定されるものではなく種々の変形実施が可能である。以下、変形例を説明する。以下の変形例に記載した事項の一部が、他の一部と組み合わせて実施されてもよい。
（１）ユーザ端末１０からサーバ２０に送信するフィードバック情報は、トレンド情報を含んでもよい。トレンド情報は、ファッションに関する情報（例えば今年は赤が流行等）、社会情勢に関する情報（例えばＳＤＧｓ、環境問題の関心が高い等）に関するトレンド情報を含んでもよい。この場合、ユーザがユーザ端末１０を操作してインターネットのサイトにアクセスする場合に、そのアクセス履歴からトレンド情報を生成し、フィードバック情報に含めてもよい。
（２）上記実施形態では、生命体として人体に仮想試着を行わせたが、例えばペットとしての動物等、人体以外の生命体に仮想試着を行わせてもよい。また、上記実施形態では、ユーザ端末１０のユーザ本人の３Ｄモデルに仮想試着を行わせたが、ユーザ以外の他人の３Ｄモデルを使って仮想試着を行ってもよい。例えばユーザが他人に衣服を仮想試着させ、気に入った衣服を他人にプレゼントするといった態様が考えられる。
（３）行動情報に含まれる購買行動に関する情報は実施形態において例示したものに限定されない。購買行動に関する情報は、例えば、衣服の（実物ではなく）３Ｄモデリングデータを購入したかどうかを示す情報であってもよい。また、購買行動は、購入だけではなく、レンタル又は無償ダウンロードの履歴を含んでもよい。３Ｄモデリングデータの場合には（実物の衣服よりも）その用途の特定が容易である。例えば、衣服の３Ｄモデリングデータがどのアプリケーションで使用されたのか、ゲームタイトル又はアプリケーション名の履歴を記録することも容易である。あるいは、あるユーザが３Ｄモデリングデータを購入した後でその衣服の実物を購入した場合、実物の衣服の代金を割り引きするなどのサービスを提供することも可能である。
　また、購買行動に関する情報は、特にユーザが仮想試着後にその衣服を購入しなかった場合における「その衣服を購入しなかった理由」を含んでもよい。実店舗における実衣服の試着においては、顧客が試着した衣服を購入しなかった理由を記録及び保存するのは難しい場合が多い。しかし、仮想試着システム１は、例えば、衣服とユーザの人体とのサイズ差などの客観情報を容易に取得することができるし、購入に至らなかった場合にその理由を聞き取るアンケートを仮想試着システムで実施することにより、その理由を記録することもできる。また、仮想試着システム１は、衣服毎に、その衣服を試着したユーザのうち実際に購入に至ったユーザの割合を記録することもできる。これらの購買行動に関する情報を用いれば、試着後に購入されやすい服、購入されにくい服のような分類も可能である。
（４）仮想試着システム１のハードウェア構成は実施形態において例示したものに限定されない。要求される機能を実現できるものであれば、仮想試着システム１はどのようはハードウェア構成を有していてもよい。例えば、物理的に複数の装置が協働してサーバ２０として機能してもよい。サーバ２０は物理サーバでもよいし、仮想サーバ（いわゆるクラウドを含む）であってもよい。また、機能要素とハードウェアとの対応関係は実施形態において例示したものに限定されない。例えば、実施形態においてユーザ端末１０に実装されるものとして説明した機能の少なくとも一部がサーバ２０に実装されてもよい。
（５）ＣＰＵ１０１によって実行されるアプリケーションプログラムは、インターネット等のネットワークを介したダウンロードにより提供されるものであってもよいし、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的記録媒体に記録された状態で提供されてもよい。

Claims (17)

  1. 　衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得する３Ｄモデル取得手段と
    　前記衣服及び生命体の少なくとも一方に関する客観情報を取得する客観情報取得手段と
    　仮想空間において前記３Ｄモデルを表示する表示手段と
    　前記仮想空間におけるユーザの行動を示す指示の入力を受け付ける受け付け手段と
    　前記客観情報及び前記表示手段が前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするフィードバック手段と
    　を有する情報処理装置。
  2. 　前記行動情報が、前記仮想空間において前記３Ｄモデルを表示するときの視点の位置に関する情報を含む
    　請求項１に記載の情報処理装置。
  3. 　前記行動情報が、前記衣服を着せた状態において前記生命体にさせる動きに関する情報を含む
    　請求項１に記載の情報処理装置。
  4. 　前記動きに関する情報が、あらかじめ定義された複数の動きの中から選択された動きに関する情報を含む
    　請求項３に記載の情報処理装置。
  5. 　前記行動情報が、所定の期間において前記生命体が前記衣服を着た回数を含む
    　請求項１に記載の情報処理装置。
  6. 　前記行動情報が、前記３Ｄモデルを閲覧した時間長に関する情報を含む
    　請求項１に記載の情報処理装置。
  7. 　前記行動情報が、前記衣服に対して入力されたユーザの好みに関する情報を含む
    　請求項１に記載の情報処理装置。
  8. 　前記行動情報が、前記衣服に対する購買行動に関する情報を含む
    　請求項１に記載の情報処理装置。
  9. 　前記客観情報が、前記生命体と前記衣服との形状又はサイズの差に関する情報を含む
    　請求項１に記載の情報処理装置。
  10. 　前記客観情報が、前記衣服を前記生命体に着せたときに前記生命体にかかる圧力、又は前記衣服に生じる張力に関する情報を含む
    　請求項１に記載の情報処理装置。
  11. 　前記客観情報が、前記衣服の素材に関する情報を含む
    　請求項１に記載の情報処理装置。
  12. 　前記客観情報が、前記仮想空間において前記３Ｄモデルを表示するときの背景に関する情報を含む
    　請求項１に記載の情報処理装置。
  13. 　前記フィードバック情報が、前記行動情報が取得された時期における世間のトレンドに関するトレンド情報を含む
    　請求項１に記載の情報処理装置。
  14. 　前記３Ｄモデル取得手段が、過去に取得された前記フィードバック情報に基づいて選択された前記衣服を前記生命体に着せた前記３Ｄモデルを取得する
    　請求項１に記載の情報処理装置。
  15. 　サーバと、情報処理装置とを有し、
    　前記サーバは、
    　衣服を着せた生命体の３Ｄモデルを提供する３Ｄモデル提供手段を有し、
    　前記情報処理装置は、
    　前記衣服を着せた生命体の前記３Ｄモデルを前記３Ｄモデル提供手段から取得する３Ｄモデル取得手段と、
    　前記衣服及び生命体の少なくとも一方に関する客観情報を取得する客観情報取得手段と、
    　仮想空間において前記３Ｄモデルを表示する表示手段と、前記仮想空間におけるユーザの行動を示す指示の入力を受け付ける受け付け手段と、
    　前記客観情報及び前記表示手段が前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするフィードバック手段と、
    　を有する情報処理システム。
  16. 　コンピュータに、
    　衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得するステップと、
    　前記衣服及び生命体の少なくとも一方に関する客観情報を取得するステップと、
    　仮想空間において前記３Ｄモデルを表示するステップと、前記仮想空間におけるユーザの行動を示す指示の入力を受け付けるステップと、
    　前記客観情報及び前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするステップと、
    　を実行させるためのプログラム。
  17. 　衣服を着せた生命体の３Ｄモデルを３Ｄモデル提供手段から取得するステップと、
    　前記衣服及び生命体の少なくとも一方に関する客観情報を取得するステップと、
    　仮想空間において前記３Ｄモデルを表示するステップと、前記仮想空間におけるユーザの行動を示す指示の入力を受け付けるステップと、
    　前記客観情報及び前記３Ｄモデルを表示している間における前記ユーザの行動を示す行動情報を含むフィードバック情報を、前記３Ｄモデル提供手段に対応する宛先にフィードバックするステップと、
    　を含む情報処理方法。
PCT/JP2021/043402 2021-11-26 2021-11-26 情報処理装置、情報処理方法、情報処理システム、及びプログラム WO2022185631A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/043402 WO2022185631A1 (ja) 2021-11-26 2021-11-26 情報処理装置、情報処理方法、情報処理システム、及びプログラム
CN202180007588.1A CN114902266A (zh) 2021-11-26 2021-11-26 信息处理设备、信息处理方法、信息处理系统以及程序
JP2021571024A JP7055526B1 (ja) 2021-11-26 2021-11-26 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP2022056038A JP2023079142A (ja) 2021-11-26 2022-03-30 情報処理装置、情報処理方法、情報処理システム、及びプログラム
TW111144460A TWI822476B (zh) 2021-11-26 2022-11-21 資訊處理設備、資訊處理方法、資訊處理系統以及程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/043402 WO2022185631A1 (ja) 2021-11-26 2021-11-26 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022185631A1 true WO2022185631A1 (ja) 2022-09-09

Family

ID=81289284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043402 WO2022185631A1 (ja) 2021-11-26 2021-11-26 情報処理装置、情報処理方法、情報処理システム、及びプログラム

Country Status (4)

Country Link
JP (2) JP7055526B1 (ja)
CN (1) CN114902266A (ja)
TW (1) TWI822476B (ja)
WO (1) WO2022185631A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010026272A1 (en) * 2000-04-03 2001-10-04 Avihay Feld System and method for simulation of virtual wear articles on virtual models
WO2015129353A1 (ja) * 2014-02-27 2015-09-03 泰男 木下 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体
KR20200023970A (ko) * 2018-08-27 2020-03-06 전호윤 가상 피팅 지원 시스템
WO2020203656A1 (ja) * 2019-04-05 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2021014993A1 (ja) * 2019-07-25 2021-01-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031706A (ko) * 2013-09-16 2015-03-25 이윤재 용접 품질관리 시스템
CN105913486A (zh) * 2016-04-08 2016-08-31 东华大学 一种用于服装工业的数字化混合人体快速建模方法
CN106651498A (zh) * 2016-09-29 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种信息处理方法及装置
CN106502399B (zh) * 2016-10-31 2019-08-23 江西服装学院 虚拟试衣方法、装置及系统和三维面料材质库建立方法及装置
CN107633440A (zh) * 2017-08-11 2018-01-26 捷开通讯(深圳)有限公司 虚拟试衣的方法、用于虚拟试衣的移动终端及存储设备
CN109003168A (zh) * 2018-08-16 2018-12-14 深圳Tcl数字技术有限公司 虚拟试衣方法、智能电视以及计算机可读存储介质
CN110021057B (zh) * 2019-02-22 2023-03-14 维沃移动通信有限公司 一种信息显示方法及终端
CN110148040A (zh) * 2019-05-22 2019-08-20 珠海随变科技有限公司 一种虚拟试衣方法、装置、设备和存储介质
CN112116430A (zh) * 2020-09-28 2020-12-22 西安万像电子科技有限公司 虚拟穿戴系统及其控制方法、虚拟试衣系统和虚拟穿戴镜
CN113129450B (zh) * 2021-04-21 2024-04-05 北京百度网讯科技有限公司 虚拟试衣方法、装置、电子设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010026272A1 (en) * 2000-04-03 2001-10-04 Avihay Feld System and method for simulation of virtual wear articles on virtual models
WO2015129353A1 (ja) * 2014-02-27 2015-09-03 泰男 木下 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体
KR20200023970A (ko) * 2018-08-27 2020-03-06 전호윤 가상 피팅 지원 시스템
WO2020203656A1 (ja) * 2019-04-05 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2021014993A1 (ja) * 2019-07-25 2021-01-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
TWI822476B (zh) 2023-11-11
JP2023079142A (ja) 2023-06-07
CN114902266A (zh) 2022-08-12
JP7055526B1 (ja) 2022-04-18
JPWO2022185631A1 (ja) 2022-09-09
TW202322058A (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
KR102296906B1 (ko) 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성
US9842357B2 (en) Methods, systems, and products for personalized haptic emulations
JP6242768B2 (ja) 仮想試着装置、仮想試着方法、およびプログラム
JP6320237B2 (ja) 仮想試着装置、仮想試着方法、およびプログラム
JP6338966B2 (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
JP2016038811A (ja) 仮想試着装置、仮想試着方法、およびプログラム
KR20190000397A (ko) 패션 선호도 분석 기법
JP2018106736A (ja) 仮想試着装置、仮想試着方法、およびプログラム
JP2023095908A (ja) 情報処理システム、情報処理方法、およびプログラム
KR20220105306A (ko) 가상 옷장 기반의 의류 판매 어플리케이션, 방법 및 이를 위한 장치
KR20220021122A (ko) 코디 추천 장치 및 방법
KR102102572B1 (ko) 온라인 쇼핑몰을 제공하는 시스템 및 방법
WO2022185631A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP7039094B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018113060A (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
JP2006155545A (ja) 画像評価装置及びカメラ付き携帯端末
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
JP2012194782A (ja) 着せ替えシミュレーション用サーバ、着せ替えシミュレーション用の衣服等の画像データの自動生成システム及び着せ替えシミュレーション用の衣服等の画像データの自動生成方法
JP7023558B1 (ja) 情報処理装置、３ｄシステム、及び情報処理方法
KR20210130420A (ko) 스마트 삼차원 의류 피팅 시스템 및 이를 이용한 의류 피팅 서비스 제공 방법
JP2019112732A (ja) デジタルフィッティング支援装置、デジタルアパレル支援装置及びデジタルアパレル支援方法
NL2022937B1 (en) Method and Apparatus for Accessing Clothing
KR20180079222A (ko) 비정형정보의 정형화를 위한 정형정보 제공 시스템 및 상기 시스템의 사용 및 적용 방법
Clement et al. GENERATING DYNAMIC EMOTIVE ANIMATIONS FOR AUGMENTED REALITY
CN116823402A (zh) 虚拟试衣的处理方法、系统、设备和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021571024

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929190

Country of ref document: EP

Kind code of ref document: A1