WO2020203656A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020203656A1
WO2020203656A1 PCT/JP2020/013698 JP2020013698W WO2020203656A1 WO 2020203656 A1 WO2020203656 A1 WO 2020203656A1 JP 2020013698 W JP2020013698 W JP 2020013698W WO 2020203656 A1 WO2020203656 A1 WO 2020203656A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
article
information processing
information
clothes
Prior art date
Application number
PCT/JP2020/013698
Other languages
English (en)
French (fr)
Inventor
健太郎 土場
俊一 本間
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/598,131 priority Critical patent/US20220198780A1/en
Publication of WO2020203656A1 publication Critical patent/WO2020203656A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • this disclosure proposes a new and improved information processing device, information processing method, and program that can easily select clothes of an appropriate size even on an EC site.
  • the shape information acquisition unit that acquires the three-dimensional shape data of the first article owned by the user, the three-dimensional shape data of the first article, and the database managed by the electronic commerce business operator are stored in advance.
  • a similarity calculation unit that compares the three-dimensional shape data of the plurality of stored second articles and calculates the similarity between the first article and each of the second articles, and each similarity.
  • An information processing apparatus is provided that includes a selection unit that selects the second article recommended to the user, and an output unit that outputs information on the selected second article to the user. ..
  • the three-dimensional shape data of the first article possessed by the user is acquired, the three-dimensional shape data of the first article is stored in advance in a database managed by an electronic commerce business operator.
  • the similarity between the first article and each of the second articles is calculated, and based on the similarity, the similarity is calculated.
  • An information processing method is provided that includes selecting the second article recommended to the user and outputting information on the selected second article to the user.
  • the function of acquiring the three-dimensional shape data of the first article possessed by the user, the three-dimensional shape data of the first article, and the database managed by the electronic commerce business operator are stored in advance. Based on the function of comparing the three-dimensional shape data of the plurality of second articles and calculating the similarity between the first article and each of the second articles, and the similarity.
  • a program for realizing in a computer a function of selecting the second article recommended to the user and a function of outputting information on the selected second article to the user is provided.
  • a plurality of components having substantially the same or similar functional configurations may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of the plurality of components having substantially the same or similar functional configurations, only the same reference numerals are given. Further, similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components, only the same reference numerals are given.
  • a person who uses the service provided by the embodiment of the present disclosure described later is referred to as a user.
  • a size standard attached to the garment eg., S size, M size, L size). , Number of issues, etc.
  • the present inventors can easily obtain detailed size information (for example, size of arm circumference, shoulder width, neck circumference, thigh circumference, etc.) of the user on the EC site in advance. It was thought that it would be effective to establish a mechanism that can collate the acquired detailed size information with the size of clothes that are candidates for purchase on the EC site.
  • detailed size information for example, size of arm circumference, shoulder width, neck circumference, thigh circumference, etc.
  • Non-Patent Document 1 a stretchable zentai with a marker attached, and by imaging and analyzing a user wearing the ZOZOSUIT with an imaging device, detailed size information such as the arm circumference and shoulder width of the user can be obtained. It is a device that can be acquired in advance. Then, the user determines whether or not the size of the clothes on the EC site fits his / her body by collating the detailed size information acquired by the above ZOZOSUIT with the size of the clothes on the EC site. Can be done.
  • the user needs to obtain a dedicated large-scale device such as the above-mentioned ZOZOSUIT and perform a troublesome operation in order to acquire detailed size information. Therefore, from the viewpoint of use by various users (children, elderly people, etc.), it cannot be said that the above ZOZOSUIT can be easily used.
  • the present inventors diligently studied to create an application that allows any user to easily select clothes of an appropriate size on an EC site.
  • the embodiment of the present disclosure was created.
  • the detailed size information of the user is indirectly estimated based on the size of the clothes (three-dimensional shape data) already possessed by the user on the EC site, and the said.
  • the articles (first article, second article) targeted in the embodiment of the present disclosure will be described as clothes, but in the present embodiment, the articles are not limited to clothes. There is no particular limitation as long as it is an item such as furniture or a bag that can be traded with an EC business operator.
  • FIG. 1 is an explanatory diagram for explaining a configuration example of the information processing system 10 according to the present embodiment.
  • the information processing system 10 according to the present embodiment mainly includes a server 100, a camera 300, and an output device 400. These are communicably connected to each other via a network.
  • the server 100, the camera 300, and the output device 400 are connected to the network via a base station (for example, a mobile phone base station, an access point of a wireless LAN (Local Area network), etc.) (not shown).
  • a base station for example, a mobile phone base station, an access point of a wireless LAN (Local Area network), etc.
  • any method can be applied regardless of whether it is wired or wireless (for example, WiFi (registered trademark), Bluetooth (registered trademark), etc.), but stable operation must be maintained. It is desirable to use a communication method that enables.
  • WiFi registered trademark
  • Bluetooth registered trademark
  • the server 100 acquires three-dimensional shape data of 700 possessed clothes (first article) (hereinafter referred to as possessed clothes) 700, and based on the acquired three-dimensional shape data, a database managed by an EC operator (hereinafter referred to as “possessed clothes”). Of the plurality of clothes 702 (second article) (see FIG. 5) stored in advance in the EC site (also referred to as an EC site), clothes 702 similar to the possessed clothes 700 are output to the user as recommended clothes. ..
  • the server 100 is realized by hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), for example. The details of the server 100 will be described later.
  • Camera 300 In the information processing system 10 according to the present embodiment, only one camera 300 is shown in FIG. 1, but for example, two types of cameras, a TOF (Time Of Flight) camera (TOF sensor) and a color camera, are shown. Can include. Further, in the present embodiment, one camera 300 may perform the functions of two types of cameras, a TOF camera and a color camera, and is not particularly limited. The details of these cameras will be described below.
  • TOF Time Of Flight
  • color camera can include.
  • one camera 300 may perform the functions of two types of cameras, a TOF camera and a color camera, and is not particularly limited. The details of these cameras will be described below.
  • the TOF camera acquires the three-dimensional shape data of the possessed clothing (first article) 700. Specifically, the TOF camera irradiates the possessed clothing 700 with irradiation light such as infrared light, and detects the reflected light reflected on the surface of the possessed clothing 700. Then, the TOF camera acquires the distance information (depth) of the possessed clothes 700 by calculating the phase difference between the irradiation light and the reflected light based on the sensing data obtained by detecting the reflected light. This makes it possible to acquire three-dimensional shape data of the possessed clothes 700.
  • the method of obtaining the distance information by the phase difference as described above is called the indirect TOF method.
  • the distance of the possessed clothing 700 is detected by detecting the reciprocating time of the light from the time when the irradiation light is emitted until the irradiation light is reflected by the possessed clothing 700 and received as the reflected light. It is also possible to use a direct TOF method capable of acquiring information.
  • a projection imaging device that measures the distance to the possessed clothing 700 by the structured light method may be used.
  • the structured light method is a method of estimating the distance to the possessed clothing 700 by projecting light having a predetermined pattern on the surface of the possessed clothing 700 and analyzing the deformation of the projected light pattern.
  • a stereo camera may be used instead of the TOF camera.
  • the color camera can acquire color information regarding the colors and patterns of the possessed clothes 700.
  • the color camera includes an imaging element (not shown) such as a CMOS (Complementary MOS) image sensor, and a signal processing circuit (not shown) that performs imaging signal processing on a signal photoelectrically converted by the imaging element. It can be configured to include.
  • the color camera further includes an optical system mechanism (not shown) composed of an image pickup lens, an aperture mechanism, a zoom lens, a focus lens, and the like, and a drive system mechanism (not shown) that controls the operation of the optical system mechanism. Can have.
  • the image sensor collects the incident light from the possessed clothing 700 as an optical image
  • the signal processing circuit photoelectrically converts the imaged optical image on a pixel-by-pixel basis and uses the signal of each pixel as an image pickup signal.
  • a captured image of the possessed clothes 700 can be obtained by reading and image processing. Therefore, in the present embodiment, by analyzing the captured image of the possessed clothing 700 thus obtained, it is possible to acquire color information regarding the color and pattern of the possessed clothing 700.
  • the camera 300 is shown as a single device in FIG. 1, the camera 300 is not limited to this in the present embodiment, and is used for a smartphone, a tablet PC (Personal Computer), or the like carried by the user. It may be provided. Further, when the camera 300 is provided on the smartphone, the smartphone may be fixed around the user by a fixing device (for example, a stand or the like).
  • a fixing device for example, a stand or the like.
  • the output device 400 is a device for outputting as recommended clothes to the user, and is realized by, for example, a display or the like as shown in FIG.
  • the display may be provided on a smartphone, tablet PC, or the like carried by the user.
  • the output device 400 may be a projection device capable of displaying an object based on the recommended clothing as augmented reality (AR) by superimposing it on the real space.
  • augmented reality AR
  • Such a projection device may be, for example, a smart glass type wearable device (not shown) worn in front of the subject's eyes.
  • the smart glass type wearable device is provided with a transmissive display, and the transmissive display is covered with a virtual image optical system including a transparent light guide portion by using, for example, a half mirror or a transparent light guide plate. Hold it in front of the instructor and display the above object inside the virtual image optical system.
  • the projection device may be an HMD (Head Mounted Display) worn on the head of the instructor.
  • FIG. 2 is a block diagram showing a functional configuration of the server 100 according to the present embodiment.
  • the server 100 according to the present embodiment includes, for example, a scan control unit 102, a scan data acquisition unit (shape information acquisition unit, color information acquisition unit) 104, a server data acquisition unit 106, and a matching unit (similar).
  • Degree calculation unit) 108, context data acquisition unit 110, selection unit 112, output unit 116, and purchase processing unit 118 are mainly included. The details of each functional unit of the server 100 according to the present embodiment will be described below.
  • the scan control unit 102 controls the camera 300 so as to acquire three-dimensional shape data, color information, and the like of the possessed clothing 700.
  • the scan data acquisition unit 104 acquires the three-dimensional shape data, color information, and the like of the possessed clothing 700 from the camera 300 and outputs the data to the matching unit 108, which will be described later.
  • the three-dimensional shape data of the possessed garment 700 may be, for example, a set of three-dimensional coordinates of each point on the surface of the possessed garment 700, and the data format thereof is particularly limited. is not.
  • the three-dimensional shape data of the possessed garment 700 is, for example, the three-dimensional coordinates (X coordinate, Y coordinate, Z coordinate) of each point on the surface of the possessed garment 700, and RGB. It may be composed of a combination with color information indicated by a value, a decimal color code, a hexadecimal color code, or the like.
  • the three-dimensional shape data of the possessed clothing 700 is formed by connecting the points by adopting a format in which the three-dimensional shape data is expressed as a set of points indicated by the three-dimensional coordinates directly obtained by the camera 300.
  • a three-dimensional shape model of the possessed garment 700 can be generated by the surface.
  • the shape of the garment of any shape can be represented by the three-dimensional shape model. It becomes possible to express with. However, when the above three-dimensional coordinates are used, the amount of information may be enormous, and in such a case, the load of data processing (matching, etc.) on the server 100 increases. Therefore, in the present embodiment, when the above three-dimensional coordinates are used, in order to suppress an increase in the amount of information, the number of points expressed in the three-dimensional coordinates while maintaining the information regarding the shape characteristics of the possessed clothing 700. It is preferable to use an algorithm that thins out.
  • the three-dimensional shape data of the possessed garment 700 divides the possessed garment 700 into parts (for example, around the neck, front part, etc.) such as an XML (Extension Markup Language) format. Therefore, the attribute information of the color and shape of each part may be composed of a set of information expressed by a numerical value or a defined pattern list (for example, a shape preset). In the present embodiment, the increase in the amount of information can be suppressed by expressing the three-dimensional shape data of the possessed clothing 700 using the markup language format as described above.
  • parts for example, around the neck, front part, etc.
  • XML Extension Markup Language
  • the attribute information of the color and shape of each part may be composed of a set of information expressed by a numerical value or a defined pattern list (for example, a shape preset).
  • the increase in the amount of information can be suppressed by expressing the three-dimensional shape data of the possessed clothing 700 using the markup language format as described above.
  • the markup language format as described above when used in the present embodiment, first, an aggregate of three-dimensional coordinates of each point on the possessed clothing 700 is acquired from the camera 300, and the aggregate is obtained. A three-dimensional shape model of the possessed garment 700 is generated from. Next, when the above markup language format is used, a part of the possessed clothing 700 is specified and specified by assigning a standard model of general clothing prepared in advance to the generated three-dimensional shape model. By extracting the attribute information of the shape and color of the portion, the three-dimensional shape data of the possessed clothing 700 can be expressed in the markup language format. In this embodiment, machine learning can be used when specifying the above-mentioned part.
  • three-dimensional shape models of various clothes, information (labels) of each part, and the like are input to, for example, a learning device provided in the server 100, and machine learning is performed in advance in the learning device. You may let me do it. More specifically, for example, it is assumed that the server 100 is provided with a supervised learner such as a support vector regression or a deep neural network. Then, by inputting the three-dimensional shape model of the clothes and the information of the part into the learning device as an input signal and a teacher signal (label), respectively, the learning device is a machine regarding the relationship between the information according to a predetermined rule. Learning can be performed and the relationship between these information can be stored in a database in advance. Further, in the present embodiment, the portion of the possessed clothing 700 can be specified by using the above database.
  • the server data acquisition unit 106 acquires three-dimensional shape data, color information, and the like of a plurality of clothes 702 stored in advance in the database from a database (EC site) managed by the EC business operator, and causes the matching unit 108 to be described later. Output.
  • the matching unit 108 combines the three-dimensional shape data and color information of the possessed clothes 700 output from the scan data acquisition unit 104 with the three-dimensional shape data and color information of the plurality of clothes 702 output from the server data acquisition unit 106. Based on this, the degree of similarity between the possessed clothes 700 and each clothes 702 is calculated. Further, the matching unit 108 outputs each calculated similarity to the selection unit 112, which will be described later.
  • the matching unit 108 generates a three-dimensional shape model of the possessed garment 700 based on the three-dimensional shape data of the possessed garment 700 acquired from the scan data acquisition unit 104, and further uses retopology to possess the garment 700.
  • a polygon mesh model showing the three-dimensional shape of the garment 700 is generated.
  • protrusions for example, burrs
  • the matching unit 108 generates a polygon mesh model showing the three-dimensional shape of each garment 702 based on the three-dimensional shape data of the plurality of clothes 702 acquired from the server data acquisition unit 106 in the same manner as described above. Further, the matching unit 108 increases the polygon mesh of the clothes 702 so as to minimize the difference between the polygon mesh model showing the three-dimensional shape of each of the generated clothes 702 and the polygon mesh model showing the three-dimensional shape of the clothes 700. Deforms to enlarge or reduce each part. By the deformation at this time, the matching unit 108 can obtain the deformation amount of each part of the garment 702. Therefore, the deformation amount is converted into a score of a predetermined format, and the converted scores are integrated. The degree of similarity regarding the shape can be calculated.
  • the matching unit 108 limits in advance the clothes 702 for which the similarity is calculated based on profile information such as the user's purchase history, wardrobe, gender, age, preference, etc. from the context data acquisition unit 110 described later. You may. Further, the matching unit 108 may limit the clothes 702 for which the similarity is to be calculated in advance based on the context information such as the season, the weather, and the schedule, as described above.
  • the context data acquisition unit 110 has a function of acquiring context information about the user and outputting it to the matching unit 108.
  • the context information refers to, for example, information about the activity status of the user or the environment around the user.
  • the context information can include information on the category (indoor, outdoor), area, season, temperature, humidity, etc. of the environment around the user, information on the user's schedule, and the like.
  • the context information may include information about the user's profile information (for example, gender, age, preference, purchase history, wardrobe, etc.).
  • the selection unit 112 selects clothes 702 recommended to the user from the database (EC site) based on each degree of similarity output from the matching unit 108. For example, the selection unit 112 selects a predetermined number of clothes 702 in descending order of similarity indicating that the three-dimensional shapes are similar, or selects clothes 702 in descending order of similarity indicating that the colors are similar. Can be done. In the present embodiment, the selection unit 112 may select, for example, clothing 702 having a similar relationship with the color of clothing 700, or selecting clothing 702 having a complementary color relationship with the color of clothing 700. It may be, and is not particularly limited. Then, the selection unit 112 outputs the information of the selected clothes 702 to the output unit 116 described later.
  • the selection unit 112 may select clothes 702 based on profile information such as the user's purchase history, wardrobe, gender, age, preference, etc., and other user profiles having similar gender, age, etc. to the user. Informedly, clothing 702 may be selected. Further, the selection unit 112 may select clothes 702 based on contextual information such as season, weather and schedule.
  • the output unit 116 outputs the information of the clothes 702 selected by the selection unit 112 to the user via the output device 400.
  • An example of the output form in this embodiment will be described later.
  • the purchase processing unit 118 executes the purchase processing of the clothes 702 based on the user's selection operation on the clothes 702 output by the output unit 116. Specifically, the purchase processing unit 118 presents the purchase screen to the user and accepts an input operation for the purchase process from the user.
  • the functional configuration of the server 100 is not limited to the example shown in FIG. 2, and may include other functional units (not shown in FIG. 2), for example.
  • FIGS. 5 and 6 are explanatory views for explaining an example of the display according to the present embodiment.
  • the user after acquiring the three-dimensional shape data of the user's clothing 700, the user recommends the clothing 702 to the user based on the acquired three-dimensional shape data (scan case), and the user's
  • scan case the acquired three-dimensional shape data
  • purchase history case the purchase history case
  • the scan case acquires (scans) the three-dimensional shape data of the possessed clothes 700 that the user already possesses when the user considers the purchase of clothes using the EC site.
  • the data can be executed by uploading the data to the server 100.
  • the server 100 extracts clothes 702 having a size or a similar shape design and color similar to the possessed clothes 700 from the EC site by matching, and recommends the extracted clothes 702 to the user.
  • the information processing method of the scan case according to the present embodiment includes a plurality of steps from step S101 to step S123. The details of each step included in the information processing method of the scan case will be described below.
  • Step S101 The server 100 accepts an input operation by the user indicating that the EC site has been accessed.
  • Step S103 The server 100 accepts an input operation by the user indicating that the item "search based on the clothes owned” is selected on the user interface (UI) screen of the EC site.
  • UI user interface
  • Step S105 The user prepares his / her own clothes 700 at hand, and scans the possessed clothes 700 using the camera 300.
  • the possessed clothes 700 to be scanned it is preferable to select clothes that are as similar as possible to the clothes that the user is considering purchasing. That is, for example, when a user intends to purchase a shirt, the possessed clothing 700 to be scanned is preferably a Y-shirt, a T-shirt, a blouse, or the like.
  • the user when scanning the possessed clothing 700, the user may be wearing the possessed clothing 700, or the possessed clothing 700 may be hung on a hanger or a stand.
  • the user is not particularly limited.
  • the server 100 uses the possessed clothes to avoid overlapping a part of the possessed clothes 700 as described above. It is preferable to display an explanation screen for guiding the user to hang the 700 on a hanger or the like in a suitable posture.
  • Step S107 The server 100 determines whether or not the scanning of the possessed clothes 700 is completed, and if it is determined that the scanning is completed, the process proceeds to step S111 described later, and if it is not determined that the scanning is completed, the server 100 proceeds to step S109 described later.
  • Step S109 For example, when the possession clothes 700 is hung on a hanger and scanned, the server 100 does not know the length of the sleeves because the possession clothes 700 are folded, and the shape and size of a part of the possession clothes 700 are unknown. In some cases, the user is presented with the fact that an accurate scan could not be performed and the estimated complemented shape candidates. Specifically, the server 100 selects a plurality of candidates presumed to be similar to the possessed clothing 700 from a plurality of shape candidates determined based on the types of clothing shapes previously categorized in the server 100. Then, the selected candidate is displayed as a thumbnail using a color similar to the possessed clothing 700.
  • the server 100 complements the portion whose shape, size, etc. are unknown based on the selected shape candidate. Can be executed. Further, in the present embodiment, when complementation by selecting such a shape candidate is executed, when the similarity is calculated in the step described later, the contribution rate in the calculation is lowered for the complemented portion. You may. Then, the server 100 returns to step S107 described above.
  • Step S111 ⁇ The server 100 uploads the three-dimensional shape data and the color information (scan data) of the possessed clothes 700 obtained by scanning.
  • Step S113 The server 100 includes three-dimensional shape data and the like created in advance based on the measurement information of the clothes 702 to be purchased stored on the server 100 (EC site) and the three-dimensional shape data uploaded in step S111 described above. The similarity of size and detailed shape is calculated based on the above.
  • the target of calculating the similarity is all clothes 702 on the EC site, but in order to calculate the similarity for all clothes 702, a huge amount of calculation resources are required. You will need it. Therefore, in the present embodiment, it is preferable to limit in advance the clothes 702 for which the similarity is calculated based on the profile information such as the user's purchase history, wardrobe, gender, age, preference, and the like. In addition, in the present embodiment, the clothing 702 for which the similarity is calculated may be limited based on contextual information such as season, weather, and schedule.
  • the type of the possessed clothing 700 is recognized based on the three-dimensional shape data of the possessed clothing 700 obtained by scanning, and only the clothing 702 corresponding to the recognized type on the EC has a similarity degree. May be the calculation target of. In the present embodiment, by doing so, it is possible to suppress an increase in calculation resources for calculating the similarity.
  • Step S115 The server 100 selects a plurality of higher-ranking clothes 702 in descending order of similarity based on the similarity calculated in step S113 described above.
  • the number of items to be selected is not particularly limited, but is preferably about 3 to 10, for example, and by limiting in this way, the user can purchase without hesitation for a long time.
  • Candidate clothing 702 can be examined.
  • Step S117 The server 100 displays the information of the clothes 702 selected in step S115 described above toward the user in descending order of similarity via the output device 400.
  • the output device 400 displays a plurality of candidate clothes 702.
  • a coordination example using the candidate garment 702 (for example, a combination with other garments and accessories) is also added so that the user can easily recall the use case of the candidate garment 702. It is preferable to display.
  • the coordination example may be automatically displayed together with the information of the candidate clothing 702, or the coordination example may be displayed by accepting the selection operation by the user.
  • the coordination example may be displayed by accepting the selection operation by the user.
  • the displayed coordination example may be generated by drawing CG (Computer Graphics) based on information such as clothes 702 and accessories on the EC site, and may be generated by drawing a real person (model). ) May be a captured image when the candidate clothing 702 is worn, and is not particularly limited.
  • drawing CG Computer Graphics
  • model a real person
  • the user selects the displayed candidate garment 702, so that, as shown in FIG. 6, the selected garment 712 is placed on the scanned garment 700 in the real space.
  • the virtual object 804 may be displayed in AR.
  • the server 100 displays a virtual object of the garment 702 on the image of the user wearing the garment 700 so as to overlay the garment 700. You may.
  • the AR display can be performed, for example, by holding a smartphone (not shown) equipped with the camera 300 over the possessed clothing 700.
  • the virtual object 804 when the virtual object 804 is superimposed and displayed as described above, the virtual object 804 is caused by the fact that the clothes 700 already worn by the user has a longer length and sleeve length than the clothes 700.
  • the clothes 700 may stick out from the garment, resulting in an unnatural display. Therefore, in the present embodiment, image processing is used to identify each region of the user's body, the clothes 700, and the background in the image, and the portion of the clothes 700 that appears to protrude is separated from the user's body. In some cases, it may be displayed in the background color, and if it is close, it may be displayed in the body color to realize a more natural AR display. Further, in the present embodiment, the virtual object 804 may be deformed according to the user's operation to realize a more natural AR display.
  • the present embodiment is not limited to the AR display as described above, and for example, an image of wearing the selected clothes 702 on the avatar (doll) prepared in advance on the EC site is displayed. You may. Specifically, in the present embodiment, the physique and size of the displayed avatar may be determined based on the information extracted from the three-dimensional shape data of the possessed clothing 700 and the like. Further, in the present embodiment, by registering the user's face image on the EC site in advance, the user's face image or the three-dimensional shape model obtained from the face image is pasted on the face part of the avatar. It may be displayed close to the image that the user actually wears the clothes 702.
  • Step S119 The server 100 determines whether or not the input operation for selecting the purchase has been accepted for the clothes 702 presented in step S117 described above. If the server 100 determines that the input operation has been accepted, the process proceeds to step S123 described later, and if it does not determine that the input operation has been accepted, the server 100 proceeds to step S121 described later.
  • Step S121 The server 100 directs the next most similar garment 702 to the user via the output device 400.
  • Step S123 The server 100 displays the purchase screen toward the user via the output device 400. Then, the user performs the purchase procedure of the clothes 702 by operating the purchase screen.
  • the detailed size information of the user is indirectly estimated based on the three-dimensional shape data of the possessed clothing 700 already possessed by the user, and the estimated detailed size information is obtained.
  • clothes 702 having a similar size or the like on the EC site can be automatically extracted. Therefore, according to the present embodiment, any user can easily select clothes of an appropriate size on the EC site.
  • the information processing method of the purchase history case includes a plurality of steps from step S201 to step S217. The details of each step included in the information processing method of the purchase history case will be described below.
  • Step S201 The server 100 accepts an input operation indicating that the user has accessed the EC site.
  • Step S203 The server 100 accepts an input operation indicating that the user has selected the item "Search based on purchase history" on the user interface (UI) screen of the EC site.
  • UI user interface
  • Step S205 The server 100 presents to the user a plurality of garment type candidates determined based on the garment types pre-categorized in the server 100. Then, the server 100 can limit the clothes 702 for calculating the similarity by selecting the type of candidate that the user is considering purchasing from the presented candidates.
  • the server 100 includes three-dimensional shape data created in advance based on the measurement information of the clothes 702 to be purchased stored on the server 100 (EC site), and three-dimensional shape data associated with the clothes in the purchase history. Based on, the similarity of size and detailed shape is calculated.
  • steps S209 to S215 are the same as steps S115 to S123 shown in FIG. 3 described above, description thereof will be omitted here.
  • the detailed size information of the user is indirectly estimated based on the three-dimensional shape data attached to the clothes in the purchase history of the user, and the estimated detailed size information is obtained.
  • clothes 702 having a similar size or the like on the EC site can be automatically extracted. Therefore, according to the present embodiment, any user can easily select clothes of an appropriate size on the EC site.
  • the similarity regarding the neck circumference is weighted as compared with other parts. Then, calculate the similarity with an emphasis on the neck circumference.
  • the degree of similarity is calculated after weighting various patterns without grasping in advance which part of the clothes the user attaches importance to the fit. The user is recommended to wear clothes 702 having a high degree of similarity in the pattern, and the user is asked to select the clothes 702 from the clothes 702.
  • FIGS. 7 to 9 are explanatory views for explaining the present modification 1.
  • the clothes are divided into various parts such as around the neck, around the shoulders, around the arms, around the chest, and around the waist.
  • the degree of similarity between the possessed garment 700 and each garment 702 is calculated for each part.
  • the similarity between the possessed garment 700 and each garment 702 is calculated.
  • weighting was performed in various patterns. Later, the sum of each part will be calculated. For example, as a pattern that emphasizes the fit around the neck, the sum of each part is calculated after weighting the similarity around the neck with respect to other parts.
  • weighting may be performed on the similarity of the colors of the entire garment between the possessed garment 700 and each garment 702.
  • each pattern for example, emphasis on overall color, emphasis on fit around the neck, Clothes 702 recommended in (emphasis on fit around the waist, etc.
  • the weighting pattern described above is not limited to weighting only one part as compared with other parts, and a plurality of parts are used as the remaining other parts. It may be weighted by comparison, and the details of the weighting pattern are not particularly limited.
  • the user is calculated by calculating the similarity after weighting each part of the garment in order to take into consideration the fit to the user's body in each part of the garment. Can meet various physique and comfort requirements.
  • ⁇ 3.2 Deformation example 2> when the user is wearing the scanned possession garment 700, the virtual garment 702 is superimposed on the possession garment 700 on the image of the user wearing the possession garment 700. I was displaying an object. Specifically, in the present embodiment, a virtual object of the garment 702 deformed so as to be superimposed on the possessed garment 700 is displayed. However, depending on the posture of the user and the like, the superimposed display of the virtual object 804 as described above may be an unnatural display. Therefore, in this modification, the skeleton and posture of the user are estimated by analyzing the captured image and the three-dimensional shape data of the user, and the virtual object 804 of the clothes 702 is deformed according to the estimation result to display the superimposed display. Do.
  • FIG. 10 is an explanatory diagram for explaining the present modification 2.
  • the skeleton and posture of the user are estimated.
  • the user's skeleton for example, by acquiring a user's captured image and three-dimensional shape data (distance information) with the above-mentioned camera 300 and analyzing the information, the user's skeleton (bone length, joint length) Position, etc.) and posture can be estimated.
  • the user's skeleton may be estimated based on the estimated skeleton and posture, or the three-dimensional model of the user's body may be estimated by fleshing out the skeleton. Good.
  • the three-dimensional model of the garment 702 is deformed so as to match the three-dimensional model of the user's body.
  • the weight, the hardness, the elasticity (the degree of tolerance of the relative coordinate change with the surrounding points, and the magnitude of the recovery force for returning the relative coordinate change).
  • the shape of the three-dimensional model of the garment 702 is physically simulated and deformed according to the posture of the user. By doing so, according to the present modification, it is possible to obtain a virtual object 804 that can image the wrinkles and sluggishness that will occur when the user actually wears the clothes 702.
  • the virtual object 804 based on the three-dimensional model of the clothes 702 deformed in this way is displayed so as to be superimposed on the user's body.
  • the virtual object 804 of the clothes 702 can be displayed more naturally.
  • the garment 702 with the arms rolled up and the garment 702 with the hem tied in front Can also be displayed in AR.
  • the state of the light around the user may be detected, and the color, brightness, etc. of the virtual object 804 may be changed accordingly.
  • the adjustment amount of the three-dimensional model of the user's body in this modification may be determined based on a predetermined pixel change allowance database on the color image, and when the size of the clothes 702 is changed. It may be determined based on the amount of change in the appearance of, and is not particularly limited.
  • the difference between the adjusted three-dimensional model and the actual three-dimensional model of the body may become large. Therefore, in this modified example, when the deviation is large and a hole is opened in the displayed image, the hole is filled by using the inpinting technology or the like, or when the contact patch between the user and the floor deviates, the floor is corrected. You may draw it.
  • the display using the user's avatar is performed instead of the superimposed display as described above. You may.
  • the wrinkles on the face portion of the avatar may be removed, the parts (nose, eyes, etc.) may be deformed, or the scale may be enlarged or reduced.
  • the comfort is defined as the less the user feels when he / she wears clothes and moves his / her body, the better the comfort.
  • information on each material characteristic (material information) of each part of each garment 702 is stored in advance on the EC site (server 100).
  • a comfort level database associated with the material characteristics and the portion is generated in advance based on the above information, and the comfort of the garment 702 can be quantified in advance with reference to the database. Good.
  • parameters such as weight, hardness, and elasticity are given in advance to each point on the three-dimensional model of the garment 702, and the deformation is performed to match the posture and movement of the user.
  • the shape of the three-dimensional model of the garment 702 was physically simulated and deformed. Therefore, in this modified example, the stress value applied to each part can be obtained by physically simulating with reference to the material characteristics of each part. Therefore, it is comfortable to wear based on the obtained stress value etc. May be quantified. Further, in this modification, even if the comfort is visualized and displayed by superimposing a color or an arrow based on the stress value of each part on each part of the virtual object 804 of the garment 702. Good.
  • a personal database that can adjust the numerical value of the database of the comfort level prepared in advance for each user may be generated.
  • the numerical values in the personal database can be updated by feeding back the user's own evaluation of the comfort of the purchased clothes.
  • the user himself / herself may specify a part and adjust the numerical value, and the feedback information of the evaluation of the comfort that the user evaluated for the entire garment 702 is provided in the modified example 1. It may be assigned based on the order of important parts selected by the user.
  • the comfort of the clothes 702 can also be provided to the user, so that the user can select the clothes 702 with reference to the comfort 702.
  • the recommended clothing 702 may be changed according to the purchase history of the user and the preference that changes according to the age. Therefore, a modified example 4 of the embodiment of the present disclosure will be described below.
  • the user stored on the EC site is used.
  • the selection tendency of the recommended garment 702 may be changed based on the purchase history of the garment 702 and the evaluation feedback of the purchased garment 702 from the user.
  • the selection tendency of the recommended clothes 702 may be changed according to the profile information such as the age of the user and the information such as the season.
  • the selection tendency of the recommended clothes 702 may be changed based on the profile information of another user whose gender, age, etc. are similar to that of the user.
  • clothes 702 with brighter colors than the possessed clothes 700 are used. Make sure to select it as the recommended clothing. Further, when the evaluation feedback is directly obtained from the user, the server 100 fine-tunes the predicted content and the predicted reflection strength of the clothes 702 predicted to be selected by the user based on the feedback. May be good.
  • Clothing 702 can be recommended.
  • a mechanism may be provided so that the three-dimensional shape data of the clothes changes together with the clothes each time the owner of the clothes changes.
  • the articles covered by the embodiments of the present disclosure are not limited to clothing, but are particularly limited as long as they are items such as furniture that can be traded with an EC business operator. is not. Therefore, as a modification 6 according to the embodiment of the present disclosure, a case where it is applied to furniture will be described with reference to FIGS. 11 and 12. 11 and 12 are explanatory views for explaining the present modification 6.
  • the screen 808 as shown in FIG. 11 may be displayed so that the user can easily imagine the case where the furniture selected from the EC site is arranged in the user's room. .. Specifically, the screen 808 is an AR display of the virtual object 812 of the furniture selected from the EC site so as to be superimposed on the furniture in the real space to be scanned in the image in the room 810 which is the real space. Is.
  • this modification it is possible to acquire information on the corners, floor surface, and wall surface of the room 810 by using the Junction Detection technology for the captured image in the room 810. Then, in this modification, using such information, all the furniture other than the target furniture is removed to display only the outer shape of the room 810 and the target furniture, or only the outer shape of the room 810 is displayed. The user can more clearly imagine the state of the room 810 after purchasing the furniture.
  • an image 820 in which the furniture 830 to be scanned is installed in the room 810 which is the real space, and EC in the room 810 which is the real space.
  • An image 822 in a state where the virtual object 832 of the target furniture selected from the site is displayed may be displayed to the user.
  • the image 824 in which the virtual object 832 and the outer shape of the room 810 are displayed and the image 826 in which only the outer shape of the room 810 is displayed are displayed by removing all but the virtual object 832. You may.
  • the images in the above four states can be transitioned by using the check box and the slide bar.
  • the virtual object 812 of the target furniture does not fit well on the screen due to the shooting position and angle of the user, or the image of the room in which the target furniture is arranged is transmitted because the imaging position is too close. If the image is difficult, it is preferable to guide the user to readjust the shooting position and angle.
  • the detailed size information of the user is indirectly estimated based on the three-dimensional shape data of the possessed clothing 700 already possessed by the user, and the estimated detailed size information is obtained.
  • clothes 702 having a similar size or the like on the EC site can be automatically extracted. Therefore, according to the present embodiment, any user can easily select clothes of an appropriate size on the EC site.
  • FIG. 13 is an explanatory diagram showing an example of the hardware configuration of the information processing apparatus 900 according to the present embodiment.
  • the information processing apparatus 900 shows an example of the hardware configuration of the server 100 described above.
  • the information processing device 900 includes, for example, a CPU (Central Processing Unit) 950, a ROM (Read Only Memory) 952, a RAM (Random Access Memory) 954, a recording medium 956, and an input / output interface 958. Further, the information processing device 900 has an operation input device 960, a display device 962, a voice output device 964, a communication interface 968, and a sensor 980. Further, the information processing apparatus 900 connects each component with, for example, a bus 970 as a data transmission path.
  • a bus 970 as a data transmission path.
  • the CPU 950 is composed of, for example, one or more processors composed of arithmetic circuits such as a CPU, various processing circuits, and the like, and functions as a main control unit that controls the entire information processing apparatus 900.
  • the ROM 952 stores control data such as programs and calculation parameters used by the CPU 950.
  • the RAM 954 temporarily stores, for example, a program executed by the CPU 950.
  • the recording medium 956 stores, for example, various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the recording medium 956 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 956 may be detachable from the information processing device 900.
  • the input / output interface 958 connects, for example, an operation input device 960, a display device 962, an audio output device 964, and the like.
  • Examples of the input / output interface 958 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits.
  • the operation input device 960 functions as, for example, a data input device, and is connected to the input / output interface 958 inside the information processing device 900.
  • Examples of the operation input device 960 include buttons, direction keys, rotary selectors such as a jog dial, a touch panel, and a combination thereof.
  • the display device 962 is provided on the information processing device 900, for example, and is connected to the input / output interface 958 inside the information processing device 900.
  • Examples of the display device 962 include a liquid crystal display and an organic EL display (Organic Electro-Luminence Display Display).
  • the audio output device 964 is provided on the information processing device 900, for example, and is connected to the input / output interface 958 inside the information processing device 900. Examples of the audio output device 964 include speakers, headphones, and the like.
  • the input / output interface 958 can be connected to an external device such as an external operation input device (for example, a keyboard, a mouse, etc.) or an external display device of the information processing device 900.
  • an external operation input device for example, a keyboard, a mouse, etc.
  • an external display device of the information processing device 900 for example, a liquid crystal display, a liquid crystal display, etc.
  • the communication interface 968 is a communication means included in the information processing device 900, and is a communication unit (not shown) for wirelessly or wiredly communicating with an external device via a network (not shown) (or directly). ) Functions.
  • examples of the communication interface 968 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.11 5.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), LAN (Local Area Network) terminal, transmission / reception circuit (wired communication), and the like.
  • the sensor 980 is various sensors that function as the above-mentioned camera 300 and the like.
  • the information processing device 900 includes a communication interface 968 when communicating with an external device or the like via a connected external communication device or when the information processing device 900 is configured to perform processing in a stand-alone manner. It does not have to be.
  • the communication interface 968 may have a configuration capable of communicating with one or more external devices by a plurality of communication methods.
  • the information processing device may be applied to a system including a plurality of devices, which is premised on connection to a network (or communication between each device), such as cloud computing. .. That is, the information processing device according to the present embodiment described above can be realized as, for example, an information processing system that performs processing related to the information processing method according to the present embodiment by a plurality of devices.
  • the above is an example of the hardware configuration of the information processing device 900.
  • Each of the above components may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
  • the embodiment of the present disclosure described above may include, for example, a program for making a computer function as an information processing device according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Further, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the processing of the embodiment of the present disclosure described above does not necessarily have to be processed in the order described.
  • each step may be processed in an appropriately reordered manner.
  • each step may be partially processed in parallel or individually instead of being processed in chronological order.
  • the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by another method by another functional unit, for example.
  • a shape information acquisition unit that acquires 3D shape data of the first article owned by the user, Comparing the three-dimensional shape data of the first article with the three-dimensional shape data of a plurality of second articles stored in advance in a database managed by an electronic commerce business operator, the first article and each of the above
  • a similarity calculation unit that calculates each similarity with the second article
  • a selection unit that selects the second article recommended to the user based on each degree of similarity.
  • An output unit that outputs information on the selected second article to the user, and Information processing device equipped with.
  • the shape information acquisition unit irradiates the first article with light and acquires the three-dimensional shape data from the TOF sensor that acquires the three-dimensional shape data of the first article by detecting the light.
  • the similarity calculation unit compares the color information of the first article with the color information of the plurality of second articles, and compares the color information of the first article with each of the first article and each of the second articles.
  • the information processing device according to (3) above which calculates the degree of similarity.
  • the similarity calculation unit is described in any one of (1) to (4) above, which calculates the similarity between the same parts among a plurality of parts in the first and second articles. Information processing equipment. (6) The similarity calculation unit The degree of similarity between the respective parts in the first and second articles is sequentially calculated. Weighting is performed for each of the calculated similarities. The information processing device according to (5) above. (7) The information processing device according to any one of (1) to (6) above, wherein the selection unit selects the second article in descending order of similarity. (8) The information processing device according to any one of (1) to (7) above, wherein the selection unit selects the second article based on the profile information of the user.
  • the output unit displays to the user the comfort level corresponding to the selected second article based on the material information of the plurality of second articles stored in advance in the database.
  • the information processing device according to (1). (15) Acquiring the 3D shape data of the first article possessed by the user, Comparing the three-dimensional shape data of the first article with the three-dimensional shape data of a plurality of second articles stored in advance in a database managed by an electronic commerce business operator, the first article and each of the above To calculate each similarity with the second article, To select the second article recommended to the user based on each of the similarities. To output the information of the selected second article to the user, Information processing methods, including.
  • Information processing system 100 Server 102 Scan control unit 104 Scan data acquisition unit 106 Server data acquisition unit 108 Matching unit 110 Context data acquisition unit 112 Selection unit 116 Output unit 118 Purchase processing unit 300 Camera 400 Output device 700, 702 Clothes 800, 806 , 808, Display screen 804, 812, 832 Virtual object 810 Room 830 Furniture 900 Information processing device 950 CPU 952 ROM 954 RAM 956 Recording medium 958 Input / output interface 960 Operation input device 962 Display device 964 Audio output device 966 Output device 968 Communication interface 970 Bus 980 Sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Library & Information Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ユーザの所持する第１の物品の３次元形状データを取得する形状情報取得部と、前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する類似度算出部と、前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する選択部と、選択された前記第２の物品の情報を前記ユーザに出力する出力部とを備える情報処理装置を提供する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、多くのユーザは、実店舗ではなく、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ）事業者から、衣服等の商品を購入することが多くなってきている。このような場合、ユーザは、購入しようとする衣服を試着することができないために、ＥＣサイト等に表記されたサイズを参照して、自身の身体にフィットするかどうか等を見極め、購入の可否を判断することとなる。
特開２０１３－１０１４６８号公報
ＺＯＺＯＳＵＩＴ（登録商標）、インターネット＜ＵＲＬ：ｈｔｔｐ：//ｚｏｚｏ.ｊｐ/ｚｏｚｏｓｕｉｔ/＞
　しかしながら、適切なサイズの衣服を選択して購入した場合であっても、実際に送付されてきた衣服をユーザが着用した際、当該衣服がユーザの腕周り、肩幅、首周り、太もも周り等のサイズにフィットしていないことがある。このような場合、ユーザは、すぐさま返品手続きを行うか、あきらめて自身の身体にフィットしていない衣服を着続ける等することとなる。従って、ＥＣサイトであっても適切なサイズの衣服を容易に選択することができるようにすることは、ユーザが上述のような不利益を被ることを避けることにつながることから、ＥＣサイトでの売り上げ促進にとっては重要なファクタであると言える。
　そこで、本開示では、ＥＣサイトであっても適切なサイズの衣服を容易に選択することが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、ユーザの所持する第１の物品の３次元形状データを取得する形状情報取得部と、前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する類似度算出部と、前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する選択部と、選択された前記第２の物品の情報を前記ユーザに出力する出力部とを備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの所持する第１の物品の３次元形状データを取得することと、前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出することと、前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択することと、選択された前記第２の物品の情報を前記ユーザに出力することとを含む、情報処理方法が提供される。
　さらに、本開示によれば、ユーザの所持する第１の物品の３次元形状データを取得する機能と、前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する機能と、前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する機能と、選択された前記第２の物品の情報を前記ユーザに出力する機能と、をコンピュータに実現させるためのプログラムが提供される。
本開示の実施形態に係る情報処理システム１０の構成例を説明するための説明図である。 同実施形態に係るサーバ１００の機能的構成を示すブロック図である。 同実施形態に係る情報処理方法の一例を説明するフローチャート（その１）である。 同実施形態に係る情報処理方法の一例を説明するフローチャート（その２）である。 同実施形態に係る表示の一例を説明するための説明図（その１）である。 同実施形態に係る表示の一例を説明するための説明図（その２）である。 同実施形態の変形例１を説明するための説明図（その１）である。 同実施形態の変形例１を説明するための説明図（その２）である。 同実施形態の変形例１を説明するための説明図（その３）である。 同実施形態の変形例２を説明するための説明図である。 同実施形態の変形例６を説明するための説明図（その１）である。 同実施形態の変形例６を説明するための説明図（その２）である。 同実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、以下の説明においては、後述する本開示の実施形態により提供されるサービスを利用する者をユーザと呼ぶ。
　なお、説明は以下の順序で行うものとする。
　１．本開示に係る実施形態を創作するに至るまでの経緯
　２．実施形態
　　　２．１　本開示の実施形態に係る情報処理システム１０の概要
　　　２．２　サーバ１００の機能的構成
　　　２．３　情報処理方法
　３．変形例
　　　３．１　変形例１
　　　３．２　変形例２
　　　３．３　変形例３
　　　３．４　変形例４
　　　３．５　変形例５
　　　３．６　変形例６
　４．まとめ
　５．ハードウェア構成について
　６．補足
　＜＜１．　本開示に係る実施形態を創作するに至るまでの経緯＞＞
　まず、本開示に係る実施形態を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る経緯について説明する。
　先に説明したように、近年、多くのユーザにおいては、実店舗ではなく、ＥＣ事業者から衣服等の商品を購入することが一般的になりつつある。このような場合、ユーザは、購入しようとする衣服を試着することができないために、ＥＣサイト等に表記された衣服のサイズを参照して自身の身体にフィットするかどうかを見極め、購入の可否を判断することとなる。詳細には、ユーザが衣服のサイズが自身の身体にフィットするかどうかを判断するための一般的な方法としては、例えば、衣服に付されたサイズ規格（例えば、Ｓサイズ、Ｍサイズ、Ｌサイズ、号数等）を参照することが挙げられる。
　しかしながら、上述のようなサイズ規格を参照して適切なサイズの衣服を選択して購入した場合であっても、実際に送付されてきた衣服をユーザが着用した際、当該衣服がユーザの腕周り、肩幅、首周り、太もも周り等のサイズにフィットしていないことがある。そして、このような場合、ユーザは、すぐさま面倒な返品手続きを行うか、あきらめて自身の身体にフィットしていない衣服を着続ける、またはあきらめてクローゼットの奥にしまっておくといった行為をやむを得ず選択することがある。すなわち、ＥＣサイトにおける衣服の購入は、適切なサイズの衣服を容易に選択することが難しいことから、ユーザに様々な不利益を与えたりする場合が少なからず存在する。
　従って、本発明者らは、上述のような状況を鑑みて、ＥＣサイトであっても適切なサイズの衣服を容易に選択することができるようにすることは、ＥＣサイトにおける売り上げ促進にとっては重要なファクタであると考え、ＥＣサイト上に以下のような仕組みを設けることを着想した。より具体的には、本発明者らは、ＥＣサイト上に、ユーザが自身の詳細なサイズ情報（例えば、腕周り、肩幅、首周り、太もも周り等のサイズ）を事前に容易に取得することができ、且つ、取得した詳細なサイズ情報とＥＣサイト上の購入候補となる衣服のサイズとを照合することができる仕組みを設けることが有効であると考えていた。
　ところで、最近では、ユーザが自身の詳細なサイズ情報を事前に取得することができる方法として、上記非特許文献１に示すようなＺＯＺＯＳＵＩＴ（登録商標）の利用を挙げることができる。上記ＺＯＺＯＳＵＩＴは、マーカーが貼り付けられた伸縮性の全身タイツであり、当該ＺＯＺＯＳＵＩＴを着用したユーザを撮像装置で撮像して解析することにより、当該ユーザの腕周りや肩幅等の詳細なサイズ情報を事前に取得することができるデバイスである。そして、ユーザは、上記ＺＯＺＯＳＵＩＴにより取得した詳細なサイズ情報と、ＥＣサイト上の衣服のサイズとを照合することにより、ＥＣサイト上の衣服のサイズが自身の身体にフィットするかどうかを判断することができる。
　しかしながら、上述の方法においては、ユーザは、詳細なサイズ情報を取得するために上記ＺＯＺＯＳＵＩＴのような専用の大掛かりなデバイスを入手して、面倒な操作を行う必要がある。従って、様々なユーザ（子供、老人等）の利用という観点から考えると、上記ＺＯＺＯＳＵＩＴは容易に利用できるとは言い難い。
　そこで、このような状況を鑑みて、本発明者らは、どのようなユーザであっても、ＥＣサイト上で適切なサイズの衣服を容易に選択することが可能なアプリケーションを創作しようと鋭意検討を重ね、本開示の実施形態を創作するに至った。詳細には、本開示においては、ＥＣサイト上で、ユーザがすでに所持している衣服のサイズ（３次元形状データ）に基づき、当該ユーザの詳細なサイズ情報を間接的に推定し、且つ、当該詳細なサイズ情報とＥＣサイト上の購入候補となる衣服のサイズとを照合することができる仕組みを提案する。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。
　なお、以下においては、本開示の実施形態で対象となる物品（第１の物品、第２の物品）が衣服であるとして説明するが、本実施形態は、物品は衣服に限定されるものではなく、家具やカバン等の物品でＥＣ事業者と間で取引可能な物品であれば特に限定されるものではない。
　＜＜２．　実施形態＞＞
　＜２．１　本開示の実施形態に係る情報処理システム１０の概要＞
　まずは、本開示の実施形態に係る情報処理システム（情報処理装置）１０の概要について、図１を参照して説明する。図１は、本実施形態に係る情報処理システム１０の構成例を説明するための説明図である。図１に示すように、本実施形態に係る情報処理システム１０は、サーバ１００と、カメラ３００と、出力装置４００とを主に含む。これらは互いにネットワークを介して通信可能に接続される。詳細には、サーバ１００と、カメラ３００と、出力装置４００は、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　ｎｅｔｗｏｒｋ）のアクセスポイント等）を介してネットワークに接続される。なお、ネットワークで用いられる通信方式は、有線又は無線（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。以下に、本実施形態に係る情報処理システム１０に含まれる各装置について説明する。
　（サーバ１００）
　サーバ１００は、所持する衣服（第１の物品）（以下、所持衣服と呼ぶ）７００の３次元形状データを取得し、取得した３次元形状データに基づいて、ＥＣ事業者の管理するデータベース（以下の説明においては、ＥＣサイトとも呼ぶ）に予め格納された複数の衣服７０２（第２の物品）（図５　参照）のうち、上記所持衣服７００と類似する衣服７０２をユーザに推薦衣服として出力する。サーバ１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のハードウェアにより実現される。なお、サーバ１００の詳細については後述する。
　（カメラ３００）
　本実施形態に係る情報処理システム１０においては、図１では１台のカメラ３００しか図示されていないが、例えば、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ（ＴＯＦセンサ）とカラーカメラとの２種類のカメラを含むことができる。また、本実施形態においては、１台のカメラ３００が、ＴＯＦカメラとカラーカメラとの２種類のカメラの機能を果たすようにしてもよく、特に限定されるものではない。以下に、これらカメラの詳細について説明する。
　～ＴＯＦカメラ～
　ＴＯＦカメラは、所持衣服（第１の物品）７００の３次元形状データを取得する。詳細には、ＴＯＦカメラは、所持衣服７００に赤外光等の照射光を照射し、所持衣服７００の表面で反射された反射光を検知する。そして、ＴＯＦカメラは、上記反射光を検知することによって得たセンシングデータに基づいて、照射光と反射光との位相差を算出することにより、所持衣服７００の距離情報（奥行き）を取得することにより、所持衣服７００の３次元形状データを取得することができる。なお、上述のように位相差により距離情報を得る方法は、インダイレクトＴＯＦ方式と呼ばれる。また、本実施形態においては、照射光を出射した時点から、当該照射光が所持衣服７００で反射されて反射光として受光されるまでの光の往復時間を検出することにより、所持衣服７００の距離情報を取得することが可能なダイレクトＴＯＦ方式を用いることも可能である。
　また、本実施形態においては、上記ＴＯＦカメラの代わりに、ストラクチャード　ライト（ｓｔｒｕｃｔｕｒｅｄ　ｌｉｇｈｔ）法により、所持衣服７００までの距離を測定する投影撮像装置を用いてもよい。ストラクチャード　ライト法は、所持衣服７００の表面に所定のパターンを持つ光を投影し、投影された光のパターンの変形を解析することにより、所持衣服７００までの距離を推定する方法である。また、本実施形態においては、上記ＴＯＦカメラの代わりに、ステレオカメラを用いてもよい。
　～カラーカメラ～
　カラーカメラは、所持衣服７００の色彩や模様に関する色彩情報を取得することができる。詳細には、カラーカメラは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）イメージセンサ等の撮像素子（図示省略）と、撮像素子で光電変換された信号に対して撮像信号処理を施す信号処理回路（図示省略）とを含んで構成することができる。さらに、カラーカメラは、撮像レンズ、絞り機構、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構（図示省略）及び、上記光学系機構の動作を制御する駆動系機構（図示省略）をさらに有することができる。そして、上記撮像素子は、所持衣服７００からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより所持衣服７００の撮像画像を取得することができる。従って、本実施形態においては、このように得られた所持衣服７００の撮像画像を解析することにより、所持衣服７００の色彩や模様に関する色彩情報を取得することができる。
　なお、図１においては、カメラ３００は単一の装置として図示されているが、本実施形態においては、これに限定されるものではなく、ユーザの携帯するスマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等に設けられていてもよい。また、カメラ３００がスマートフォンに設けられている場合には、当該スマートフォンは、ユーザの周囲に固定装置（例えば、スタンド等）によって固定されていてもよい。
　（出力装置４００）
　出力装置４００は、ユーザに向けて推薦衣服として出力するためのデバイスであり、例えば、図１に示されるように、ディスプレイ等により実現される。なお、当該ディスプレイは、ユーザの携帯するスマートフォンやタブレットＰＣ等に設けられていてもよい。さらに、出力装置４００は、推薦衣服に基づくオブジェクトを拡張現実（ＡＲ）として、実空間に重畳して表示することができる投影装置であってもよい。このような投影装置は、例えば、被指導者の眼前に装着されるスマートグラス型ウェアラブルデバイス（図示省略）であってもよい。当該スマートグラス型ウェアラブルデバイスには、透過型ディスプレイが設けられており、当該透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系を被指導者の眼前に保持し、当該虚像光学系の内側に上記オブジェクトを表示させる。また、上記投影装置は、被指導者の頭部に装着されるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）であってもよい。
　＜２．２　サーバ１００の機能的構成＞
　以上、本実施形態に係る情報処理システム１０の概要について説明した。続いて、図２を参照して、本実施形態に係るサーバ１００の機能的構成の一例について説明する。図２は、本実施形態に係るサーバ１００の機能的構成を示すブロック図である。図２に示すように、本実施形態に係るサーバ１００は、例えば、スキャン制御部１０２、スキャンデータ取得部（形状情報取得部、色彩情報取得部）１０４、サーバデータ取得部１０６、マッチング部（類似度算出部）１０８、コンテキストデータ取得部１１０、選択部１１２、出力部１１６、及び購入処理部１１８を主に含む。以下に、本実施形態に係るサーバ１００の各機能部の詳細について説明する。
　（スキャン制御部１０２）
　スキャン制御部１０２は、所持衣服７００の３次元形状データや色彩情報等を取得するようにカメラ３００を制御する。
　（スキャンデータ取得部１０４）
　スキャンデータ取得部１０４は、上記カメラ３００から所持衣服７００の３次元形状データや色彩情報等を取得し、後述するマッチング部１０８に出力する。なお、本実施形態においては、所持衣服７００の３次元形状データは、例えば、所持衣服７００の表面の各点の３次元座標の集合であってもよく、そのデータ形式については特に限定されるものではない。
　詳細には、本実施形態においては、所持衣服７００の３次元形状データは、例えば、所持衣服７００の表面上の各点の、３次元座標（Ｘ座標、Ｙ座標、Ｚ座標）、及び、ＲＧＢ値、１０進数カラーコード、１６進数カラーコード等によって示される色彩情報との組み合わせによって構成されてもよい。本実施形態においては、所持衣服７００の３次元形状データをカメラ３００で直接的に得られる３次元座標で示される点の集合として表現する形式を採用することにより、当該各点を繋いで形成される面によって所持衣服７００の３次元形状モデルを生成することができる。本実施形態においては、所持衣服７００の３次元形状データを上述のような３次元座標等を利用して表現することにより、どのような形状の衣服であっても、その形状を３次元形状モデルで表現することが可能となる。しかしながら、上記３次元座標を用いる場合には、情報量が膨大になる可能性があり、このような場合、サーバ１００におけるデータの処理（マッチング等）等の負荷が増大することとなる。従って、本実施形態においては、上記３次元座標を用いる場合には、情報量の増加を抑えるために、所持衣服７００の形状の特徴に関する情報を維持しつつ、３次元座標で表現する点の数を間引くようなアルゴリズムを用いることが好ましい。
　また、本実施形態においては、所持衣服７００の３次元形状データは、例えば、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）形式等のような、所持衣服７００を部位ごと（例えば、首周り、前身ごろ等）に分けて、各部位の色彩や形状の属性情報を数値又は定義済みパターンリスト(例えば、形状プリセット等)で表現した情報の集合によって構成してもよい。本実施形態においては、所持衣服７００の３次元形状データを上述のようなマークアップ言語形式を利用して表現することにより、情報量の増加を抑えることができる。
　より具体的には、本実施形態において上述のようなマークアップ言語形式を用いる場合には、まずは、カメラ３００から所持衣服７００上の各点の３次元座標の集合体を取得し、当該集合体から所持衣服７００の３次元形状モデルを生成する。次に、上記マークアップ言語形式を用いる場合には、生成した３次元形状モデルに、予め準備された一般的な衣服の定型モデルを割り当てることで、所持衣服７００における部位を特定し、特定された部位の形状や色彩の属性情報を抽出することにより、所持衣服７００の３次元形状データをマークアップ言語形式で表現することができる。なお、本実施形態においては、上述のような部位の特定の際には機械学習を用いることができる。詳細には、本実施形態においては、様々な衣服の３次元形状モデルと、各部位の情報（ラベル）等を例えばサーバ１００に設けられた学習器に入力し、当該学習器に予め機械学習を行わせてもよい。より具体的には、例えば、サーバ１００には、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器が備わっているものとする。そして、上記学習器に衣服の３次元形状モデルと部位の情報とをそれぞれ入力信号及び教師信号（ラベル）として入力することにより、当該学習器は、所定の規則に従ってこれら情報の間の関係について機械学習を行い、これら情報の間の関係を予めデータベース化することができる。さらに、本実施形態においては、上記データベースを用いることにより、所持衣服７００における部位を特定することができる。
　（サーバデータ取得部１０６）
　サーバデータ取得部１０６は、ＥＣ事業者の管理するデータベース（ＥＣサイト）から、当該データベースに予め格納された複数の衣服７０２の３次元形状データや色彩情報等を取得し、後述するマッチング部１０８に出力する。
　（マッチング部１０８）
　マッチング部１０８は、スキャンデータ取得部１０４から出力された所持衣服７００の３次元形状データ及び色彩情報と、サーバデータ取得部１０６から出力された複数の衣服７０２の３次元形状データ及び色彩情報とに基づいて、所持衣服７００と各衣服７０２との各類似度を算出する。さらに、マッチング部１０８は、算出した各類似度を後述する選択部１１２に出力する。
　詳細には、マッチング部１０８は、スキャンデータ取得部１０４から取得した所持衣服７００の３次元形状データに基づいて、所持衣服７００の３次元形状モデルを生成し、さらにリトポロジーを用いることにより、所持衣服７００の３次元形状を示すポリゴンメッシュモデルを生成する。なお、本実施形態においては、上記３次元形状モデルから、所持衣服７００の３次元形状を表現する際に不要となる突起（例えば、バリ）を予め除去することが好ましい。さらに、本実施形態においては、ポリゴンメッシュの頂点の数についても適宜変更することが好ましい。
　また、マッチング部１０８は、サーバデータ取得部１０６から取得した複数の衣服７０２の３次元形状データに基づいて、上述の同様に、各衣服７０２の３次元形状を示すポリゴンメッシュモデルを生成する。さらに、マッチング部１０８は、生成した各衣服７０２の３次元形状を示すポリゴンメッシュモデルを、衣服７００の３次元形状を示すポリゴンメッシュモデルとの差異を最小化するように、衣服７０２のポリゴンメッシュの各部位を拡大又は縮小するような変形を行う。この際の変形により、マッチング部１０８は、衣服７０２の各部位の変形量を得ることができることから、当該各変形量を所定の形式のスコアに変換し、変換した各スコアを積算することにより、形状に関する類似度を算出することができる。
　また、マッチング部１０８は、後述するコンテキストデータ取得部１１０からのユーザの購入履歴、ワードロープ、性別、年齢、嗜好等といったプロファイル情報に基づいて、類似度を算出する対象となる衣服７０２を予め限定してもよい。さらに、マッチング部１０８は、上述と同様に、季節、天候やスケジュール等のコンテキスト情報に基づいて、類似度を算出する対象となる衣服７０２を予め限定してもよい。
　（コンテキストデータ取得部１１０）
　コンテキストデータ取得部１１０は、ユーザに関するコンテキスト情報を取得し、マッチング部１０８へ出力する機能を有する。ここでコンテキスト情報とは、例えばユーザの活動状況、又は、ユーザの周囲の環境に関する情報をいう。例えば、コンテキスト情報には、ユーザの周囲の環境のカテゴリ（屋内、屋外）、地域、季節、気温、湿度等に関する情報や、ユーザのスケジュール等に関する情報が含むことができる。また、当該コンテキスト情報には、ユーザのプロファイル情報（例えば、性別、年齢、嗜好、購入履歴、ワードロープ等）に関する情報が含まれていてもよい。
　（選択部１１２）
　選択部１１２は、上記マッチング部１０８から出力された各類似度に基づいて、ユーザに推薦する衣服７０２を上記データベース（ＥＣサイト）から選択する。例えば、選択部１１２は、三次元形状が類似することを示す類似度の高い順に、所定の数の衣服７０２を選択したり、色彩が類似することを示す類似度の高い順に衣服７０２を選択したりすることができる。なお、本実施形態においては、選択部１１２は、例えば、衣服７００の色彩と類似の関係にある衣服７０２を選択してもよく、もしくは、衣服７００の色彩と補色の関係にある衣服７０２を選択してもよく、特に限定されるものではない。そして、選択部１１２は、選択した衣服７０２の情報を後述する出力部１１６に出力する。
　また、選択部１１２は、ユーザの購入履歴、ワードロープ、性別、年齢、嗜好等といったプロファイル情報に基づいて衣服７０２を選択してもよく、当該ユーザと性別や年齢等が類似する他のユーザプロファイル情報に基づいて、衣服７０２を選択してもよい。さらに、選択部１１２は、季節、天候やスケジュール等のコンテキスト情報に基づいて、衣服７０２を選択してもよい。
　（出力部１１６）
　出力部１１６は、上記選択部１１２によって選択された衣服７０２の情報を、上記出力装置４００を介してユーザに出力する。なお、本実施形態における出力の形態に一例については後述する。
　（購入処理部１１８）
　購入処理部１１８は、出力部１１６によって出力された衣服７０２に対するユーザの選択操作に基づいて、当該衣服７０２の購入処理を実行する。詳細には、購入処理部１１８は、購入画面をユーザに提示したり、ユーザからの購入処理のための入力操作を受け付けたりする。
　なお、本実施形態においては、サーバ１００の機能的な構成は、図２に示す例に限定されるものではなく、例えば図２に図示しない他の機能部を含んでいてもよい。
　＜２．３　情報処理方法＞
　以上、本実施形態に係る情報処理システム１０、及び当該情報処理システム１０に含まれるサーバ１００の機能的構成の例について詳細に説明した。次に、本実施形態に係る情報処理方法について、図３から図６を参照して説明する。図３及び図４は、本実施形態に係る情報処理方法の一例を説明するフローチャートである。また、図５及び図６は、本実施形態に係る表示の一例を説明するための説明図である。
　なお、本実施形態においては、ユーザの所持衣服７００の３次元形状データを取得した後に、取得した３次元形状データに基づき、ユーザに向けて衣服７０２を推薦するケース（スキャンケース）と、ユーザの購入履歴に基づきユーザに向けて衣服７０２を推薦するケース（購入履歴ケース）との主に２つケースがある。従って、以下の説明においては、これら２つのケースにおける情報処理方法を順次説明する。
　（スキャンケース）
　まずは、ユーザの所持衣服７００の３次元形状データを取得した後に、取得した３次元形状データに基づき、ユーザに向けて衣服７０２を推薦するケース（スキャンケース）を説明する。詳細には、本実施形態に係るスキャンケースは、ユーザがＥＣサイトを利用して衣服の購入を検討する際、ユーザが既に所持している所持衣服７００の３次元形状データを取得（スキャン）し、当該データをサーバ１００にアップロードすることにより、実行することができる。さらに、当該スキャンケースにおいては、サーバ１００は、ＥＣサイト内から所持衣服７００に類似するサイズあるいは類似する形状デザイン及び色彩の衣服７０２をマッチングにより抽出し、抽出した衣服７０２をユーザに推薦する。より具体的には、図３に示すように、本実施形態に係るスキャンケースの情報処理方法は、ステップＳ１０１からステップＳ１２３までの複数のステップが含まれる。以下に、当該スキャンケースの情報処理方法に含まれる各ステップの詳細を説明する。
　～ステップＳ１０１～
　サーバ１００は、ユーザによる、ＥＣサイトにアクセスした旨を示す入力操作を受け付ける。
　～ステップＳ１０３～
　サーバ１００は、ユーザによる、上記ＥＣサイトのユーザインターフェース（ＵＩ）画面において「所有している服に基づいて探す」の項目を選択した旨を示す入力操作を受け付ける。
　～ステップＳ１０５～
　ユーザは、自身が所持している所持衣服７００を手元に準備し、上記カメラ３００を用いて、当該所持衣服７００をスキャンする。なお、スキャンする所持衣服７００としては、ユーザが購入を検討している衣服となるべく類似した衣服を選択することが好ましい。すなわち、例えばユーザがシャツを購入しようとしている場合には、スキャンする所持衣服７００としては、Ｙシャツ、Ｔシャツ、ブラウス等であることが好ましい。
　また、本実施形態においては、所持衣服７００のスキャンの際には、ユーザが所持衣服７００を着用した状態であってもよく、もしくは、ハンガーやスタンドに所持衣服７００を掛けた状態であってもよく、特に限定されるものではない。
　詳細には、ユーザが所持衣服７００を着用した状態でスキャンを行う場合には、所持衣服７００の一部に重なりが生じることを避けるため、ユーザは腕を広げた状態にあることが好ましい。また、本実施形態においては、ハンガーに所持衣服７００を掛けた状態でスキャンを行う場合でも、上述と同様に所持衣服７００の一部に重なりが生じることを避けるように、サーバ１００は、所持衣服７００をハンガー等に好適な姿勢で掛けるように誘導するための説明画面をユーザに向けて表示することが好ましい。
　～ステップＳ１０７～
　サーバ１００は、所持衣服７００のスキャンが完了したかどうかを判断し、完了したと判断した場合には後述するステップＳ１１１へ進み、完了したと判断しなかった場合には後述するステップＳ１０９へ進む。
　～ステップＳ１０９～
　サーバ１００は、例えば所持衣服７００をハンガーに掛けてのスキャン時に、所持衣服７００が折り畳まれている等して袖の長さなどわからない等、所持衣服７００の一部の形状やサイズ等が不明である場合には、正確なスキャンができなかった旨及び推定補完された形状候補をユーザに提示する。詳細には、サーバ１００は、サーバ１００内であらかじめカテゴリ分けされた衣服の形状の種類に基づいて定められた複数の形状候補の中から、所持衣服７００に類似すると推定される候補を複数個選択し、選択した候補を所持衣服７００に類似する色彩を用いてサムネイル表示する。そして、ユーザが、提示された形状候補のうち最も所持衣服７００と類似すると考える候補を選択することにより、サーバ１００は、形状やサイズ等が不明である部位について、選択された形状候補に基づき補完を実行することができる。また、本実施形態においては、このような形状候補の選択による補完を実行した場合、後述するステップにおいて類似度を算出する際に、補完された部位については算出の際の寄与率を下げるようにしてもよい。そして、サーバ１００は、上述したステップＳ１０７へ戻る。
　～ステップＳ１１１～
　サーバ１００は、スキャンにより得られた所持衣服７００の３次元形状データ及び色彩情報（スキャンデータ）をアップロードする。
　～ステップＳ１１３～
　サーバ１００は、サーバ１００（ＥＣサイト）上に保存された購入対象となる衣服７０２の採寸情報に基づいてあらかじめ作成された３次元形状データ等と、上述のステップＳ１１１でアップロードされた３次元形状データ等とに基づいて、サイズや詳細形状の類似度を算出する。
　本実施形態においては、上記類似度の算出の対象は、ＥＣサイト上のすべての衣服７０２とすることが望ましいが、全ての衣服７０２についての類似度を算出するためには、膨大な計算リソースを必要とすることとなる。そこで、本実施形態においては、ユーザの購入履歴、ワードロープ、性別、年齢、嗜好等といったプロファイル情報に基づいて、類似度を算出する対象となる衣服７０２を予め限定することが好ましい。加えて、本実施形態においては、季節、天候やスケジュール等のコンテキスト情報に基づいて、類似度を算出する対象となる衣服７０２を限定してもよい。
　さらに、本実施形態においては、スキャンにより得られた所持衣服７００の３次元形状データに基づいて、所持衣服７００の種別を認識し、ＥＣ上の、認識した種別に対応する衣服７０２のみを類似度の算出対象としてもよい。本実施形態においては、このようにすることで、類似度を算出するための計算リソースの増加を抑えることができる。
　～ステップＳ１１５～
　サーバ１００は、上述のステップＳ１１３において算出された類似度に基づいて、類似度が高い順に複数の上位の衣服７０２を選出する。本実施形態においては、選出する件数については、特に限定されるものではないが、例えば３～１０件程度であることが好ましく、このように限定することにより、ユーザは長時間迷うことなく、購入候補となる衣服７０２の検討を行うことができる。
　～ステップＳ１１７～
　サーバ１００は、上述のステップＳ１１５で選出された衣服７０２の情報を、類似度が高い順にユーザに向けて出力装置４００を介して表示する。例えば、出力装置４００は、図５に示すように、候補となる衣服７０２を複数個表示する。この際、図５に示すように、ユーザが候補となる衣服７０２のユースケースを想起しやすいよう、候補となる衣服７０２を用いたコーディネート例（例えば、他の衣服やアクセサリーとの組み合わせ）を併せて表示することが好ましい。詳細には、本実施形態においては、候補となる衣服７０２の情報と併せて自動的にコーディネート例を表示してもよく、もしくは、ユーザによる選択操作を受け付けることによりにコーディネート例を表示してもよく、特に限定されるものではない。また、本実施形態においては、表示されるコーディネート例は、ＥＣサイト上の衣服７０２やアクセサリー等の情報に基づいて、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）描画することにより生成してもよく、現実の人物（モデル）に候補となる衣服７０２を着用させた際の撮像画像であってもよく、特に限定されるものではない。
　さらに、本実施形態においては、ユーザが表示された候補となる衣服７０２を選択することにより、図６に示すように、実空間上のスキャンされた衣服７００の上に、選択された衣服７１２の仮想オブジェクト８０４をＡＲ表示してもよい。詳細には、ユーザがスキャンされた衣服７００を着用していた場合には、サーバ１００は、衣服７００を着用したユーザの画像上に、衣服７００に重畳するように衣服７０２の仮想オブジェクトを表示してもよい。なお、上記ＡＲ表示は、例えば、上記カメラ３００が搭載されたスマートフォン(図示省略)を所持衣服７００にかざすことにより実施することができる。
　ところで、上述のように仮想オブジェクト８０４を重畳表示する際には、衣服７００に比べてユーザが既に着用している衣服７００のほうが着丈や袖の長さが長いことに起因して、仮想オブジェクト８０４から衣服７００がはみ出てしまい、不自然な表示となる場合がある。そこで、本実施形態においては、画像処理を用いて、画像におけるユーザの身体、衣服７００及び背景のそれぞれの領域を特定し、はみ出て見えている衣服７００の部分を、ユーザの身体から離れている場合には背景色で表示するようにし、近い場合には身体の色で表示することにより、より自然なＡＲ表示を実現してもよい。さらに、本実施形態においては、ユーザの動作に合わせて、仮想オブジェクト８０４を変形することにより、より自然なＡＲ表示を実現するようにしてもよい。
　また、本実施形態においては、上述したようなＡＲ表示に限定されるものではなく、例えば、ＥＣサイト上で予め準備されたアバター（人形）に選択した衣服７０２を着用させているイメージを表示してもよい。詳細には、本実施形態においては、表示される上記アバターの体格やサイズは、所持衣服７００の３次元形状データ等から抽出された情報に基づいて決定してもよい。さらに、本実施形態においては、ＥＣサイト上にユーザの顔画像を予め登録しておくことにより、アバターの顔部分にユーザの顔画像もしくは顔画像から得られる３次元形状モデルを貼り付けることにより、実際にユーザが衣服７０２を着用したイメージに近づけて表示してもよい。
　～ステップＳ１１９～
　サーバ１００は、上述したステップＳ１１７において提示された衣服７０２に対して購入を選択する入力操作を受け付けたか否かを判断する。サーバ１００は、当該入力操作を受け付けたと判断した場合には、後述するステップＳ１２３へ進み、当該入力操作を受け付けたと判断しなかった場合には、後述するステップＳ１２１へ進む。
　～ステップＳ１２１～
　サーバ１００は、次に類似度の高い衣服７０２をユーザに向けて、出力装置４００を介して表示する。
　～ステップＳ１２３～
　サーバ１００は、出力装置４００を介して購入画面をユーザに向けて表示する。そして、ユーザは、上記購入画面に対して操作を行うことにより、衣服７０２の購入手続きを行うこととなる。
　以上のように、本実施形態においては、ユーザがすでに所持している所持衣服７００の３次元形状データに基づき、当該ユーザの詳細なサイズ情報を間接的に推定し、推定された詳細なサイズ情報と照合することにより、ＥＣサイト上の、類似するサイズ等を持つ衣服７０２を自動的に抽出することができる。従って、本実施形態によれば、どのようなユーザであっても、ＥＣサイト上で適切なサイズの衣服を容易に選択することができる。
　（購入履歴ケース）
　本実施形態においては、サーバ１００（ＥＣサイト）がユーザの購入履歴を予め保管している場合には、当該購入履歴にある衣服に付随した３次元形状データを利用してもよい。そこで、以下においては、このような購入履歴ケースについて説明する。より具体的には、図４に示すように、本実施形態に係る購入履歴ケースの情報処理方法は、ステップＳ２０１からステップＳ２１７までの複数のステップが含まれている。以下に、当該購入履歴ケースの情報処理方法に含まれる各ステップの詳細を説明する。
　～ステップＳ２０１～
　サーバ１００は、ユーザがＥＣサイトにアクセスした旨を示す入力操作を受け付ける。
　～ステップＳ２０３～
　サーバ１００は、ユーザが、上記ＥＣサイトのユーザインターフェース（ＵＩ）画面において「購入履歴に基づいて探す」の項目を選択した旨を示す入力操作を受け付ける。
　～ステップＳ２０５～
　サーバ１００は、サーバ１００内であらかじめカテゴリ分けされた衣服の種類に基づいて定められた複数の衣服の種類の候補をユーザに向けて提示する。そして、ユーザが、提示された候補のうち購入を検討している種類の候補を選択することにより、サーバ１００は、類似度を算出する衣服７０２を限定することができる。
　～ステップＳ２０７～
　サーバ１００は、サーバ１００（ＥＣサイト）上に保存された購入対象となる衣服７０２の採寸情報に基づいてあらかじめ作成された３次元形状データと、購入履歴にある衣服に付随した３次元形状データとに基づいて、サイズや詳細形状の類似度を算出する。
　～ステップＳ２０９からステップＳ２１５～
　ステップＳ２０９からステップＳ２１５は、上述した図３に示すステップＳ１１５からステップＳ１２３と同様であるため、ここでは説明を省略する。
　以上のように、本実施形態においては、ユーザの購入履歴にある衣服に付随した３次元形状データに基づき、当該ユーザの詳細なサイズ情報を間接的に推定し、推定された詳細なサイズ情報と照合することにより、ＥＣサイト上の、類似するサイズ等を持つ衣服７０２を自動的に抽出することができる。従って、本実施形態によれば、どのようなユーザであっても、ＥＣサイト上で適切なサイズの衣服を容易に選択することができる。
　＜＜３．変形例＞＞
　以上、本開示の実施形態における情報処理方法の詳細について説明した。次に、本開示の実施形態に係る各種の変形例について説明する。なお、以下に示す変形例は、本開示の実施形態のあくまでも一例であって、本開示の実施形態が下記の例に限定されるものではない。
　＜３．１　変形例１＞
　ところで、人の体格は様々であり、例えば、腰周りが太くても首周りが細い人、身長に比べて肩幅が広い人、首の長さが短くても腕の長さが長い人等が存在し、当然、本開示の実施形態を利用するユーザについても、様々な体格を持つ人が存在する。さらに、着心地に関する要求もユーザ毎に異なり、肩周りがゆったりしていたほうが良い人や、胸周りがぴったりフィットしていたほうが良い人といった、着心地に対する様々な要求が存在する。そこで、以下に説明する本開示の実施形態の変形例１においては、ユーザの様々な体格や着心地に関する要求に応じるため、衣服の部位ごとにおけるユーザの身体へのフィット感を勘案するために、衣服の部位ごとに重みづけを行った上で類似度を算出する。
　より具体的には、本変形例においては、例えば、首周りが太いユーザや首周りのフィット感を重視するユーザのためには、首周りに関する類似度を他の部位に比べて重みづけすることで、首周りを重視した類似度を算出する。なお、本変形例においては、ユーザが衣服上のどの部位のフィット感を重視しているか等を事前に把握せず、様々なパターンの重みづけを行ったうえで類似度を算出し、様々なパターンにおける類似度の高い衣服７０２をユーザに推薦し、その中からユーザに衣服７０２を選択してもらうようにする。
　そこで、このような本開示の実施形態の変形例１を、図７から図９を参照して以下に説明する。図７から図９は、本変形例１を説明するための説明図である。
　例えば、本変形例においては、図７に示すように、衣服を、首周り、肩回り、腕周り、胸周り、及び胴周りといったように各部位に分けるものとする。詳細には、本変形例においては、図８に示すように、各部位ごとに所持衣服７００と各衣服７０２との類似度を算出する。次に、各部位の類似度の総和を算出することにより、所持衣服７００と各衣服７０２との類似度を算出することとなるが、本変形例においては、様々なパターンで重みづけを行った後に各部位の総和を算出することとなる。例えば、首周りのフィット感を重視するパターンとしては、首周りに関する類似度を他の部位に比べて重みづけしたうえで各部位の総和を算出する。また、例えば、胴周りのフィット感を重視するパターンとしては、胴周りに関する類似度を他の部位に比べて重みづけしたうえで各部位の総和を算出する。さらに、本変形例においては、全体の色を重視するパターンとして、所持衣服７００と各衣服７０２とにおける衣服全体の色彩の類似度に対して重みづけを行ってもよい。
　そして、本変形例においては、各パターンにおいて類似度が高い順に複数の上位の衣服７０２を選出し、図９に示すように、各パターン（例えば、全体の色重視、首周りのフィット感重視、胴周りのフィット感重視等）において推薦される衣服７０２を表示する。なお、本変形例においては、上述した重みづけのパターンについては、１つの部位のみを他の部位に比べて重みづけすることに限定されるものではなく、複数の部位を残りの他の部位に比べて重みづけしてもよく、特に重みづけのパターンの詳細については限定されるものではない。
　以上のように、本変形例によれば、衣服の部位ごとにおけるユーザの身体へのフィット感を勘案するために衣服の部位ごとに重みづけを行った上で類似度を算出することにより、ユーザの様々な体格や着心地に関する要求に応じることができる。
　＜３．２　変形例２＞
　上述した実施形態においては、例えば、ユーザがスキャンされた所持衣服７００を着用していた場合には、所持衣服７００を着用したユーザの画像上に、所持衣服７００に重畳するように衣服７０２の仮想オブジェクトを表示していた。詳細には、本実施形態においては、所持衣服７００に重畳するように変形された衣服７０２の仮想オブジェクトが表示される。しかしながら、ユーザの姿勢等によっては、上述のような仮想オブジェクト８０４の重畳表示が不自然な表示となる場合がある。そこで、本変形例においては、ユーザの撮像画像及び３次元形状データを解析することにより、ユーザの骨格や姿勢を推定し、推定結果に応じて衣服７０２の仮想オブジェクト８０４を変形し、重畳表示を行う。さらに、本変形例においては、ユーザの骨格や姿勢に合わせて、仮想オブジェクト８０４を変形することにより、実際に衣服７０２をユーザが着用した際に生じるであろうしわやもたつきをイメージできるような仮想オブジェクト８０４が得られることから、より自然なＡＲ表示を実現することができる。
　以下に、このような本開示の実施形態の変形例２を、図１０を参照して以下に説明する。図１０は、本変形例２を説明するための説明図である。
　本変形例においては、図１０に示すように、まずはユーザの骨格や姿勢を推定する。本変形例においては、例えば、上述のカメラ３００でユーザの撮像画像や３次元形状データ（距離情報）を取得し、これらの情報を解析することにより、ユーザの骨格（骨の長さ、関節の位置等）や姿勢を推定することができる。さらに、本変形例においては、推定した骨格や姿勢に基づいて、ユーザのスケルトン（骨格モデル）を推定してもよく、当該スケルトンに肉付けすることによりユーザの身体の３次元モデルを推定してもよい。
　さらに、本変形例においては、ユーザの身体の３次元モデルに合わせるように、衣服７０２の３次元モデルを変形させることとなる。この際、衣服７０２の３次元モデル上の各点に、重さ、硬さ、弾力（周囲の点との相対座標変化の許容度合い、及び、相対座標変化を戻そうとする回復力の大きさ等）等のパラメータを予め与えて、変形を行うことにより、ユーザの姿勢に合わせて衣服７０２の３次元モデルの形状を物理的にシミュレーションしながら変形を行う。このようにすることで、本変形例によれば、実際に衣服７０２をユーザが着用した際に生じるであろうしわやもたつきをイメージできるような仮想オブジェクト８０４を得ることができる。
　そして、本変形例においては、このように変形した衣服７０２の３次元モデルに基づく仮想オブジェクト８０４をユーザの身体に重畳するように表示する。このようにすることで、本変形例によれば、衣服７０２の仮想オブジェクト８０４をより自然に表示することができる。
　なお、本変形例によれば、上述の手法を用いて衣服７０２の３次元モデルの形状を物理的にシミュレーションすることにより、腕まくりした状態の衣服７０２や、前で裾を結んだ状態の衣服７０２も、ＡＲ表示することができる。さらに、本変形例においては、ユーザの周囲の光の状態を検出し、それに応じて仮想オブジェクト８０４の色彩、明度等を変化させてもよい。
　さらに、本変形例においては、現状のユーザの骨格や姿勢等に合わせて衣服７０２の仮想オブジェクト８０４を表示するだけでなく、将来のユーザの体格等に合わせて衣服７０２の仮想オブジェクト８０４を表示してもよい。本変形例によれば、このようにすることで、例えば、シェイプアップに励んでいるユーザは、シェイプアップ成功後の自身を想像して衣服７０２の購入を検討することが可能となる。
　例えば、本変形例においては、ユーザの身体の３次元モデルを生成する際に、肉付き、四肢の伸縮、体幹の太さ等を調整することにより、例えばシェイプアップ後のユーザの身体の３次元モデルを生成することもできる。なお、本変形例におけるユーザの身体の３次元モデルの調整量は、予め定めておいたカラー画像上での画素変化許容量データベースに基づいて決定してもよく、衣服７０２のサイズを変更した場合の見え方の変化量に基づいて決定してもよく、特に限定されるものではない。
　また、上述のようなユーザの身体の３次元モデルの調整を行った場合には、調整後の３次元モデルと現実の身体の３次元モデルとの乖離が大きくなることがある。そこで、本変形例においては、乖離が大きく表示画像に穴が開く場合には、ｉｎｐａｉｎｔｉｎｇ技術等を利用して穴埋め処理を行ったり、ユーザと床の接地面がずれた場合には、床を補正描画したりしてもよい。
　また、本変形例においては、調整後の３次元モデルと現実の身体の３次元モデルとの乖離が大きくなる場合には、上述したような重畳表示ではなく、ユーザのアバターを用いた表示を行ってもよい。その際、本変形例においては、アバターの顔部分のしわを除去したり、パーツ（鼻、目等）を変形したり、拡大縮小してもよい。
　＜３．３　変形例３＞
　上述した変形例２では、ユーザの骨格や姿勢に合わせて、衣服７０２の仮想オブジェクト８０４を変形して表示したが、本変形例においては、変形の際に得られた情報で推定される衣服７０２の着心地のレベルについてもユーザに提示する。そこで、このような本開示の実施形態の変形例３を、以下に説明する。
　詳細には、本変形例において着心地とは、ユーザが衣服を着用して体を動かした際に感じる引っかかりや圧迫感等が少ないほど着心地が良いと定義する。そして、本変形例においては、ＥＣサイト（サーバ１００）上に、各衣服７０２における各部位の各材質特性（材質情報）の情報を予め格納しておく。そして、本変形例においては、上記情報に基づいて、あらかじめ材質特性と部位とに対応付けた着心地レベルデータベースを生成し、当該データベースを参照して衣服７０２の着心地を事前に定量化してもよい。
　また、上述した変形例２においては、衣服７０２の３次元モデル上の各点に、重さ、硬さ、弾力等のパラメータを予め与えて、変形を行うことにより、ユーザの姿勢や動きに合わせて衣服７０２の３次元モデルの形状を物理的にシミュレーションしながら変形を行っていた。そこで、本変形例においては、各部位の材質特性を参照して物理的にシミュレーションすることにより、各部位にかかる応力値等を取得することができることから、取得した応力値等に基づいて着心地を定量化してもよい。さらに、本変形例においては、衣服７０２の仮想オブジェクト８０４の各部位に対して、各部位の上記応力値に基づいた色ないし矢印を重畳表示することで、着心地を可視化して表示してもよい。
　なお、着心地の感じ方には個人差があるため、本変形例においては、あらかじめ用意された着心地レベルのデータベースの数値をユーザ毎に調整できる個人データベースを生成してもよい。当該個人データベースにおける数値は、ユーザ自身による過去の購入衣服への着心地の評価をフィードバックすることにより更新することができる。この際、更新の方法としては、ユーザ自身が部位を指定して数値の調整を行ってもよく、ユーザが衣服７０２全体に対して評価した着心地の評価のフィードバックの情報を、変形例１でユーザが選択した重視する部位の順番に基づいて、割り当ててもよい。
　以上のように、本変形例においては、衣服７０２の着心地についても、ユーザに提供することができることから、ユーザは着心地７０２を参照して、衣服７０２を選択することができる。
　＜３．４　変形例４＞
　本開示の実施形態においては、ユーザの購入履歴や年齢に応じて変化する嗜好に応じて、推薦する衣服７０２を変化させてもよい。そこで、このような本開示の実施形態の変形例４を以下に説明する。
　詳細には、本変形例においては、上述したＥＣサイト上の衣服７０２の類似度や、ユーザの嗜好に応じて、衣服７０２を選択して推薦する際には、ＥＣサイト上に保管されたユーザの購入履歴やユーザからの購入した衣服７０２に対する評価フィードバックに基づいて、推薦する衣服７０２の選択傾向を変更してもよい。なお、本変形例においては、ユーザの年齢等といったプロファイル情報や、季節といった情報等に応じて、推薦する衣服７０２の選択傾向を変更してもよい。さらに、本変形例においては、当該ユーザと性別や年齢等が類似する他のユーザのプロファイル情報に基づいて、推薦する衣服７０２の選択傾向を変更してもよい。
　例えば、ユーザの衣服に対する嗜好が時間経過とともに明るい色彩に偏ってきたことが購入履歴に対する解析等により把握できた場合には、本変形例においては、所持衣服７００に比べて明るい色彩の衣服７０２を推薦する衣服として選択するようにする。また、ユーザから直接的に評価のフィードバックが得られた場合には、サーバ１００は、フィードバックに基づき、ユーザが選択するであろうと予測される衣服７０２の予測内容及び予測反映強度を微調整してもよい。
　以上のように、本変形例によれば、ユーザの購入履歴や年齢に応じて変化する嗜好に応じて、推薦する衣服７０２を変化させることにより、よりユーザの現状の嗜好等に好適に応じた衣服７０２を推薦することができる。
　＜３．５　変形例５＞
　上述した本実施形態の衣服７００等の３次元形状データは、ＥＣ事業者間、もしくは、ユーザ間で交換をしてもよい。本開示の実施形態に係る変形例５によれば、このようにすることで、ＥＣ事業者やユーザは、ユーザ又は他のユーザの詳細なサイズ情報や嗜好を精度よく推定することができる。
　また、本変形例においては、ユーザが、ユーザが既に着用した中古品の衣服をＥＣサイト上に出品する際には、出品する中古品の衣服に紐づけて当該衣服の３次元形状データをＥＣサイト上にアップロードしてもよい。このようにすることで、本変形例によれば、中古品の衣服を購入しようとする他のユーザが、当該衣服のサイズが自身の身体にフィットするかを容易に検討することが可能となる。
　さらに、本変形例においては、衣服の持ち主が変わるごとに、当該衣服とともに当該衣服の３次元形状データが転々とするような仕組みを設けてもよい。このようにすることで、本変形例によれば、当該衣服が新品であった頃の３次元形状データと、既に着用された後の中古品の当該衣服の３次元形状データとを比較することが可能となることから、中古品である当該衣服の状態を精度よく査定することができる。
　なお、本変形例においては、衣服の３次元形状のデータの形式が統一されていない場合には、例えば、ＥＣサイト上に共通する形式に変換するような仕組みを設けることが好ましい。
　＜３．６　変形例６＞
　先に説明したように、本開示の実施形態で対象となる物品は衣服に限定されるものではなく、家具等の物品でＥＣ事業者と間で取引可能な物品であれば特に限定されるものではない。そこで、本開示の実施形態に係る変形例６として、図１１及び図１２を参照して、家具に適用した場合を説明する。図１１及び図１２は、本変形例６を説明するための説明図である。
　詳細には、家具についても、衣類と同様に、３次元形状データのデータベースをＥＣサイト上に設けることが可能である。本変形例においては、ユーザは、自身が所有する家具についてスキャンを行い、当該家具の３次元形状データ等をＥＣサイト上にアップロードすることにより、当該家具のサイズ等に類似する家具を容易に選択することができる。
　また、本変形例においては、ＥＣサイト上から選択した家具をユーザの部屋に配置した場合をユーザが容易にイメージすることができるように、図１１に示すような画面８０８を表示してもよい。詳細には、画面８０８は、実空間である部屋８１０内の画像において、スキャン対象である実空間上の家具に重畳するように、ＥＣサイト上から選択した家具の仮想オブジェクト８１２をＡＲ表示した画面である。
　さらに、本変形例においては、部屋８１０内の撮像画像に対して、Ｊｕｎｃｔｉｏｎ　Ｄｅｔｅｃｔｉｏｎ技術を用いて、当該部屋８１０の角、床面及び壁面の情報を取得することができる。そして、本変形例においては、このような情報を用いて、対象となる対象家具以外をすべて取り払って部屋８１０の外形と対象家具だけを表示させたり、部屋８１０の外形のみを表示させたりすることができることから、ユーザは家具を購入後の部屋８１０内の状態をより明確に想像することができる。
　詳細には、本変形例においては、図１２に示すように、実空間である部屋８１０内にスキャン対象である家具８３０が設置された状態の画像８２０と、実空間である部屋８１０内にＥＣサイト上から選択した対象家具の仮想オブジェクト８３２を表示した状態の画像８２２とをユーザに向けて表示してもよい。さらに、本変形例においては、仮想オブジェクト８３２以外をすべて取り払って、仮想オブジェクト８３２と部屋８１０の外形とを表示した状態の画像８２４と、部屋８１０の外形のみを表示した状態の画像８２６とを表示してもよい。なお、本変形例においては、チェックボックスやスライドバーを用いることにより、上述の４つの状態の画像を遷移させることができる。
　また、本変形例においては、ユーザの撮影位置や角度が原因で、対象家具の仮想オブジェクト８１２がうまく画面に収まらない場合や、撮像位置が近すぎて対象家具が配置された部屋のイメージが伝わりにくい画像であった場合には、ユーザに撮影位置や角度を再調整するように誘導することが好ましい。
　＜＜４．　まとめ＞＞
　以上のように、本実施形態においては、ユーザがすでに所持している所持衣服７００の３次元形状データに基づき、当該ユーザの詳細なサイズ情報を間接的に推定し、推定された詳細なサイズ情報と照合することにより、ＥＣサイト上の、類似するサイズ等を持つ衣服７０２を自動的に抽出することができる。従って、本実施形態によれば、どのようなユーザであっても、ＥＣサイト上で適切なサイズの衣服を容易に選択することができる。
　＜＜５．　ハードウェア構成について＞＞
　図１３は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図１３では、情報処理装置９００は、上述のサーバ１００のハードウェア構成の一例を示している。
　情報処理装置９００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９５０と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９５２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９５４と、記録媒体９５６と、入出力インタフェース９５８とを有する。さらに、情報処理装置９００は、操作入力デバイス９６０と、表示デバイス９６２と、音声出力デバイス９６４と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。
　（ＣＰＵ９５０）
　ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１又は２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する主制御部として機能する。
　（ＲＯＭ９５２及びＲＡＭ９５４）
　ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。
　（記録媒体９５６）
　記録媒体９５６は、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。
　（入出力インタフェース９５８、操作入力デバイス９６０、表示デバイス９６２、音声出力デバイス９６４）
　入出力インタフェース９５８は、例えば、操作入力デバイス９６０、表示デバイス９６２、及び音声出力デバイス９６４等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。
　操作入力デバイス９６０は、例えばデータ入力装置として機能し、情報処理装置９００の内部で入出力インタフェース９５８と接続される。操作入力デバイス９６０としては、例えば、ボタンや、方向キー、ジョグダイヤル等の回転型セレクター、タッチパネル、あるいは、これらの組み合わせ等が挙げられる。
　表示デバイス９６２は、例えば、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等が挙げられる。
　音声出力デバイス９６４は、例えば、情報処理装置９００上に備えられ、情報処理装置９００の内部で入出力インタフェース９５８と接続される。音声出力デバイス９６４としては、スピーカ、ヘッドフォン等が挙げられる。
　なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。
　（通信インタフェース９６８）
　通信インタフェース９６８は、情報処理装置９００が備える通信手段であり、ネットワーク（図示省略）を介して（あるいは、直接的に）、外部装置と、無線又は有線で通信を行うための通信部（図示省略）として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）等が挙げられる。
　（センサ部９８０）
　センサ９８０は、上述のカメラ３００等として機能する各種センサである。
　また、例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１又は２以上の外部装置と通信を行うことが可能な構成を有していてもよい。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　＜＜６．補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　また、上述した本開示の実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの所持する第１の物品の３次元形状データを取得する形状情報取得部と、
　前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する類似度算出部と、
　前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する選択部と、
　選択された前記第２の物品の情報を前記ユーザに出力する出力部と、
　を備える、情報処理装置。
（２）
　前記形状情報取得部は、前記第１の物品に対して光を照射し、前記光を検知することにより前記第１の物品の３次元形状データを取得するＴＯＦセンサから当該３次元形状データを取得する、上記（１）に記載の情報処理装置。
（３）
　前記第１の物品の色彩に関する色彩情報を取得する色彩情報取得部をさらに備える、上記（１）又は（２）に記載の情報処理装置。
（４）
　前記類似度算出部は、前記第１の物品の前記色彩情報と、前記複数の第２の物品の前記色彩情報とを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する、上記（３）に記載の情報処理装置。
（５）
　前記類似度算出部は、前記第１及び第２の物品における複数の部位のうち、同一の前記部位同士の前記類似度を算出する、上記（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記類似度算出部は、
　前記第１及び第２の物品における前記各部位同士の前記類似度を順次算出し、
　算出した前記各類似度に対して重みづけを行う、
　上記（５）に記載の情報処理装置。
（７）
　前記選択部は、前記類似度が高い順に前記第２の物品を選択する、上記（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記選択部は、前記ユーザのプロファイル情報に基づいて前記第２の物品を選択する、上記（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記選択部は、前記ユーザの購入履歴に基づいて前記第２の物品を選択する、上記（８）に記載の情報処理装置。
（１０）
　前記第１及び第２の物品は衣服である、上記（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記出力部は、選択された前記第２の物品に対応する仮想オブジェクトを前記第１の物品の上に重畳して表示する、上記（１）～（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記出力部は、前記ユーザの姿勢に応じて、表示する前記仮想オブジェクトを変化させる、
　上記（１１）に記載の情報処理装置。
（１３）
　前記出力部は、選択された前記第２の物品に対応するコーディネート例を前記ユーザに向けて表示する、上記（１）に記載の情報処理装置。
（１４）
　前記出力部は、前記データベースに予め格納された前記複数の第２の物品の材質情報に基づいて、選択された前記第２の物品に対応する着心地レベルを前記ユーザに向けて表示する、上記（１）に記載の情報処理装置。
（１５）
　ユーザの所持する第１の物品の３次元形状データを取得することと、
　前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出することと、
　前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択することと、
　選択された前記第２の物品の情報を前記ユーザに出力することと、
　を含む、情報処理方法。
（１６）
　ユーザの所持する第１の物品の３次元形状データを取得する機能と、
　前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する機能と、
　前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する機能と、
　選択された前記第２の物品の情報を前記ユーザに出力する機能と、
　をコンピュータに実現させるためのプログラム。
　１０　　情報処理システム
　１００　　サーバ
　１０２　　スキャン制御部
　１０４　　スキャンデータ取得部
　１０６　　サーバデータ取得部
　１０８　　マッチング部
　１１０　　コンテキストデータ取得部
　１１２　　選択部
　１１６　　出力部
　１１８　　購入処理部
　３００　　カメラ
　４００　　出力装置
　７００、７０２　　衣服
　８００、８０６、８０８、　　表示画面
　８０４、８１２、８３２　　仮想オブジェクト
　８１０　　部屋
　８３０　　家具
　９００　　情報処理装置
　９５０　　ＣＰＵ
　９５２　　ＲＯＭ
　９５４　　ＲＡＭ
　９５６　　記録媒体
　９５８　　入出力インタフェース
　９６０　　操作入力デバイス
　９６２　　表示デバイス
　９６４　　音声出力デバイス
　９６６　　出力デバイス
　９６８　　通信インタフェース
　９７０　　バス
　９８０　　センサ

Claims (16)

  1. 　ユーザの所持する第１の物品の３次元形状データを取得する形状情報取得部と、
    　前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する類似度算出部と、
    　前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する選択部と、
    　選択された前記第２の物品の情報を前記ユーザに出力する出力部と、
    　を備える、情報処理装置。
  2. 　前記形状情報取得部は、前記第１の物品に対して光を照射し、前記光を検知することにより前記第１の物品の３次元形状データを取得するＴＯＦセンサから当該３次元形状データを取得する、請求項１に記載の情報処理装置。
  3. 　前記第１の物品の色彩に関する色彩情報を取得する色彩情報取得部をさらに備える、請求項１に記載の情報処理装置。
  4. 　前記類似度算出部は、前記第１の物品の前記色彩情報と、前記複数の第２の物品の前記色彩情報とを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する、請求項３に記載の情報処理装置。
  5. 　前記類似度算出部は、前記第１及び第２の物品における複数の部位のうち、同一の前記部位同士の前記類似度を算出する、請求項１に記載の情報処理装置。
  6. 　前記類似度算出部は、
    　前記第１及び第２の物品における前記各部位同士の前記類似度を順次算出し、
    　算出した前記各類似度に対して重みづけを行う、
    　請求項５に記載の情報処理装置。
  7. 　前記選択部は、前記類似度が高い順に前記第２の物品を選択する、請求項１に記載の情報処理装置。
  8. 　前記選択部は、前記ユーザのプロファイル情報に基づいて前記第２の物品を選択する、請求項１に記載の情報処理装置。
  9. 　前記選択部は、前記ユーザの購入履歴に基づいて前記第２の物品を選択する、請求項８に記載の情報処理装置。
  10. 　前記第１及び第２の物品は衣服である、請求項１に記載の情報処理装置。
  11. 　前記出力部は、選択された前記第２の物品に対応する仮想オブジェクトを前記第１の物品の上に重畳して表示する、請求項１に記載の情報処理装置。
  12. 　前記出力部は、前記ユーザの姿勢に応じて、表示する前記仮想オブジェクトを変化させる、
    　請求項１１に記載の情報処理装置。
  13. 　前記出力部は、選択された前記第２の物品に対応するコーディネート例を前記ユーザに向けて表示する、請求項１に記載の情報処理装置。
  14. 　前記出力部は、前記データベースに予め格納された前記複数の第２の物品の材質情報に基づいて、選択された前記第２の物品に対応する着心地レベルを前記ユーザに向けて表示する、請求項１に記載の情報処理装置。
  15. 　ユーザの所持する第１の物品の３次元形状データを取得することと、
    　前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出することと、
    　前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択することと、
    　選択された前記第２の物品の情報を前記ユーザに出力することと、
    　を含む、情報処理方法。
  16. 　ユーザの所持する第１の物品の３次元形状データを取得する機能と、
    　前記第１の物品の３次元形状データと、電子商取引事業者の管理するデータベースに予め格納された複数の第２の物品の３次元形状データとを比較して、前記第１の物品と前記各第２の物品との各類似度を算出する機能と、
    　前記各類似度に基づいて、前記ユーザに推薦する前記第２の物品を選択する機能と、
    　選択された前記第２の物品の情報を前記ユーザに出力する機能と、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2020/013698 2019-04-05 2020-03-26 情報処理装置、情報処理方法及びプログラム WO2020203656A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/598,131 US20220198780A1 (en) 2019-04-05 2020-03-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-072630 2019-04-05
JP2019072630 2019-04-05

Publications (1)

Publication Number Publication Date
WO2020203656A1 true WO2020203656A1 (ja) 2020-10-08

Family

ID=72668075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013698 WO2020203656A1 (ja) 2019-04-05 2020-03-26 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20220198780A1 (ja)
WO (1) WO2020203656A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039094B1 (ja) * 2021-05-20 2022-03-22 株式会社Vrc 情報処理装置、情報処理方法、及びプログラム
JP7055526B1 (ja) * 2021-11-26 2022-04-18 株式会社Vrc 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP2023013345A (ja) * 2021-07-15 2023-01-26 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10842680B1 (en) * 2019-08-31 2020-11-24 Michael J. Weiler Methods and systems for fitting compression garments from digital imagery
US11494992B2 (en) * 2020-08-27 2022-11-08 Micron Technology, Inc. Constructing an augmented reality image
US11398079B2 (en) * 2020-09-23 2022-07-26 Shopify Inc. Systems and methods for generating augmented reality content based on distorted three-dimensional models
US11861685B2 (en) * 2021-05-03 2024-01-02 Uchenna Cornelia Imoh Representation of a user in virtual outfits from a virtual wardrobe
WO2023160830A1 (en) * 2022-02-28 2023-08-31 Mind Switch AG Electronic treatment device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829154A (ja) * 1994-07-20 1996-02-02 Hitachi Ltd マルチメディア装置
JPH11296573A (ja) * 1998-04-14 1999-10-29 Toray Ind Inc ２次元形状データの作成方法および２次元形状データの作成装置ならびに物品の製造方法
JP2012174029A (ja) * 2011-02-22 2012-09-10 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2014025935A (ja) * 2012-07-25 2014-02-06 Google Inc ピクセル・ディスプレイの色及び輝度変調の使用
JP2015228050A (ja) * 2014-05-30 2015-12-17 ソニー株式会社 情報処理装置および情報処理方法
US20160189286A1 (en) * 2013-06-05 2016-06-30 Freshub Ltd Methods and Devices for Smart Shopping
US20180121988A1 (en) * 2016-10-31 2018-05-03 Adobe Systems Incorporated Product recommendations based on augmented reality viewpoints
US20180253906A1 (en) * 2016-03-07 2018-09-06 Bao Tran Augmented reality system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773274B2 (en) * 2013-12-02 2017-09-26 Scott William Curry System and method for online virtual fitting room
GB201406539D0 (en) * 2014-04-11 2014-05-28 Metail Ltd Garment size recommendation
JP2016038811A (ja) * 2014-08-08 2016-03-22 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム
WO2016097732A1 (en) * 2014-12-16 2016-06-23 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
JP6392114B2 (ja) * 2014-12-25 2018-09-19 株式会社東芝 仮想試着システム
US20170046769A1 (en) * 2015-08-10 2017-02-16 Measur3D, Inc. Method and Apparatus to Provide A Clothing Model
EP3267368B1 (en) * 2016-07-06 2020-06-03 Accenture Global Solutions Limited Machine learning image processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829154A (ja) * 1994-07-20 1996-02-02 Hitachi Ltd マルチメディア装置
JPH11296573A (ja) * 1998-04-14 1999-10-29 Toray Ind Inc ２次元形状データの作成方法および２次元形状データの作成装置ならびに物品の製造方法
JP2012174029A (ja) * 2011-02-22 2012-09-10 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2014025935A (ja) * 2012-07-25 2014-02-06 Google Inc ピクセル・ディスプレイの色及び輝度変調の使用
US20160189286A1 (en) * 2013-06-05 2016-06-30 Freshub Ltd Methods and Devices for Smart Shopping
JP2015228050A (ja) * 2014-05-30 2015-12-17 ソニー株式会社 情報処理装置および情報処理方法
US20180253906A1 (en) * 2016-03-07 2018-09-06 Bao Tran Augmented reality system
US20180121988A1 (en) * 2016-10-31 2018-05-03 Adobe Systems Incorporated Product recommendations based on augmented reality viewpoints

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039094B1 (ja) * 2021-05-20 2022-03-22 株式会社Vrc 情報処理装置、情報処理方法、及びプログラム
CN114902267A (zh) * 2021-05-20 2022-08-12 株式会社威亚视 信息处理设备、信息处理方法以及程序
WO2022244184A1 (ja) * 2021-05-20 2022-11-24 株式会社Vrc 情報処理装置、情報処理方法、及びプログラム
JP2023013345A (ja) * 2021-07-15 2023-01-26 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7241130B2 (ja) 2021-07-15 2023-03-16 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7055526B1 (ja) * 2021-11-26 2022-04-18 株式会社Vrc 情報処理装置、情報処理方法、情報処理システム、及びプログラム
WO2022185631A1 (ja) * 2021-11-26 2022-09-09 株式会社Vrc 情報処理装置、情報処理方法、情報処理システム、及びプログラム
TWI822476B (zh) * 2021-11-26 2023-11-11 日商威亞視股份有限公司 資訊處理設備、資訊處理方法、資訊處理系統以及程式

Also Published As

Publication number Publication date
US20220198780A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2020203656A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11073915B2 (en) Modification of three-dimensional garments using gestures
EP3332547B1 (en) Virtual apparel fitting systems and methods
US9928411B2 (en) Image processing apparatus, image processing system, image processing method, and computer program product
KR101775327B1 (ko) 가상현실에서의 의류 피팅방법 및 피팅프로그램
KR102279063B1 (ko) 이미지 합성 방법 및 그 전자장치
KR101671649B1 (ko) 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템
US20220188897A1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
US9477980B2 (en) Interactive cubicle and method for determining a body shape
US12017142B2 (en) System and method for real-time calibration of virtual apparel using stateful neural network inferences and interactive body measurements
US8976230B1 (en) User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
US20160071322A1 (en) Image processing apparatus, image processing system and storage medium
CN107924532A (zh) 用于提供服装模型的描绘的方法及设备
JP6373026B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
TR201815349T4 (tr) Geliştirilmiş sanal deneme simülasyonu hizmeti.
JP6262105B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
Vitali et al. Acquisition of customer’s tailor measurements for 3D clothing design using virtual reality devices
JP6980097B2 (ja) サイズ測定システム
CN111767817A (zh) 一种服饰搭配方法、装置、电子设备及存储介质
US11386615B2 (en) Creating a custom three-dimensional body shape model
Yolcu et al. Real time virtual mirror using kinect
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
KR20210130420A (ko) 스마트 삼차원 의류 피팅 시스템 및 이를 이용한 의류 피팅 서비스 제공 방법
CN114556332B (zh) 信息处理设备、3d系统以及信息处理方法
CN113837835B (zh) 基于角色模型的可穿戴产品展示方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20784557

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20784557

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP