WO2016064121A1 - 가상 피팅 장치 및 이의 가상 피팅 방법 - Google Patents

가상 피팅 장치 및 이의 가상 피팅 방법 Download PDF

Info

Publication number
WO2016064121A1
WO2016064121A1 PCT/KR2015/010701 KR2015010701W WO2016064121A1 WO 2016064121 A1 WO2016064121 A1 WO 2016064121A1 KR 2015010701 W KR2015010701 W KR 2015010701W WO 2016064121 A1 WO2016064121 A1 WO 2016064121A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
image
clothes
user
area
Prior art date
Application number
PCT/KR2015/010701
Other languages
English (en)
French (fr)
Inventor
정지원
김도균
주은정
곽영민
신승호
한선영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/521,035 priority Critical patent/US10152829B2/en
Priority to EP15851874.6A priority patent/EP3211587A4/en
Publication of WO2016064121A1 publication Critical patent/WO2016064121A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to a virtual fitting apparatus and a virtual fitting method thereof, and more particularly, to a virtual fitting apparatus and a virtual fitting method thereof capable of providing a virtual fitting experience to a user by synthesizing a real image and a virtual image. .
  • one of the key points of the virtual fitting is that the feeling of the clothes worn through the avatar in the virtual space should be able to reproduce the feeling of the user wearing in the real world. Specifically, it must be confirmed in the virtual experience whether the clothes worn in the virtual space suit the color or the design well to oneself, and there are no inconveniences when the clothes are worn directly or when the clothes are worn and moved. Virtual fittings that do not provide a realistic experience simply end up with a new technology experience or fun, and have a problem in that they do not become a meaningful service such as purchase.
  • the virtual fitting should be able to reflect the user's atmosphere or the actual appearance as much as possible and provide a fitting feeling that shows how well the clothes worn in the virtual space fit the user's body.
  • an AR (Augmented Reality) method and a VR (Virtual Reality) method are used to provide a virtual fitting.
  • the AR method is a method of acquiring a live-action image including the user's body shape and movement from a camera and then separating the user, modifying the size and shape of the virtual clothes according to the separated user's appearance, and then overlaying it on the composite.
  • the VR method is a method of acquiring an image including a user's body shape and movement from a camera, generating an avatar of the same body shape as the user, and wearing virtual clothes on the avatar.
  • the AR method shows a natural appearance by reflecting the user's appearance as it is.
  • the virtual clothes are simply put on the user image, it is impossible to provide a fitting feeling such as how well the virtual clothes fit the user's body.
  • the user cannot actually remove clothes that are actually worn in the live-action image, a problem occurs in that the clothes actually worn and the virtual clothes are overlapped. For example, if a short-sleeved or sleeveless shirt is selected as the virtual clothes while the long-sleeved shirt is actually worn, the actual clothes appear as it is and appear awkward.
  • the virtual clothes can provide a fitting feeling like how well the virtual clothes fit the user's body, and the virtual clothes are applied by applying various predefined motions such as catwalk and basketball. It has the advantage of being able to see the movement.
  • the virtual clothes due to limitations of rendering technology and 3D shape capturing technology, there is a problem that a user does not feel the avatar the same as himself and is awkward.
  • an object of the present invention is to provide a more realistic and fitting virtual fitting image by synthesizing the AR-type photorealistic image and the VR-type virtual image during the virtual fitting experience
  • the present invention provides a virtual fitting apparatus and a virtual fitting method thereof.
  • a virtual fitting method includes: capturing a user to obtain a live image; Obtaining a virtual image including an avatar corresponding to the user based on a body shape and a movement of a user; Analyzing the real image and the virtual image to determine a synthesis region for each of the real image and the virtual image; And outputting a virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual image.
  • the determining may include analyzing the live-action image to determine an area in which actual clothes worn by the user are located; Analyzing the virtual image to determine an area in which the virtual clothes worn by the avatar are located; And comparing the area where the actual clothes are located with the area where the virtual clothes are located, and determining a synthesis area for each of the live-action image and the virtual image.
  • the determining of the synthesis region may include determining an area in which the actual clothes are located as a synthesis area of the virtual image, and an area in which the virtual clothes is located among the areas in which the actual clothes are not located is located in the virtual image. It may be determined as a synthesis area, and an area where the actual clothes and the virtual clothes are not located may be determined as a synthesis area of the live-action image.
  • the predetermined region including the actual accessory is determined as the synthesis region of the real picture
  • the predetermined region including the virtual accessory is determined as the synthesis region of the virtual image. It may include;
  • the acquiring of the live image may include capturing a user by using a video camera to obtain the live image.
  • the acquiring of the virtual image may include adjusting a user's body shape and movement using a depth or image camera.
  • a virtual image may be obtained by photographing and generating an avatar based on the body shape and movement of the photographed user.
  • the outputting may include generating the virtual fitting image by reflecting the characteristic information of the virtual clothes to be worn by the user.
  • the generating may include determining, when the user moves, determining an increase in the virtual clothes corresponding to the user movement based on the characteristic information of the virtual clothes; And stopping the movement of the user image and the virtual garment included in the virtual fitting image or controlling the speed of the movement when the stretch of the virtual garment is greater than or equal to a predetermined threshold value.
  • the predetermined boundary value may be one feature value and may have a predetermined range.
  • the generating may include determining a change in body shape of the user when the user moves; And generating the virtual fitting image based on the characteristic information of the virtual clothes and the body shape change of the user.
  • the generating may include receiving external force information; And generating the virtual fitting image based on the characteristic information of the virtual clothes and the external force information.
  • the generating may include generating a virtual fitting image by displaying a main point of the virtual clothes and a matching point on a user image based on the main point information of the virtual clothes.
  • the virtual fitting device for achieving the above object, a live-action image acquisition unit for photographing the user to obtain a live-action image of the user;
  • a virtual image obtaining unit obtaining a virtual image including an avatar corresponding to the user based on the body shape and the movement of the user;
  • a determination unit which analyzes the live image and the virtual image to determine a synthesis region for each of the live image and the virtual image;
  • a generation unit configured to synthesize a synthesis region of the real image and a synthesis region of the virtual image to generate a virtual fitting image;
  • an output unit configured to output the virtual fitting image.
  • the determination unit analyzes the live image to determine an area where the actual clothes worn by the user are located, and analyzes the virtual image to determine an area where the virtual clothes worn by the avatar are located. The area where the actual clothes are located and the area where the virtual clothes are located may be compared to determine a synthesis area for each of the live image and the virtual image.
  • the determination unit may determine an area where the actual clothes are located as a synthesis area of the virtual image, and a region where the virtual clothes is located among the areas where the actual clothes are not located is a synthesis area of the virtual image.
  • the area where the actual clothes and the virtual clothes are not located may be determined as a synthesis area of the live-action image.
  • the apparatus may further include an input unit configured to receive a user command for selecting one of an actual accessory and a virtual accessory, wherein the determination unit may include a predetermined region including the actual accessory when the actual accessory is selected. If the virtual accessory is selected, a predetermined region including the virtual accessory may be determined as a synthesis region of the virtual image.
  • the live image capture unit may capture the user by using a video camera to obtain the live image
  • the virtual image acquirer may capture a body shape and a movement of the user by using a depth or image camera.
  • An avatar may be generated based on the user's body shape and movement to obtain a virtual image.
  • the generation unit may generate the virtual fitting image by reflecting the characteristic information of the virtual clothes to be worn by the user.
  • the generation unit may determine the increase of the virtual clothes corresponding to the movement of the user based on the characteristic information of the virtual clothes when the user moves, and when the increase of the virtual clothes is equal to or greater than a predetermined threshold value.
  • the movement of the user image and the virtual clothes included in the virtual fitting image may be stopped or the speed of the movement may be controlled.
  • the generation unit may determine a change in body shape of the user when the user moves, and generate the virtual fitting image based on the characteristic information of the virtual clothes and the change in body shape of the user.
  • the generation unit may generate the virtual fitting image based on the characteristic information of the virtual clothes and the external force information.
  • the generation unit may generate the virtual fitting image by displaying a main point of the virtual clothes and a matching point on the user image based on the main point information of the virtual clothes.
  • a user can select a clothes that suits her through a more realistic and fitting virtual fitting experience even without directly wearing clothes.
  • FIG. 1 is a block diagram showing the configuration of a virtual fitting apparatus according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing a configuration of a virtual image acquisition unit according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing a configuration of a determination unit according to an embodiment of the present invention.
  • 4A to 4E illustrate a method of generating a virtual fitting image by synthesizing a real image and a virtual image, according to an embodiment of the present invention
  • FIG. 5 is a block diagram showing a configuration of a generation unit according to an embodiment of the present invention.
  • 6A to 10B are diagrams for describing a method of processing a virtual fitting image using at least one of characteristic information and external force information of a virtual garment, according to various embodiments of the present disclosure
  • FIG. 11 is a flowchart illustrating a virtual fitting method according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the module or unit performs at least one function or operation, and may be implemented by hardware or software, or a combination of hardware and software.
  • the plurality of modules or the plurality of units may be integrated into at least one module except for the modules or units that need to be implemented with specific hardware, and are implemented as at least one processor (not shown). Can be.
  • the virtual fitting apparatus 100 includes a real image acquisition unit 110, a virtual image acquisition unit 120, a determination unit 130, a generation unit 140, and an output unit 150. do.
  • the live image acquisition unit 110 captures a user by using an image camera to obtain a live image.
  • the live action image acquisition unit 110 may acquire a live action image by photographing the whole body of the user.
  • this is only an example and may acquire a live action image by only photographing the upper body of the user.
  • the virtual image obtaining unit 120 obtains a virtual image including an avatar corresponding to the user based on the body shape and the movement of the user.
  • the avatar corresponding to the user may be dressed in a virtual garment that the user wants to wear.
  • the virtual image acquisition unit 120 will be described in detail with reference to FIG. 2.
  • the virtual image acquirer 120 includes a body information acquirer 121, a 3D avatar generator 123, an avatar animation processor 125, and a virtual clothes processor 127.
  • the body information acquisition unit 121 acquires the body shape information and the motion information of the user based on the depth information obtained by using the depth camera.
  • the body information acquisition unit 121 may automatically calculate the body index of the user from the depth image obtained by using the depth camera to obtain the body shape information of the user.
  • the body information acquisition unit 121 may acquire user motion information based on the movement of the user image included in the depth image.
  • the depth information may be obtained using a depth camera, but this is only an example, and may be obtained by analyzing a real image obtained through an image camera.
  • the 3D avatar generator 123 generates an avatar in 3D form based on the body shape information acquired through the body information acquirer 121.
  • the 3D avatar generator 123 may generate an avatar by applying the body shape information to the standard avatar and customize the main body dimension based on the main body size, and may use the body shape information acquired in the deformable avatar model. Can be generated by reflecting directly.
  • the 3D avatar generating unit 123 may generate an avatar by loading an avatar corresponding to the registered user.
  • the avatar animation processor 125 may process an avatar by reflecting a user's movement or may process an avatar by reflecting a pre-registered avatar motion.
  • the avatar animation processor 125 may calculate a specific pose of the avatar every frame through avatar animation processing in which user movement or a registered motion is reflected.
  • the virtual clothes processor 126 performs an image process of applying virtual clothes to the animated avatar to generate a virtual image including the avatar wearing the virtual clothes. At this time, the virtual clothes processing unit 126 applies virtual clothes to the avatar through a virtual clothes simulation including collision detection and response calculation between vertices constituting the avatar and vertices constituting the virtual clothes.
  • the determination unit 130 analyzes the real image and the virtual image to determine a synthesis region for each of the real image and the virtual image.
  • the determination unit 130 may analyze the live image to determine the area where the actual clothes worn by the user are located, and analyze the virtual image to determine the area where the virtual clothes worn by the avatar are located.
  • the determination unit 130 may compare the area where the actual clothes are located and the area where the virtual clothes are located to determine a synthesis area for each of the live image and the virtual image.
  • the determination unit 130 will be described in more detail with reference to FIG. 3. As shown in FIG. 3, the determination unit 130 includes a synthesis reference input unit 131, a live image analysis unit 133, a virtual image analysis unit 135, and a synthesis region determination unit 137.
  • the synthesis reference input unit 131 receives a user command for first synthesizing one of the virtual image and the real image.
  • the synthesis reference input unit 131 may receive a user command for selecting one of the actual accessory and the virtual accessory.
  • the live image analysis unit 133 analyzes the live image to determine the area where the actual clothes worn by the user are located.
  • the live image analyzing unit 133 may distinguish between an area where an actual clothes worn by a user and an area where an actual clothes are not located through image analysis.
  • the virtual image analyzer 135 analyzes the virtual image to determine a region where the virtual clothes worn by the avatar are located.
  • the virtual image analyzer 133 may distinguish an area where the virtual clothes worn by the avatar and an area where the virtual clothes are not located through image analysis.
  • the synthesis region determiner 137 may compare the region where the actual clothes are located and the region where the virtual clothes are located to determine a synthesis region for each of the live image and the virtual image.
  • the synthesis area determining unit 137 determines the area where the actual clothes are located as the synthesis area of the virtual image as shown in Table 1 below, and the area where the virtual clothes are located among the areas where the actual clothes are not located is virtual. It may be determined that the synthesized area of the image, and the area where the actual clothes and the virtual clothes are not located may be determined as the synthesized area of the live image.
  • Table 1 The area where the actual clothes are located Area where no actual clothes are located Area where virtual clothes are located Use virtual image as composite area Use virtual image as composite area Area where virtual clothes are not located Use virtual image as composite area Use live image as composite area
  • the synthesis region determination unit 137 determines the region where at least one of the actual clothes and the virtual clothes are located as the synthesis region of the virtual image, and determines the region where the actual clothes and the virtual clothes are not located as the synthesis region of the real picture. can do.
  • the synthesis region determination unit 137 may determine the synthesis region based on one of the actual accessory and the virtual accessory selected through the synthesis reference input unit 131. In detail, when the actual accessory is selected through the synthesis reference input unit 131, the synthesis region determiner 137 may determine a predetermined region including the actual accessory as a synthesis region of the live image. When the virtual accessory is selected, the synthesis region determiner 137 may determine a predetermined region including the virtual accessory as a synthesis region of the virtual image. In particular, the synthesis region determination unit 137 may determine the region corresponding to the accessory as the synthesis region according to the type of accessory as shown in Table 2 below.
  • bracelet Determine the wrist region where the bracelet is worn among the live-action images as the composite region (However, if the virtual clothes cover the bracelet, determine the wrist region of the virtual image as the composite region after the user notification) Determining the wrist region where the bracelet is worn among the virtual images as the composite area (However, if the virtual clothes cover the bracelet, the user selects whether or not to display on the virtual clothes after the user notification) necklace Determining the neck area where the necklace is worn in the live-action video as the composite area (However, if the virtual clothes cover the necklace, the wrist area of the virtual image is determined as the synthesized area after user notification.) Determining the neck area where the necklace is worn in the virtual image as the composite area (However, if the virtual clothes cover the necklace, the user selects whether to display the virtual clothes on the virtual clothes after the user notification)
  • the generation unit 140 generates a virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual image determined by the determination unit 130.
  • the generation unit 140 may separate the synthesis region of the actual image determined by the determination unit 130 from the actual image, and separate the synthesis region of the virtual image into the virtual image.
  • the generation unit 140 may extract boundary information of the boundary region of the synthesis region of the real image and the synthesis region of the virtual image.
  • the boundary information is a plurality of pixel information constituting a boundary region to be synthesized in a live video, and a plurality of vertex information constituting a boundary region to be synthesized in a virtual image.
  • the virtual image and the live image In order to extract boundary information corresponding to both the avatar included in the virtual image and the user existing in the live image, the virtual image and the live image must be located in the same space. In order to be located in the space, the avatar may be projected into the screen space and matched with the user of the live image.
  • the generation unit 140 may generate a virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual image based on the separated region and the extracted boundary information.
  • the generation unit 140 may synthesize the virtual fitting image combined with the avatar and the user with various virtual spaces such as a party hall, an office, a playground, and an outdoor area.
  • the output unit 150 outputs the generated virtual fitting image.
  • the output unit 150 may display a virtual fitting image of a user wearing virtual clothes through the display.
  • the live-action image acquisition unit 110 may include the live-action image including the user as illustrated in FIG. 4A. 410 may be obtained.
  • the virtual image acquirer 120 may generate an avatar wearing the virtual clothes 420 to acquire the virtual image 430.
  • the live image analyzing unit 133 may distinguish an area covered by the actual clothes and an area in which the actual clothes are not covered by the live image 415.
  • the virtual image analyzer 135 may distinguish an area covered by the virtual clothes and an area not covered by the virtual clothes in the virtual image 435.
  • the synthesis region determination unit 137 determines the region where at least one of the actual clothes and the virtual clothes are located as the synthesis region of the virtual image, and determines the area where the actual clothes and the virtual clothes are not located. It may be determined as a synthesis region of the live image. In detail, as illustrated in FIG. 4D, the synthesized region determiner 137 may determine the hatched region as the synthesized region of the virtual image, and determine the remaining region as the virtual region of the real image.
  • the generation unit 140 may generate the virtual fitting image 450 as illustrated in FIG. 4E by synthesizing the synthesis region of the virtual image and the synthesis region of the real image determined by the synthesis region determination unit 137. have.
  • the output unit 150 may output the virtual fitting image 450 generated by the generation unit 140.
  • the user may be provided with a more realistic and natural virtual fitting image.
  • the generation unit 140 may provide a virtual fitting image in which a fitting feeling exists by using at least one of clothes characteristic information and external force information.
  • 5 is a diagram illustrating a configuration of a generation unit 140 for providing a virtual fitting image in which a fitting feeling exists according to an embodiment of the present invention.
  • the generation unit 140 includes a fitting calculation unit 141, a virtual clothes information input unit 142, an external force input unit 143, a motion control unit 144, a body change detection unit 145, and an avatar
  • An animation expression unit 146 is included.
  • the fitting calculation unit 141 calculates a fitting feeling indicating a fitting degree when the user wears virtual clothes based on the virtual clothes processing result and the virtual clothes characteristic information.
  • the fitting calculation unit 141 calculates the fitting feeling by determining the stretched position and the degree of extension of the virtual clothes by calculating the distance between the vertices constituting the avatar and the vertices constituting the virtual clothes based on the characteristics of the virtual clothes. Can be.
  • the virtual clothes information input unit 142 provides the characteristic information on the virtual clothes to calculate the fitting feeling.
  • the characteristic information of the virtual clothes may include characteristic information of the fabric of the virtual clothes, such as how well the clothes are stretched, the texture, and the weight.
  • the characteristic information of the virtual clothes may include the configuration characteristics of the clothes such as the size of the clothes, the position of the seam and the sewing method, the characteristics of the thread used.
  • the external force input unit 143 may receive external force information provided to the avatar and the virtual clothes.
  • the external force information may include wind information such as wind position, wind strength, and the like.
  • the motion controller 144 controls the motion of the avatar according to the fitting feeling by the fitting calculator 141.
  • the motion controller 144 stops the movement of the avatar or controls the speed, and when the amount of increase of the virtual clothes is less than the predetermined value, the motion controller 144.
  • the predetermined boundary value may be one value and may have a predetermined range.
  • the body shape change detector 145 detects a change in the body shape of the user according to the movement of the user. In particular, when the user moves, if the user's body shape is changed according to the user's movement, the body shape change detector 145 may detect the body shape change of the user. For example, when a user sits on his side and belly fat comes out, the body shape change detection unit 145 may detect a user's belly fat change.
  • the avatar animation representation unit 146 may apply animation to the avatar based on the movement and the body shape of the avatar determined by the motion controller 144 and the body shape change detector 145.
  • the avatar animation representation unit 146 may perform animation processing (for example, processing in a different color) on a region having a fitting feeling of more than a predetermined value through a user's movement and body shape change.
  • the avatar animation representation unit 146 may display the main point to be targeted by the virtual clothes and the main point of the virtual clothes worn by the current avatar.
  • the avatar animation expression unit 146 may semi-transparently express the virtual clothes according to the user's selection.
  • FIGS. 6A to 9B various embodiments of the present invention will be described with reference to FIGS. 6A to 9B.
  • the virtual fitting apparatus 100 obtains a virtual fitting image (S610).
  • the virtual fitting apparatus 100 may obtain the virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual image.
  • the virtual fitting image may include an avatar in which the synthesis region of the real image and the synthesis region of the virtual image are synthesized.
  • the virtual fitting device 100 detects a user's movement (S620).
  • the virtual fitting device 100 determines the increase in the virtual clothes corresponding to the user's movement based on the characteristic information of the virtual clothes (S630). For example, when the user raises his or her hand, the virtual fitting device 100 may determine the extent of stretching of the shoulder portion of the virtual garment in response to the user's movement of the hand based on the characteristic information of the virtual garment.
  • the virtual fitting apparatus 100 determines whether the stretch of the virtual clothes is equal to or greater than a predetermined value.
  • the virtual fitting device 100 stops the movement of the avatar included in the virtual fitting image (S660). Specifically, when the increase in the virtual clothes according to the user's movement is greater than or equal to the predetermined value (S640-Y), the virtual fitting device 100 determines that the virtual clothes are caught in the avatar according to the user's movement, and thus the virtual clothes are removed from the avatar. You can gradually slow down the movement of the pinched part and stop the movement of the pinched part. That is, when it is determined that the virtual clothes are caught in the avatar according to the movement of the user, the virtual fitting device 100 may stop the movement of the avatar by continuously displaying the previous frame even if the user moves.
  • the virtual fitting device 100 may express a separate avatar movement according to a user input.
  • the virtual fitting apparatus 100 may generate a virtual fitting image by overlapping an image in which the avatar movement is stopped according to the user's movement and an image in which the avatar's movement is reflected according to the user's movement.
  • the virtual fitting device 100 controls the movement of the avatar according to the user's movement (S650).
  • the virtual fitting device 100 may control the movement of the avatar 690.
  • the virtual fitting device 100 may move the avatar 680 to correspond to the user's movement as shown in the upper right. You can control the movement.
  • the user can check the degree to which the clothes are fitted according to his movement.
  • FIG. 7A illustrates an embodiment in which a body shape change of a user is reflected in an avatar according to a user's movement according to an embodiment of the present invention.
  • the virtual fitting apparatus 100 obtains a virtual fitting image (S710).
  • the virtual fitting apparatus 100 may obtain the virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual image.
  • the virtual fitting image may include an avatar in which the synthesis region of the real image and the synthesis region of the virtual image are synthesized.
  • the virtual fitting device 100 detects a change in body shape according to the movement of the user (S620). For example, the virtual fitting device 100 detects whether there is a change in belly fat on the side by the user sitting.
  • the virtual fitting device 100 determines the increase in the virtual clothes based on the characteristic information of the virtual clothes and the degree of change in the body shape (S630).
  • the virtual fitting apparatus 100 determines whether the stretch of the virtual clothes is equal to or greater than a predetermined value.
  • the virtual fitting device 100 calculates the tension of the clothes according to the stretch of the clothes (S760). Then, the virtual fitting device 100 changes the body shape of the avatar based on the tension and body information of the clothes and outputs it (S770). In detail, the virtual fitting device 100 may adjust the position by moving the position of the vertex constituting the avatar based on body information and tension in at least one direction according to the tension of clothes among the inside, the outside, the top, and the bottom. . In this case, in the case of the physical characteristic information, the body shape change of the avatar may be determined according to the point where the change may easily occur due to the tension of the clothes such as bone or flesh and the point where the change is not easy.
  • the virtual fitting device 100 may display the part of the user's body shape is distinguished from other parts.
  • the virtual fitting device 100 may display a part in which the user's body shape is changed in a different color from other parts.
  • the virtual fitting device 100 controls the movement of the avatar according to the user's movement (S750).
  • the virtual fitting device 100 may output the avatar without changing the body of the avatar, as shown on the left side of FIG. 7B, but the virtual When the stretch of the clothes is greater than or equal to a preset value, the virtual fitting device 100 may output the avatar by reflecting the body change (fat) of the avatar, as shown on the left side of FIG. 7B.
  • the user may determine whether the virtual clothes are worn on the freezing part of the user.
  • FIG. 8 is a view for explaining an embodiment of processing a virtual fitting device according to external force information according to an embodiment of the present invention.
  • the virtual fitting apparatus 100 obtains a virtual fitting image (S810).
  • the virtual fitting apparatus 100 may obtain the virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual image.
  • the virtual fitting image may include an avatar in which the synthesis region of the real image and the synthesis region of the virtual image are synthesized.
  • the virtual fitting device 100 receives external force information (S820).
  • the external force information may be wind information such as wind direction and wind strength.
  • the virtual fitting device 100 reflects the external force information to process the virtual clothes (S830).
  • the virtual fitting apparatus 100 may compare a vertex position when an external force is applied to the virtual fitting image and a vertex position when no external force is applied. The virtual fitting apparatus 100 may determine that the virtual clothes flutter as the distance between the two vertices is larger, and the virtual clothes are not fluttered as the distance between the two vertices is narrower.
  • the virtual fitting apparatus 100 outputs a virtual fitting image in which external force information is reflected (S840).
  • the virtual fitting apparatus 100 may express the flapping part differently from other parts so that the user may check the flapping part more intuitively.
  • the user can check the fitting feeling of the virtual clothes in response to the change of the external situation.
  • FIG. 9A is a diagram for describing an exemplary embodiment of expressing a main point of a virtual garment, according to an exemplary embodiment.
  • the virtual fitting apparatus 100 obtains a virtual fitting image (S910).
  • the virtual fitting device 100 obtains information on the main point of the virtual clothes (S920).
  • the main points of the virtual clothes may include a shoulder seam, the length of the length of the length of the arm, etc. If the virtual clothes are the bottoms, the main points of the virtual clothes include the length of the length of the legs, etc. Can be.
  • the virtual fitting apparatus 100 semi-transparently processes the virtual clothes displayed on the virtual fitting image (S930).
  • the virtual fitting device 100 displays the main point to be targeted by the virtual clothes and the main point of the virtual clothes worn by the current avatar (S940). Specifically, as shown in FIG. 9B, the virtual fitting device 100 expresses the shoulder line position 1050-1 and the arm end position 1050-2 to be targeted by the virtual garment in a dotted line form.
  • the mouth may represent the shoulder line 1060-1 and the arm end position 1060-2 of the virtual clothes in the form of a solid line.
  • the virtual fitting device 100 displays the main points to be targeted by the virtual clothes in dotted lines, and the main points of the virtual clothes worn by the avatar are only exemplary embodiments, and other methods (for example, For example, the main point of the virtual clothes to be targeted and the main points of the virtual clothes worn by the current avatar may be differently expressed by color, transparency, etc.).
  • the user can more intuitively check whether the virtual clothes are suitable for him or her.
  • the virtual fitting device 100 captures a user to obtain a live action image (S1010).
  • the virtual fitting apparatus 100 obtains a virtual image including an avatar generated based on the user's body shape and movement.
  • the avatar may be dressed in a virtual garment that the user wants to wear.
  • the virtual fitting apparatus 100 analyzes the live image and the virtual image to determine a synthesis region for each of the live image and the virtual image (S1030). Specifically, the virtual fitting device 100 analyzes the live image to determine the area where the actual clothes worn by the user are located, and analyzes the virtual image to determine the area where the virtual clothes worn by the avatar are located. The region in which the clothes are located and the region in which the virtual clothes are located may be compared to determine a synthesis region for each of the live image and the virtual image. In this case, the virtual fitting apparatus 100 determines that an area where at least one of the area where the actual clothes are located and the area where the virtual clothes are located is determined to be a synthetic region of the virtual image, and the area where the actual clothes and the virtual clothes are not located. It may be determined as a synthesis region of the live image.
  • the virtual fitting apparatus 100 generates a virtual fitting image by synthesizing the synthesis region of the real image and the synthesis region of the virtual region (S1040).
  • the virtual fitting apparatus 100 may generate a virtual fitting image by reflecting at least one of characteristic information and external force information of the virtual garment.
  • the virtual fitting apparatus 100 outputs a virtual fitting image (S1050).
  • the user can select the clothes that are suitable for them through a more realistic and fitting virtual fitting experience even if they are not directly dressed.
  • the image processing method of the image processing apparatus may be implemented as a program and provided to a display device or an input device.
  • the program including the control method of the display apparatus may be stored and provided in a non-transitory computer readable medium.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 피팅 장치 및 이의 가상 피팅 방법이 제공된다. 본 가상 피팅 방법은 사용자를 촬영하여 실사 영상을 획득하고, 사용자의 체형 및 움직임을 바탕으로 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하며, 실사 영상과 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단하고, 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력한다.

Description

가상 피팅 장치 및 이의 가상 피팅 방법
본 발명은 가상 피팅 장치 및 이의 가상 피팅 방법에 관한 것으로, 더욱 상세하게는 실사 영상과 가상 영상을 합성하여 사용자에게 실제적인 가상 피팅 경험을 제공할 수 있는 가상 피팅 장치 및 이의 가상 피팅 방법에 관한 것이다.
최근 가상 현실을 이용한 컨텐츠가 차세대 컨텐츠로 급부상하고 있다. 특히, 가상의 공간에서 자신과 동일한 아바타를 통해 가상의 옷을 입어 보고, 옷을 구매하는 가상 피팅(Virtual Fitting)에 대한 각 기업 및 소비자의 관심도 증가하고 있다.
한편, 가상 피팅에서 핵심이 되는 것 중에 하나는 가상 공간상에서 아바타를 통해 입어 본 옷의 느낌이 실제 세상에서 사용자가 입었을 때의 느낌을 그대로 재현해 줄 수 있어야 한다는 것이다. 구체적으로, 가상 공간에서 입어 본 옷이 색상이나 디자인이 자신에게 잘 어울릴지 뿐만 아니라 옷을 직접 입었을 때나 옷을 입고 움직였을 때 불편함이 없는지가 가상 체험에서 확인이 되어야 한다. 실제와 같은 체험을 제공하지 못하는 가상 피팅은 단순히 새로운 기술의 체험이나 재미로 끝나게 되고 구매 등 실제 의미 있는 서비스가 되지 못하는 문제점을 가지게 된다.
이러한 문제점을 해결하기 위해서 가상 피팅은 사용자의 분위기나 실제 모습을 최대한 반영할 수 있어야 하고 가상 공간에서 입어 본 옷이 실제로 사용자의 몸에 얼마나 잘 맞는지 보여 주는 피팅감을 제공할 수 있어야 한다.
종래에는 가상 피팅을 제공하기 위하여 AR(Augmented Reality) 방식과 VR(virtual reality) 방식을 이용하였다. AR 방식은 카메라로부터 사용자의 체형과 움직임이 포함된 실사 영상을 취득한 후 사용자를 분리하고, 가상 옷의 크기와 모습을 분리된 사용자의 모습에 맞춰 변형을 한 후 그 위에 덧씌워서 합성하는 방식이다. VR 방식은 카메라로부터 사용자의 체형과 움직임이 포함된 영상을 취득한 후 사용자와 동일한 체형의 아바타를 생성하고, 아바타에 가상 옷을 입혀서 보여주는 방식이다.
그러나, AR 방식의 경우 사용자의 모습을 그대로 반영하여 자연스러운 모습을 보여주고 있으나 가상 옷을 사용자 영상 위에 단순히 덧입히는 방식이기 때문에 가상 옷이 얼마나 사용자 몸에 잘 맞는지 같은 피팅감 제공이 불가능하다. 또한, 실사 영상에서 사용자가 실제로 입은 옷을 제거하지 못하기 때문에 실제로 입은 옷과 가상 옷이 겹쳐서 표현되는 문제점이 발생한다. 예를 들어, 실제로 긴 팔 셔츠를 입고 있는 상태에서 가상의 옷으로 반소매 또는 민소매 셔츠를 선택할 경우 실제 입은 옷이 그대로 나타나 어색해 보이는 문제점이 발생한다.
그리고, VR 방식의 경우 사용자와 동일한 체형의 아바타를 이용하기 때문에 가상 옷이 사용자 몸에 얼마나 잘 맞는지 같은 피팅감을 정확하게 제공할 수 있고 캣워크, 농구 같은 미리 정의되어 있는 다양한 모션을 적용하여 가상 옷을 입고 움직이는 모습을 볼 수 있다는 장점을 지니고 있다. 반면 렌더링 기술과 3차원 형상 캡쳐링 기술의 한계로 인해 사용자가 아바타를 자신과 동일하게 느끼지 못하고 어색해 하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 가상 피팅 경험시 AR 방식의 실사 영상과 VR 방식의 가상 영상을 합성하여 더욱 실제적이고 피팅감 있는 가상 피팅 영상을 제공할 수 있는 가상 피팅 장치 및 이의 가상 피팅 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 피팅 방법은, 사용자를 촬영하여 실사 영상을 획득하는 단계; 기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 단계; 상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계; 및 상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력하는 단계;를 포함한다.
그리고, 상기 판단하는 단계는, 상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하는 단계; 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하는 단계; 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계;를 포함할 수 있다.
또한, 상기 합성 영역을 판단하는 단계는, 상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단할 수 있다.
그리고, 실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 단계; 상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 단계;를 포함할 수 있다.
또한, 상기 실사 영상을 획득하는 단계는, 영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며, 상기 가상 영상을 획득하는 단계는, 뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득할 수 있다.
그리고, 상기 출력하는 단계는, 사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.
또한, 상기 생성하는 단계는, 상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하는 단계; 및 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지와 가상 옷의 움직임을 중지하거나 움직임의 속도를 제어하는 단계;를 포함할 수 있다. 그리고, 상기 기설정된 경계값은 하나의 특징값이 될 수 있고, 일정한 범위를 가질 수 있다.
그리고, 상기 생성하는 단계는, 상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하는 단계; 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.
또한, 상기 생성하는 단계는, 외력 정보를 입력받는 단계; 및 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함할 수 있다.
그리고, 상기 생성하는 단계는, 상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점과 사용자 이미지 상에 매칭되는 지점을 표시하여 상기 가상 피팅 영상을 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 피팅 장치는, 사용자를 촬영하여 상기 사용자의 실사 영상을 획득하는 실사 영상 획득부; 상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 가상 영상 획득부; 상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 판단부; 상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성하는 생성부; 및 상기 가상 피팅 영상을 출력하는 출력부;를 포함한다.
그리고, 상기 판단부는, 상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단할 수 있다.
또한, 상기 판단부는, 상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단할 수 있다.
그리고, 실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 입력부;를 더 포함하며, 상기 판단부는, 상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단할 수 있다.
또한, 상기 실사 영상 획득부는, 영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며, 상기 가상 영상을 획득부는, 뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득할 수 있다.
그리고, 상기 생성부는, 사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성할 수 있다.
또한, 상기 생성부는, 상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하고, 상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지와 가상 옷의 움직임을 중지하거나 움직임의 속도를 제어할 수 있다.
그리고, 상기 생성부는, 상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하고, 상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성할 수 있다.
또한, 상기 생성부는, 외력 정보가 입력된 경우, 상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성할 수 있다.
그리고, 상기 생성부는, 상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점과 사용자 이미지 상에 매칭되는 지점을 표시하여 상기 가상 피팅 영상을 생성할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 직접 옷을 입지 않더라도 더욱 실제적이고 피팅감있는 가상 피팅 경험을 통해 자신에게 맞는 옷을 고를 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 가상 피팅 장치의 구성을 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 가상 영상 획득부의 구성을 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 판단부의 구성을 도시한 블럭도,
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른, 실사 영상 및 가상 영상을 합성하여 가상 피팅 영상을 생성하는 방법을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, 생성부의 구성을 도시한 블럭도,
도 6a 내지 도 10b는 본 발명의 다양한 실시예에 따른, 가상 옷의 특성 정보 및 외력 정보 중 적어도 하나를 이용하여 가상 피팅 영상을 처리하는 방법을 설명하기 위한 도면들, 그리고,
도 11은 본 발명의 일 실시예에 따른, 가상 피팅 방법을 설명하기 위한 흐름도이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예들에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 가상 피팅 장치(100)의 구성을 도시한 블럭도이다. 도 1에 도시된 바와 같이, 가상 피팅 장치(100)는 실사 영상 획득부(110), 가상 영상 획득부(120), 판단부(130), 생성부(140) 및 출력부(150)를 포함한다.
실사 영상 획득부(110)는 영상 카메라를 이용하여 사용자를 촬영하여 실사 영상을 획득한다. 이때, 실사 영상 획득부(110)는 사용자의 전신을 촬영하여 실사 영상을 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자의 상반신만을 촬영하여 실사 영상을 획득할 수 있다.
가상 영상 획득부(120)는 사용자의 체형과 움직임을 바탕으로 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득한다. 이때, 사용자에 대응되는 아바타에는 사용자가 입어보고자 하는 가상 옷이 입혀질 수 있다. 가상 영상 획득부(120)에 대해서는 도 2를 참조하여 상세히 설명하기로 한다.
가상 영상 획득부(120)는 도 2에 도시된 바와 같이, 신체 정보 획득부(121), 3D 아바타 생성부(123), 아바타 애니메이션 처리부(125) 및 가상 옷 처리부(127)를 포함한다.
신체 정보 획득부(121)는 뎁스 카메라를 이용하여 획득된 뎁스 정보를 바탕으로 사용자의 체형 정보 및 움직임 정보를 획득한다. 구체적으로, 신체 정보 획득부(121)는 뎁스 카메라를 이용하여 획득된 뎁스 이미지로부터 사용자의 신체 지수를 자동으로 계산하여 사용자의 체형 정보를 획득할 수 있다. 그리고, 신체 정보 획득부(121)는 뎁스 이미지에 포함된 사용자 이미지의 움직임을 바탕으로 사용자의 움직임 정보를 획득할 수 있다.
한편, 뎁스 정보는 뎁스 카메라를 이용하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 영상 카메라를 통해 획득된 실사 영상을 분석하여 획득할 수 있다.
그리고, 3D 아바타 생성부(123)는 신체 정보 획득부(121)를 통해 획득한 체형 정보를 바탕으로 3D 형태의 아바타를 생성한다. 구체적으로, 3D 아바타 생성부(123)는 체형 정보를 표준 아바타에 적용하여 주요 신체 치수를 중심으로 커스터마이제이션(Customizaiton)하는 방법을 통해 아바타를 생성할 수 있으며, 변형 가능한 아바타 모델에 획득된 체형 정보를 직접 반영하여 생성할 수 있다.
또는, 사용자가 기등록된 사용자인 경우, 3D 아바타 생성부(123)는 기등록된 사용자에 대응되는 아바타를 로딩하여 아바타를 생성할 수 있다.
아바타 애니메이션 처리부(125)는 사용자의 움직임을 반영하여 아바타를 처리하거나 기 등록된 아바타 모션을 반영하여 아바타를 처리할 수 있다. 아바타 애니메이션 처리부(125)는 사용자 움직임 또는 기등록된 모션이 반영된 아바타 애니메이션 처리를 통해 매 프레임마다 아바타가 취하는 특정 포즈를 계산할 수 있다.
가상 옷 처리부(126) 애니메이션 처리된 아바타에 가상 옷을 입히는 영상 처리를 수행하여 가상 옷을 입은 아바타를 포함하는 가상 영상을 생성한다. 이때, 가상 옷 처리부(126)는 아바타를 구성하는 버텍스(vertex)들과 가상 옷을 구성하는 버텍스들 사이의 Collision Detection 및 Response 계산을 포함하는 가상 옷 시뮬레이션을 통해 아바타에 가상 옷을 입히게 된다.
다시, 도 1에 대해 설명하면, 판단부(130)는 실사 영상과 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단한다. 구체적으로, 판단부(130)는 실사 영상을 분석하여 사용자가 실체 착용하는 실제 옷이 위치하는 영역을 판단하고, 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단할 수 있다. 그리고, 판단부(130)는 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다.
판단부(130)에 대해서는 도 3을 참조하여 더욱 상세히 설명하기로 한다. 판단부(130)는 도 3에 도시된 바와 같이, 합성 기준 입력부(131), 실사 영상 분석부(133), 가상 영상 분석부(135) 및 합성 영역 판단부(137)를 포함한다.
합성 기준 입력부(131)는 가상 영상 및 실사 영상 중 하나를 우선적으로 합성하기 위한 사용자 명령을 입력받는다. 구체적으로, 사용자가 액세서리를 하거나, 사용자가 가상 액세서리를 가상으로 착용하고자 하는 경우, 합성 기준 입력부(131)는 실제 액세서리 및 가상 액세서리 중 하나를 선택하기 위한 사용자 명령을 입력받을 수 있다.
실사 영상 분석부(133)는 실사 영상을 분석하여 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단한다. 구체적으로, 실사 영상 분석부(133)는 영상 분석을 통해 사용자가 실제로 착용하는 실제 옷이 위치하는 영역과 실제 옷이 위치하지 않은 영역을 구분할 수 있다.
가상 영상 분석부(135)는 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단한다. 구체적으로, 가상 영상 분석부(133)는 영상 분석을 통해 아바타가 착용하는 가상 옷이 위치하는 영역과 가상 옷이 위치하지 않은 영역을 구분할 수 있다.
합성 영역 판단부(137)는 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다. 구체적으로, 합성 영역 판단부(137)는 아래의 표 1과 같이, 실제 옷이 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷이 위치하지 않은 영역 중 가상 옷이 위치하는 영역은 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.
표 1
실제 옷이 위치하는 영역 실제 옷이 위치하지 않은 영역
가상 옷이 위치하는 영역 가상 영상을 합성 영역으로 이용 가상 영상을 합성 영역으로 이용
가상 옷이 위치하지 않은 영역 가상 영상을 합성 영역으로 이용 실사 영상을 합성 영역으로 이용
즉, 합성 영역 판단부(137)는 실제 옷 및 가상 옷 중 적어도 하나가 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.
또한, 합성 영역 판단부(137)는 합성 기준 입력부(131)를 통해 선택된 실제 액세서리 및 가상 액세서리 중 하나를 바탕으로 합성 영역을 판단할 수 있다. 구체적으로, 합성 기준 입력부(131)를 통해 실제 액세서리가 선택된 경우, 합성 영역 판단부(137)는 실제 액세서리를 포함하는 일정 영역을 실사 영상의 합성 영역으로 판단할 수 있다. 그리고, 가상 액세서리가 선택된 경우, 합성 영역 판단부(137)는 가상 액세서리를 포함하는 일정 영역을 가상 영상의 합성 영역으로 판단할 수 있다. 특히, 합성 영역 판단부(137)는 액세서리의 유형에 따라 아래의 표 2와 같이 액세서리에 대응되는 영역을 합성 영역으로 판단할 수 있다.
표 2
실제 액세서리 선택 가상 액세서리 선택
가방 실사 영상 중 양손 영역 전체를 합성 영역으로 판단 가상 영상 중 양손 영역 전체를 합성 영역으로 판단
신발 실사 영상 중 신발이 착용되어 있는 발 및 다리 영역을 합성 영역으로 판단 가상 영상 중 신발이 착용되어 있는 발 및 다리 영역을 합성 영역으로 판단
팔찌 실사 영상 중 팔찌가 착용되어 있는 손목 영역을 합성 영역으로 판단(단, 가상 옷이 팔찌를 가리는 경우 사용자 알림 후 가상 영상의 손목 영역을 합성 영역으로 판단) 가상 영상 중 팔찌가 착용되어 있는 손목 영역을 합성 영역으로 판단(단, 가상 옷이 팔찌를 가리는 경우 사용자 알림 후 가상 옷 위에 표현할지 여부를 사용자가 선택)
목걸이 실사 영상 중 목걸이가 착용되어 있는 목 영역을 합성 영역으로 판단(단, 가상 옷이 목걸이를 가리는 경우 사용자 알림 후 가상 영상의 손목 영역을 합성 영역으로 판단) 가상 영상 중 목걸이가 착용되어 있는 목 영역을 합성 영역으로 판단(단, 가상 옷이 목걸이를 가리는 경우 사용자 알림 후 가상 옷 위에 표현할지 여부를 사용자가 선택)
다시 도 1에 대해 설명하면, 생성부(140)는 판단부(130)를 통해 판단된 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성한다. 구체적으로, 생성부(140)는 판단부(130)를 통해 판단된 실사 영상의 합성 영역을 실사 영상으로부터 분리하고, 가상 영상의 합성 영역을 가상 영상으로 분리할 수 있다. 그리고, 생성부(140)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역의 경계 영역에 대한 경계 정보를 추출할 수 있다. 이때, 경계 정보는 실사 영상(video)에서 합성이 진행될 경계 영역을 구성하는 복수의 픽셀 정보이며, 가상 영상(graphic)에서 합성이 진행될 경계 영역을 구성하는 복수 개의 버텍스 정보이다.
가상 영상에 포함된 아바타와 실사 영상에 존재하는 사용자 양쪽 모두에 일치하는 경계 정보를 추출하기 위하여 가상 영상 및 실사 영상을 같은 공간에 위치시켜야 하므로, 생성부(140)는 가상 영상 및 실사 영상을 같은 공간에 위치시키기 위하여 아바타를 스크린 스페이스에 프로젝션하고 실사 영상의 사용자와 매칭시킬 수 있다.
그리고, 생성부(140)는 분리된 영역과 추출된 경계 정보를 바탕으로 실사 영상의 합성 영역과 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성할 수 있다. 이때, 생성부(140)는 아바타와 사용자가 합성된 가상 피팅 영상의 배경으로 파티장, 사무실, 운동장, 야외와 같은 다양한 가상 공간과 합성할 수 있다.
그리고, 출력부(150)는 생성된 가상 피팅 영상을 출력한다. 구체적으로, 출력부(150)는 디스플레이를 통해 사용자가 가상 옷을 입은 가상 피팅 영상을 디스플레이할 수 있다.
이하에서는 도 4를 참조하여 가상 피팅 장치가 실사 영상과 가상 영상을 합성하여 가상 피팅 영상을 제공하는 방법에 대해 설명하기로 한다.
본 발명의 일 실시예로, 사용자가 도 4a에 도시된 바와 같은 가상 옷(420)을 입어보고자 하는 경우, 실사 영상 획득부(110)는 도 4a에 도시된 바와 같이, 사용자가 포함된 실사 영상(410)을 획득할 수 있다. 그리고, 가상 영상 획득부(120)는 도 2에서 설명한 바와 같이, 가상 옷(420)을 입은 아바타를 생성하여 가상 영상(430)을 획득할 수 있다.
그리고, 실사 영상 분석부(133)는 도 4c에 도시된 바와 같이, 실사 영상(415)에서 실제 옷이 가리는 영역과 실제 옷이 가리지 않은 영역을 구분할 수 있다. 그리고, 가상 영상 분석부(135)는 도 4c에 도시된 바와 같이, 가상 영상(435)에서 가상 옷이 가리는 영역과 가상 옷이 가리지 않은 영역을 구분할 수 있다.
그리고, 합성 영역 판단부(137)는 표 1에서 설명한 바와 같이, 실제 옷 및 가상 옷 중 적어도 하나가 위치하는 영역을 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다. 구체적으로, 합성 영역 판단부(137)는 도 4d에 도시된 바와 같이, 해칭된 영역을 가상 영상의 합성 영역으로 판단하고, 나머지 영역을 실사 영상의 가상 영역으로 판단할 수 있다.
그리고, 생성부(140)는 합성 영역 판단부(137)에 의해 판단된 가상 영상의 합성 영역 및 실사 영상의 합성 영역을 합성하여 도 4e에 도시된 바와 같은 가상 피팅 영상(450)을 생성할 수 있다.
그리고, 출력부(150)는 생성부(140)에 의해 생성된 가상 피팅 영상(450)을 출력할 수 있다.
상술한 바와 같이, 실사 영상 및 가상 영상을 합성하여 가상 피팅 영상을 제공함으로써, 사용자는 더욱 실제적이고 자연스러운 가상 피팅 영상을 제공받을 수 있게 된다.
한편, 생성부(140)는 옷 특성 정보 및 외력 정보 중 적어도 하나를 이용하여 피팅감이 존재하는 가상 피팅 영상을 제공할 수 있다. 도 5는 본 발명의 일 실시예에 따른, 피팅감이 존재하는 가상 피팅 영상을 제공하기 위한 생성부(140)의 구성을 나타내는 도면이다. 도 5에 도시된 바와 같이, 생성부(140)는 피팅 계산부(141), 가상 옷 정보 입력부(142), 외력 입력부(143), 움직임 제어부(144), 체형 변화 감지부(145) 및 아바타 애니메이션 표현부(146)를 포함한다.
피팅 계산부(141)는 가상 옷 처리 결과와 가상 옷 특성 정보를 바탕으로 사용자가 가상 옷을 입었을 경우, 피팅 정도를 나타내는 피팅감을 계산한다. 구체적으로, 피팅 계산부(141)는 가상 옷의 특성을 바탕으로 아바타를 구성하는 버텍스들과 가상 옷을 구성하는 버텍스 사이의 거리를 계산하여 가상 옷의 늘어나는 위치 및 늘어남 정도를 판단함으로써 피팅감을 계산할 수 있다.
가상 옷 정보 입력부(142)는 피팅감을 계산하기 위하여 가상 옷에 대한 특성 정보를 제공한다. 이때, 가상 옷의 특성 정보는 옷이 얼마나 잘 늘어나는지, 질감이 어떠한지, 중량이 어떠한지 등의 가상 옷의 원단이 가지는 특성 정보를 포함할 수 있다. 또한, 가상 옷의 특성 정보에는 옷의 크기, 봉제선 위치 및 봉제 방법, 사용된 실의 특성과 같은 옷의 구성상 특성을 포함할 수 있다.
외력 입력부(143)는 아바타 및 가상 옷에 제공되는 외력 정보를 입력받을 수 있다. 이때, 외력 정보에는 바람 위치, 바람 세기 등과 같은 바람 정보를 포함할 수 있다.
움직임 제어부(144)는 피팅 계산부(141)에 의해 피팅감 정도에 따라 아바타의 움직임을 제어한다. 구체적으로, 가상 옷의 늘어남 정도가 기설정된 경계값 이상인 경우, 움직임 제어부(144)는 아바타의 움직임을 중지하거나 속도를 제어하고, 가상 옷의 늘어남 정도가 기설정된 값 미만이 경우, 움직임 제어부(144)는 사용자의 움직임에 대응되도록 아바타의 움직임을 제어할 수 있다. 이때, 기설정된 경계값은 하나의 값이 될 수 있고, 일정한 범위를 가질 수 있다.
체형 변화 감지부(145)는 사용자의 움직임에 따라 사용자의 체형 변화를 감지한다. 특히, 사용자가 움직인 경우, 사용자의 움직임에 따라 사용자의 체형이 변경되면, 체형 변화 감지부(145)는 사용자의 체형 변화를 감지할 수 있다. 예를 들어, 사용자가 앉아 옆구리에 뱃살이 나오는 경우, 체형 변화 감지부(145)는 사용자의 뱃살 변화를 감지할 수 있다.
아바타 애니메이션 표현부(146)는 움직임 제어부(144) 및 체형 변화 감지부(145)를 통해 판단된 아바타의 움직임 및 체형 변화를 바탕으로 아바타에 대해 애니메이션을 적용하여 처리할 수 있다. 구체적으로, 아바타 애니메이션 표현부(146)는 사용자의 움직임 및 체형 변화를 통해 기설정된 값 이상의 피팅감을 가지는 영역에 대해 애니메이션 처리(예를 들어, 다른 색으로 처리)를 수행할 수 있다. 또한, 아바타 애니메이션 표현부(146)는 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시할 수 있다. 또한, 아바타 애니메이션 표현부(146)는 사용자 선택에 따라 가상 옷을 반투명하게 표현할 수 있다.
이하에서는 도 6a 내지 도 9b를 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다.
도 6a는 본 발명의 일 실시예에 따른, 가상 옷의 피팅감에 따라 아바타의 움직임을 제어하는 실시예에 대해 설명하기로 한다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S610). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 사용자의 움직임을 감지한다(S620).
그리고, 가상 피팅 장치(100)는 가상 옷의 특성 정보를 바탕으로 사용자 움직임에 대응되는 가상 옷의 늘어남을 판단한다(S630). 예를 들어, 사용자가 손을 드는 경우, 가상 피팅 장치(100)는 가상 옷의 특성 정보를 바탕으로 사용자가 손을 움직이는 것에 대응하여 가상 옷의 어깨 부분에 대한 늘어남 정도를 판단할 수 있다.
그리고, 가상 피팅 장치(100)는 가상 옷의 늘어남이 기설정된 값 이상인지 여부를 판단한다(S640).
가상 옷의 늘어남이 기설정된 값 이상인 경우(S640-Y), 가상 피팅 장치(100)는 가상 피팅 영상에 포함된 아바타의 움직임을 중지한다(S660). 구체적으로, 사용자의 움직임에 따른 가상 옷의 늘어남이 기설정된 값 이상인 경우(S640-Y), 가상 피팅 장치(100)는 사용자의 움직임에 따라 가상 옷이 아바타에 끼인다고 판단하여 아바타에서 가상 옷이 끼인 부분에 대한 움직임 속도를 점점 감소시키다가 가상 옷이 끼인 부분에 대한 움직임을 중지할 수 있다. 즉, 사용자의 움직임에 따라 가상 옷이 아바타에 끼인다고 판단된 경우, 가상 피팅 장치(100)는 사용자가 움직이더라도 이전 프레임을 계속 디스플레이함으로써, 아바타의 움직임을 중지할 수 있다.
이때, 가상 피팅 장치(100)는 사용자 입력에 따라 별도의 아바타 움직임을 표현할 수 있다. 예를 들어, 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임이 중지된 영상과 사용자 움직임에 따라 아바타의 움직임이 반영된 영상을 겹쳐 가상 피팅 영상을 생성할 수 있다.
가상 옷의 늘어남이 기설정된 값 미만인 경우(S640-N), 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임을 제어한다(S650).
예를 들어, 도 6b의 좌측에 도시된 바와 같이, 실제 사용자(640)가 오른팔을 드는 경우, 오른팔을 듦에 따라 가상 옷의 오른쪽 어깨 부분이 기설정된 값 이상으로 늘어난 것으로 판단되면, 가상 피팅 장치(100)는 우측 하단에 도시된 바와 같이, 아바타(690)의 움직임을 제어할 수 있다. 그러나, 오른팔을 듦에 따라 가상 옷의 오른쪽 어깨 부분이 기설정된 값 미만으로 늘어난 것으로 판단된 경우, 가상 피팅 장치(100)는 우측 상단에 도시된 바와 같이, 사용자 움직임에 대응되도록 아바타(680)의 움직임을 제어할 수 있다.
상술한 바와 같이, 사용자의 움직임에 따라 피팅감을 계산하여 아바타의 움직임을 제어함으로써, 사용자는 자신의 움직임에 따라 옷이 피팅되는 정도를 확인할 수 있게 된다.
도 7a는 본 발명의 일 실시예에 따른, 사용자의 움직임에 따라 사용자의 체형 변화를 아바타에 반영하는 실시예에 대해 설명하기로 한다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S710). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 사용자의 움직임에 따른 체형 변화를 감지한다(S620). 예를 들어, 가상 피팅 장치(100)는 사용자가 앉음으로써 옆구리에 뱃살의 변화가 있는지 여부를 감지한다.
그리고, 가상 피팅 장치(100)는 가상 옷의 특성 정보 및 체형 변화 정도를 바탕으로 가상 옷의 늘어남을 판단한다(S630).
그리고, 가상 피팅 장치(100)는 가상 옷의 늘어남이 기설정된 값 이상인지 여부를 판단한다(S640).
가상 옷의 늘어남이 기설정된 값 이상인 경우(S740-Y), 가상 피팅 장치(100)는 옷의 늘어남에 따른 옷의 장력을 계산한다(S760). 그리고, 가상 피팅 장치(100)는 옷의 장력 및 신체 정보를 바탕으로 아바타의 체형을 변경하여 출력한다(S770). 구체적으로, 가상 피팅 장치(100)는 신체 정보 및 장력을 바탕으로 아바타를 구성하는 버텍스의 위치를 내부, 외부, 위 및 아래 중 옷의 장력에 따른 적어도 하나의 방향으로 이동하여 위치를 조정할 수 있다. 이때, 신체 특성 정보의 경우, 뼈, 살 등 옷의 장력에 의해 변경이 쉽게 발생할 수 있는 지점과 변경이 쉽지 않은 지점 등에 따라 아바타의 체형 변화를 결정할 수 있다.
한편, 가상 피팅 장치(100)는 사용자의 체형이 변경된 부분을 다른 부분과 구별되도록 표시할 수 있다. 예를 들어, 가상 피팅 장치(100)는 사용자의 체형이 변경된 부분을 다른 부분과 다른 색으로 표시할 수 있다.
그러나, 가상 옷의 늘어남이 기설정된 값 미만인 경우(S740-Y), 가상 피팅 장치(100)는 사용자 움직임에 따라 아바타의 움직임을 제어한다(S750).
예를 들어, 사용자가 앉은 경우, 가상 옷의 늘어남이 기설정된 값 미만인 경우, 가상 피팅 장치(100)는 도 7b의 좌측에 도시된 바와 같이, 아바타의 신체변화 없이 아바타를 출력할 수 있으나, 가상 옷의 늘어남이 기설정된 값 이상인 경우, 가상 피팅 장치(100)는 도 7b의 좌측에 도시된 바와 같이, 아바타의 신체 변화(뱃살)를 반영하여 아바타를 출력할 수 있다.
상술한 바와 같이, 사용자의 움직임에 따라 체형 변화를 감지함으로써, 사용자는 가상 옷이 자신의 어는 부분에 끼는지 여부를 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른, 외력 정보에 따라 가상 피팅 장치를 처리하는 실시예를 설명하기 위한 도면이다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S810). 이때, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 획득할 수 있다. 이때, 가상 피팅 영상에는 실사 영상의 합성 영역과 가상 영상의 합성 영역이 합성된 아바타가 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 외력 정보를 입력받는다(S820). 이때, 외력 정보는 바람의 방향, 바람의 세기 등과 같은 바람 정보일 수 있다.
그리고, 가상 피팅 장치(100)는 외력 정보를 반영하여 가상 옷을 처리한다(S830). 구체적으로, 가상 피팅 장치(100)는 가상 피팅 영상에 외력을 가했을 때의 버텍스 위치와 외력이 가해지지 않을 때의 버텍스 위치를 비교할 수 있다. 그리고, 가상 피팅 장치(100)는 두 버텍스 사이의 거리가 클수록 가상 옷이 펄럭이는 영역이라 판단하고, 두 버텍스 사이의 거리가 좁을수록 가상 옷이 펄럭이지 않은 영역이라 판단할 수 있다.
그리고, 가상 피팅 장치(100)는 외력 정보가 반영된 가상 피팅 영상을 출력한다(S840). 이때, 가상 피팅 장치(100)는 사용자가 펄럭이는 부분을 더욱 직관적으로 확인할 수 있도록 펄럭이는 부분을 다른 부분과 상이하게 표현할 수 있다.
상술한 바와 같이, 가상 피팅 영상에 외력을 제공함으로써, 사용자는 외부 상황의 변화에 대응하여 가상 옷의 피팅감을 확인할 수 있게 된다.
도 9a는 본 발명의 일 실시예에 따른, 가상 옷의 주요 지점을 표현하는 실시예를 설명하기 위한 도면이다.
우선, 가상 피팅 장치(100)는 가상 피팅 영상을 획득한다(S910).
그리고, 가상 피팅 장치(100)는 가상 옷의 주요 지점에 대한 정보를 획득한다(S920). 이때, 가상 옷이 상의인 경우, 가상 옷의 주요 지점은 어깨 봉제선, 팔의 기장 끝 위치 등이 포함될 수 있으며, 가상 옷이 하의인 경우, 가상 옷의 주요 지점은 다리의 기장 끝 위치 등이 포함될 수 있다.
그리고, 가상 피팅 장치(100)는 가상 피팅 영상에 표시된 가상 옷을 반투명하게 처리한다(S930).
그리고, 가상 피팅 장치(100)는 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시한다(S940). 구체적으로, 가상 피팅 장치(100)는 도 9b에 도시된 바와 같이, 가상 옷이 타겟팅하고자 하는 어깨선 위치(1050-1) 및 팔 끝 위치(1050-2)를 점선 형태로 표현하고, 현재 아바타가 입은 가상 옷의 어깨선(1060-1) 및 팔 끝 위치(1060-2)를 실선 형태로 표현할 수 있다. 그러나, 가상 피팅 장치(100)가 가상 옷이 타겟팅하고자 하는 주요 지점을 점선으로 표시하고, 현재 아바타가 입은 가상 옷의 주요 지점을 실선으로 표시하는 것은 일 실시예에 불과할 뿐, 다른 방법(예를 들어, 색상, 투명도 등)으로 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 상이하게 표현할 수 있다.
상술한 바와 같이, 가상 옷이 타겟팅하고자 하는 주요 지점 및 현재 아바타가 입은 가상 옷의 주요 지점을 표시함으로써, 사용자는 가상 옷이 자신에게 맞는지 여부를 더욱 직관적으로 확인할 수 있게 된다.
이하에서는 도 10을 참조하여 본 발명의 일 실시예에 따른, 가상 피팅 장치(100)의 가상 피팅 방법에 대해 설명하기로 한다.
가상 피팅 장치(100)는 사용자를 촬영하여 실사 영상을 획득한다(S1010).
그리고, 가상 피팅 장치(100)는 사용자의 체형 및 움직임을 바탕으로 생성된 아바타를 포함하는 가상 영상을 획득한다(S1020). 이때, 아바타에는 사용자가 입고자 하는 가상 옷이 입혀질 수 있다.
그리고, 가상 피팅 장치(100)는 실사 영상 및 가상 영상을 분석하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단한다(S1030). 구체적으로, 가상 피팅 장치(100)는 실사 영상을 분석하여 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 가상 영상을 분석하여 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 실제 옷이 위치하는 영역과 가상 옷이 위치하는 영역을 비교하여 실사 영상 및 가상 영상 각각에 대한 합성 영역을 판단할 수 있다. 이때, 가상 피팅 장치(100)는 실제 옷이 위치하는 영역 및 가상 옷이 위치하는 영역 중 적어도 하나가 위치하는 영역은 가상 영상의 합성 영역으로 판단하고, 실제 옷 및 가상 옷이 위치하지 않은 영역을 실사 영상의 합성 영역으로 판단할 수 있다.
그리고, 가상 피팅 장치(100)는 실사 영상의 합성 영역 및 가상 영역의 합성 영역을 합성하여 가상 피팅 영상을 생성한다(S1040). 이때, 가상 피팅 장치(100)는 가상 옷의 특성 정보 및 외력 정보 중 적어도 하나를 반영하여 가상 피팅 영상을 생성할 수 있다.
그리고, 가상 피팅 장치(100)는 가상 피팅 영상을 출력한다(S1050).
상술한 바와 같은 실시예에 의해, 사용자는 직접 옷을 입지 않더라도 더욱 실제적이고 피팅감있는 가상 피팅 경험을 통해 자신에게 맞는 옷을 고를 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 영상 처리 장치의 영상 처리 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 가상 피팅 방법에 있어서,
    사용자를 촬영하여 실사 영상을 획득하는 단계;
    상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 단계;
    상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계; 및
    상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 출력하는 단계;를 포함하는 가상 피팅 방법.
  2. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하는 단계;
    상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하는 단계;
    상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 단계;를 포함하는 가상 피팅 방법.
  3. 제2항에 있어서,
    상기 합성 영역을 판단하는 단계는,
    상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 방법.
  4. 제1항에 있어서,
    실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 단계;
    상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 단계;를 포함하는 가상 피팅 방법.
  5. 제1항에 있어서,
    상기 실사 영상을 획득하는 단계는,
    영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며,
    상기 가상 영상을 획득하는 단계는,
    뎁스 또는 뎁스 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득하는 것을 특징으로 하는 가상 피팅 방법.
  6. 제1항에 있어서,
    상기 출력하는 단계는,
    사용자가 착용하고자 하는 가상 옷의 특성 정보를 반영하여 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
  7. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 사용자가 움직인 경우, 상기 가상 옷의 특성 정보를 바탕으로 상기 사용자 움직임에 대응되는 상기 가상 옷의 늘어남을 판단하는 단계; 및
    상기 가상 옷의 늘어남이 기설정된 경계값 이상인 경우, 상기 가상 피팅 영상에 포함된 사용자 이미지의 움직임을 중지하거나 속도를 제어하는 단계;를 포함하는 가상 피팅 방법.
  8. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 사용자가 움직인 경우, 상기 사용자의 체형 변화를 판단하는 단계;
    상기 가상 옷의 특성 정보 및 상기 사용자의 체형 변화를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
  9. 제6항에 있어서,
    상기 생성하는 단계는,
    외력 정보를 입력받는 단계; 및
    상기 가상 옷의 특성 정보 및 상기 외력 정보를 바탕으로 상기 가상 피팅 영상을 생성하는 단계;를 포함하는 가상 피팅 방법.
  10. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 가상 옷의 주요 지점 정보를 바탕으로 상기 가상 옷의 주요 지점을 표시하여 상기 가상 피팅 영상을 생성하는 것을 특징으로 하는 가상 피팅 방법.
  11. 가상 피팅 장치에 있어서,
    사용자를 촬영하여 상기 사용자의 실사 영상을 획득하는 실사 영상 획득부;
    상기 사용자의 체형 및 움직임을 바탕으로 상기 사용자에 대응되는 아바타를 포함하는 가상 영상을 획득하는 가상 영상 획득부;
    상기 실사 영상과 가상 영상을 분석하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 판단부;
    상기 실사 영상의 합성 영역 및 상기 가상 영상의 합성 영역을 합성하여 가상 피팅 영상을 생성하는 생성부; 및
    상기 가상 피팅 영상을 출력하는 출력부;를 포함하는 가상 피팅 장치.
  12. 제11항에 있어서,
    상기 판단부는,
    상기 실사 영상을 분석하여 상기 사용자가 실제 착용하는 실제 옷이 위치하는 영역을 판단하고, 상기 가상 영상을 분석하여 상기 아바타가 착용하는 가상 옷이 위치하는 영역을 판단하며, 상기 실제 옷이 위치하는 영역과 상기 가상 옷이 위치하는 영역을 비교하여 상기 실사 영상 및 상기 가상 영상 각각에 대한 합성 영역을 판단하는 것을 특징으로 하는 가상 피팅 장치.
  13. 제12항에 있어서,
    상기 판단부는,
    상기 실제 옷이 위치하는 영역을 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷이 위치하지 않은 영역 중 상기 가상 옷이 위치하는 영역은 상기 가상 영상의 합성 영역으로 판단하고, 상기 실제 옷 및 상기 가상 옷이 위치하지 않은 영역을 상기 실사 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 장치.
  14. 제11항에 있어서,
    실제 액세서리 및 가상 액세서리 중 하나를 선택하는 사용자 명령을 입력받는 입력부;를 더 포함하며,
    상기 판단부는,
    상기 실제 액세서리가 선택된 경우, 상기 실제 액세서리를 포함하는 일정 영역을 상기 실사 영상의 합성 영역으로 판단하고, 상기 가상 액세서리가 선택된 경우, 상기 가상 액세서리를 포함하는 일정 영역을 상기 가상 영상의 합성 영역으로 판단하는 것을 특징으로 하는 가상 피팅 장치.
  15. 제11항에 있어서,
    상기 실사 영상 획득부는,
    영상 카메라를 이용하여 사용자를 촬영하여 상기 실사 영상을 획득하며,
    상기 가상 영상을 획득부는,
    뎁스 또는 영상 카메라를 이용하여 상기 사용자의 체형 및 움직임을 촬영하고, 상기 촬영된 사용자의 체형 및 움직임을 바탕으로 아바타를 생성하여 가상 영상을 획득하는 것을 특징으로 하는 가상 피팅 장치.
PCT/KR2015/010701 2014-10-21 2015-10-12 가상 피팅 장치 및 이의 가상 피팅 방법 WO2016064121A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/521,035 US10152829B2 (en) 2014-10-21 2015-10-12 Virtual fitting device and virtual fitting method thereof
EP15851874.6A EP3211587A4 (en) 2014-10-21 2015-10-12 Virtual fitting device and virtual fitting method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0142363 2014-10-21
KR1020140142363A KR102240302B1 (ko) 2014-10-21 2014-10-21 가상 피팅 장치 및 이의 가상 피팅 방법

Publications (1)

Publication Number Publication Date
WO2016064121A1 true WO2016064121A1 (ko) 2016-04-28

Family

ID=55761112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010701 WO2016064121A1 (ko) 2014-10-21 2015-10-12 가상 피팅 장치 및 이의 가상 피팅 방법

Country Status (5)

Country Link
US (1) US10152829B2 (ko)
EP (1) EP3211587A4 (ko)
KR (1) KR102240302B1 (ko)
CN (1) CN105528799B (ko)
WO (1) WO2016064121A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298627A (zh) * 2021-07-21 2021-08-24 中运科技股份有限公司 一种基于人工智能的新零售商城系统

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US10248993B2 (en) * 2015-03-25 2019-04-02 Optitex Ltd. Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects
CN105955483A (zh) * 2016-05-06 2016-09-21 乐视控股（北京）有限公司 虚拟现实终端及其视觉虚拟方法和装置
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
CN106127846A (zh) * 2016-06-28 2016-11-16 乐视控股（北京）有限公司 虚拟现实终端及其视觉虚拟方法和装置
KR20210013323A (ko) 2016-09-23 2021-02-03 애플 인크. 아바타 생성 및 편집
CN106815825A (zh) * 2016-12-09 2017-06-09 深圳市元征科技股份有限公司 一种试衣信息显示方法及显示设备
US10776861B1 (en) 2017-04-27 2020-09-15 Amazon Technologies, Inc. Displaying garments on 3D models of customers
KR101972905B1 (ko) * 2017-05-26 2019-04-26 주식회사 씨드아이글로벌 피팅상품에 대한 구매정보 차등생성 시스템
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107464289B (zh) * 2017-08-03 2020-10-30 厦门黑镜科技有限公司 一种虚拟服饰穿戴方法、装置、设备和存储介质
KR102044348B1 (ko) * 2017-11-09 2019-11-13 (주)코아시아 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템
KR101997702B1 (ko) * 2017-11-09 2019-10-01 (주)코아시아 쓰리디 시뮬레이션이 가능한 가상헤어스타일피팅미러 장치 및 시스템
KR101989846B1 (ko) * 2017-11-09 2019-07-16 (주)코아시아 증강현실을 이용한 가상 의류 피팅 기능이 내장된 텔레비전
CN108181987A (zh) * 2017-11-23 2018-06-19 中国计量大学 一种基于虚拟现实的纺织品感知方法
CN108304351B (zh) * 2017-12-27 2022-01-07 广州品唯软件有限公司 一种织物触感信息传递方法
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN109493161A (zh) * 2018-09-29 2019-03-19 北京小米移动软件有限公司 利用虚拟现实进行虚拟购物的方法和装置
WO2020116130A1 (ja) * 2018-12-06 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102663906B1 (ko) * 2019-01-14 2024-05-09 삼성전자주식회사 아바타를 생성하기 위한 전자 장치 및 그에 관한 방법
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110096156B (zh) * 2019-05-13 2021-06-15 东北大学 基于2d图像的虚拟换装方法
US11462000B2 (en) * 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
CN110706320A (zh) * 2019-09-30 2020-01-17 恒信东方文化股份有限公司 一种虚拟试衣方法、装置及系统
KR102466978B1 (ko) 2020-04-23 2022-11-14 엔에이치엔클라우드 주식회사 딥러닝 기반 가상 이미지 생성방법 및 시스템
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11443489B2 (en) * 2020-08-28 2022-09-13 Wormhole Labs, Inc. Cross-platform avatar banking and redemption
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
WO2022081745A1 (en) * 2020-10-13 2022-04-21 Maze Ar Llc Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
US11321916B1 (en) * 2020-12-30 2022-05-03 Beijing Wodong Tianjun Information Technology Co., Ltd. System and method for virtual fitting
CN113095317A (zh) * 2021-04-19 2021-07-09 丹东鑫晨光伏科技有限公司 一种虚拟试衣装置及其虚拟试衣系统
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
JP2022186612A (ja) * 2021-06-04 2022-12-15 功憲 末次 商品・サービス利用シミュレーションシステム
CN113627083A (zh) * 2021-08-05 2021-11-09 广州帕克西软件开发有限公司 一种基于虚拟试穿实现div衣服的方法
KR102587078B1 (ko) * 2021-09-06 2023-10-10 주식회사 슈퍼빅 확장현실을 기반으로 하는 컨텐츠 동영상 제작 시스템
CN114663175A (zh) * 2022-02-07 2022-06-24 苏州大学 一种服装动态合体性评估方法
CN115937964B (zh) * 2022-06-27 2023-12-15 北京字跳网络技术有限公司 姿态估计的方法、装置、设备和存储介质
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020051667A (ko) * 2000-12-23 2002-06-29 윤종용 가상적인 의상 착용 모습의 표현 방법 및 장치
KR20090058765A (ko) * 2007-12-05 2009-06-10 에스케이커뮤니케이션즈 주식회사 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체
KR20100135001A (ko) * 2009-06-16 2010-12-24 두원공과대학산학협력단 의류착용용 디지털 가상 거울 시스템 및 그 처리방법
WO2014081394A1 (en) * 2012-11-22 2014-05-30 Agency For Science, Technology And Research Method, apparatus and system for virtual clothes modelling
KR20140077820A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
JPH10340282A (ja) 1997-04-11 1998-12-22 Toray Ind Inc 衣服の仮想試着装置および仮想試着方法および衣服製造装置
JPH11205585A (ja) 1998-01-20 1999-07-30 Toyobo Co Ltd プライベートカタログ作成方法および作成システム
US6810300B1 (en) 2003-05-22 2004-10-26 Kimberly-Clark Worldwide, Inc. Method of designing a product worn on a body in a virtual environment
JP2007102478A (ja) 2005-10-04 2007-04-19 Toshiba Corp 画像処理装置、画像処理方法、及び半導体集積回路
US7487116B2 (en) * 2005-12-01 2009-02-03 International Business Machines Corporation Consumer representation rendering with selected merchandise
US7911469B1 (en) 2006-06-08 2011-03-22 Pixar Pose-based collision fly-papering: a method for simulating objects in computer animation
KR100828935B1 (ko) 2006-09-27 2008-05-13 곽노윤 디지털 패션 디자인용 실사 기반 가상 드레이핑 시뮬레이션방법
KR20090054779A (ko) 2007-11-27 2009-06-01 백진철 웹기반 가상 패션코디장치 및 그 방법
JP4407761B2 (ja) 2008-03-24 2010-02-03 東洋紡績株式会社 衣服シミュレーション装置、衣服シミュレーションプログラム、及び衣服シミュレーション方法
US20110279475A1 (en) * 2008-12-24 2011-11-17 Sony Computer Entertainment Inc. Image processing device and image processing method
US8364561B2 (en) * 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US8275590B2 (en) 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
WO2011045768A2 (en) * 2009-10-15 2011-04-21 Yeda Research And Development Co. Ltd. Animation of photo-images via fitting of combined models
JP2011209887A (ja) 2010-03-29 2011-10-20 Sannetto:Kk アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
US9646340B2 (en) * 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US10628729B2 (en) * 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
EP2580708A4 (en) 2010-06-10 2016-11-16 Univ Brown PARAMETRIZED 2D HUMAN MODEL WITH RACES
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
KR20130082709A (ko) 2011-12-15 2013-07-22 김병일 3ｄ 아바타를 활용한, 사용자 전용 서비스 제공방법 및 시스템
JP2013190974A (ja) 2012-03-13 2013-09-26 Satoru Ichimura 情報処理装置および情報処理方法、ならびに、プログラム
JP5920724B2 (ja) 2012-11-06 2016-05-18 美津濃株式会社 情報処理装置、情報処理方法、情報処理プログラム
CN103871106A (zh) * 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
CN103927667A (zh) * 2014-04-10 2014-07-16 陕西科技大学 一种基于手机的虚拟试衣系统及试衣方法
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020051667A (ko) * 2000-12-23 2002-06-29 윤종용 가상적인 의상 착용 모습의 표현 방법 및 장치
KR20090058765A (ko) * 2007-12-05 2009-06-10 에스케이커뮤니케이션즈 주식회사 아바타 표현 장치와 방법 및 이를 구현할 수 있는 컴퓨터로읽을 수 있는 기록 매체
KR20100135001A (ko) * 2009-06-16 2010-12-24 두원공과대학산학협력단 의류착용용 디지털 가상 거울 시스템 및 그 처리방법
WO2014081394A1 (en) * 2012-11-22 2014-05-30 Agency For Science, Technology And Research Method, apparatus and system for virtual clothes modelling
KR20140077820A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3211587A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298627A (zh) * 2021-07-21 2021-08-24 中运科技股份有限公司 一种基于人工智能的新零售商城系统
CN113298627B (zh) * 2021-07-21 2021-11-02 中运科技股份有限公司 一种基于人工智能的新零售商城系统

Also Published As

Publication number Publication date
EP3211587A4 (en) 2018-03-14
CN105528799A (zh) 2016-04-27
EP3211587A1 (en) 2017-08-30
US20170316617A1 (en) 2017-11-02
US10152829B2 (en) 2018-12-11
KR102240302B1 (ko) 2021-04-14
CN105528799B (zh) 2021-02-09
KR20160046471A (ko) 2016-04-29

Similar Documents

Publication Publication Date Title
WO2016064121A1 (ko) 가상 피팅 장치 및 이의 가상 피팅 방법
US10109315B2 (en) Devices, systems and methods for auto-delay video presentation
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8976160B2 (en) User interface and authentication for a virtual mirror
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US10147241B2 (en) Fitting support device and method
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
WO2016112346A1 (en) Devices, systems and methods for auto-delay video presentation
KR20170022078A (ko) 디스플레이 장치 및 그의 제어방법
JP2008059283A (ja) 操作検出装置とそのプログラム
WO2020040567A2 (ko) 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP4745724B2 (ja) 画像処理方法、画像処理装置
KR101321022B1 (ko) 증강 현실 구현 방법 및 증강 현실을 구현하는 컴퓨팅 장치 및 시스템
Shaikh et al. A review on virtual dressing room for e-shopping using augmented reality
WO2012057553A2 (ko) 아기의 성장과정 영상물 제공시스템 및 방법
KR20180106572A (ko) 가상현실 제공장치 및 그 방법
EP3243331B1 (en) Devices, systems and methods for auto-delay video presentation
JPH11191158A (ja) 動作認識方法
JPH11161769A (ja) 動作認識情報入力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851874

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015851874

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015851874

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15521035

Country of ref document: US