WO2020141729A1 - 신체 측정 디바이스 및 그 제어 방법 - Google Patents

신체 측정 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2020141729A1
WO2020141729A1 PCT/KR2019/016470 KR2019016470W WO2020141729A1 WO 2020141729 A1 WO2020141729 A1 WO 2020141729A1 KR 2019016470 W KR2019016470 W KR 2019016470W WO 2020141729 A1 WO2020141729 A1 WO 2020141729A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
measurement device
camera
length
Prior art date
Application number
PCT/KR2019/016470
Other languages
English (en)
French (fr)
Inventor
유은경
자우르파탈리예프
이원주
최현수
최현철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020207000191A priority Critical patent/KR20210099507A/ko
Priority to US16/729,027 priority patent/US10909709B2/en
Publication of WO2020141729A1 publication Critical patent/WO2020141729A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1073—Measuring volume, e.g. of limbs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Definitions

  • the present invention relates to a body measurement device and a control method thereof, when a user poses in a specific pose, captures an image of the user, generates an outline and a skeleton image of the body user based on the captured image, and generated body It relates to a body measurement device for measuring a user's body size based on the contour and the skeleton image and a control method thereof.
  • clothes are often purchased online, such as internet shopping malls and home shopping, and the size of the smart phone and network has also increased rapidly.
  • most consumers do not know exactly their body size. You know the approximate size of your own name, for example, 95, 100, 105, 55, 66, 77, etc., but often do not know the exact chest circumference, waist circumference, hip circumference, or arm length.
  • An object of the present invention is to provide a body measurement device and a control method for measuring a user's body size.
  • Another embodiment of the present invention is to provide a body measurement device and a control method for extracting a skeleton image from a captured image and estimating a user's pose based on the skeleton image.
  • Another embodiment of the present invention provides a body measurement device and a control method for extracting a body length from a body contour and a skeleton image and determining a rear waist circumference length by multiplying a specific parameter by a body length when obtaining a circumference It aims to do.
  • the body measurement device includes a camera capturing a first image including an RGB image and a depth image; A display for displaying a graphic image; The user's pose is estimated based on the first image, and when the user's pose is the first pose, the camera controls to capture a second image including the user's body image in front, and captures the captured image. And a control unit generating a body contour image of the user based on a second image, measuring the user's body size based on the generated body contour image, and controlling the display to display the user's body size. do.
  • a control method of a body measurement device includes: capturing a first image including an RGB image and a depth image through a camera; Estimating a user's pose based on the first image; If the pose of the user is a first pose, controlling the camera to capture a second image including a body image of the user in front; Generating a body contour image of the user based on the captured second image; Measuring the body size of the user based on the generated body contour image; And controlling the display to display the user's body size.
  • the user's image when a user poses in a specific pose, the user's image is captured, the user's body contour and skeleton image are generated from the captured image, and the user's body contour image is used as the basis for the user's body contour image. Since the body size can be measured, a user's image can be captured with a simple operation, and an accurate body size can be measured, thereby improving user convenience.
  • a skeleton image can be extracted from a captured image, and a user's body contour image can be generated by combining a skeleton image, an RGB image, and a depth image, thereby more accurately measuring a user's body size. Since it can be done, user convenience can be improved.
  • the present invention it is possible to extract the first length from the body contour image and multiply the first length by a specific parameter to determine the rear waist circumference length to accurately measure the waist circumference length not visible in the front image. It can improve user convenience.
  • FIG. 1 is a diagram illustrating a configuration diagram of a body measurement device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a control method of a body measurement device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a user standing in front of a body measurement device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of controlling a body measurement device according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an input image according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating generating a body contour image according to an embodiment of the present invention.
  • FIG. 7 is a view showing a user's body size measurement result according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a body measurement algorithm according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a pose of a user according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a skeleton image according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating target segmentation using an RGB image and a depth image according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a body size measurement object according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating measuring a user's height according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating two methods of measuring a user's waist circumference according to an embodiment of the present invention.
  • 15 is a view illustrating measuring a waist circumference length according to an embodiment of the present invention.
  • 16 is a diagram illustrating measuring a front waist circumference length, a side waist circumference length, and a rear waist circumference length according to an embodiment of the present invention.
  • 17 is a diagram illustrating data about a user's actual key and a measurement key according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating data on a user's actual chest circumference length and a measured chest circumference length according to an embodiment of the present invention.
  • 19 is a diagram illustrating data about an actual under burst circumference length and a measured under burst circumference length of a user according to an embodiment of the present invention.
  • 20 is a diagram illustrating data on an actual waist circumference length and a measured waist circumference length of a user according to an embodiment of the present invention.
  • 21 is a diagram illustrating data on an actual hip circumference length and a measured hip circumference length of a user according to an embodiment of the present invention.
  • 22 is a diagram illustrating data on errors and accuracy of user's body size measurement data according to an embodiment of the present invention.
  • 23 is a diagram illustrating data on errors and accuracy of user's body size measurement data according to an embodiment of the present invention.
  • 24 is a diagram illustrating the structure of a camera of a body measurement device according to an embodiment of the present invention.
  • 25 is a diagram illustrating an example of using a body measurement device according to an embodiment of the present invention.
  • 26 is a diagram illustrating an execution screen of a body measurement device according to an embodiment of the present invention.
  • FIG. 27 is a diagram illustrating an execution screen of a body measurement device according to an embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an execution screen of a body measurement device according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration diagram of a body measurement device according to an embodiment of the present invention.
  • the body measurement device 100 includes a camera 110, a display 120, a control unit 130, a sensor unit 140, and a memory 150.
  • the camera 110 captures a first image including an RGB image and a depth image.
  • the camera 110 includes a depth camera 110 capable of capturing a depth image, an RGB camera capable of obtaining an RGB color image, and an IR camera capable of creating a depth image.
  • the depth camera 110 includes an SL camera.
  • the SL camera is a structured light (SL) camera that radiates a signal of a specific pattern to analyze the degree of deformation of the pattern according to the surface of the object to calculate the depth. For example, activating an SL camera shoots an infrared pattern of 30,000 dots on a face from a dot projector component. This pattern is reflected back to the infrared camera without distortion when shot in a flat space like a desk, but the human face is not flat. There are numerous bends depending on the location and size of the nose. Therefore, the light from the dot projector is reflected on the face, and a certain pattern of distortion is formed. The SL-type camera recognizes the user by reading this pattern change.
  • SL structured light
  • the depth image means an image including a depth map.
  • Depth map refers to an image that contains information related to the distance to the surface of an object from a viewpoint in 3D computer graphics.
  • the camera 110 includes a depth camera and an RGB camera. Also, the camera 110 may individually include a depth camera and an RGB camera. The camera 110 may include at least one depth camera and at least one RGB camera.
  • the display 120 displays a graphic image according to a control command from the control unit 130.
  • the controller 130 estimates the user's pose based on the first image, and when the user's pose is the first pose, controls the camera 110 to capture a second image including the front user's body image. , Create a user's body contour image based on the captured second image, measure the user's body size based on the generated body contour image, and control the display 120 to display the user's body size.
  • the sensor unit 140 senses a distance from the user according to a control command from the control unit 130.
  • the memory 150 stores the first image and the second image according to a control command from the controller 130.
  • FIG. 2 is a flowchart illustrating a control method of a body measurement device according to an embodiment of the present invention. The present invention is performed by the control unit 130.
  • a first image including an RGB image and a depth image is captured through the camera 110 (S210 ).
  • the user's pose is estimated based on the first image (S220 ).
  • the camera 110 controls to capture a second image including the user's body image in front (S230).
  • a body contour image of the user is generated based on the captured second image (S240).
  • the controller 130 extracts a skeleton image based on the first image.
  • the user's body size is measured based on the generated body contour image (S250). Also, the controller 130 may measure the body size based on the body contour image and the skeleton image.
  • the display 120 controls to display the user's body size (S260).
  • FIG. 3 is a diagram illustrating a user standing in front of a body measurement device according to an embodiment of the present invention.
  • the user 200 is standing in front of the body measurement device 100.
  • the camera 110 includes a depth camera.
  • the leg portion Since the leg portion is not photographed on the camera 110, it is set at a fixed value to measure the height.
  • the position of the camera 110 changes according to the range of the object to be measured (140 cm to 200 cm in the case of a key).
  • the distance between the camera 110 and the user 200 is determined in consideration of the size of the object to be measured and the field of view (FOV) of the camera 110. It is determined in consideration of the accuracy of the distance value of the depth camera 110. That is, it is important to select a location with high accuracy, and if the distance between the camera 110 and the user 200 is too close or too far, the accuracy of the depth decreases.
  • the position of the camera 110 may be 1.3 m from the ground.
  • the distance between the camera 110 and the user may be 1.0 to 1.5 m.
  • the resolution of the camera 110 will be described. The higher the resolution of the camera, the higher the accuracy of MPP (Meter Per Pixel), so the more accurate the measurement.
  • MPP Metal Per Pixel
  • the input image of the camera 110 will be described.
  • the input image may be i) a depth image, ii) a depth image, an RGB image, iii) a depth image, or an IR RAW image.
  • the controller 130 may obtain distance and length information for body measurement from the depth image. If there is no additional RGB image or IR raw image, the controller 130 may extract a skeleton image from the depth image.
  • the controller 130 extracts a posture for automatic photographing or the like from the RGB image or the IR raw image.
  • the controller 130 predicts the rear circumference using the RGB image, the IR raw image, gender recognition through face recognition, body weight prediction through a deep-learning or body weight prediction algorithm, and deep-learning. ).
  • controller 130 may improve accuracy by executing a fusion algorithm based on information obtained by a depth camera, information obtained using deep-learning using an RGB image and an IR-raw image.
  • FIG. 4 is a flowchart illustrating a method of controlling a body measurement device according to an embodiment of the present invention.
  • the present invention is performed by the control unit 130.
  • a first image including a depth image and an RGB image is captured (S410).
  • the user's pose is estimated based on the first image (S420).
  • the control unit 130 controls the camera 110 to shoot one or continuously.
  • the first pose may be a single pose or a plurality of poses.
  • the first pose becomes a plurality of poses, there is an advantage that the accuracy of body size measurement can be improved.
  • the user's pose is estimated based on the first image again (S420).
  • the control unit 130 measures the tilt of the user's pose through the sensor unit 140, and when the user's pose is inclined more than a predetermined range in the left or right direction than the first pose, the control unit 130 displays a warning message. Is displayed on the screen.
  • the control unit 130 may control the speaker (not shown) to output a voice message, "The attitude is tilted to the right. Please stand upright.”
  • a warning message is displayed, so that the user can pose in the correct posture, thereby measuring the correct body size.
  • the RGB image and the depth image are combined (S450).
  • a body contour image is generated based on the RGB image and the depth image (S460).
  • the controller 130 may generate a body contour image and a skeleton image based on the RGB image and the depth image.
  • the measured body size is displayed (S480).
  • 5 is a diagram illustrating an input image according to an embodiment of the present invention. 5 includes FIGS. 5(a) and 5(b).
  • 5(a) means an RGB image among input images.
  • the RGB image means an image to which an RGB model is applied.
  • the RGB model is the most basic color model, and the color is considered as a combination of three components: red, green, and blue.
  • 5(b) means a depth image among input images.
  • the depth image refers to an image obtained by shooting the same scene from different angles to generate a depth map.
  • the depth map refers to an image represented by dividing the relative distances of pixels present in the image by gray scale. In the depth map, the near part is represented by light pixels, and the far part is represented by dark pixels.
  • FIG. 6 is a diagram illustrating generating a body contour image according to an embodiment of the present invention.
  • Fig. 6 includes Figs. 6(a), 6(b) and 6(c).
  • FIG. 6(a) means a diagram showing a skeleton image extracted from a second image.
  • FIG. 6(b) is a diagram illustrating an image combining an RGB image and a depth image.
  • Figure 6 (c) refers to the user's body contour image.
  • the controller 130 extracts the skeleton image 610 based on the second image.
  • the controller 130 combines the RGB image and the depth image to generate a combined image 620.
  • the controller 130 combines the extracted skeleton image 610, the RGB image, and the depth image 620 to generate the user's body contour image 630.
  • the controller 130 measures the user's height based on the camera center 632. Detailed description thereof will be described later with reference to FIG. 13.
  • FIG. 7 is a view showing a user's body size measurement result according to an embodiment of the present invention.
  • the controller 130 displays the user's body size measurement result on the screen.
  • the body size measurement results include a height 71, a chest circumference 72, a waist circumference 73, and a hip circumference 74.
  • the height 71 may be 172 cm
  • the chest circumference 72 may be 100 cm
  • the waist circumference 73 may be 94 cm
  • the hip circumference 74 may be 102 cm.
  • FIG. 8 is a diagram illustrating a body measurement algorithm according to an embodiment of the present invention.
  • a depth image 810 and an RGB image 820 are received as input.
  • the controller 130 estimates the posture of the user based on the RGB image 820 and generates pose key point coordinates 840.
  • the controller 130 generates a target depth map 830 based on the depth image 810 and the pose key point coordinates 840.
  • the controller 130 generates a target split image 850 based on the target depth map 830 and the RGB image 820.
  • the controller 130 performs body size measurement 860 based on the target segmentation image 850.
  • the control unit 130 may measure the height, chest circumference length, under bust circumference length, waist circumference length and hip circumference length by measuring the body size of the target.
  • 9 is a diagram illustrating a pose of a user according to an embodiment of the present invention. 9 includes FIGS. 9(a) and 9(b).
  • FIG. 9(a) is a diagram showing a user's pose.
  • the controller 130 estimates the user's pose based on the ear image, nose image, eye image, shoulder, heel, and hip image included in the RGB image 200.
  • the controller 130 controls the camera 110 to automatically capture a second image including the front user's body image.
  • the first pose may be a key pose for executing the measurement algorithm.
  • the key pose can be defined as follows. The user gazes at the camera in a clear posture, and the user postures his arms apart by a certain angle. Here, the specific angle may be 30 degrees.
  • the key pose is not specified as one posture, and various postures are possible.
  • the camera captures multiple user frontal images. This is because when capturing a front image of a plurality of users, data may be accumulated and the error rate may be lower than that of a single image.
  • the key pose can be identified from the key point of the pose.
  • the key points can be ankles, elbows, ears, eyes, nose, neck, shoulders, and hips.
  • 9(b) is a diagram illustrating a method of specifying a user to measure body size when there are multiple users.
  • the sensor unit 140 senses a distance between the body measurement device 100 and the user.
  • the controller 130 senses the user 200 closest to the body measurement device 100 among the plurality of users through the sensor unit 140, and if the user's pose is the first pose, the camera ( 110) controls to capture a second image including the body image of the user 200 in front.
  • the controller 130 independently performs body size measurement based on the second image. Therefore, in the case of the present invention, there is an advantage that the error rate can be lowered.
  • FIG. 10 is a diagram illustrating a skeleton image according to an embodiment of the present invention.
  • the controller 130 extracts a skeleton image 1010 based on the first image, and estimates a user's pose based on the extracted skeleton image 1010.
  • the controller 130 may estimate the user's pose using the pose key points.
  • Key points include the ears (17, 18), eyes (15, 16), nose (0), neck (0 to 1), shoulders (2, 5), elbows (3, 6), and hips (9, 12). Can be. These key points are used to select a region of interest for user body measurement. Also, these key points can be used to identify the key pose, and the key points can be used to estimate the body measurement size.
  • the controller 180 may estimate the user's pose based on the skeleton image 1010. In addition, the controller 180 may measure a user's arm length, leg length, waist circumference length, chest circumference length, and hip circumference length based on the skeleton image 1010.
  • FIG. 11 is a diagram illustrating target segmentation using an RGB image and a depth image according to an embodiment of the present invention.
  • target segmentation is performed using an RGB image and a depth image.
  • Target division is performed as follows.
  • the controller 130 combines the RGB image and the depth image, and generates a body contour image based on the combined RGB image and the depth image. This will be described in more detail.
  • the controller 130 filters the depth map guided by the RGB image.
  • the depth image includes a depth map.
  • the controller 130 performs trimap generation from the depth map.
  • the controller mattes the depth map.
  • the controller 130 generates a divided map of the target subject. Next, the controller 130 removes noise on the divided map and smooths the edge portion.
  • the segmentation map can be used as a guide for body size measurement.
  • the target segmentation map will be described.
  • the body contour image may be divided into a black area 1110 and a white area 1120.
  • the controller 130 places the black area 1110 in the foreground as a foreground, and places the white area 1120 behind the black area 1120 as a background.
  • the black area 1110 may mean a person interested in the user
  • the white area 1120 may mean a background behind the person.
  • the controller 130 generates the user's body contour image 1100 based on the captured second image.
  • FIG. 12 is a diagram illustrating a body size measurement object according to an embodiment of the present invention.
  • the height 1210, the chest circumference length 1220, the under bust circumference length 1230, the waist circumference length 1240, and the hip circumference length 1250 can be measured.
  • the controller 130 when measuring body size, the following data are required. Specifically, a depth map, pose key point coordinates, and body segmentation mask are required. The controller 130 generates the body contour image 1200 based on the depth map, pose key point coordinates, and body segmentation mask.
  • the controller 130 is based on the generated body contour image 1200, the user's height 1210, arm length, leg length, chest circumference length 1220, waist circumference length 1240, hip circumference length 1250 Measure at least one of them.
  • the measurement site can be measured based on the contour of the body contour image 1200.
  • the length if it corresponds to two points, for example, the arm length and the leg length can be measured.
  • the body proportions are divided and the chest and waist are determined.
  • the controller 130 divides the body contour image 1200 into a predetermined ratio, determines a portion protruding from the body contour image 1200 as a chest, and determines a portion that enters the body contour image 1200 inward as a waist.
  • the key 1210 refers to the distance of the head end 1214 from the ground 1212.
  • the range between the neck and hip of the body contour image 1200 is mainly used for body measurements.
  • This part can be considered as [0, 1] in the upper body part.
  • the upper body part includes the chest, waist, and hip parts. That is, when the body contour image is divided into a predetermined ratio, the neck means 0, and the hip means 1.
  • the chest part means the [0.15-0.25] part of the upper body.
  • the underburst part means the [0.35-0.45] part of the upper body.
  • the waist part means the [0.65-0.75] part of the upper body.
  • the hip part means the [0.95-1.00] part of the upper body.
  • the above values are not definite, and the controller 130 may set differently according to the body contour image with reference to the memory 150.
  • the memory 150 includes various body contour images and stores body proportions corresponding to each body contour image.
  • FIG. 13 is a diagram illustrating measuring a user's height according to an embodiment of the present invention.
  • the body contour image 1300 includes a camera center 1310.
  • the controller 130 may measure the user's height using the camera center 1310.
  • the camera center 1310 means a camera height as a distance between the camera lenses and the ground.
  • the control unit 130 controls the sensor unit 140 to measure the camera height. Based on the height of the camera, the controller 130 measures the height of the user.
  • the controller 130 determines a value of the camera height and b) the distance between the camera and the user's head as the user's height.
  • the controller 130 determines 180 cm as the height of the user by adding 175 cm and 5 cm.
  • the controller 130 determines a value of the camera height minus the distance between the camera height and the user's head as the user's height.
  • the controller 130 determines 170 cm as the height of the user by subtracting 5 cm from 175 cm.
  • 14(a) is a diagram of a user capturing a front image.
  • 14(b) is a diagram of a user's rear image captured.
  • the first method is when both the front image and the rear image are captured.
  • the controller 130 may most accurately measure the circumferential length based on the depth map.
  • the controller 130 can measure the circumference length more accurately.
  • the second method is when only the front image is captured.
  • the back circumferential length can be obtained using an estimation method. That is, it is related to the length of the back circumference and the length of the straight body. Based on the experimental data, the back circumferential length can be obtained by multiplying the straight length of the body by a specific parameter.
  • 15 is a view illustrating measuring a waist circumference length according to an embodiment of the present invention. 15 includes FIGS. 15(a) and 15(b).
  • the length of the circumference of the chest and the length of the circumference of the hip can all be measured in the same manner.
  • 15(a) is a diagram illustrating an area of a user's waist circumference in an entire user's body contour image.
  • 15(b) is a diagram illustrating in detail a region around the waist of the user.
  • waist circumference length 1510 front waist circumference length 10 + side waist circumference lengths 20 and 40 + rear waist circumference length 30.
  • the image including the front waist circumference length 10, the side waist circumference lengths 20 and 22, and the rear waist circumference length 30 is enlarged and described.
  • the controller 130 divides the front waist circumference into n straight lines, and adds n straight lengths to obtain the front waist circumference length 10.
  • the controller 130 uses data having a noise of a predetermined range or more among data obtained from the depth camera to calculate the lateral waist circumference length 20.
  • the controller 130 uses data having a noise less than a predetermined range for calculating the front waist circumference length 10.
  • the data having a noise less than a predetermined range is clear data, and thus can be used for the length of the front waist. It can measure accurately.
  • the length 22 of the longest side is obtained by using a right triangle and the left side waist circumference length 20 is obtained by doubling the length 22 of the obtained side.
  • the right waist side circumference length 40 is also obtained in the same manner as the left side waist circumference length 20.
  • the present invention in the case of the depth camera, noise is generated and the boundary line of the body is not correct. In this case, there is an advantage of predicting the circumferential length using a right triangle.
  • the controller 130 extracts the first length 32 from the body contour image, and multiplies the extracted first length 32 by a specific parameter to determine the rear waist circumference length 30.
  • the k parameter means experimental data based on measured data.
  • the k parameter varies differently depending on the body part.
  • the k parameter of the waist is smaller than the k parameter of the chest.
  • the first length 32 means the length when the start and end points of the front waist circumference length 10 are connected in a straight line.
  • the control unit 130 determines the front waist circumference length 10, the side waist circumference lengths 20 and 40, and the rear waist circumference length 30 based on the generated body contour image, and the front waist circumference length 10 ), the side waist circumference lengths 20 and 40 and the rear waist circumference length 30 are combined to measure the waist circumference of the user's body size.
  • the circumference of the chest and the length of the circumference of the hips can be measured in the same manner as above.
  • 16 is a diagram illustrating measuring a front waist circumference length, a side waist circumference length, and a rear waist circumference length according to an embodiment of the present invention. 16 includes FIGS. 16(a) and 16(b).
  • FIG. 16(a) is a view specifically showing a method of obtaining a side waist circumference.
  • the controller 130 obtains the length of the side waist circumference based on the body contour image 1610.
  • the lateral waist circumference is obtained using a right triangle 1620.
  • the right-angled triangle 1620 includes a first side 1621, a feces 1622, and a first angle 1623.
  • the main point is to find out the actual length of the stool 1622 of the right triangle 1620.
  • the controller 130 uses data having a noise of a predetermined range or more among data obtained from the depth camera to calculate the lateral waist circumference length 20. That is, the length of the side waist is determined based on the noise.
  • the controller 130 obtains the length of the first side 1621.
  • the length of the first side 1621 may be 10 pixels.
  • the controller 130 may estimate the first angle 1623 based on the experimental data.
  • the first angle may be 15 degrees.
  • the controller 130 may calculate the actual length of the stool 1622 based on the first side 1621 and the first angle 1623.
  • the actual length of the stool 1622 is obtained by multiplying the stool length (number of pixels) by the pixel length per meter (PPM).
  • FIG. 16(b) is a view showing in detail a region around the waist by cutting the user's waist.
  • the controller 130 obtains the side waist circumference lengths 20 and 40 based on the body contour image 1610.
  • Waist circumference length 1630 front waist circumference length 10 + side waist circumference lengths 20 and 40 + rear waist circumference length 30.
  • the controller 130 extracts the first length 32 from the body contour image, and multiplies the extracted first length 32 by a specific parameter to determine the rear waist circumference length 30.
  • the first length 32 means the length when the start and end points of the front waist circumference length 10 are connected in a straight line.
  • the rear waist circumference length 30 can be thought of as half the ellipse circumference length.
  • the length of the circumference of the ellipse is proportional to the length of the long axis.
  • the length of the circumference of the ellipse is proportional to the length of the minor axis.
  • Half of the rear waist circumference length 30 may be the product of the first length 32 and the k parameter.
  • the k parameter is determined differently depending on the body part.
  • the k parameter of the waist is smaller than the k parameter of the chest.
  • the k parameter is experimental data obtained based on measured data.
  • 17 is a diagram illustrating data about a user's actual key and a measurement key according to an embodiment of the present invention.
  • the actual key is 1.78 m.
  • the actual key means the value measured using a tape measure.
  • the first experimental value is 1.78202 m.
  • the second experimental value is 1.77908 m.
  • the third experimental value is 1.76101 m.
  • the fourth experimental value is 1.79096 m.
  • the fifth experimental value is 1.79234 m.
  • FIG. 18 is a diagram illustrating data on a user's actual chest circumference length and a measured chest circumference length according to an embodiment of the present invention.
  • an actual chest circumference is 0.98 m.
  • Actual chest circumference means the value measured using a tape measure.
  • the first experimental value is 1.04009 m.
  • the second experimental value is 1.02241 m.
  • the third experimental value is 1.00679 m.
  • the fourth experimental value is 1.01789 m.
  • the fifth experimental value is 1.01635 m.
  • 19 is a diagram illustrating data about an actual under burst circumference length and a measured under burst circumference length of a user according to an embodiment of the present invention.
  • an actual under burst circumference length is 0.88 m.
  • the actual under burst circumference means the value measured using a tape measure.
  • the first experimental value is 0.959572 m.
  • the second experimental value is 0.960445 m.
  • the third experimental value is 0.885358 m.
  • the fourth experimental value is 0.869253 m.
  • the fifth experimental value is 0.903299 m.
  • 20 is a diagram illustrating data on an actual waist circumference length and a measured waist circumference length of a user according to an embodiment of the present invention.
  • an actual waist circumference length is 0.92 m.
  • the actual waist circumference means the value measured using a tape measure.
  • the first experimental value is 0.985915 m.
  • the second experimental value is 0.939380 m.
  • the third experimental value is 0.929100 m.
  • the fourth experimental value is 0.910563 m.
  • the fifth experimental value is 0.914214 m.
  • 21 is a diagram illustrating data on an actual hip circumference length and a measured hip circumference length of a user according to an embodiment of the present invention.
  • an actual hip circumference length is 0.99 m.
  • the actual hip circumference means the value measured using a tape measure.
  • the first experimental value is 1.09757 m.
  • the second experimental value is 1.06528 m.
  • the third experimental value is 1.06060 m.
  • the fourth experimental value is 1.04748 m.
  • the fifth experimental value is 1.04226 m.
  • 22 is a diagram illustrating data on errors and accuracy of user's body size measurement data according to an embodiment of the present invention.
  • Accuracy will be described. Accuracy means 100% minus error rate.
  • 23 is a diagram illustrating data on errors and accuracy of user's body size measurement data according to an embodiment of the present invention.
  • the actual key when the user is a UEK, the actual key is 1.53 m.
  • the actual key means the value measured using a tape measure.
  • the first experimental value is 1.52192 m.
  • the second experimental value is 1.53040 m.
  • the third experimental value is 1.54128 m.
  • the fourth experimental value is 1.53899 m.
  • the fifth experimental value is 1.54272 m.
  • Accuracy will be described. Accuracy means 100% minus error rate.
  • 24 is a diagram illustrating the structure of a camera of a body measurement device according to an embodiment of the present invention.
  • the camera 110 includes an RGB camera 111, a first IR camera 112, an IR light 113, and a second IR camera 114.
  • the camera 110 is vertically installed in the body measurement device 100.
  • the camera 110 when the camera 110 is vertically installed, when capturing a human image, a depth image can be generated in a more three-dimensional sense.
  • 25 is a diagram illustrating an example of using a body measurement device according to an embodiment of the present invention. 25 includes FIGS. 25(a) and 25(b).
  • 25(a) means a diagram illustrating that the body measurement device 100 is mounted on the stylus, and the user 200 is standing in front of the body measurement device 100. As shown in FIG. 25(a), the camera 110 of the body measurement device 100 photographs a whole body image of the user to measure body size.
  • FIG. 25( b) is a view showing that in the clothing store, the body measurement device 100 is mounted on a Taylor bot, and the user 200 is standing in front of the body measurement device 100.
  • the camera 110 of the body measurement device 100 photographs the user's upper body or the entire image to measure the user's body size.
  • the Taylor bot is a guide robot that recommends clothes to the user 200 and performs a virtual wearing, and measures the body size and performs virtual fitting using an avatar corresponding to the user on the screen.
  • 26 is a diagram illustrating an execution screen of a body measurement device according to an embodiment of the present invention. 26 includes FIGS. 26(a) and 26(b).
  • 26(a) is a view showing an execution screen of the body measurement device. Referring to FIG. 26(a), when the body measurement device 100 is executed, the controller 130 displays the current time 2019. 01. 14, 03:45 PM, and an important meeting schedule.
  • FIG. 26(b) is a diagram illustrating that when the user is in front of the body measurement device 100, the body measurement process execution process is displayed.
  • the control unit 130 displays the text 2620 including the content that the user stands upright and opens his arms.
  • the controller 130 displays an image 2430 representing, for example, 64% of the steps of executing the body measurement process.
  • 0% means that the body measurement process starts
  • 100% means that the body measurement process is completed.
  • FIG. 27 is a diagram illustrating an execution screen of a body measurement device according to an embodiment of the present invention.
  • the controller 130 displays the avatar 10 having the same body size as the user's body size on the screen.
  • the user's body size is 172 cm in height, 101 cm in bust, 94 cm in waist, and 102 cm in hip.
  • the clothes can be pants.
  • the controller 130 determines the most suitable clothes size based on the user's body size, and displays a text 2710 recommending M size clothes to the user.
  • the size may be L, M, or S size, and when the user selects a specific size icon 20, the controller 130 displays the avatar 10 in clothes corresponding to the size icon 20 selected by the user. do.
  • the clothes can be pants.
  • the controller 130 displays an image of the user wearing the pants. This will be described later in FIG. 28.
  • FIG. 28 is a diagram illustrating an execution screen of a body measurement device according to an embodiment of the present invention.
  • a specific size may be M size.
  • the progressive bar 2810 may change from the first color to the second color, and the first color means that the worn clothes are tight to the user, and the second color indicates that the worn clothes are loose to the user. it means.
  • the color change from the first color to the second color may be changed to a gradation effect.
  • the controller 130 displays a graphic image 20 on the avatar image 10 indicating the wearing state for each body part.
  • the graphic image 20 may appear differently according to the wear state of each body part.
  • a graphic image 20 including a color indicating looseness is displayed on an upper part of the pants, and a color indicating tightness at a lower part of the pants.
  • the graphic image 30 including the may be displayed.
  • the user avatar 10 wears clothes of a specific size
  • the user intuitively knows whether the clothes are tight or loose even without wearing the clothes directly It can improve user convenience.
  • the user's image is captured, and an RGB image and a depth image are combined from the captured image to generate the user's body outline image, and the generated body outline image Since it is possible to measure a user's body size based on, it is possible to capture a user image with a simple operation and measure an accurate body size, thereby improving user convenience.
  • a skeleton image can be extracted from a captured image, and a user's body contour image can be generated by combining a skeleton image, an RGB image, and a depth image, thereby more accurately measuring a user's body size. Since it can be done, user convenience can be improved.
  • the present invention it is possible to extract the first length from the body contour image and multiply the first length by a specific parameter to determine the rear waist circumference length to accurately measure the waist circumference length not visible in the front image. It can improve user convenience.
  • the body measurement device and the control method according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the above embodiments are all or part of each embodiment so that various modifications can be made. May be selectively combined.
  • the method of operating the body measurement device of the present invention can be implemented as a code that can be read by the processor on a recording medium readable by the processor provided in the body measurement device.
  • the processor-readable recording medium includes all types of recording devices in which data that can be read by the processor are stored. Examples of the recording medium readable by the processor include a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and also implemented in the form of a carrier wave such as transmission through the Internet. .
  • the processor-readable recording medium may be distributed over a networked computer system so that the processor-readable code is stored and executed in a distributed manner.
  • the present invention is used in a related field of a body measurement device that combines an RGB image and a depth image to generate a contour image of a body user, and measures a user's body size based on the generated body contour image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 신체 측정 디바이스 및 그 제어 방법에 관한 것으로, RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를, 카메라를 통하여, 캡쳐하고, 제 1 이미지를 기초로 사용자의 포즈를 추정하고, 사용자의 포즈가 제 1 포즈인 경우, 카메라가 전방의 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하고, 캡쳐한 제 2 이미지를 기초로 사용자의 신체 윤곽 이미지를 생성하고, 생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 신체 사이즈를 측정하고, 디스플레이가 상기 사용자의 신체 사이즈를 디스플레이하도록 제어하는 것을 그 요지로 한다.

Description

신체 측정 디바이스 및 그 제어 방법
본 발명은 신체 측정 디바이스 및 그 제어 방법에 관한 것으로, 사용자가 특정 포즈를 취하면, 사용자의 이미지를 캡쳐하고, 캡쳐된 이미지를 기반으로 신체 사용자의 윤곽 및 스캘레톤 이미지를 생성하고, 생성된 신체 윤곽 및 스캘레톤 이미지를 기초로 사용자의 신체 사이즈를 측정하는 신체 측정 디바이스 및 그 제어 방법에 관한 것이다.
최근에는 의류를 인터넷 쇼핑몰, 홈쇼핑 등 온라인으로 구매하는 경우가 많으며, 스마트폰과 네트워크의 발전으로 그 규모 또한 급격히 증가하고 있다. 하지만 대부분의 소비자는 자신의 신체 사이즈를 정확히 모르고 있다. 대략적인 자신의 호칭 사이즈 예를 들어, 95, 100, 105, 55, 66, 77 등은 알고 있으나, 정확한 가슴둘레, 허리둘레, 엉덩이둘레, 팔 길이 등은 모르고 있는 경우가 많다.
정확한 자신의 부위별 신체 사이즈를 알아야 자신이 원하는 핏(fit)의 의류, 또는 자신에게 맞는 품과 길이를 선택할 수 있고, 또한 반품 및 교환 등으로 인한 시간을 줄일 수 있다.
의류 구매에 있어서 사이즈 선택은 가장 중요한 것 중의 하나이며, 상당한 고민을 갖게 하는 요소이다. 더욱이 실제 물건을 보지 않고 구매하는 온라인상의 구매에서는 그 중요성과 고민이 더욱 커진다. 그렇다고 직접 줄자 등을 이용하여 자신의 신체를 측정하는 사람은 거의 없으며, 있다고 하더라도 측정하는 위치 및 방법이 틀려서 원하는 정확한 값이 도출되기 힘들다.
이러한 문제를 해결하기 위해 개발된 기술 중 상용화된 기술은 3D 스캐너를 이용하거나 다수의 디지털 카메라를 세팅하여 신체 사이즈를 측정하는 것들이 있다. 그러나, 이러한 기술들은 특정 장소가 필요하고, 고가의 장비가 필요해서 소비자가 이용하기 어렵고, 활용도가 떨어지는 문제점이 있었다.
본 발명의 일 실시 예는, 사용자가 특정 포즈를 취하면, 사용자의 이미지를 캡쳐하고, 캡쳐된 이미지를 기반으로 사용자의 신체 윤곽 및 스캘레톤 이미지를 생성하고, 생성된 신체 윤곽 및 스켈레톤 이미지를 기초로 사용자의 신체 사이즈를 측정하는 신체 측정 디바이스 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다른 일 실시 예는, 캡쳐된 이미지로부터 스켈레톤 이미지를 추출하고, 스켈레톤 이미지를 기초로 사용자의 포즈를 추정하는 신체 측정 디바이스 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 또 다른 일 실시 예는, 신체 윤곽 및 스캘레톤 이미지로부터 신체 길이를 추출하고, 둘레를 구할 경우 신체 길이에 특정 파라미터를 곱하여 후면 허리 둘레 길이를 결정하는 신체 측정 디바이스 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제는 상기 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 신체 측정 디바이스는 RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를 캡쳐하는 카메라; 그래픽 이미지를 디스플레이하는 디스플레이; 상기 제 1 이미지를 기초로 사용자의 포즈를 추정하고, 상기 사용자의 포즈가 제 1 포즈인 경우, 상기 카메라가 전방의 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하고, 캡쳐한 상기 제 2 이미지를 기초로 상기 사용자의 신체 윤곽 이미지를 생성하고, 생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 신체 사이즈를 측정하고, 상기 디스플레이가 상기 사용자의 신체 사이즈를 디스플레이하도록 제어하는 제어부를 포함한다.
본 발명의 다른 실시 예에 따른, 신체 측정 디바이스의 제어 방법은, RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를, 카메라를 통하여, 캡쳐하는 단계; 상기 제 1 이미지를 기초로 사용자의 포즈를 추정하는 단계; 상기 사용자의 포즈가 제 1 포즈인 경우, 상기 카메라가 전방의 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하는 단계; 캡쳐한 상기 제 2 이미지를 기초로 상기 사용자의 신체 윤곽 이미지를 생성하는 단계; 생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 신체 사이즈를 측정하는 단계; 및 상기 디스플레이가 상기 사용자의 신체 사이즈를 디스플레이하도록 제어하는 단계를 포함한다.
본 발명의 일 실시 예에 따르면, 사용자가 특정 포즈를 취하면, 사용자의 이미지를 캡쳐하고, 캡쳐된 이미지로부터 사용자의 신체 윤곽 및 스캘레톤 이미지를 생성하고, 생성된 신체 윤곽 이미지를 기초로 사용자의 신체 사이즈를 측정할 수 있어서, 간단한 동작으로 사용자의 이미지를 캡쳐하고, 정확한 신체 사이즈를 측정할 수 있으므로, 사용자 편의성을 향상 시킬 수 있다.
본 발명의 다른 일 실시 예에 따르면, 캡쳐된 이미지로부터 스켈레톤 이미지를 추출하고, 스켈레톤 이미지, RGB 이미지, 뎁스 이미지를 결합하여 사용자의 신체 윤곽 이미지를 생성할 수 있어서, 보다 정확하게 사용자의 신체 사이즈를 측정할 수 있으므로, 사용자 편의성을 향상 시킬 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 신체 윤곽 이미지로부터 제 1 길이를 추출하고, 제 1 길이에 특정 파라미터를 곱하여 후면 허리 둘레 길이를 결정할 수 있어서 전면 이미지에서 보이지 않는 허리 둘레 길이를 정확하게 측정할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 제어 방법의 순서도를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스 앞에 사용자가 서있는 것을 도시한 도면이다.
도 4은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 제어 방법의 순서도를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 입력 이미지를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 신체 윤곽 이미지를 생성하는 것을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른, 사용자의 신체 사이즈 측정 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른, 신체 측정 알고리즘을 설명하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른, 사용자의 포즈를 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른, 스켈레톤 이미지를 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른, RGB 이미지와 뎁스 이미지를 사용하여 타겟 분할하는 것을 도시한 도면이다.
도 12는 본 발명의 일 실시 예에 따른, 신체 사이즈 측정 대상을 설명하는 것을 도시한 도면이다.
도 13은 본 발명의 일 실시 예에 따른, 사용자의 신장을 측정하는 것을 도시한 도면이다.
도 14는 본 발명의 일 실시 예에 따른, 사용자의 허리 둘레 길이를 측정하는 두 가지 방법을 설명한 도면이다.
도 15는 본 발명의 일 실시 예에 따른, 허리 둘레 길이를 측정하는 것을 설명한 도면이다.
도 16은 본 발명의 일 실시 예에 따른, 전면 허리 둘레 길이, 측면 허리 둘레 길이, 후면 허리 둘레 길이를 측정하는 것을 도시한 도면이다.
도 17은 본 발명의 일 실시 예에 따른, 사용자의 실제 키와 측정 키에 대한 데이터를 도시한 도면이다.
도 18은 본 발명의 일 실시 예에 따른, 사용자의 실제 가슴 둘레 길이와 측정 가슴 둘레 길이에 대한 데이터를 도시한 도면이다.
도 19은 본 발명의 일 실시 예에 따른, 사용자의 실제 언더 버스트 둘레 길이와 측정 언더 버스트 둘레 길이에 대한 데이터를 도시한 도면이다.
도 20은 본 발명의 일 실시 예에 따른, 사용자의 실제 허리 둘레 길이와 측정 허리 둘레 길이에 대한 데이터를 도시한 도면이다.
도 21은 본 발명의 일 실시 예에 따른, 사용자의 실제 엉덩이 둘레 길이와 측정 엉덩이 둘레 길이에 대한 데이터를 도시한 도면이다.
도 22는 본 발명의 일 실시 예에 따른, 사용자의 신체 사이즈 측정 데이터의 에러와 정확도에 대한 데이터를 도시한 도면이다.
도 23은 본 발명의 일 실시 예에 따른, 사용자의 신체 사이즈 측정 데이터의 에러와 정확도에 대한 데이터를 도시한 도면이다.
도 24는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 카메라의 구조를 도시한 도면이다.
도 25는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 사용 예를 도시한 도면이다.
도 26는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 실행 화면을 도시한 도면이다.
도 27은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 실행 화면을 도시한 도면이다.
도 28은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 실행 화면을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 구성도를 도시한 도면이다.
도 1을 참조하면, 신체 측정 디바이스(100)는 카메라(110), 디스플레이(120), 제어부(130), 센서부(140) 및 메모리(150)를 포함한다.
카메라(110)는 RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를 캡쳐한다.
카메라(110)는 뎁스 이미지를 캡쳐할 수 있는 뎁스 카메라(110), RGB 컬러 영상을 획득할 수 있는 RGB 카메라 및 뎁스 이미지를 만들 수 있는 IR 카메라를 포함한다.
뎁스 카메라(110)는 SL 카메라를 포함한다. SL 카메라는 구조광 방식(SL, Structured Light)을 이용한 카메라로, 특정 패턴의 신호를 방사해 물체 표면에 따라 패턴이 변형된 정도를 분석해 심도를 계산한다. 예를 들어, SL 카메라를 작동시키면 도트 프로젝터라는 부품에서 3만개의 점으로 된 적외선 패턴을 얼굴에 쏘아 준다. 이 패턴은 책상 같은 평면 공간에 쏘면 왜곡없이 다시 적외선 카메라로 반사되지만, 사람의 얼굴은 평면이 아니다. 눈코입의 위치와 크기에 따라 굴곡이 수 없이 많다. 따라서 도트 프로젝터에서 나온 빛은 얼굴에 반사되면서 일정한 패턴의 왜곡이 형성된다. SL 방식의 카메라는 이 패턴의 변화를 읽어 사용자를 인식한다.
뎁스 이미지는 뎁스 맵을 포함한 이미지를 의미한다. 뎁스 맵은 (depth map)은 3차원 컴퓨터 그래픽에서 관찰 시점(viewpoint)으로부터 물체 표면과의 거리와 관련된 정보가 담긴 하나의 이미지를 의미한다.
카메라(110)는 뎁스 카메라, RGB 카메라를 포함한다. 또한, 카메라(110)는 뎁스 카메라, RGB 카메라를 개별적으로 포함할 수 있다. 카메라(110)는 적어도 하나의 뎁스 카메라와 적어도 하나의 RGB 카메라를 포함할 수 있다.
디스플레이(120)는 제어부(130)로부터의 제어 명령에 따라 그래픽 이미지를 디스플레이한다.
제어부(130)는 제 1 이미지를 기초로 사용자의 포즈를 추정하고, 사용자의 포즈가 제 1 포즈인 경우, 카메라(110)가 전방의 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하고, 캡쳐한 제 2 이미지를 기초로 사용자의 신체 윤곽 이미지를 생성하고, 생성된 상기 신체 윤곽 이미지를 기초로 사용자의 신체 사이즈를 측정하고, 디스플레이(120)가 사용자의 신체 사이즈를 디스플레이하도록 제어한다.
센서부(140)는 제어부(130)로부터의 제어 명령에 따라 사용자와의 거리를 센싱한다.
메모리(150)는 제어부(130)로부터의 제어 명령에 따라, 제 1 이미지, 제 2 이미지를 저장한다.
도 2는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 제어 방법의 순서도를 도시한 도면이다. 본 발명은 제어부(130)에 의하여 수행된다.
도 2를 참조하면, RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를, 카메라(110)를 통하여, 캡쳐한다(S210).
제 1 이미지를 기초로 사용자의 포즈를 추정한다(S220).
사용자의 포즈가 제 1 포즈인 경우, 카메라(110)가 전방의 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어한다(S230).
캡쳐한 상기 제 2 이미지를 기초로 상기 사용자의 신체 윤곽 이미지를 생성한다(S240). 본 발명의 일 실시 예에 따르면, 제어부(130)는 제 1 이미지를 기초로 스켈레톤 이미지를 추출한다.
생성된 신체 윤곽 이미지를 기초로 사용자의 신체 사이즈를 측정한다(S250). 또한, 제어부(130)는 신체 윤곽 이미지 및 스켈레톤 이미지를 기초로 신체 사이즈를 측정할 수 있다.
디스플레이(120)가 사용자의 신체 사이즈를 디스플레이하도록 제어한다 (S260).
도 3은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스 앞에 사용자가 서있는 것을 도시한 도면이다.
도 3을 참조하면, 사용자는 신체 측정 디바이스(100) 앞에 사용자(200)가 서 있다. 여기서, 카메라(110)는 뎁스 카메라를 포함한다.
먼저, 카메라(110) 위치에 대하여 설명한다.
카메라(110)에 다리 부분이 촬영 되지 않기 때문에, 키를 측정하기 위하여 고정 값으로 놓는다. 측정하고자 하는 물체의 범위(키의 경우 140 cm ~ 200 cm)에 따라 카메라(110)의 위치가 변한다. 카메라(110)와 사용자(200) 사이의 거리는 측정하는 대상의 크기, 카메라(110)의 FOV(field of view) 를 고려하여 결정한다. 뎁스 카메라(110)의 거리 값에 대한 정확도를 고려하여 결정한다. 즉, 정확도가 높은 위치를 선택하는 것이 중요하며, 카메라(110)와 사용자(200) 사이의 거리가 너무 가깝거나 멀 경우 뎁스의 정확도가 하락한다.
카메라(110)의 위치는 지면으로부터 1.3 m 가 될 수 있다.
카메라(110)와 사용자 사이의 거리는 1.0 ~ 1.5 m 가 될 수 있다.
카메라(110)의 해상도에 대하여 설명한다. 카메라의 해상도가 높을 수록 MPP(Meter Per Pixel)의 정확도가 높아지므로, 더 정확하게 측정할 수 있다.
카메라(110)의 입력 영상에 대하여 설명한다.
입력 이미지는 i) 뎁스 이미지,ii) 뎁스 이미지, RGB 이미지, iii) 뎁스 이미지, IR RAW 이미지가 될 수 있다.
뎁스 이미지의 경우, 제어부(130)는 뎁스 이미지로부터 신체 측정을 위한 거리, 길이 정보를 획득할 수 있다. 추가적인 RGB 이미지, IR raw 이미지가 없을 경우, 제어부(130)는 뎁스 이미지로부터 스켈레톤 이미지를 추출할 수 있다.
RGB 이미지, IR raw 이미지의 경우, 제어부(130)는 RGB 이미지, IR raw 이미지로부터 자동 촬영 등을 위한 자세를 추출한다.
또한, 추가적인 애플리케이션에 사용될 수 있다. 예를 들어, 제어부(130)는 RGB 이미지, IR raw 이미지를 기초로, 얼굴 인식을 통한 성별인식, Deep-learning 또는 몸무게 예측 알고리즘을 통한 몸무게 예측, Deep-learning을 이용하여 후면 둘레 예측 (사용자의 앞면 이미지만 촬영한 경우)을 실행할 수 있다.
또한, 제어부(130)는 뎁스 카메라로 얻은 정보와 RGB 이미지, IR-raw 이미지 입력으로 한 Deep-learning 이용한 정보를 바탕으로 하는 퓨전 알고리즘을 실행하여, 정확도를 향상 시킬 수 있다.
도 4은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 제어 방법의 순서도를 도시한 도면이다. 본 발명은 제어부(130)에 의하여 수행된다.
도 4를 참조하면, 뎁스 이미지, RGB 이미지를 포함하는 제 1 이미지를 캡쳐한다(S410).
제 1 이미지를 기초로 사용자의 포즈를 추정한다(S420).
사용자의 포즈가 제 1 포즈이면(S430), 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐한다(S440). 제어부(130)는 한 장 촬영 또는 연속 촬영하도록 카메라(110)를 제어한다. 여기서, 제 1 포즈는 하나의 포즈 또는 복수의 포즈가 될 수 있다. 제 1 포즈가 복수의 포즈가 되는 경우, 신체 사이즈 측정 정확도를 향상 시킬 수 있는 장점이 있다.
사용자의 포즈가 제 1 포즈가 아니면(S440), 다시 제 1 이미지를 기초로 사용자의 포즈를 추정한다(S420). 제어부(130)는 센서부(140)를 통하여, 사용자의 포즈의 기울기를 측정하고, 사용자의 포즈가 제 1 포즈보다 소정 범위 이상 좌측 또는 우측 방향으로 더 기울어진 경우, 제어부(130)는 경고 메시지를 화면에 디스플레이한다. 제어부(130)는 스피커(미도시)가 "자세가 오른쪽으로 기울어 졌습니다. 똑바로 서주십시오"라는 음성 메시지를 출력하도록 제어할 수 있다.
본 발명에 따르면, 사용자의 포즈가 제 1 포즈보다 더 기울어진 경우, 경고 메시지를 디스플레이하여, 사용자가 올바른 자세로 포즈를 취할 수 있게 하여 정확한 신체 사이즈를 측정할 수 있는 장점이 있다.
RGB 이미지, 뎁스 이미지를 결합한다(S450).
RGB 이미지, 뎁스 이미지를 기초로 신체 윤곽 이미지를 생성한다(S460). 본 발명의 일 실시 예에 따르면, 제어부(130)는 RGB 이미지 및 뎁스 이미지를 기초로 신체 윤곽 이미지 및 스켈레톤 이미지를 생성할 수 있다.
신체 윤곽 이미지를 기초로 키, 가슴 둘레, 허리 둘레를 측정한다(S470).
측정된 신체 사이즈를 디스플레이한다(S480)
도 5는 본 발명의 일 실시 예에 따른, 입력 이미지를 도시한 도면이다. 도 5는 도 5(a)와 도 5(b)를 포함한다.
도 5(a)는 입력 이미지 중 RGB 이미지를 의미한다.
RGB 이미지는 RGB 모델을 적용한 이미지를 의미한다. RGB 모델은 가장 기본적인 색상 모델로서 색(color)을 Red, Green, Blue의 3가지 성분의 조합으로 생각하는 것이다. RGB 모델에서 검은색은 R=G=B=0, 흰색은 R=G=B=255, 빨강색은 R=255, G=B=0, 노란색은 R=G=255, B=0로 표현된다. R=G=B인 경우는 무채색인 Gray 색상이 된다.
R, G, B 각각은 0 ~ 255 사이의 값을 가질 수 있기 때문에 RGB 색상 모델을 사용하면 총 256 x 256 x 256 = 16,777,216 가지의 색을 표현할 수 있다.
도 5(b)는 입력 이미지 중 뎁스 이미지를 의미한다.
뎁스 이미지는 뎁스 맵을 생성하기 위하여 같은 장면을 다른 각도에서 촬영한 이미지를 의미한다. 뎁스 맵은 이미지에 존재하는 픽셀들의 상대적인 거리를 그레이 스케일로 구분하여 나타낸 이미지를 의미한다. 뎁스 맵의 경우, 가까운 부분은 밝은 픽셀로 나타내고, 먼 부분은 어두운 픽셀로 나타낸다.
도 6은 본 발명의 일 실시 예에 따른, 신체 윤곽 이미지를 생성하는 것을 도시한 도면이다. 도 6은 도 6(a), 도 6(b) 및 도 6(c)를 포함한다.
도 6(a)은 제 2 이미지로부터 추출한 스켈레톤 이미지를 도시한 도면을 의미한다. 도 6(b)은 RGB 이미지와 뎁스 이미지를 결합한 이미지를 도시한 도면을 의미한다. 도 6(c)는 사용자의 신체 윤곽 이미지를 의미한다.
도 6(a)를 참조하면, 제어부(130)는 제 2 이미지를 기초로 스캘레톤 이미지(610)를 추출한다.
도 6(b)를 참조하면, 제어부(130)는 RGB 이미지와 뎁스 이미지를 결합하여 결합 이미지(620)를 생성한다.
도 6(c)를 참조하면, 제어부(130)는 추출된 스캘레톤 이미지(610), RGB 이미지 및 뎁스 이미지(620)를 결합하여 사용자의 신체 윤곽 이미지(630)를 생성한다.
제어부(130)는 카메라 센터(632)를 기초로 사용자의 키를 측정한다. 이에 대한 자세한 설명은 도 13에서 후술한다.
도 7은 본 발명의 일 실시 예에 따른, 사용자의 신체 사이즈 측정 결과를 도시한 도면이다.
도 7을 참조하면, 제어부(130)는 사용자의 신체 사이즈 측정 결과를 화면에 디스플레이한다.
예를 들어, 신체 사이즈 측정 결과는 키(71), 가슴 둘레(72), 허리 둘레(73), 엉덩이 둘레(74)를 포함한다. 키(71)는 172 cm, 가슴 둘레(72)는 100 cm, 허리 둘레(73)는 94 cm, 엉덩이 둘레(74)는 102 cm 가 될 수 있다.
도 8은 본 발명의 일 실시 예에 따른, 신체 측정 알고리즘을 설명하는 도면이다.
도 8을 참조하면, 먼저 뎁스 이미지(810)와 RGB 이미지(820)를 입력으로 수신한다.
제어부(130)는 RGB 이미지(820)를 기초로 사용자의 자세를 추정하고, 포즈 키 포인트 좌표(840)를 생성한다.
제어부(130)는 뎁스 이미지(810)와 포즈 키 포인트 좌표(840)를 기초로 타겟 뎁스 맵(830)을 생성한다.
제어부(130)는 타겟 뎁스 맵(830)과 RGB 이미지(820)를 기초로 타겟 분할 이미지(850)를 생성한다.
제어부(130)는 타겟 분할 이미지(850)를 기초로 신체 사이즈 측정(860)을 실행한다.
제어부(130)는 타겟의 신체 사이즈 측정으로 키, 가슴 둘레 길이, 언더 가슴 둘레 길이, 허리 둘레 길이, 엉덩이 둘레 길이를 측정할 수 있다.
도 9는 본 발명의 일 실시 예에 따른, 사용자의 포즈를 도시한 도면이다. 도 9는 도 9(a), 도 9(b)를 포함한다.
도 9(a)는 사용자의 포즈를 도시한 도면이다. 도 9(a)를 참조하면, 제어부(130)는 RGB 이미지(200)에 포함된 귀 이미지, 코 이미지, 눈 이미지, 어깨, 발꿈치, 엉덩이 이미지를 기초로 사용자의 포즈를 추정한다.
제어부(130)는 사용자의 포즈가 제 1 포즈인 경우, 카메라(110)가 전방의 사용자의 신체 이미지를 포함하는 제 2 이미지를 자동으로 캡쳐하도록 제어한다. 여기서, 제 1 포즈는 측정 알고리즘을 실행하는 키 포즈가 될 수 있다.
키 포즈(Key pose)는 다음과 같이 정의될 수 있다. 사용자는 차렷 자세로 카메라를 응시하고, 사용자가 그의 팔을 특정 각도만큼 옆으로 벌린 자세이다. 여기서, 특정 각도는 30 도가 될 수 있다. 여기서, 키 포즈는 하나의 자세로 특정 되지 않으며 다양한 자세가 가능하다.
사용자가 키 포즈를 취하면, 카메라는 복수의 사용자 정면 이미지를 캡쳐한다. 왜냐하면, 복수의 사용자 정면 이미지를 캡쳐하는 경우, 데이터가 축적되어 한 장의 이미지보다 에러율을 낮출 수 있기 때문이다.
키 포즈는 포즈의 키 포인트로부터 확인될 수 있다. 예를 들어, 사용자가 카메라의 정면 앞에 서있을 때, 키 포인트는 발목, 팔꿈치, 귀, 눈, 코, 목, 어깨, 엉덩이 등이 될 수 있다.
도 9(b)는 사용자가 복수인 경우, 신체 사이즈를 측정할 사용자를 특정하는 방법에 대하여 설명한 도면이다.
도 9(b)를 참조하면, 센서부(140)는 신체 측정 디바이스(100)와 사용자 사이의 거리를 센싱한다.
제어부(130)는 사용자가 복수인 경우, 센서부(140)를 통해 복수의 사용자 중 신체 측정 디바이스(100)와 가장 근접한 사용자(200)를 센싱하고, 사용자의 포즈가 제 1 포즈이면, 카메라(110)가 전방의 사용자(200)의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어한다.
복수의 제 2 이미지가 캡쳐된 경우, 제어부(130)는 제 2 이미지를 기초로 하는 신체 사이즈 측정은 모두 독립적으로 진행한다. 따라서, 본 발명의 경우, 에러율을 낮출 수 있는 장점이 있다.
도 10은 본 발명의 일 실시 예에 따른, 스켈레톤 이미지를 도시한 도면이다.
도 10을 참조하면, 제어부(130)는 제 1 이미지를 기초로 스캘레톤 이미지(1010)를 추출하고, 추출된 스켈레톤 이미지(1010)를 기초로 사용자의 포즈를 추정한다.
제어부(130)는 포즈 키 포인트들을 이용하여, 사용자의 포즈를 추정할 수 있다. 키 포인트들은 귀 (17, 18), 눈 (15, 16), 코 (0), 목(0 에서 1), 어깨 (2, 5), 팔꿈치 (3, 6), 엉덩이 (9, 12)가 될 수 있다. 이러한 키 포인트들은 사용자 신체 측정을 위한 관심 영역을 선택하는데 이용된다. 또한, 이러한 키 포인트들은 키 포즈를 식별하는데 이용되고, 키 포인트들은 신체 측정 사이즈를 추정하는데 이용될 수 있다.
제어부(180)는 스켈레톤 이미지(1010)를 기초로 사용자의 포즈를 추정할 수 있다. 또한, 제어부(180)는 스켈레톤 이미지(1010)를 기초로 사용자의 팔 길이, 다리 길이, 허리 둘레 길이, 가슴 둘레 길이, 엉덩이 둘레 길이를 측정할 수 있다.
도 11은 본 발명의 일 실시 예에 따른, RGB 이미지와 뎁스 이미지를 사용하여 타겟 분할하는 것을 도시한 도면이다.
도 11을 참조하면, 타겟 분할은 RGB 이미지와 뎁스 이미지를 이용하여 실행된다.
타겟 분할은 다음과 같이 실행된다.
제어부(130)는 RGB 이미지, 뎁스 이미지를 결합하고, 결합된 RGB 이미지, 뎁스 이미지를 기초로 신체 윤곽 이미지를 생성한다. 이에 대하여 보다 구체적으로 설명한다.
먼저, 제어부(130)는 RGB 이미지에 의하여 가이드된 뎁스 맵을 필터링한다. 뎁스 이미지는 뎁스 맵을 포함한다.
제어부(130)는 뎁스 맵으로부터 트리맵 생성(trimap generation)을 실행한다. 제어부는 뎁스 맵을 매팅(matting)한다.
타겟 분할의 출력에 대하여 설명한다.
제어부(130)는 타겟 서브젝트의 분할된 맵을 생성한다. 다음으로, 제어부(130)는 분할된 맵에 대하여 노이즈를 제거하고, 엣지 부분을 부드럽게 하는 작업을 수행한다.
본 발명에 따르면, 분할 맵은 신체 사이즈 측정에 가이드로서 이용될 수 있다.
타겟 분할 맵에 대하여 설명한다.
도 11에 도시한 바와 같이, 신체 윤곽 이미지는 블랙 영역(1110)과 화이트 영역(1120)으로 나눌 수 있다. 제어부(130)는 블랙 영역(1110)을 전경으로 보아 맨 앞으로 놓고, 화이트 영역(1120)을 배경으로 보아 블랙 영역(1120)의 뒤에 놓는다. 여기서, 이미지에서 블랙 영역(1110)은 사용자가 관심을 가지는 인물을 의미하고, 화이트 영역(1120)은 인물 뒤의 배경을 의미할 수 있다.
따라서, 제어부(130)는 캡쳐한 제 2 이미지를 기초로 사용자의 신체 윤곽 이미지(1100)를 생성한다.
도 12는 본 발명의 일 실시 예에 따른, 신체 사이즈 측정 대상을 설명하는 것을 도시한 도면이다.
도 12를 참조하면, 신체 윤곽 이미지(1200)를 기초로, 키(1210), 가슴 둘레 길이(1220), 언더 가슴 둘레 길이(1230), 허리 둘레 길이(1240), 엉덩이 둘레 길이(1250)를 측정할 수 있다.
구체적으로, 신체 사이즈를 측정할 때, 다음 데이터가 필요하다. 구체적으로, 뎁스 맵, 포즈 키 포인트 좌표, 신체 분할 마스크가 필요하다. 제어부(130)는 뎁스 맵, 포즈 키 포인트 좌표, 신체 분할 마스크를 기초로 신체 윤곽 이미지(1200)를 생성한다.
다음으로, 신체 사이즈 측정 대상은 다음과 같다. 제어부는(130)는 생성된 신체 윤곽 이미지(1200)를 기초로 사용자의 키(1210), 팔 길이, 다리 길이, 가슴 둘레 길이(1220), 허리 둘레 길이(1240), 엉덩이 둘레 길이(1250)중 적어도 하나를 측정한다.
여기서, 측정 부위는 신체 윤곽 이미지(1200)의 윤곽을 기초로 모두 측정 가능하다. 또한 길이의 경우, 두 개로 된 포인트에 해당하는 경우, 예를 들어, 팔 길이, 다리 길이도 측정 가능하다.
다음으로, 신체 비율을 나누고, 가슴과 허리를 결정하는 것에 대하여 설명한다.
제어부(130)는 신체 윤곽 이미지(1200)를 소정 비율로 나누고, 신체 윤곽 이미지(1200)에서 돌출된 부분을 가슴으로 결정하고, 신체 윤곽 이미지(1200)에서 안쪽으로 들어간 부분을 허리로 결정한다.
예를 들어, 키(1210)는 지면(1212)으로부터 머리 끝(1214)의 거리를 의미한다.
신체 윤곽 이미지(1200)의 목과 엉덩이 사이의 범위가 신체 측정에 주로 이용된다. 이 부분은 상체 부분에서 [0, 1]로서 고려될 수 있다. 상체 부분은 가슴, 허리, 엉덩이 부분을 포함한다. 즉, 신체 윤곽 이미지를 소정 비율로 나눌 때, 목이 0 을 의미하고, 엉덩이가 1 을 의미한다.
가슴 부분은 상체에서 [0.15 - 0.25] 부분을 의미한다.
언더 버스트 부분은 상체에서 [0.35 - 0.45] 부분을 의미한다.
허리 부분은 상체에서 [0.65 - 0. 75] 부분을 의미한다.
엉덩이 부분은 상체에서 [0.95 - 1.00] 부분을 의미한다.
위의 수치는 확정값이 아니며, 제어부(130)는 메모리(150)를 참조하여, 신체 윤곽 이미지에 따라 다르게 설정할 수 있다. 메모리(150)는 다양한 신체 윤곽 이미지를 포함하고, 각각의 신체 윤곽 이미지에 대응하는 신체 비율을 저장한다.
도 13은 본 발명의 일 실시 예에 따른, 사용자의 신장을 측정하는 것을 도시한 도면이다.
도 13을 참조하면, 신체 윤곽 이미지(1300)는, 카메라 센터(1310)를 포함한다. 제어부(130)는 카메라 센터(1310)를 이용하여 사용자의 키를 측정할 수 있다.
카메라 센터(1310)는 지면에서 카메라 렌즈 사이의 거리로 카메라 높이를 의미한다.
예를 들어, 카메라 높이가 175 cm 인 경우, 제어부(130)는 센서부(140)가 카메라 높이를 측정하도록 제어한다. 카메라 높이를 기초로, 제어부(130)는 사용자의 키를 측정한다.
카메라 높이가 사용자의 키보다 작은 경우, 제어부(130)는 a) 카메라 높이와 b) 카메라와 사용자 머리 사이의 거리를 더한 값을 사용자의 키로 결정한다.
예를 들어, 카메라 높이가 175 cm 이고, 카메라와 사용자 머리 사이의 거리는 5 cm 인 경우, 제어부(130)는 175 cm 와 5 cm 를 더하여 180 cm 를 사용자의 키로 결정한다.
카메라 높이가 사용자의 키보다 큰 경우, 제어부(130)는 a) 카메라 높이에서 b) 카메라 높이와 사용자 머리 사이의 거리를 뺀 값을 사용자의 키로 결정한다.
예를 들어, 카메라 높이가 175 cm 이고, 카메라와 사용자 머리 사이의 거리는 5 cm 인 경우, 제어부(130)는 175 cm 에서 5 cm 를 차감해서 170 cm 를 사용자의 키로 결정한다.
도 14는 본 발명의 일 실시 예에 따른, 사용자의 허리 둘레 길이를 측정하는 두 가지 방법을 설명한 도면이다. 도 14는 도 14(a), 도 14(b)를 포함한다.
도 14(a)는 사용자의 전면 이미지를 캡쳐한 도면이다. 도 14(b)는 사용자의 후면 이미지를 캡쳐한 도면이다.
첫번째 방법은 전면 이미지와 후면 이미지를 모두 캡쳐한 경우이다. 이러한 경우, 제어부(130)는 둘레 길이를 뎁스 맵을 기초로 가장 정확하게 측정할 수 있다. 또한, 스켈레톤 이미지를 기초로 신체 사이즈의 비율과 깊이 정보를 알 수 있어서, 제어부(130)는 둘레 길이를 보다 정확하게 측정할 수 있다.
두번째 방법은 전면 이미지만 캡쳐한 경우이다. 후면 둘레 길이는 추정 방법을 이용하여 구할 수 있다. 즉, 후면 둘레 길이와 신체의 직선 길이와는 연관되어 있다. 실험 데이터에 기초하여, 후면 둘레 길이는 신체의 직선 길이에 특정 파라미터를 곱하여 구할 수 있다.
이에 대하여 상세한 설명은 도 15, 도 16에서 후술한다.
도 15는 본 발명의 일 실시 예에 따른, 허리 둘레 길이를 측정하는 것을 설명한 도면이다. 도 15는 도 15(a), 도 15(b)를 포함한다.
본 발명의 경우, 일 실시 예로서 허리 둘레 길이를 측정하는 것에 대해서만 설명하나, 가슴 둘레 길이, 엉덩이 둘레 길이의 경우도 같은 방법으로 모두 측정할 수 있다.
도 15(a)는 전체 사용자 신체 윤곽 이미지에서 사용자의 허리 둘레 길이 영역을 도시한 도면이다. 도 15(b)는 사용자의 허리 둘레 길이 영역을 세부적으로 도시한 도면이다.
도 15 (a)를 참조하면, 허리 둘레 길이(1510) = 전면 허리 둘레 길이(10) + 측면 허리 둘레 길이(20, 40) + 후면 허리 둘레 길이(30)가 된다.
도 15(b)에 도시한 바와 같이, 전면 허리 둘레 길이(10), 측면 허리 둘레 길이(20, 22), 후면 허리 둘레 길이(30)를 포함한 이미지를 확대해서 설명한다.
전면 허리 둘레 길이(10)의 경우, 제어부(130)는 전면 허리 둘레를 n 개의 직선으로 분리하고, n 개의 직선 길이를 각각 더해서 전면 허리 둘레 길이(10)를 구한다.
제어부(130)는 뎁스 카메라로부터 획득한 데이터 중에서 노이즈가 소정 범위 이상인 데이터를 측면 허리 둘레 길이(20)의 계산에 이용한다. 제어부(130)는 노이즈가 소정 범위 미만인 데이터를 전면 허리 둘레 길이(10)의 계산에 이용한다.
본 발명의 경우, 노이즈가 소정 범위 미만인 데이터는 명확한 데이터이므로 전면 허리 둘레 길이에 이용될 수 있고, 노이즈가 소정 범위 이상인 경우, 불명확한 데이터이므로 측면 허리 둘레 길이를 측정하는데 이용되어서, 신체 사이즈를 보다 정확하게 측정할 수 있다.
왼쪽 측면 허리 둘레 길이(20)의 경우, 직각 삼각형을 이용하여 가장 긴 변의 길이(22)를 구하고, 구한 변의 길이(22)를 두 배로 곱하여 왼쪽 측면 허리 둘레 길이(20)를 구한다.
오른쪽 허리 측면 둘레 길이(40)의 경우도 왼쪽 측면 허리 둘레 길이(20)와 동일하게 구한다.
본 발명에 따르면, 뎁스 카메라의 경우, 노이즈가 발생하여 신체의 경계선이 정확하지 않는데, 이러한 경우, 직각 삼각형을 이용하여 측면 둘레 길이를 예측할 수 있는 장점이 있다.
제어부(130)는 신체 윤곽 이미지로부터 제 1 길이(32)를 추출하고, 추출된 제 1 길이(32)에 특정 파라미터를 곱하여, 후면 허리 둘레 길이(30)를 결정한다.
예를 들어, 후면 둘레 길이(30)의 경우, 제 1 길이 x k 파라미터를 이용하여 구한다. 여기서, k 파라미터는 실측 데이터를 기초로 하는 실험 데이터를 의미한다.
k 파라미터는 신체 부분에 따라 다르게 변한다. 예를 들어, 허리 부분의 k 파라미터는 가슴 부분의 k 파라미터보다 작다.
제 1 길이(32)는 전면 허리 둘레 길이(10)의 시작점과 끝점을 직선으로 연결했을 때 길이를 의미한다.
제어부(130)는 생성된 신체 윤곽 이미지를 기초로 사용자의 전면 허리 둘레 길이(10), 측면 허리 둘레 길이(20, 40) 및 후면 허리 둘레 길이(30)를 결정하고, 전면 허리 둘레 길이(10), 측면 허리 둘레 길이(20, 40) 및 후면 허리 둘레 길이(30)를 병합하여 사용자의 신체 사이즈 중 허리 둘레 길이를 측정한다.
본원발명에 따르면, 가슴 둘레 길이, 엉덩이 둘레 길이도 위와 동일하게 측정할 수 있다.
도 16은 본 발명의 일 실시 예에 따른, 전면 허리 둘레 길이, 측면 허리 둘레 길이, 후면 허리 둘레 길이를 측정하는 것을 도시한 도면이다. 도 16은 도 16(a), 도 16(b)를 포함한다.
도 16(a)는 측면 허리 둘레 길이를 구하는 방법을 구체적으로 도시한 도면이다. 도 16(a)를 참조하면, 제어부(130)는 신체 윤곽 이미지(1610)를 기초로 측면 허리 둘레 길이를 구한다.
먼저, 측면 허리 둘레 길이(20)를 구하는 것에 대하여 설명한다. 직각 삼각형(1620)을 이용하여 측면 허리 둘레 길이를 구한다. 직각 삼각형(1620)은 제 1 변(1621), 대변(1622), 제 1 각도(1623)를 포함한다.
직각 삼각형(1620)의 대변(1622)의 실제 길이를 알아내는 것이 주 포인트이다. 먼저, 제어부(130)는 뎁스 카메라로부터 획득한 데이터 중에서 노이즈가 소정 범위 이상인 데이터를 측면 허리 둘레 길이(20)의 계산에 이용한다. 즉, 노이즈를 기초로 측면 허리 둘레 길이를 결정한다.
예를 들어, 노이즈가 소정 범위 이상인 경우, 제어부(130)는 제 1 변(1621)의 길이를 구한다. 제 1 변(1621)의 길이는 10 픽셀이 될 수 있다.
제어부(130)는 실험 데이터를 기초로 제 1 각도(1623)를 추정할 수 있다. 예를 들어, 제 1 각도는 15 도가 될 수 있다.
제어부(130)는 제 1 변(1621)과 제 1 각도(1623)을 기초로 대변(1622)의 실제 길이를 계산할 수 있다. 대변(1622)의 실제 길이는 대변 길이 (픽셀 수)와 미터 당 픽셀 길이 (PPM, Pixel per meter) 곱하여 구한다.
도 16(b)는 사용자의 허리를 절단하여 허리 둘레 길이 영역을 세부적으로 도시한 도면이다. 도 16(b)를 참조하면, 제어부(130)는 신체 윤곽 이미지(1610)를 기초로 측면 허리 둘레 길이(20, 40)를 구한다. 허리 둘레 길이(1630) = 전면 허리 둘레 길이(10) + 측면 허리 둘레 길이(20, 40) + 후면 허리 둘레 길이(30)가 된다.
후면 허리 둘레 길이(30)를 구하는 방법에 대하여 보다 설명한다.
제어부(130)는 신체 윤곽 이미지로부터 제 1 길이(32)를 추출하고, 추출된 제 1 길이(32)에 특정 파라미터를 곱하여, 후면 허리 둘레 길이(30)를 결정한다.
예를 들어, 후면 둘레 길이(30)의 경우, 제 1 길이 x k 파라미터를 이용하여 구한다. 여기서, k 파라미터는 실측 데이터를 기초로 하는 실험 데이터를 의미한다. 제 1 길이(32)는 전면 허리 둘레 길이(10)의 시작점과 끝점을 직선으로 연결했을 때 길이를 의미한다.
후면 허리 둘레 길이(30)는 타원 둘레 길이의 절반으로 생각할 수 있다. 타원의 둘레의 길이는 장축의 길이에 비례한다. 또한, 타원의 둘레의 길이는 단축의 길이에 비례한다. 후면 허리 둘레 길이(30)의 절반은 제 1 길이(32)와 k 파라미터의 곱이 될 수 있다. 여기서, k 파라미터는 신체 부분에 따라 다르게 결정된다. 예를 들어, 허리 부분의 k 파라미터는 가슴 부분의 k 파라미터보다 작다. 또한, k 파라미터는 실측 데이터를 기반으로 얻어낸 실험적 데이터이다.
도 17은 본 발명의 일 실시 예에 따른, 사용자의 실제 키와 측정 키에 대한 데이터를 도시한 도면이다.
도 17을 참조하면, 사용자가 CHC 인 경우, 실제 키는 1.78 m 가 된다. 실제 키는 줄자를 이용하여 측정한 값을 의미한다.
제 1 실험치는 1.78202 m가 된다.
제 2 실험치는 1.77908 m가 된다.
제 3 실험치는 1.76101 m가 된다.
제 4 실험치는 1.79096 m가 된다.
제 5 실험치는 1.79234 m가 된다.
이러한 방법으로 제 10 실험치까지 측정할 수 있고, 제 1 실험치로부터 제 10 실험치까지의 오차의 평균을 계산하면, 0.015 m 가 된다.
사용자가 UEN, ZF, WJU, PSO 도 이와 동일한 방법으로 측정할 수 있다.
도 18은 본 발명의 일 실시 예에 따른, 사용자의 실제 가슴 둘레 길이와 측정 가슴 둘레 길이에 대한 데이터를 도시한 도면이다.
도 18을 참조하면, 사용자가 CHC 인 경우, 실제 가슴 둘레 길이는 0.98 m 가 된다. 실제 가슴 둘레 길이는 줄자를 이용하여 측정한 값을 의미한다.
제 1 실험치는 1.04009 m가 된다.
제 2 실험치는 1.02241 m가 된다.
제 3 실험치는 1.00679 m가 된다.
제 4 실험치는 1.01789 m가 된다.
제 5 실험치는 1.01635 m가 된다.
이러한 방법으로 제 10 실험치까지 측정할 수 있고, 제 1 실험치로부터 제 10 실험치까지의 오차의 평균을 계산하면, 0.032 m 가 된다.
사용자가 UEN, ZF, WJU, PSO 도 이와 동일한 방법으로 측정할 수 있다.
도 19은 본 발명의 일 실시 예에 따른, 사용자의 실제 언더 버스트 둘레 길이와 측정 언더 버스트 둘레 길이에 대한 데이터를 도시한 도면이다.
도 19를 참조하면, 사용자가 CHC 인 경우, 실제 언더 버스트 둘레 길이는 0.88 m 가 된다. 실제 언더 버스트 둘레 길이는 줄자를 이용하여 측정한 값을 의미한다. ,
제 1 실험치는 0.959572 m가 된다.
제 2 실험치는 0.960445 m가 된다.
제 3 실험치는 0.885358 m가 된다.
제 4 실험치는 0.869253 m가 된다.
제 5 실험치는 0.903299 m가 된다.
이러한 방법으로 제 10 실험치까지 측정할 수 있고, 제 1 실험치로부터 제 10 실험치까지의 오차의 평균을 계산하면, 0.040 m 가 된다.
사용자가 UEN, ZF, WJU, PSO 도 이와 동일한 방법으로 측정할 수 있다.
도 20은 본 발명의 일 실시 예에 따른, 사용자의 실제 허리 둘레 길이와 측정 허리 둘레 길이에 대한 데이터를 도시한 도면이다.
도 20을 참조하면, 사용자가 CHC 인 경우, 실제 허리 둘레 길이는 0.92 m 가 된다. 실제 허리 둘레 길이는 줄자를 이용하여 측정한 값을 의미한다. ,
제 1 실험치는 0.985915 m가 된다.
제 2 실험치는 0.939380 m가 된다.
제 3 실험치는 0.929100 m가 된다.
제 4 실험치는 0.910563 m가 된다.
제 5 실험치는 0.914214 m가 된다.
이러한 방법으로 제 10 실험치까지 측정할 수 있고, 제 1 실험치로부터 제 10 실험치까지의 오차의 평균을 계산하면, 0.025 m 가 된다.
사용자가 UEN, ZF, WJU, PSO 도 이와 동일한 방법으로 측정할 수 있다.
도 21은 본 발명의 일 실시 예에 따른, 사용자의 실제 엉덩이 둘레 길이와 측정 엉덩이 둘레 길이에 대한 데이터를 도시한 도면이다.
도 21을 참조하면, 사용자가 CHC 인 경우, 실제 엉덩이 둘레 길이는 0.99 m 가 된다. 실제 엉덩이 둘레 길이는 줄자를 이용하여 측정한 값을 의미한다.
제 1 실험치는 1.09757 m가 된다.
제 2 실험치는 1.06528 m가 된다.
제 3 실험치는 1.06060 m가 된다.
제 4 실험치는 1.04748 m가 된다.
제 5 실험치는 1.04226 m가 된다.
이러한 방법으로 제 10 실험치까지 측정할 수 있고, 제 1 실험치로부터 제 10 실험치까지의 오차의 평균을 계산하면, 0.039 m 가 된다.
사용자가 UEN, ZF, WJU, PSO 도 이와 동일한 방법으로 측정할 수 있다.
도 22는 본 발명의 일 실시 예에 따른, 사용자의 신체 사이즈 측정 데이터의 에러와 정확도에 대한 데이터를 도시한 도면이다.
도 22를 참조하면, 에러율에 대하여 설명한다.
키의 경우, 0.6 % 가 된다.
가슴 둘레 길이의 경우, 6.1 % 가 된다.
언더 버스트 둘레 길이의 경우, 4.9 % 가 된다.
허리 둘레 길이의 경우, 2.3 % 가 된다.
엉덩이 둘레 길이의 경우, 2.0 % 가 된다.
정확도에 대하여 설명한다. 정확도는 100 % 에서 에러율을 뺀 값을 의미한다.
키의 경우, 99.4 % 가 된다.
가슴 둘레 길이의 경우, 93.9 % 가 된다.
언더 버스트 둘레 길이의 경우, 95.1 % 가 된다.
허리 둘레 길이의 경우, 97.7 % 가 된다.
엉덩이 둘레 길이의 경우, 98.0 % 가 된다.
도 23은 본 발명의 일 실시 예에 따른, 사용자의 신체 사이즈 측정 데이터의 에러와 정확도에 대한 데이터를 도시한 도면이다.
도 23을 참조하면, 사용자가 UEK 인 경우, 실제 키는 1.53 m 가 된다. 실제 키는 줄자를 이용하여 측정한 값을 의미한다.
제 1 실험치는 1.52192 m가 된다.
제 2 실험치는 1.53040 m가 된다.
제 3 실험치는 1.54128 m가 된다.
제 4 실험치는 1.53899 m가 된다.
제 5 실험치는 1.54272 m가 된다.
제 1 실험치로부터 제 5 실험치까지의 오차의 평균을 계산하면, 0.00933063 m 가 된다. 어깨 길이, 팔 길이도 위와 동일하게 측정될 수 있다.
사용자가 KBR, ZU, CHC 인 경우에도 이와 동일한 방법으로 측정할 수 있다.
다음으로, 에러율에 대하여 설명한다.
키의 경우, 0.2 % 가 된다.
어깨 길이의 경우, 1.6 % 가 된다.
팔 길이의 경우, 2.5 % 가 된다.
정확도에 대하여 설명한다. 정확도는 100 % 에서 에러율을 뺀 값을 의미한다.
키의 경우, 99.8 % 가 된다.
어깨 길이의 경우, 98.4 % 가 된다.
팔 길이의 경우, 97.5 % 가 된다.
도 24는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 카메라의 구조를 도시한 도면이다.
도 24를 참조하면, 카메라(110)는 RGB 카메라(111), 제 1 IR 카메라(112), IR 라이트(113), 제 2 IR 카메라(114)를 포함한다.
여기서, 카메라(110)는 신체 측정 디바이스(100)에 세로로 설치된다. 카메라(110)가 세로로 설치되어야, 사람 이미지를 캡쳐할 때, 뎁스 이미지를 더 입체감 있게 생성할 수 있다.
카메라(110)를 사용하는 경우, 지도 형태의 3차원 깊이 정보를 출력할 수 있고, 스테레오 비전 기술에 비하여 조명 변화에 따른 노이즈가 적게 발생하고, 영상 처리에 의한 결과가 아니므로, 텍스쳐리스(Textureless) 또는 오클루전(Occlusion)이 발생하지 않는 장점이 있다.
도 25는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 사용 예를 도시한 도면이다. 도 25는 도 25(a), 도 25(b)를 포함한다.
도 25(a)는 신체 측정 디바이스(100)가 스타일러스에 장착되고, 사용자(200)가 신체 측정 디바이스(100)앞에 서 있는 것을 도시한 도면을 의미한다. 도 25(a)에 도시한 바와 같이, 신체 측정 디바이스(100)의 카메라(110)는 사용자의 전신 이미지를 촬영하여, 신체 사이즈를 측정한다.
도 25(b)는 옷 가게에서, 신체 측정 디바이스(100)가 테일러 봇(Tailor bot)에 장착되고, 사용자(200)가 신체 측정 디바이스(100) 앞에 서있는 것을 도시한 도면이다. 도 25(b)를 참조하면, 신체 측정 디바이스(100)의 카메라(110)는 사용자의 상반신 또는 전체 이미지를 촬영하여, 사용자의 신체 사이즈를 측정한다.
테일러 봇은 사용자(200)에게 옷을 추천하고, 가상 입어 보기 등을 실행하는 안내 로봇으로, 신체 사이즈를 재고, 화면에 사용자에 대응하는 아바타를 이용하여 가상 피팅을 할 수 있다.
도 26는 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 실행 화면을 도시한 도면이다. 도 26은 도 26(a), 도 26(b)를 포함한다.
도 26(a)는 신체 측정 디바이스의 실행 화면을 도시한 도면이다. 도 26(a)를 참조하면, 신체 측정 디바이스(100)를 실행하면, 제어부(130)는 현재 시간 2019. 01. 14, PM 03시 45 분과, 중요한 미팅 스케줄을 디스플레이한다.
도 26(b)는 사용자가 신체 측정 디바이스(100) 앞에 있을 때, 신체 측정 프로세스 실행 과정을 디스플레이한 것을 도시한 도면이다.
사용자가 신체 측정 디바이스(100) 앞에 서면, 제어부(130)는 사용자가 똑바로 서고, 팔을 벌리라는 내용을 포함하는 텍스트(2620)를 디스플레이한다. 또한, 제어부(130)는 신체 측정 프로세스 실행 단계를 나타내는 이미지(2430), 예를 들면 64 % 를 디스플레이한다. 여기서, 0 % 는 신체 측정 프로세스가 시작하는 것을 의미하고, 100 % 는 신체 측정 프로세스가 완료되는 것을 의미한다.
도 27은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 실행 화면을 도시한 도면이다.
도 27을 참조하면, 제어부(130)는 사용자의 신체 사이즈와 동일한 신체 사이즈를 갖는 아바타(10)를 화면에 디스플레이한다.
예를 들어, 사용자의 신체 사이즈는 키 172 cm, 가슴 둘레 길이 101 cm, 허리 둘레 길이 94 cm, 엉덩이 둘레 길이는 102 cm 가 된다. 여기서, 옷은 바지가 될 수 있다.
제어부(130)는 사용자의 신체 사이즈를 기초로 가장 적합한 옷 사이즈를 결정하고, 사용자에게 M 사이즈의 옷을 추천하는 텍스트(2710)를 디스플레이한다.
사이즈는 L, M, S 사이즈가 될 수 있고, 사용자가 특정 사이즈 아이콘(20)을 선택하면, 제어부(130)는 사용자가 선택한 사이즈 아이콘(20)에 대응하는 옷을 입은 아바타(10)를 디스플레이한다. 여기서, 옷은 바지가 될 수 있다.
피팅 아이콘(40)을 선택하는 입력(50)을 사용자로부터 수신하면, 제어부(130)는 사용자가 바지를 착용한 이미지를 디스플레이한다. 이에 대한 설명은 도 28에서 후술한다.
도 28은 본 발명의 일 실시 예에 따른, 신체 측정 디바이스의 실행 화면을 도시한 도면이다.
도 28은 사용자가 특정 사이즈의 바지를 착용했을 때, 착용 상태를 도시한 도면이다. 제어부(130)는 착용 상태를 나타내는 프로그래시브 바(2810)를 디스플레이한다. 예를 들어, 특정 사이즈는 M 사이즈가 될 수 있다.
프로그래시브 바(2810)는 제 1 색상에서 제 2 색상으로 변화할 수 있으며, 제 1 색상은 착용한 옷이 사용자에게 타이트 함을 의미하고, 제 2 색상은 착용한 옷이 사용자에게 헐렁함을 의미한다. 제 1 색상에서 제 2 색상으로의 색상 변화는 단계적 차이 효과(Gradation effect)로 변화할 수 있다.
제어부(130)는 사용자 아바타(10)가 바지를 착용했을 때, 신체 부위 별로 착용 상태를 나타내는 그래픽 이미지(20)를 아바타 이미지(10) 위에 디스플레이한다. 그래픽 이미지(20)는 신체 부위 별로 착용 상태에 따라서 다르게 나타날 수 있다.
예를 들어, 사용자 아바타(10)가 바지를 착용한 경우, 바지의 윗 부분에는 헐렁함을 의미하는 색상을 포함하는 그래픽 이미지(20)를 디스플레이하고, 바지의 아랫 부분에는 타이트 함을 의미하는 색상을 포함하는 그래픽 이미지(30)를 디스플레이할 수 있다.
본 발명에 따르면, 사용자 아바타(10)가 특정 사이즈의 옷을 착용한 경우, 신체 부위 별로 착용 상태를 나타내는 그래픽 이미지를 디스플레이해서, 사용자는 옷을 직접 입지 않아도, 옷이 타이트한지 헐렁한지를 직관적으로 알 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 일 실시 예에 따르면, 사용자가 특정 포즈를 취하면, 사용자의 이미지를 캡쳐하고, 캡쳐된 이미지로부터 RGB 이미지와 뎁스 이미지를 결합하여 사용자의 신체 윤곽 이미지를 생성하고, 생성된 신체 윤곽 이미지를 기초로 사용자의 신체 사이즈를 측정할 수 있어서, 간단한 동작으로 사용자 이미지를 캡쳐하고, 정확한 신체 사이즈를 측정할 수 있으므로, 사용자 편의성을 향상 시킬 수 있다.
본 발명의 다른 일 실시 예에 따르면, 캡쳐된 이미지로부터 스켈레톤 이미지를 추출하고, 스켈레톤 이미지, RGB 이미지, 뎁스 이미지를 결합하여 사용자의 신체 윤곽 이미지를 생성할 수 있어서, 보다 정확하게 사용자의 신체 사이즈를 측정할 수 있으므로, 사용자 편의성을 향상 시킬 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 신체 윤곽 이미지로부터 제 1 길이를 추출하고, 제 1 길이에 특정 파라미터를 곱하여 후면 허리 둘레 길이를 결정할 수 있어서 전면 이미지에서 보이지 않는 허리 둘레 길이를 정확하게 측정할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명에 따른 신체 측정 디바이스 및 그 제어 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 신체 측정 디바이스의 동작방법은 신체 측정 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
다양한 실시 예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 RGB 이미지와 뎁스 이미지를 결합하여 신체 사용자의 윤곽 이미지를 생성하고, 생성된 신체 윤곽 이미지를 기초로 사용자의 신체 사이즈를 측정하는 신체 측정 디바이스의 관련 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (20)

  1. 신체 측정 디바이스에 있어서,
    RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를 캡쳐하는 카메라;
    그래픽 이미지를 디스플레이하는 디스플레이;
    상기 제 1 이미지를 기초로 사용자의 포즈를 추정하고,
    상기 사용자의 포즈가 제 1 포즈인 경우, 상기 카메라가 전방의 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 자동으로 캡쳐하도록 제어하고,
    캡쳐한 상기 제 2 이미지를 기초로 상기 사용자의 신체 윤곽 이미지를 생성하고,
    생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 신체 사이즈를 측정하고,
    상기 디스플레이가 상기 사용자의 신체 사이즈를 디스플레이하도록 제어하는 제어부를 포함하는
    신체 측정 디바이스.
  2. 제 1 항에 있어서, 상기 제어부는
    상기 제 1 이미지를 기초로 스캘레톤 이미지를 추출하고,
    추출된 상기 스켈레톤 이미지를 기초로 사용자의 포즈를 추정하는
    신체 측정 디바이스.
  3. 제 1 항에 있어서, 상기 제어부는
    상기 제 2 이미지를 기초로 스캘레톤 이미지를 추출하고,
    추출된 상기 스캘레톤 이미지, RGB 이미지 및 뎁스 이미지를 결합하여 상기 사용자의 신체 윤곽 이미지를 생성하되,
    상기 제 2 이미지는 상기 RGB 이미지, 상기 뎁스 이미지를 포함하는,
    신체 측정 디바이스.
  4. 제 1 항에 있어서, 상기 제어부는
    상기 RGB 이미지에 포함된 귀 이미지, 코 이미지, 눈 이미지, 어깨, 발꿈치, 엉덩이 이미지를 기초로 사용자의 포즈를 추정하는,
    신체 측정 디바이스.
  5. 제 1 항에 있어서,
    사용자와의 거리를 센싱하는 센서부를 더 포함하고,
    상기 제어부는,
    사용자가 복수인 경우, 복수의 사용자 중 상기 신체 측정 디바이스와 가장 근접한 사용자를 상기 센서부를 통해 센싱하고,
    상기 사용자의 포즈가 제 1 포즈이면, 상기 카메라가 전방의 상기 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하는,
    신체 측정 디바이스.
  6. 제 1 항에 있어서, 상기 제어부는
    생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 키, 팔 길이, 다리 길이, 가슴 둘레, 허리 둘레, 엉덩이 둘레 중 적어도 하나를 측정하는,
    신체 측정 디바이스.
  7. 제 1 항에 있어서, 상기 제어부는
    상기 신체 윤곽 이미지를 소정 비율로 나누고,
    상기 신체 윤곽 이미지에서 돌출된 부분을 가슴으로 결정하고,
    상기 신체 윤곽 이미지에서 들어간 부분을 허리로 결정하는,
    신체 측정 디바이스.
  8. 제 1 항에 있어서, 상기 제어부는,
    생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 전면 허리 둘레 길이, 측면 허리 둘레 길이 및 후면 허리 둘레 길이를 결정하고,
    상기 전면 허리 둘레 길이, 상기 측면 허리 둘레 길이 및 상기 후면 허리 둘레 길이를 병합하여 상기 사용자의 신체 사이즈를 측정하는,
    신체 측정 디바이스.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 신체 윤곽 이미지로부터 제 1 길이를 추출하고,
    추출된 상기 제 1 길이에 특정 파라미터를 곱하여, 후면 허리 둘레 길이를 결정하는,
    신체 측정 디바이스.
  10. 제 1 항에 있어서, 상기 카메라는
    RGB 카메라, 제 1 IR 카메라, 제 2 IR 카메라를 포함하고,
    상기 카메라는 상기 신체 측정 디바이스에 세로로 설치된,
    신체 측정 디바이스.
  11. 신체 측정 디바이스의 제어 방법에 있어서,
    RGB 이미지와 뎁스 이미지를 포함하는 제 1 이미지를, 카메라를 통하여, 캡쳐하는 단계;
    상기 제 1 이미지를 기초로 사용자의 포즈를 추정하는 단계;
    상기 사용자의 포즈가 제 1 포즈인 경우, 상기 카메라가 전방의 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하는 단계;
    캡쳐한 상기 제 2 이미지를 기초로 상기 사용자의 신체 윤곽 이미지를 생성하는 단계;
    생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 신체 사이즈를 측정하는 단계; 및
    상기 디스플레이가 상기 사용자의 신체 사이즈를 디스플레이하도록 제어하는 단계
    를 포함하는 신체 측정 디바이스의 제어 방법.
  12. 제 11 항에 있어서,
    상기 제 1 이미지를 기초로 스캘레톤 이미지를 추출하는 단계; 및
    추출된 상기 스켈레톤 이미지를 기초로 사용자의 포즈를 추정하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  13. 제 11 항에 있어서,
    상기 제 2 이미지를 기초로 스캘레톤 이미지를 추출하는 단계;
    추출된 상기 스캘레톤 이미지, 상기 RGB 이미지 및 상기 뎁스 이미지를 결합하여 상기 사용자의 신체 윤곽 이미지를 생성하는 단계를 더 포함하되,
    상기 제 2 이미지는 상기 RGB 이미지, 상기 뎁스 이미지를 포함하는,
    신체 측정 디바이스의 제어 방법.
  14. 제 11 항에 있어서,
    상기 RGB 이미지에 포함된 귀 이미지, 코 이미지, 눈 이미지, 어깨, 발꿈치, 엉덩이 이미지를 기초로 사용자의 포즈를 추정하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  15. 제 11 항에 있어서,
    사용자가 복수인 경우, 복수의 사용자 중 상기 신체 측정 디바이스와 가장 근접한 사용자를 상기 센서부를 통해 센싱하는 단계; 및
    상기 사용자의 포즈가 제 1 포즈이면, 상기 카메라가 전방의 상기 상기 사용자의 신체 이미지를 포함하는 제 2 이미지를 캡쳐하도록 제어하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  16. 제 11 항에 있어서,
    생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 키, 팔 길이, 다리 길이, 가슴 둘레, 허리 둘레, 엉덩이 둘레 중 적어도 하나를 측정하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  17. 제 11 항에 있어서,
    상기 신체 윤곽 이미지를 소정 비율로 나누는 단계;
    상기 신체 윤곽 이미지에서 돌출된 부분을 가슴으로 결정하는 단계; 및
    상기 신체 윤곽 이미지에서 들어간 부분을 허리로 결정하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  18. 제 11 항에 있어서,
    생성된 상기 신체 윤곽 이미지를 기초로 상기 사용자의 전면 허리 둘레 길이, 측면 허리 둘레 길이 및 후면 허리 둘레 길이를 결정하는 단계; 및
    상기 전면 허리 둘레 길이, 상기 측면 허리 둘레 길이 및 상기 후면 허리 둘레 길이를 병합하여 상기 사용자의 신체 사이즈를 측정하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  19. 제 18 항에 있어서,
    상기 신체 윤곽 이미지로부터 제 1 길이를 추출하는 단계; 및
    추출된 상기 제 1 길이에 특정 파라미터를 곱하여, 후면 허리 둘레 길이를 결정하는 단계를 더 포함하는,
    신체 측정 디바이스의 제어 방법.
  20. 제 11 항에 있어서, 상기 카메라는
    RGB 카메라, 제 1 IR 카메라, 제 2 IR 카메라를 포함하고,
    상기 카메라는 상기 신체 측정 디바이스에 세로로 설치된,
    신체 측정 디바이스의 제어 방법.
PCT/KR2019/016470 2019-01-03 2019-11-27 신체 측정 디바이스 및 그 제어 방법 WO2020141729A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020207000191A KR20210099507A (ko) 2019-01-03 2019-11-27 신체 측정 디바이스 및 그 제어 방법
US16/729,027 US10909709B2 (en) 2019-01-03 2019-12-27 Body measurement device and method for controlling the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962787762P 2019-01-03 2019-01-03
US62/787,762 2019-01-03
KRPCT/KR2019/004949 2019-04-24
PCT/KR2019/004949 WO2020141657A1 (ko) 2019-01-03 2019-04-24 신체 측정 디바이스 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004949 Continuation WO2020141657A1 (ko) 2019-01-03 2019-04-24 신체 측정 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2020141729A1 true WO2020141729A1 (ko) 2020-07-09

Family

ID=71406842

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2019/004949 WO2020141657A1 (ko) 2019-01-03 2019-04-24 신체 측정 디바이스 및 그 제어 방법
PCT/KR2019/016470 WO2020141729A1 (ko) 2019-01-03 2019-11-27 신체 측정 디바이스 및 그 제어 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004949 WO2020141657A1 (ko) 2019-01-03 2019-04-24 신체 측정 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11375922B2 (ko)
KR (2) KR20210099508A (ko)
WO (2) WO2020141657A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020854B2 (en) 2004-03-08 2015-04-28 Proxense, Llc Linked account system using personal digital key (PDK-LAS)
US8433919B2 (en) * 2005-11-30 2013-04-30 Proxense, Llc Two-level authentication for secure transactions
US8036152B2 (en) 2006-01-06 2011-10-11 Proxense, Llc Integrated power management of a client device via system time slot assignment
US11206664B2 (en) 2006-01-06 2021-12-21 Proxense, Llc Wireless network synchronization of cells and client devices on a network
WO2009062194A1 (en) 2007-11-09 2009-05-14 Proxense, Llc Proximity-sensor supporting multiple application services
WO2009102979A2 (en) 2008-02-14 2009-08-20 Proxense, Llc Proximity-based healthcare management system with automatic access to private information
US9322974B1 (en) 2010-07-15 2016-04-26 Proxense, Llc. Proximity-based system for object tracking
US9265450B1 (en) 2011-02-21 2016-02-23 Proxense, Llc Proximity-based system for object tracking and automatic application initialization
US9405898B2 (en) 2013-05-10 2016-08-02 Proxense, Llc Secure element as a digital pocket
US11222434B2 (en) * 2019-11-21 2022-01-11 Shopify Inc. Systems and methods for measuring body size
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
KR102532848B1 (ko) 2022-06-08 2023-05-17 아이디어링크 주식회사 바디 쉐입 기반의 아바타 생성 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073000A (ko) * 2009-12-23 2011-06-29 주식회사 나노엔텍 이미지를 이용한 신체 사이즈 측정 방법 및 장치
KR20150079585A (ko) * 2012-09-05 2015-07-08 바디 패스 리미티드 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법
JP2016511395A (ja) * 2013-01-24 2016-04-14 タイラートン インターナショナル ホールディングス インコーポレイテッドＴｙｌｅｒｔｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｈｏｌｄｉｎｇｓ Ｉｎｃ． 身体構造イメージング
US20170172382A1 (en) * 2014-04-02 2017-06-22 M.S.T. Medical Surgery Technologies Ltd An articulated structured light based-laparoscope
KR101894686B1 (ko) * 2014-12-05 2018-09-04 마이피지크 리미티드 신체 이미징

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100874874B1 (ko) * 2006-06-20 2008-12-19 주식회사 아이옴니 3차원 스캔 데이터로부터 인체치수와 의복호수 측정 시스템및 방법
US8976230B1 (en) * 2010-06-28 2015-03-10 Vlad Vendrow User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
KR20130081037A (ko) 2012-01-06 2013-07-16 한국전자통신연구원 인체 치수 측정 시스템 및 그 방법
US20130219434A1 (en) * 2012-02-20 2013-08-22 Sony Corporation 3d body scan input to tv for virtual fitting of apparel presented on retail store tv channel
TW201410206A (zh) 2012-09-11 2014-03-16 yang-xiu Su 人體尺寸量測裝置
JP6548967B2 (ja) * 2015-06-16 2019-07-24 株式会社東芝 画像処理装置、画像処理方法及びプログラム
US10182758B2 (en) * 2015-10-05 2019-01-22 Htc Corporation Measuring device of human body and method thereof
KR20180051727A (ko) 2016-11-08 2018-05-17 주식회사 사람과기술 키넥트기반 인체 관절정보 측정 방법 및 장치
KR20180103280A (ko) 2017-03-09 2018-09-19 석원영 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템
US10909709B2 (en) * 2019-01-03 2021-02-02 Lg Electronics Inc. Body measurement device and method for controlling the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073000A (ko) * 2009-12-23 2011-06-29 주식회사 나노엔텍 이미지를 이용한 신체 사이즈 측정 방법 및 장치
KR20150079585A (ko) * 2012-09-05 2015-07-08 바디 패스 리미티드 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법
JP2016511395A (ja) * 2013-01-24 2016-04-14 タイラートン インターナショナル ホールディングス インコーポレイテッドＴｙｌｅｒｔｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｈｏｌｄｉｎｇｓ Ｉｎｃ． 身体構造イメージング
US20170172382A1 (en) * 2014-04-02 2017-06-22 M.S.T. Medical Surgery Technologies Ltd An articulated structured light based-laparoscope
KR101894686B1 (ko) * 2014-12-05 2018-09-04 마이피지크 리미티드 신체 이미징

Also Published As

Publication number Publication date
KR20210099508A (ko) 2021-08-12
US11375922B2 (en) 2022-07-05
KR20210099507A (ko) 2021-08-12
US20210219869A1 (en) 2021-07-22
WO2020141657A1 (ko) 2020-07-09

Similar Documents

Publication Publication Date Title
WO2020141729A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2021040156A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2018155999A2 (en) Moving robot and control method thereof
WO2021029529A1 (ko) 가상 피팅 제공 장치 및 그 제공 방법
WO2017039348A1 (en) Image capturing apparatus and operating method thereof
WO2015133699A1 (ko) 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2017111268A1 (ko) 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
WO2013009020A4 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
WO2012144667A1 (en) Method and electronic device for gesture recognition
WO2015102391A1 (ko) 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치
WO2016190458A1 (ko) Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
WO2018139879A1 (en) Method and apparatus for determining stereoscopic multimedia information
WO2015126044A1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
WO2014058086A1 (en) Image processing device and image processing method
WO2018212608A1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020209624A1 (en) Head mounted display device and operating method thereof
WO2019125036A1 (en) Image processing method and display apparatus therefor
WO2016017906A1 (ko) 디스플레이 장치, 디스플레이 보정 장치, 디스플레이 보정 시스템 및 디스플레이 보정 방법
WO2022075738A1 (ko) 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021158058A1 (en) Method for providing filter and electronic device supporting the same
WO2020159077A1 (ko) 동공 중심간 거리를 측정하는 장치 및 방법
WO2015080498A1 (en) Method for detecting human body through depth information analysis and apparatus for analyzing depth information for user body detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906837

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19906837

Country of ref document: EP

Kind code of ref document: A1