WO2020067725A1 - 사진 측량을 이용한 모델 재구성 장치 및 방법 - Google Patents

사진 측량을 이용한 모델 재구성 장치 및 방법 Download PDF

Info

Publication number
WO2020067725A1
WO2020067725A1 PCT/KR2019/012475 KR2019012475W WO2020067725A1 WO 2020067725 A1 WO2020067725 A1 WO 2020067725A1 KR 2019012475 W KR2019012475 W KR 2019012475W WO 2020067725 A1 WO2020067725 A1 WO 2020067725A1
Authority
WO
WIPO (PCT)
Prior art keywords
nail
shape
model
image
photogrammetry
Prior art date
Application number
PCT/KR2019/012475
Other languages
English (en)
French (fr)
Inventor
송주연
로피스데이비드 미로
Original Assignee
송주연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송주연 filed Critical 송주연
Priority to CN201980063981.5A priority Critical patent/CN113678170A/zh
Priority to CA3112538A priority patent/CA3112538A1/en
Priority to EP19867687.6A priority patent/EP3859686A4/en
Priority to JP2021543106A priority patent/JP2022502230A/ja
Priority to KR1020217008322A priority patent/KR20210042160A/ko
Publication of WO2020067725A1 publication Critical patent/WO2020067725A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D31/00—Artificial nails
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Definitions

  • the present invention relates to image recognition technology and three-dimensional modeling technology, and more particularly, to a model reconstruction technology using photogrammetry.
  • a set of artificial nails sold to the consumer may include 10-15 size types, 2 pieces per size, 20-30 pieces of artificial nails.
  • a set of artificial nails sold to the consumer may include 10-15 size types, 2 pieces per size, 20-30 pieces of artificial nails.
  • the size, shape, and angle of nails vary from person to person, it is nearly impossible for 10-15 artificial nail sizes to fit each consumer's nails. Because of these disadvantages, artificial nails are indispensable to be distinguished from natural nails, and each user has different nail sizes, so there is a problem in that it is inconvenient to wear and easily falls off the nails.
  • An object of the present invention is to provide a user-customized artificial nail model suitable for a user conveniently and conveniently.
  • the present invention aims to generate a user-customized artificial nail model from a reference artificial nail model of an existing standard specification without using a complicated process or a special tool.
  • Face recognition apparatus for achieving the above object is an image receiving unit for receiving the image data of the target nail and a standard object together to create a model of artificial nails of the object; An image for recognizing the shape of the nail body and the shape of the nail tip for the target nail from the image data, and determining parameters for the shape of the nail body and the shape of the nail tip based on the standard specification object It includes an analysis unit and a model generation unit for generating an artificial nail model based on the parameters.
  • the standard specification object may correspond to an object manufactured according to the international standard.
  • the image data may include a first image for recognizing the shape of the nail body and a second image for recognizing the shape of the tip of the nail.
  • the first image and the second image may be photographed with the standard specification object and the bottom of the finger of the object in close contact.
  • the first image may be photographed together with the body of the nail of the object and the standard object at the point of view of the back of the object.
  • the second image may be photographed together with the end of the fingernail and the standard object at a point of view of the fingertip of the object.
  • the second image is taken with the bottom of the thumb of the object in close contact with one surface of the standard object, and the bottom of the other four fingers of the object with the other surface of the standard object in close contact. Can be.
  • the image analysis unit may recognize the shape of the nail body at the point of view of the back of the hand from the first image, and determine a parameter for the shape of the nail body based on the standard specification object.
  • the image analysis unit sets at least four points on the nail boundary of the nail body at the point of view of the back of the object from the first image, and the at least four points on the shape of the nail body.
  • the parameter can be determined by the coordinate values for the.
  • the image analysis unit may determine a type of nail shape of the at least one selectable artificial nail model based on the shape of the nail body recognized at the time of looking at the back of the object from the first image.
  • the image analysis unit recognizes the shape of the tip of the nail at the point of view of the fingertip of the object from the second image, and determines a parameter for the shape of the tip of the nail based on the standard specification object. You can.
  • the image analysis unit sets two points, one for each of the points corresponding to both sides of the nail at the point of view of the fingertip of the object from the second image, and at least one point of the nail tip By setting an additional point in the two points and the additional point can determine the parameter with coordinate values for the shape of the tip of the nail.
  • the image analysis unit may generate a straight line connecting the two points, and set the point of the nail end that is perpendicular to the straight line and meets a water line in a direction penetrating the target nail body as the additional point. have.
  • the model generating unit adjusts the shape of the nail body for the reference artificial nail model based on coordinate values for the shape of the nail body, and the artificial nail model is obtained from the reference artificial nail model in which the shape of the nail body is adjusted. Can be created.
  • the model generation unit adjusts the shape of the nail body and the shape of the nail tip for the reference artificial nail model based on the coordinate values of the shape of the nail body and the shape of the nail tip, and the shape of the nail body
  • the artificial nail model may be generated from the reference artificial nail model in which the shape of the nail tip is adjusted.
  • a model reconstruction method using photogrammetry for achieving the above object is a model reconstruction method using photogrammetry of a model reconstruction apparatus using photogrammetry, for generating artificial nail models.
  • the present invention can conveniently and conveniently provide a user-customized artificial nail model suitable for a user.
  • the present invention can create a custom artificial nail model from a standard artificial nail model of the existing standard without using a complicated process or special tools.
  • FIG. 1 is a block diagram showing a model reconstruction apparatus using photogrammetry according to an embodiment of the present invention.
  • FIG. 2 is a view showing an image of four fingers in close contact with a standard object at the point of view of the back of the object according to an embodiment of the present invention.
  • FIG 3 is a view showing an image of a thumb in close contact with a standard object at the point of view of the back of the object according to an embodiment of the present invention.
  • FIG. 4 is a view showing an image of fingers in close contact with a standard object at a point of view of a fingertip of an object according to an embodiment of the present invention.
  • FIG. 5 is a view showing the shape of the nail body in the image according to an embodiment of the present invention, and a point setting for determining coordinate values.
  • FIG. 6 is a view showing a type of nail shape of a selectable artificial nail model according to an embodiment of the present invention.
  • FIG. 7 is a view showing a point setting for shape recognition and coordinate value determination of a fingertip in an image according to an embodiment of the present invention.
  • FIG. 8 is a view showing detailed adjustment of an artificial nail model according to an embodiment of the present invention.
  • FIG. 9 is an operational flow diagram showing a model reconstruction method using photogrammetry according to an embodiment of the present invention.
  • FIG. 10 is a detailed flowchart illustrating an example of the step of receiving image data illustrated in FIG. 9.
  • FIG. 11 is a detailed flowchart illustrating an example of the image data analysis step illustrated in FIG. 9.
  • FIG. 12 is a detailed operation flow diagram of an example of the step of creating an artificial nail model shown in FIG. 9.
  • FIG. 13 is a diagram illustrating a computer system according to an embodiment of the present invention.
  • 1 is a block diagram showing a model reconstruction apparatus using photogrammetry according to an embodiment of the present invention.
  • 2 is a view showing an image of four fingers in close contact with a standard object at the point of view of the back of the object according to an embodiment of the present invention.
  • 3 is a view showing an image of a thumb in close contact with a standard object at the point of view of the back of the object according to an embodiment of the present invention.
  • 4 is a view showing an image of fingers in close contact with a standard object at a point of view of a fingertip of an object according to an embodiment of the present invention.
  • 5 is a view showing the shape of the nail body in the image according to an embodiment of the present invention, and a point setting for determining coordinate values.
  • FIG. 6 is a view showing a type of nail shape of a selectable artificial nail model according to an embodiment of the present invention.
  • 7 is a view showing a point setting for shape recognition and coordinate value determination of a fingertip in an image according to an embodiment of the present invention.
  • 8 is a view showing detailed adjustment of an artificial nail model according to an embodiment of the present invention.
  • an apparatus for reconstructing a model using photogrammetry includes an image receiving unit 110, an image analyzing unit 120, a model generating unit 130, and an image learning unit 140. do.
  • the image receiving unit 110 may receive image data of a target nail and a standard specification object for generating a target artificial nail model.
  • the user terminal device may generate image data by photographing a target nail and a standard specification object together.
  • the image data may be generated using various types of user terminal devices capable of generating image data by capturing a 2D digital image such as a smart phone, a smart tablet, or a digital camera.
  • the user terminal device may request the user to generate image data required to generate the artificial nail model through the user terminal device according to the guidance of the application, software, and website providing the artificial nail model generation service.
  • Applications, software, and websites that provide artificial nail model creation services may output information required to generate the artificial nail model as a message through the user terminal device.
  • the information necessary to generate the artificial nail model may include a message explaining a method of photographing the subject's hand to generate the artificial nail model.
  • an application, software, and website that provides an artificial nail model creation service may be controlled to capture image data required to generate an artificial nail model using a camera built in a user terminal device.
  • the user terminal device may transmit image data to a model reconstruction device using photogrammetry through a network.
  • the user terminal device may upload image data to an application, software, and website that provides artificial nail model service.
  • the image receiving unit 110 may receive image data through a network from a user terminal device, and uploaded by a user to request artificial nail generation from applications, software, and websites that provide artificial nail model creation service. You can also download image data.
  • the image data may include a first image for recognizing the shape of the nail body and a second image for recognizing the shape of the tip of the nail.
  • FIGS. 2 and 3 show an example of the first image
  • FIG. 4 shows an example of the second image
  • the first image and the second image may be photographed in a state in which the standard specification object and the bottom of the finger of the object are in close contact.
  • the first image may be taken with the nail body of the object and the standard object at the point of view of the back of the object.
  • the first image is an image taken with the bottom of the thumb of the left hand in close contact with a standard object at the time of looking at the back of the object, and the bottom of the remaining four fingers of the left hand at the point of view of the object's back of the hand.
  • An image taken in close contact with a standard object, the image of the right hand thumb at the point of view of the object's back of the hand, and the rest of the right hand at the point of view of the object's back of the hand The bottom of the four fingers may include an image captured in close contact with a standard object.
  • the tip of the fingernail and the standard object may be photographed together when the fingertip of the object is viewed.
  • the second image was taken with the bottom of the thumb of the object in close contact with one surface of the standard object, and the bottom of the remaining four fingers of the object with the other surface of the standard object in close contact. It may include a left-handed image and a right-handed image.
  • the fingertip of the object needs to be photographed at a point in time facing the direction in which the finger extends in order to recognize the degree of bending of the fingertip.
  • the image data may further include a third image of the side of the finger in order to recognize the degree of bending of the nail body.
  • the standard specification object may correspond to an object manufactured according to the international standard specification.
  • a standard specification object may correspond to an object manufactured according to an international standard developed by an international standardization organization such as ISO (International Organization for Standardization), and an object produced according to the international standard may be a credit card, It can correspond to various objects such as paper money, coins, and paper.
  • ISO International Organization for Standardization
  • a standard specification object according to an embodiment of the present invention will be described using a credit card as an example.
  • the image analysis unit 120 recognizes the shape of the nail body and the shape of the nail tip for the target nail from the image data, and based on the standard specification object, the shape of the nail body and the shape of the nail tip You can determine the parameters for
  • the image analysis unit 120 recognizes the shape of the nail body at the point of view of the back of the hand from the first image, and sets parameters for the shape of the nail body based on the standard specification object. Can decide.
  • the image analysis unit 120 sets at least four points on the nail boundary of the nail body at the point of view of the back of the object from the first image, and the at least four points on the nail body
  • the parameter may be determined by coordinate values for the shape of.
  • the image analysis unit 120 determines the type of the nail shape of the at least one selectable artificial nail model based on the shape of the nail body recognized at the point of view of the back of the object from the first image. You can.
  • a model reconstruction apparatus using photogrammetry shows a type of nail shape of a selectable artificial nail model.
  • the types of nail shapes according to an embodiment of the present invention are SQUARE, SQUARE Oval, SQUARE OVAL, SQUOVAL OR SEMI SQUARE, ROUNDED, OVAL, ALMOND , Ballerina or coffin (BALLERINA OR COFFIN) and stiletto (STILETTO) is found to be included, additional types of nail shape may be further included.
  • the image analysis unit 120 compares the recognized shape of the nail body of the target and the nail body of the reference artificial nail model, and recommends the shape of the artificial nail model to the user in order to recommend the nail shape of the artificial nail model to the user. At least one may be selected, and the shape of the nail of the selected artificial nail model may be recommended to the user through the user terminal device.
  • the image analysis unit 120 may select square, square oval, scoobal or semi-square, and If the length is shorter than the length of the nail of the reference artificial nail model, a round may be recommended, and if the width of the target nail is narrower than the width of the nail of the reference artificial nail model, oval and almond may be selected.
  • the image analysis unit 120 recognizes the shape of the tip of the nail at the point of view of the fingertip of the target from the second image, and is a parameter for the shape of the tip of the nail based on the standard specification object. Can decide.
  • the image analysis unit 120 sets two points, one at each point corresponding to both sides of the nail, at the point of view of the fingertip of the object from the second image, and the nail tip
  • the parameters may be determined by using the two points and the additional points as coordinate values for the shape of the tip of the nail.
  • the image analysis unit 120 generates a straight line connecting the two points, perpendicular to the straight line, and the point of the end of the nail that meets the waterline which is a direction penetrating the nail body of the target is the additional point Can be set to
  • the image analysis unit 120 sets two points on the standard-sized object, generates a straight line connecting the two points, and uses the slope of the straight line generated on the standard-sized object to cut the end of the nail. You can adjust the position of the coordinate values for the shape.
  • the image analysis unit 120 may recognize the shape of the nail side photographed at the point of view of the finger side of the object from the third image, and determine a parameter for the shape of the nail side.
  • the image analysis unit 120 sets two points, one at each of the nail end and the root of the nail body, at the point of view of the finger side from the third image, and adds to at least one point of the nail body
  • the two points and the additional point may be determined by using the coordinate values for the shape of the side surface of the nail.
  • the image analysis unit 120 generates a straight line connecting the two points, perpendicular to the straight line, and the point of the nail body that meets the waterline in the direction penetrating the target nail body as the additional point Can be set.
  • the image analysis unit 120 sets two points on a standard-sized object, generates a straight line connecting the two points, and uses the slope of the straight line generated on the standard-sized object to shape the side of the nail. You can adjust the position of the coordinate values for.
  • the model generation unit 130 may generate an artificial nail model based on the parameters.
  • the model generating unit 130 adjusts the shape of the nail body for the reference artificial nail model based on the coordinate values for the shape of the nail body, and the artificial body is obtained from the reference artificial nail model in which the shape of the nail body is adjusted. You can create a nail model.
  • the model generating unit 130 adjusts the shape of the nail end of the reference artificial nail model based on the coordinate values for the shape of the nail end, and the reference artificial nail whose shape of the nail end is adjusted.
  • the artificial nail model can be generated from a model.
  • the model generating unit 130 adjusts the side shape of the nail body of the reference artificial nail model based on the coordinate values for the side shape of the nail body, and the reference artificial nail model in which the side shape of the nail body is adjusted. From the artificial nail model can be generated.
  • the model generator 130 may determine a scale value of the artificial nail model corresponding to the standard specification object, based on the coordinate values of the artificial nail model and the coordinate values of the standard specification object.
  • the model generation unit 130 determines the scale value of the artificial nail model by comparing the coordinate values of the nails photographed together in the first image, the second image, and the third image and the standard specification object, and Actual size can be calculated.
  • the model generation unit 130 sets the nails and the standard object photographed in the first image to be located in the X and Y planes on the 3D coordinate system, and the coordinates recognized in the shape of the tip of the nail in the second image From the values and coordinate values recognized in the side shape of the nail body of the third image, the degree of curvature of the nail tip and the degree of curvature of the nail body side can be calculated, and the degree of curvature of the nail tip and the degree of curvature of the nail body side To calculate the scalar space in which the Z-axis coordinates are calculated for the X and Y planes, an artificial nail model on a 3D coordinate system can be generated.
  • the model generating unit 130 sets the thickness (THICKNESS), horizontal surface height (HORIZONTAL CURVATURE HEIGHT), vertical surface height (VERTICAL CURVATURE HEIGHT) and nail length (NAIL LENGTH) of the generated artificial nail model as 'mm'. It can be fine-tuned in units, and additional parameters can be further included to be adjusted, and the detailed adjustment unit is not limited thereto.
  • the model generation unit 130 may transmit data on the artificial nail model that is finally generated to the user through a download function (DOWNLOAD), or may be saved (SAVE PROJECT).
  • DOWNLOAD download function
  • SAVE PROJECT saved
  • the model generating unit 130 may generate the artificial nail model as a 3D printable 3D model file (eg, STL file, etc.).
  • a 3D printable 3D model file eg, STL file, etc.
  • model generation unit 130 may transmit the image data used in the artificial nail model generation process, coordinate values, and the reference artificial nail model to the image learning unit 140 to generate training data from the adjusted parameters.
  • the image learning unit 140 may generate training data by learning the image data, coordinate values used to generate the artificial nail model, and parameters that have adjusted the reference artificial nail model, and generate training data, and the training data model generation unit 130. Can be provided on.
  • the model generator 130 may more effectively determine the shape and scale value of the artificial nail model on the 3D coordinate system using the training data.
  • FIG. 9 is an operational flow diagram showing a model reconstruction method using photogrammetry according to an embodiment of the present invention.
  • FIG. 10 is a detailed flowchart illustrating an example of the step of receiving image data illustrated in FIG. 9.
  • FIG. 11 is a detailed flowchart illustrating an example of the image data analysis step illustrated in FIG. 9.
  • 12 is a detailed operation flow diagram of an example of the step of creating an artificial nail model shown in FIG. 9.
  • a model reconstruction method using photogrammetry may first receive image data (S210).
  • step S210 may receive image data of a target nail and a standard specification object for generating a target artificial nail model.
  • step S210 may first generate image data (S211).
  • the user terminal device may generate the image data by photographing the target nail and the standard object together (S211).
  • the image data may be generated using various types of user terminal devices capable of generating image data by capturing a 2D digital image such as a smart phone, a smart tablet, or a digital camera.
  • step S211 the user terminal device generates image data required to generate the artificial nail model to the user through the user terminal device according to the guidance of the application, software, and website that provides the artificial nail model creation service. You can request.
  • an application, software, and website that provides an artificial nail model creation service may output information necessary for generating an artificial nail model as a message through a user terminal device.
  • the information necessary to generate the artificial nail model may include a message explaining a method of photographing the subject's hand to generate the artificial nail model.
  • step S211 may control the application, software, and website providing the artificial nail model generation service to capture image data required to generate the artificial nail model using the camera built in the user terminal device.
  • step S210 may transmit image data (S212).
  • the user terminal device may transmit image data to a model reconstruction device using photogrammetry through a network.
  • the user terminal device may upload image data to an application, software, and website that provides an artificial nail model service.
  • step S210 may receive image data (S213).
  • step S213 the image data uploaded by the user in order to request the creation of artificial nails from an application, software, and website that may receive image data from a user terminal device through a network or provide an artificial nail model creation service. You can also download it.
  • the image data may include a first image for recognizing the shape of the nail body and a second image for recognizing the shape of the tip of the nail.
  • FIGS. 2 and 3 show an example of the first image
  • FIG. 4 shows an example of the second image
  • the first image and the second image may be photographed in a state in which the standard specification object and the bottom of the finger of the object are in close contact.
  • the first image may be taken with the nail body of the object and the standard object at the point of view of the back of the object.
  • the first image is an image taken with the bottom of the thumb of the left hand in close contact with a standard object at the time of looking at the back of the object, and the bottom of the remaining four fingers of the left hand at the time of looking at the object's back
  • the bottom of the four fingers may include an image captured in close contact with a standard object.
  • the tip of the fingernail and the standard object may be photographed together when the fingertip of the object is viewed.
  • the second image was taken with the bottom of the thumb of the object in close contact with one surface of the standard object, and the bottom of the remaining four fingers of the object with the other surface of the standard object in close contact. It may include a left-handed image and a right-handed image.
  • the fingertip of the object needs to be photographed at a point in time facing the direction in which the finger extends in order to recognize the degree of bending of the fingertip.
  • the image data may further include a third image of the side of the finger in order to recognize the degree of bending of the nail body.
  • the standard specification object may correspond to an object manufactured according to the international standard specification.
  • a standard specification object may correspond to an object manufactured according to an international standard developed by an international standardization organization such as ISO (International Organization for Standardization), and an object produced according to the international standard may be a credit card, It can correspond to various objects such as paper money, coins, and paper.
  • ISO International Organization for Standardization
  • a standard specification object according to an embodiment of the present invention will be described using a credit card as an example.
  • model reconstruction method using photogrammetry may analyze image data (S220).
  • step S220 recognizes the shape of the nail body and the shape of the nail tip for the target nail from the image data, and the shape of the nail body and the shape of the nail tip based on the standard specification object. You can determine the parameters for
  • step S220 recognizes the shape of the nail body at the point of view of the back of the hand from the first image, and determines parameters for the shape of the nail body based on the standard specification object. have.
  • step S220 may first determine a parameter for the shape of the nail body (S221). That is, step S221 may include the nail at the point of view of the back of the object from the first image. At least four points may be set on the nail boundary of the body, and the parameters may be determined by using the at least four points as coordinate values for the shape of the nail body.
  • step S221 may determine a type of nail shape of the at least one selectable artificial nail model based on the shape of the nail body recognized at the point of view of the back of the object from the first image. .
  • a model reconstruction apparatus using photogrammetry shows a type of nail shape of a selectable artificial nail model.
  • the types of nail shapes according to an embodiment of the present invention are SQUARE, SQUARE Oval, SQUARE OVAL, SQUOVAL OR SEMI SQUARE, ROUNDED, OVAL, ALMOND , Ballerina or coffin (BALLERINA OR COFFIN) and stiletto (STILETTO) is found to be included, additional types of nail shape may be further included.
  • step S221 is at least one of the nail shapes of the artificial nail model, in order to recommend the nail shape of the artificial nail model to the user in comparison with the recognized shape of the target nail body and the nail body of the reference artificial nail model.
  • One or more may be selected, and the shape of the nail of the selected artificial nail model may be recommended to the user through the user terminal device.
  • step S221 when the length of the target nail is longer than the length of the nail of the reference artificial nail model, square, square oval, scoobal or semi-square may be selected, and the length of the target nail is If the length of the nail of the reference artificial nail model is shorter, a round may be recommended, and when the width of the target nail is narrower than the width of the nail of the reference artificial nail model, oval and almond may be selected.
  • step S220 may determine a parameter for the shape of the tip of the nail (S222).
  • step S222 recognizes the shape of the tip of the nail at the point of view of the fingertip of the target from the second image, and determines a parameter for the shape of the tip of the nail based on the standard specification object. You can.
  • step S222 two points, one for each point corresponding to both sides of the nail, are set at a point in time when the finger tip of the target is viewed from the second image, and By setting additional points at at least one point, the parameters may be determined by using the two points and the additional points as coordinate values for the shape of the tip of the nail.
  • step S222 a straight line connecting the two points is generated, and the point of the end of the nail that meets the waterline that is perpendicular to the straight line and penetrates the nail body of the target is set as the additional point. You can.
  • step (S222) is to set the two points on the standard object, to create a straight line connecting the two points, using the slope of the straight line generated on the standard object to the shape of the tip of the nail You can adjust the position of the coordinate values for.
  • step S220 may determine parameters for the shape of the side of the nail (S223).
  • the shape of the nail side photographed at the point of view of the finger side of the object may be recognized, and parameters for the shape of the nail side may be determined.
  • step S223 sets two points, one for each of the nail end and the root of the nail body, at the point of view of the finger side from the third image, and adds additional points to at least one point of the nail body.
  • the parameter may be determined by setting the two points and the additional point as coordinate values for the shape of the side surface of the nail.
  • step (S223) is to create a straight line connecting the two points, perpendicular to the straight line, the point of the nail body that meets the waterline in the direction penetrating the nail body of the target can be set as the additional point have.
  • step S223 sets two points on the standard-sized object, generates a straight line connecting the two points, and uses the slope of the straight line generated on the standard-sized object to determine the shape of the side of the nail. You can adjust the position of the coordinate values.
  • step S220 the execution order of steps S221, S222 and S223 included in step S220 may be changed.
  • model reconstruction method using photogrammetry may generate an artificial nail model (S230).
  • an artificial nail model may be generated based on the parameters.
  • an artificial nail model may be generated by first adjusting the shape of the reference nail model (S231).
  • step S231 adjusts the shape of the nail body for the reference artificial nail model based on the coordinate values for the shape of the nail body, and the artificial nail model from the reference artificial nail model in which the shape of the nail body is adjusted.
  • step S231 adjusts the shape of the nail tip of the reference artificial nail model based on coordinate values for the shape of the nail tip, and from the reference artificial nail model in which the shape of the nail tip is adjusted.
  • the artificial nail model can be generated.
  • step S231 adjusts the side shape of the nail body of the reference artificial nail model based on the coordinate values for the side shape of the nail body, and from the reference artificial nail model in which the side shape of the nail body is adjusted. You can create artificial nail models.
  • step S230 may determine the scale value of the artificial nail model (S232).
  • step S232 may determine a scale value of the artificial nail model corresponding to the standard specification object based on the coordinate values of the artificial nail model and the coordinate values of the standard specification object.
  • step S232 determines the scale value of the artificial nail model by comparing the coordinate values of the nails photographed together in the first image, the second image, and the third image with a standard object, and the actual size of the artificial nail model Can be calculated.
  • step (S232) is set to the nail and the standard object is taken in the first image is located in the X, Y plane on the three-dimensional coordinate system, and the coordinate values recognized in the shape of the tip of the nail in the second image .
  • the degree of curvature of the nail tip and the degree of curvature of the nail body side can be calculated, and the degree of curvature of the nail tip and the degree of curvature of the nail body side X .
  • step S232 the thickness of the created artificial nail model (THICKNESS), horizontal surface height (HORIZONTAL CURVATURE HEIGHT), vertical surface height (VERTICAL CURVATURE HEIGHT) and nail length (NAIL LENGTH) in 'mm' units It can be fine-tuned, and additional parameters can be further included to be adjusted.
  • step S232 data on the artificial nail model finally generated may be transferred to a user through a DOWNLOAD function, or may be stored (SAVE PROJECT).
  • step S232 may generate the artificial nail model as a 3D printable 3D model file (eg, STL file, etc.).
  • a 3D printable 3D model file eg, STL file, etc.
  • step S230 may generate learning data (S233).
  • learning data may be generated from image data, coordinate values used in the artificial nail model creation process, and parameters adjusted to the reference artificial nail model.
  • step S233 may generate learning data by learning the image data, coordinate values used to generate the artificial nail model, and parameters that have adjusted the reference artificial nail model.
  • the learning data may be used in steps S231 and S232 to more effectively determine the shape and scale value of the artificial nail model on the 3D coordinate system.
  • FIG. 13 is a diagram illustrating a computer system according to an embodiment of the present invention.
  • a model reconstruction apparatus using photogrammetry may be implemented in a computer system 1100 such as a computer-readable recording medium.
  • the computer system 1100 includes one or more processors 1110, memory 1130, user interface input device 1140, and user interface output device 1150 that communicate with each other through the bus 1120. And storage 1160.
  • the computer system 1100 may further include a network interface 1170 connected to the network 1180.
  • the processor 1110 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 1130 or the storage 1160.
  • the memory 1130 and the storage 1160 may be various types of volatile or nonvolatile storage media.
  • the memory may include ROM 1131 or RAM 1132.
  • the apparatus and method for reconstructing a model using photogrammetry are not limited to the configuration and method of the described embodiments as described above, and the above embodiments have various modifications. All or part of each embodiment may be selectively combined to be configured.
  • the present invention is intended to provide a user-customized artificial nail model suitable for a user conveniently and conveniently, and has industrial applicability in the field of artificial nail manufacturing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

사진 측량을 이용한 모델 재구성 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치는 인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신하는 이미지 수신부; 상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정하는 이미지 분석부 및 상기 파라미터에 기반하여 인조 손톱 모델을 생성하는 모델 생성부를 포함한다.

Description

사진 측량을 이용한 모델 재구성 장치 및 방법
본 발명은 이미지 인식 기술 및 3차원 모델링 기술에 관한 것으로, 보다 상세하게는 사진 측량을 이용한 모델 재구성 기술에 관한 것이다.
여성들은 손톱을 꾸미기 위해 플라스틱을 재료로 하여 만든 인조 손톱을 주로 사용한다. 일반적으로 시중에서 판매되는 인조 손톱은 표준 규격(예컨대, 표준 사이즈 및 곡률)에 맞추어 인젝션 몰딩을 사용하여 제조되고 있다. 소비자에게 판매되는 인조 손톱 한 세트는 10-15사이즈 종류, 한 사이즈 당 2 피스씩, 20-30 피스의 인조 손톱을 포함할 수 있다. 그러나, 손톱의 크기, 모양 및 각도는 사람마다 다르기 때문에 10-15개의 인조 손톱 사이즈가 각 소비자의 각 손톱에 딱 맞는 것은 불가능에 가깝다. 이러한 단점 때문에, 인조 손톱은 자연 손톱과 쉽게 구별될 수밖에 없으며, 사용자 마다 손톱 크기가 각각 다르므로 착용감이 좋지 않아 불편하거나, 손톱에서 쉽게 떨어지는 문제점이 있다.
본 발명은 사용자에게 적합한 사용자 맞춤형 인조 손톱 모델을 편리하고 간편하게 제공하는 것을 목적으로 한다.
또한, 본 발명은 복잡한 공정이나 특별한 도구를 사용하지 않고 기존 표준 규격의 기준 인조 손톱 모델로부터 사용자 맞춤형 인조 손톱 모델을 생성하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 얼굴 인식 장치는 대상의 인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신하는 이미지 수신부; 상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정하는 이미지 분석부 및 상기 파라미터에 기반하여 인조 손톱 모델을 생성하는 모델 생성부를 포함한다.
이 때, 상기 표준 규격 사물은 국제 표준 규격에 따라 제작된 사물에 상응할 수 있다.
이 때, 상기 이미지 데이터는 상기 손톱 몸체의 모양을 인식하기 위한 제1 이미지 및 상기 손톱 끝 단의 모양을 인식하기 위한 제2 이미지를 포함할 수 있다.
상기 제1 이미지 및 상기 제2 이미지는 상기 표준 규격 사물과 상기 대상의 손가락 밑바닥이 밀착된 상태로 촬영될 수 있다.
이 때, 상기 제1 이미지는 상기 대상의 손등을 바라보는 시점에서 상기 대상의 손톱 몸체와 상기 표준 규격 사물이 함께 촬영될 수 있다.
이 때, 상기 제2 이미지는 상기 대상의 손가락 끝을 바라보는 시점에서 손톱 끝 단과 상기 표준 규격 사물이 함께 촬영될 수 있다.
이 때, 상기 제2 이미지는 상기 표준 규격 사물의 일 면에 상기 대상의 엄지 손가락 밑바닥이 밀착되고, 상기 표준 규격 사물의 다른 일 면에 상기 대상의 나머지 네 개의 손가락 밑바닥이 모두 밀착된 상태로 촬영될 수 있다.
이 때, 상기 이미지 분석부는 상기 제1 이미지로부터 상기 손등을 바라보는 시점에서 상기 손톱 몸체의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양에 대한 파라미터를 결정할 수 있다.
이 때, 상기 이미지 분석부는 상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 상기 손톱 몸체의 손톱 경계선에 적어도 4개 이상의 포인트들을 설정하고, 상기 적어도 4개 이상의 포인트들을 상기 손톱 몸체의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 상기 이미지 분석부는 상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 인식된 상기 손톱 몸체의 모양에 기반하여 적어도 하나 이상의 선택 가능한 상기 인조 손톱 모델의 손톱 모양의 종류를 결정할 수 있다.
이 때, 상기 이미지 분석부는 상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 끝 단의 모양에 대한 파라미터를 결정할 수 있다.
이 때, 상기 이미지 분석부는 상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱의 양 측에 해당하는 점에 각각 하나씩 2개의 포인트들을 설정하고, 상기 손톱 끝 단의 적어도 하나 이상의 지점에 추가 포인트를 설정하여 상기 2개의 포인트들과 상기 추가 포인트를 상기 손톱 끝 단의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 상기 이미지 분석부는 상기 2개의 포인트들을 이은 직선을 생성하고, 상기 직선에 대해 수직하고, 상기 대상의 손톱 몸체를 관통하는 방향인 수선과 만나는 손톱 끝 단의 지점을 상기 추가 포인트로 설정할 수 있다.
이 때, 상기 모델 생성부는 상기 손톱 몸체의 모양에 대한 좌표 값들에 기반하여 기준 인조 손톱 모델에 대한 손톱 몸체의 모양을 조정하고, 손톱 몸체의 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
이 때, 상기 모델 생성부는 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 좌표 값들에 기반하여 기준 인조 손톱 모델에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 조정하고, 손톱 몸체의 모양과 손톱 끝 단의 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 방법은 사진 측량을 이용한 모델 재구성 장치의 사진 측량을 이용한 모델 재구성 방법에 있어서, 인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신하는 단계; 상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정하는 단계 및 상기 파라미터에 기반하여 인조 손톱 모델을 생성하는 단계를 포함한다.
본 발명은 사용자에게 적합한 사용자 맞춤형 인조 손톱 모델을 편리하고 간편하게 제공할 수 있다.
또한, 본 발명은 복잡한 공정이나 특별한 도구를 사용하지 않고 기존 표준 규격의 기준 인조 손톱 모델로부터 사용자 맞춤형 인조 손톱 모델을 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 대상의 손등을 바라보는 시점에서 표준 규격 사물과 밀착된 네 개의 손가락들이 촬영된 이미지를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 대상의 손등을 바라보는 시점에서 표준 규격 사물과 밀착된 엄지 손가락이 촬영된 이미지를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 대상의 손가락 끝을 바라보는 시점에서 표준 규격 사물과 밀착된 손가락들이 촬영된 이미지를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 이미지에서 손톱 몸체의 모양 인식과, 좌표 값 결정을 위한 포인트 설정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 선택 가능한 인조 손톱 모델의 손톱 모양의 종류를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 이미지에서 손톱 끝 단의 모양 인식과 좌표 값 결정을 위한 포인트 설정을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 인조 손톱 모델의 세부 조정을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 방법을 나타낸 동작흐름도이다.
도 10은 도 9에 도시된 이미지 데이터 수신 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 11은 도 9에 도시된 이미지 데이터 분석 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 12는 도 9에 도시된 인조 손톱 모델 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 13은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치를 나타낸 블록도이다. 도 2는 본 발명의 일실시예에 따른 대상의 손등을 바라보는 시점에서 표준 규격 사물과 밀착된 네 개의 손가락들이 촬영된 이미지를 나타낸 도면이다. 도 3은 본 발명의 일실시예에 따른 대상의 손등을 바라보는 시점에서 표준 규격 사물과 밀착된 엄지 손가락이 촬영된 이미지를 나타낸 도면이다. 도 4는 본 발명의 일실시예에 따른 대상의 손가락 끝을 바라보는 시점에서 표준 규격 사물과 밀착된 손가락들이 촬영된 이미지를 나타낸 도면이다. 도 5는 본 발명의 일실시예에 따른 이미지에서 손톱 몸체의 모양 인식과, 좌표 값 결정을 위한 포인트 설정을 나타낸 도면이다. 도 6은 본 발명의 일실시예에 따른 선택 가능한 인조 손톱 모델의 손톱 모양의 종류를 나타낸 도면이다. 도 7은 본 발명의 일실시예에 따른 이미지에서 손톱 끝 단의 모양 인식과 좌표 값 결정을 위한 포인트 설정을 나타낸 도면이다. 도 8은 본 발명의 일실시예에 따른 인조 손톱 모델의 세부 조정을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치는 이미지 수신부(110), 이미지 분석부(120), 모델 생성부(130) 및 이미지 학습부(140)를 포함한다.
이미지 수신부(110)는 대상의 인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신할 수 있다.
먼저, 사용자 단말 장치는 대상의 손톱과 표준 규격 사물을 함께 촬영하여 이미지 데이터를 생성할 수 있다.
이 때, 이미지 데이터는 스마트폰, 스마트 태블릿, 디지털 카메라 등의 2차원 디지털 이미지를 촬영하여 이미지 데이터를 생성할 수 있는 다양한 방식의 사용자 단말 장치를 이용하여 생성될 수 있다.
이 때, 사용자 단말 장치는 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트의 안내에 따라 사용자 단말 장치를 통해 사용자에게 인조 손톱 모델을 생성하기 위하여 필요한 이미지 데이터의 생성을 요청할 수 있다.
인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트가 인조 손톱 모델을 생성하기 위해 필요한 정보를 사용자 단말 장치를 통해 메시지로 출력할 수 있다.
이 때, 인조 손톱 모델을 생성하기 위해 필요한 정보는 인조 손톱 모델을 생성하기 위해 대상의 손을 촬영하는 방식을 설명한 메시지 등을 포함할 수 있다.
이 때, 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트가 사용자 단말 장치에 내장된 카메라를 이용하여 인조 손톱 모델을 생성하기 위해 필요한 이미지 데이터를 촬영하도록 제어할 수도 있다.
이 때, 사용자 단말 장치는 네트워크를 통해 사진 측량을 이용한 모델 재구성 장치에게 이미지 데이터를 전송할 수 있다.
이 때, 사용자 단말 장치는 인조 손톱 모델 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트에 이미지 데이터를 업로드 할 수도 있다.
이 때, 이미지 수신부(110)는 사용자 단말 장치로부터 네트워크를 통해 이미지 데이터를 수신할 수도 있고, 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트로부터 인조 손톱 생성을 의뢰하기 위하여 사용자가 업로드 한 이미지 데이터를 다운로드 할 수도 있다.
이 때, 상기 이미지 데이터는 상기 손톱 몸체의 모양을 인식하기 위한 제1 이미지 및 상기 손톱 끝 단의 모양을 인식하기 위한 제2 이미지를 포함할 수 있다.
도 2 및 도 3은 제1 이미지의 일 예를 나타낸 것이고, 도 4는 제2 이미지의 일 예를 나타낸 것을 알 수 있다.
도 2 내지 도 4를 참조하면, 제1 이미지 및 상기 제2 이미지는 상기 표준 규격 사물과 상기 대상의 손가락 밑바닥이 밀착된 상태로 촬영될 수 있다.
특히, 도 2 및 도 3에 도시된 바와 같이, 제1 이미지는 상기 대상의 손등을 바라보는 시점에서 상기 대상의 손톱 몸체와 상기 표준 규격 사물이 함께 촬영될 수 있다.
또한, 제1 이미지는 상기 대상의 손등을 바라보는 시점에서 왼손 엄지 손가락의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지, 상기 대상의 손등을 바라보는 시점에서 왼손 나머지 네 개 손가락들의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지, 상기 대상의 손등을 바라보는 시점에서 오른손 엄지 손가락의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지 및 상기 대상의 손등을 바라보는 시점에서 오른손 나머지 네 개 손가락들의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지를 포함할 수 있다.
특히, 도 4에 도시된 바와 같이, 제2 이미지는 상기 대상의 손가락 끝을 바라보는 시점에서 손톱 끝 단과 상기 표준 규격 사물이 함께 촬영될 수 있다.
이 때, 제2 이미지는 상기 표준 규격 사물의 일 면에 상기 대상의 엄지 손가락 밑바닥이 밀착되고, 상기 표준 규격 사물의 다른 일 면에 상기 대상의 나머지 네 개의 손가락 밑바닥이 모두 밀착된 상태로 촬영된 왼손 이미지와 오른손 이미지를 포함할 수 있다.
이 때, 제2 이미지는 손톱 끝 단이 휘어진 정도를 인식하기 위하여 손가락이 뻗어 나가는 방향을 마주 보는 시점에서 상기 대상의 손가락 끝이 촬영되어야 한다.
또한, 이미지 데이터는 손톱 몸체가 휘어진 정도를 인식하기 위하여 손가락 측면을 촬영한 제3 이미지를 더 포함할 수도 있다.
표준 규격 사물은 국제 표준 규격에 따라 제작된 사물에 상응할 수 있다.
예를 들어, 표준 규격 사물은 ISO(International Organization for Standardization)와 같은 국제 표준화 기구에서 개발한 국제 표준 규격에 따라 제작된 사물에 상응할 수 있고, 상기 국제 표준 규격에 따라 제작된 사물은 신용카드, 지폐, 동전 및 용지 등 다양한 사물에 상응할 수 있다.
본 발명의 일실시예에 따른 표준 규격 사물은 신용카드를 예로 들어 설명한다.
이미지 분석부(120)는 상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정할 수 있다.
도 5를 참조하면, 이미지 분석부(120)는 상기 제1 이미지로부터 상기 손등을 바라보는 시점에서 상기 손톱 몸체의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양에 대한 파라미터를 결정할 수 있다.
이 때, 이미지 분석부(120)는 상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 상기 손톱 몸체의 손톱 경계선에 적어도 4개 이상의 포인트들을 설정하고, 상기 적어도 4개 이상의 포인트들을 상기 손톱 몸체의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 이미지 분석부(120)는 상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 인식된 상기 손톱 몸체의 모양에 기반하여 적어도 하나 이상의 선택 가능한 상기 인조 손톱 모델의 손톱 모양의 종류를 결정할 수 있다.
도 6을 참조하면, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치가 선택 가능한 인조 손톱 모델의 손톱 모양의 종류를 나타낸 것을 알 수 있다.
본 발명의 일실시예에 따른 손톱 모양의 종류는 스퀘어(SQUARE), 스퀘어 오발, 스쿠오발 또는 세미 스퀘어(SQUARE OVAL, SQUOVAL OR SEMI SQUARE), 라운드(ROUNDED), 오벌(OVAL), 알몬드(ALMOND), 발레리나 또는 코핀(BALLERINA OR COFFIN) 및 스틸레토(STILETTO)가 포함되는 것을 알 수 있으며, 추가적인 손톱 모양의 종류가 더 포함될 수도 있다.
이 때, 이미지 분석부(120)는 인식된 상기 대상의 손톱 몸체의 모양과 기준 인조 손톱 모델의 손톱 몸체와 비교하여 사용자에게 인조 손톱 모델의 손톱 모양을 추천하기 위해, 인조 손톱 모델의 손톱 모양들 중 적어도 하나 이상을 선택할 수 있고, 선택된 인조 손톱 모델의 손톱 모양을 사용자 단말 장치를 통해 사용자에게 추천할 수도 있다.
예를 들어, 이미지 분석부(120)는 상기 대상의 손톱의 길이가 기준 인조 손톱 모델의 손톱의 길이 보다 긴 경우, 스퀘어, 스퀘어 오발, 스쿠오발 또는 세미 스퀘어를 선택할 수 있고, 상기 대상의 손톱의 길이가 기준 인조 손톱 모델의 손톱의 길이 보다 짧은 경우, 라운드를 추천할 수 있고, 상기 대상의 손톱의 폭이 기준 인조 손톱 모델의 손톱의 폭보다 좁은 경우, 오벌 및 알몬드를 선택할 수 있다.
또한, 이미지 분석부(120)는 상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 끝 단의 모양에 대한 파라미터를 결정할 수 있다.
도 7을 참조하면, 이미지 분석부(120)는 상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱의 양 측에 해당하는 점에 각각 하나씩 2개의 포인트들을 설정하고, 상기 손톱 끝 단의 적어도 하나 이상의 지점에 추가 포인트를 설정하여 상기 2개의 포인트들과 상기 추가 포인트를 상기 손톱 끝 단의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 이미지 분석부(120)는 상기 2개의 포인트들을 이은 직선을 생성하고, 상기 직선에 대해 수직하고, 상기 대상의 손톱 몸체를 관통하는 방향인 수선과 만나는 손톱 끝 단의 지점을 상기 추가 포인트로 설정할 수 있다.
이 때, 이미지 분석부(120)는 표준 규격 사물에 2개의 포인트들을 설정하고, 상기 2 개의 포인트들을 이은 직선을 생성하고, 상기 표준 규격 사물에 생성된 직선의 기울기를 이용하여 상기 손톱 끝 단의 모양에 대한 좌표 값들의 위치를 조정할 수 있다.
또한, 이미지 분석부(120)는 상기 제3 이미지로부터 상기 대상의 손가락 측면을 바라보는 시점에서 촬영한 손톱 측면의 모양을 인식하고, 손톱 측면의 모양에 대한 파라미터를 결정할 수 있다.
이 때, 이미지 분석부(120)는 상기 제3 이미지로부터 손가락 측면을 바라보는 시점에서 손톱 몸체의 손톱 끝 단과 손톱 뿌리 쪽에 각각 하나씩 2개의 포인트들을 설정하고, 상기 손톱 몸체의 적어도 하나 이상의 지점에 추가 포인트를 설정하여 상기 2개의 포인트들과 상기 추가 포인트를 상기 손톱 측면의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 이미지 분석부(120)는 상기 2개의 포인트들을 이은 직선을 생성하고, 상기 직선에 대해 수직하고, 상기 대상의 손톱 몸체를 관통하는 방향인 수선과 만나는 손톱 몸체의 지점을 상기 추가 포인트로 설정할 수 있다.
이 때, 이미지 분석부(120)는 표준 규격 사물에 2개의 포인트들을 설정하고, 상기 2 개의 포인트들을 이은 직선을 생성하고, 상기 표준 규격 사물에 생성된 직선의 기울기를 이용하여 상기 손톱 측면의 모양에 대한 좌표 값들의 위치를 조정할 수 있다.
모델 생성부(130)는 상기 파라미터에 기반하여 인조 손톱 모델을 생성할 수 있다.
이 때, 모델 생성부(130)는 상기 손톱 몸체의 모양에 대한 좌표 값들에 기반하여 기준 인조 손톱 모델에 대한 손톱 몸체의 모양을 조정하고, 손톱 몸체의 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
이 때, 모델 생성부(130)는 상기 손톱 끝 단의 모양에 대한 좌표 값들에 기반하여 상기 기준 인조 손톱 모델의 손톱 끝 단의 모양을 조정하고, 손톱 끝 단의 모양이 조정된 상기 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
이 때, 모델 생성부(130)는 상기 손톱 몸체의 측면 모양에 대한 좌표 값들에 기반하여 상기 기준 인조 손톱 모델의 손톱 몸체의 측면 모양을 조정하고, 손톱 몸체의 측면 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
이 때, 모델 생성부(130)는 상기 인조 손톱 모델의 좌표 값들과 상기 표준 규격 사물의 좌표 값들에 기반하여, 상기 표준 규격 사물에 상응하는 상기 인조 손톱 모델의 스케일 값을 결정할 수 있다.
이 때, 모델 생성부(130)는 제1 이미지, 제2 이미지 및 제3 이미지에서 함께 촬영된 손톱과 표준 규격 사물의 좌표 값을 비교하여 인조 손톱 모델의 스케일 값을 결정하고, 인조 손톱 모델의 실제 크기를 산출할 수 있다.
이 때, 모델 생성부(130)는 제1 이미지에서 촬영된 손톱과 표준 규격 사물이 3차원 좌표계 상의 X, Y 평면에 위치하는 것으로 설정하고, 제2 이미지의 손톱 끝 단의 모양에서 인식된 좌표 값들과, 제3 이미지의 손톱 몸체의 측면 모양에서 인식된 좌표 값들로부터 손톱 끝 단의 휘어진 정도와 손톱 몸체 측면의 휘어진 정도를 산출할 수 있고, 손톱 끝 단의 휘어진 정도와 손톱 몸체 측면의 휘어진 정도를 X, Y 평면에 대해 Z 축 좌표가 계산되는 스칼라 공간을 계산하여, 3차원 좌표계 상의 인조 손톱 모델을 생성할 수 있다.
도 8을 참조하면, 본 발명의 일실시예에 따른 인조 손톱 모델의 세부 조정을 나타낸 것을 알 수 있다.
예를 들어, 모델 생성부(130)는 생성된 인조 손톱 모델의 두께(THICKNESS), 수평 곡면 높이(HORIZONTAL CURVATURE HEIGHT), 수직 곡면 높이(VERTICAL CURVATURE HEIGHT) 및 손톱 길이(NAIL LENGTH)를 'mm' 단위로 세부 조정할 수 있으며, 추가적인 파라미터가 더 포함되어 조정할 수 있고, 세부 조정 단위도 이에 한정하지 않는다.
이 때, 모델 생성부(130)는 최종적으로 생성된 인조 손톱 모델에 관한 데이터를 사용자에게 다운로드(DOWNLOAD) 기능을 통해 전달할 수 있고, 저장(SAVE PROJECT)할 수도 있다.
이 때, 모델 생성부(130)는 인조 손톱 모델을 3D 인쇄 가능한 3D 모델 파일(예: STL 파일 등)로 생성할 수 있다.
또한, 모델 생성부(130)는 인조 손톱 모델 생성과정에 사용된 이미지 데이터, 좌표 값들, 기준 인조 손톱 모델을 조정한 파라미터들로부터 학습 데이터를 생성하기 위해 이미지 학습부(140)에 전달할 수 있다.
이미지 학습부(140)는 인조 손톱 모델을 생성하기 위해 사용된 이미지 데이터, 좌표 값들 및 기준 인조 손톱 모델을 조정한 파라미터들을 학습하여 학습 데이터를 생성할 수 있고, 학습 데이터를 모델 생성부(130)에 제공할 수 있다.
이 때, 모델 생성부(130)는 학습 데이터를 이용하여 3차원 좌표계 상의 인조 손톱 모델의 모양과 스케일 값을 보다 효과적으로 결정할 수도 있다.
도 9는 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 방법을 나타낸 동작흐름도이다. 도 10은 도 9에 도시된 이미지 데이터 수신 단계의 일 예를 세부적으로 나타낸 동작흐름도이다. 도 11은 도 9에 도시된 이미지 데이터 분석 단계의 일 예를 세부적으로 나타낸 동작흐름도이다. 도 12는 도 9에 도시된 인조 손톱 모델 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 방법은 먼저 이미지 데이터를 수신할 수 있다(S210).
즉, 단계(S210)는 대상의 인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신할 수 있다.
도 10을 참조하면, 단계(S210)는 먼저 이미지 데이터를 생성할 수 있다(S211).
즉, 단계(S211)는 사용자 단말 장치가 대상의 손톱과 표준 규격 사물을 함께 촬영하여 이미지 데이터를 생성할 수 있다(S211).
이 때, 이미지 데이터는 스마트폰, 스마트 태블릿, 디지털 카메라 등의 2차원 디지털 이미지를 촬영하여 이미지 데이터를 생성할 수 있는 다양한 방식의 사용자 단말 장치를 이용하여 생성될 수 있다.
예를 들어, 단계(S211)는 사용자 단말 장치가 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트의 안내에 따라 사용자 단말 장치를 통해 사용자에게 인조 손톱 모델을 생성하기 위하여 필요한 이미지 데이터의 생성을 요청할 수 있다.
이 때, 단계(S211)는 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트가 인조 손톱 모델을 생성하기 위해 필요한 정보를 사용자 단말 장치를 통해 메시지로 출력할 수 있다.
이 때, 인조 손톱 모델을 생성하기 위해 필요한 정보는 인조 손톱 모델을 생성하기 위해 대상의 손을 촬영하는 방식을 설명한 메시지 등을 포함할 수 있다.
이 때, 단계(S211)는 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트가 사용자 단말 장치에 내장된 카메라를 이용하여 인조 손톱 모델을 생성하기 위해 필요한 이미지 데이터를 촬영하도록 제어할 수도 있다.
또한, 단계(S210)는 이미지 데이터를 전송할 수 있다(S212).
즉, 단계(S212)는 사용자 단말 장치가 네트워크를 통해 사진 측량을 이용한 모델 재구성 장치에게 이미지 데이터를 전송할 수 있다.
이 때, 단계(S212)는 사용자 단말 장치가 인조 손톱 모델 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트에 이미지 데이터를 업로드 할 수도 있다.
또한, 단계(S210)는 이미지 데이터를 수신할 수 있다(S213).
즉, 단계(S213)는 사용자 단말 장치로부터 네트워크를 통해 이미지 데이터를 수신할 수도 있고, 인조 손톱 모델 생성 서비스를 제공하는 애플리케이션, 소프트웨어 및 웹 사이트로부터 인조 손톱 생성을 의뢰하기 위하여 사용자가 업로드 한 이미지 데이터를 다운로드 할 수도 있다.
이 때, 상기 이미지 데이터는 상기 손톱 몸체의 모양을 인식하기 위한 제1 이미지 및 상기 손톱 끝 단의 모양을 인식하기 위한 제2 이미지를 포함할 수 있다.
도 2 및 도 3은 제1 이미지의 일 예를 나타낸 것이고, 도 4는 제2 이미지의 일 예를 나타낸 것을 알 수 있다.
도 2 내지 도 4를 참조하면, 제1 이미지 및 상기 제2 이미지는 상기 표준 규격 사물과 상기 대상의 손가락 밑바닥이 밀착된 상태로 촬영될 수 있다.
특히, 도 2 및 도 3에 도시된 바와 같이, 제1 이미지는 상기 대상의 손등을 바라보는 시점에서 상기 대상의 손톱 몸체와 상기 표준 규격 사물이 함께 촬영될 수 있다.
또한, 제1 이미지는 상기 대상의 손등을 바라보는 시점에서 왼손 엄지 손가락의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지, 상기 대상의 손등을 바라보는 시점에서 왼손 나머지 네 개 손가락들의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지, 상기 대상의 손등을 바라보는 시점에서 오른손 엄지 손가락의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지 및 상기 대상의 손등을 바라보는 시점에서 오른손 나머지 네 개 손가락들의 밑바닥이 표준 규격 사물과 밀착된 상태로 촬영된 이미지를 포함할 수 있다.
특히, 도 4에 도시된 바와 같이, 제2 이미지는 상기 대상의 손가락 끝을 바라보는 시점에서 손톱 끝 단과 상기 표준 규격 사물이 함께 촬영될 수 있다.
이 때, 제2 이미지는 상기 표준 규격 사물의 일 면에 상기 대상의 엄지 손가락 밑바닥이 밀착되고, 상기 표준 규격 사물의 다른 일 면에 상기 대상의 나머지 네 개의 손가락 밑바닥이 모두 밀착된 상태로 촬영된 왼손 이미지와 오른손 이미지를 포함할 수 있다.
이 때, 제2 이미지는 손톱 끝 단이 휘어진 정도를 인식하기 위하여 손가락이 뻗어 나가는 방향을 마주 보는 시점에서 상기 대상의 손가락 끝이 촬영되어야 한다.
또한, 이미지 데이터는 손톱 몸체가 휘어진 정도를 인식하기 위하여 손가락 측면을 촬영한 제3 이미지를 더 포함할 수도 있다.
표준 규격 사물은 국제 표준 규격에 따라 제작된 사물에 상응할 수 있다.
예를 들어, 표준 규격 사물은 ISO(International Organization for Standardization)와 같은 국제 표준화 기구에서 개발한 국제 표준 규격에 따라 제작된 사물에 상응할 수 있고, 상기 국제 표준 규격에 따라 제작된 사물은 신용카드, 지폐, 동전 및 용지 등 다양한 사물에 상응할 수 있다.
본 발명의 일실시예에 따른 표준 규격 사물은 신용카드를 예로 들어 설명한다.
또한, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 방법은 이미지 데이터를 분석할 수 있다(S220)
즉, 단계(S220)는 상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정할 수 있다.
도 5를 참조하면, 단계(S220)는 상기 제1 이미지로부터 상기 손등을 바라보는 시점에서 상기 손톱 몸체의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양에 대한 파라미터를 결정할 수 있다.
도 11을 참조하면, 단계(S220)는 먼저 손톱 몸체의 모양에 대한 파라미터를 결정할 수 있다(S221).즉, 단계(S221)는 상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 상기 손톱 몸체의 손톱 경계선에 적어도 4개 이상의 포인트들을 설정하고, 상기 적어도 4개 이상의 포인트들을 상기 손톱 몸체의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 단계(S221)는 상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 인식된 상기 손톱 몸체의 모양에 기반하여 적어도 하나 이상의 선택 가능한 상기 인조 손톱 모델의 손톱 모양의 종류를 결정할 수 있다.
도 6을 참조하면, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치가 선택 가능한 인조 손톱 모델의 손톱 모양의 종류를 나타낸 것을 알 수 있다.
본 발명의 일실시예에 따른 손톱 모양의 종류는 스퀘어(SQUARE), 스퀘어 오발, 스쿠오발 또는 세미 스퀘어(SQUARE OVAL, SQUOVAL OR SEMI SQUARE), 라운드(ROUNDED), 오벌(OVAL), 알몬드(ALMOND), 발레리나 또는 코핀(BALLERINA OR COFFIN) 및 스틸레토(STILETTO)가 포함되는 것을 알 수 있으며, 추가적인 손톱 모양의 종류가 더 포함될 수도 있다.
이 때, 단계(S221)는 인식된 상기 대상의 손톱 몸체의 모양과 기준 인조 손톱 모델의 손톱 몸체와 비교하여 사용자에게 인조 손톱 모델의 손톱 모양을 추천하기 위해, 인조 손톱 모델의 손톱 모양들 중 적어도 하나 이상을 선택할 수 있고, 선택된 인조 손톱 모델의 손톱 모양을 사용자 단말 장치를 통해 사용자에게 추천할 수도 있다.
예를 들어, 단계(S221)는 상기 대상의 손톱의 길이가 기준 인조 손톱 모델의 손톱의 길이 보다 긴 경우, 스퀘어, 스퀘어 오발, 스쿠오발 또는 세미 스퀘어를 선택할 수 있고, 상기 대상의 손톱의 길이가 기준 인조 손톱 모델의 손톱의 길이 보다 짧은 경우, 라운드를 추천할 수 있고, 상기 대상의 손톱의 폭이 기준 인조 손톱 모델의 손톱의 폭보다 좁은 경우, 오벌 및 알몬드를 선택할 수 있다.
또한, 단계(S220)는 손톱 끝 단의 모양에 대한 파라미터를 결정할 수 있다(S222).
즉, 단계(S222)는 상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 끝 단의 모양에 대한 파라미터를 결정할 수 있다.
도 7을 참조하면, 단계(S222)는 상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱의 양 측에 해당하는 점에 각각 하나씩 2개의 포인트들을 설정하고, 상기 손톱 끝 단의 적어도 하나 이상의 지점에 추가 포인트를 설정하여 상기 2개의 포인트들과 상기 추가 포인트를 상기 손톱 끝 단의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 단계(S222)는 상기 2개의 포인트들을 이은 직선을 생성하고, 상기 직선에 대해 수직하고, 상기 대상의 손톱 몸체를 관통하는 방향인 수선과 만나는 손톱 끝 단의 지점을 상기 추가 포인트로 설정할 수 있다.
이 때, 단계(S222)는 표준 규격 사물에 2개의 포인트들을 설정하고, 상기 2 개의 포인트들을 이은 직선을 생성하고, 상기 표준 규격 사물에 생성된 직선의 기울기를 이용하여 상기 손톱 끝 단의 모양에 대한 좌표 값들의 위치를 조정할 수 있다.
또한, 단계(S220)는 손톱 측면의 모양에 대한 파라미터를 결정할 수 있다(S223).
상기 제3 이미지로부터 상기 대상의 손가락 측면을 바라보는 시점에서 촬영한 손톱 측면의 모양을 인식하고, 손톱 측면의 모양에 대한 파라미터를 결정할 수 있다.
이 때, 단계(S223)는 상기 제3 이미지로부터 손가락 측면을 바라보는 시점에서 손톱 몸체의 손톱 끝 단과 손톱 뿌리 쪽에 각각 하나씩 2개의 포인트들을 설정하고, 상기 손톱 몸체의 적어도 하나 이상의 지점에 추가 포인트를 설정하여 상기 2개의 포인트들과 상기 추가 포인트를 상기 손톱 측면의 모양에 대한 좌표 값들로 상기 파라미터를 결정할 수 있다.
이 때, 단계(S223)는 상기 2개의 포인트들을 이은 직선을 생성하고, 상기 직선에 대해 수직하고, 상기 대상의 손톱 몸체를 관통하는 방향인 수선과 만나는 손톱 몸체의 지점을 상기 추가 포인트로 설정할 수 있다.
이 때, 단계(S223)는 표준 규격 사물에 2개의 포인트들을 설정하고, 상기 2 개의 포인트들을 이은 직선을 생성하고, 상기 표준 규격 사물에 생성된 직선의 기울기를 이용하여 상기 손톱 측면의 모양에 대한 좌표 값들의 위치를 조정할 수 있다.
이 때, 단계(S220)에 포함되는 단계(S221), 단계(S222) 및 단계(S223)의 수행 순서는 변경 될 수도 있다.
또한, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 방법은 인조 손톱 모델을 생성할 수 있다(S230).
즉, 단계(S230)는 상기 파라미터에 기반하여 인조 손톱 모델을 생성할 수 있다.
도 12를 참조하면, 단계(S230)는 먼저 기준 손톱 모델의 모양을 조정하여 인조 손톱 모델을 생성할 수 있다(S231).
이 때, 단계(S231)는 상기 손톱 몸체의 모양에 대한 좌표 값들에 기반하여 기준 인조 손톱 모델에 대한 손톱 몸체의 모양을 조정하고, 손톱 몸체의 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
이 때, 단계(S231)는 상기 손톱 끝 단의 모양에 대한 좌표 값들에 기반하여 상기 기준 인조 손톱 모델의 손톱 끝 단의 모양을 조정하고, 손톱 끝 단의 모양이 조정된 상기 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
이 때, 단계(S231)는 상기 손톱 몸체의 측면 모양에 대한 좌표 값들에 기반하여 상기 기준 인조 손톱 모델의 손톱 몸체의 측면 모양을 조정하고, 손톱 몸체의 측면 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성할 수 있다.
또한, 단계(S230)는 인조 손톱 모델의 스케일 값을 결정할 수 있다(S232).
즉, 단계(S232)는 상기 인조 손톱 모델의 좌표 값들과 상기 표준 규격 사물의 좌표 값들에 기반하여, 상기 표준 규격 사물에 상응하는 상기 인조 손톱 모델의 스케일 값을 결정할 수 있다.
이 때, 단계(S232)는 제1 이미지, 제2 이미지 및 제3 이미지에서 함께 촬영된 손톱과 표준 규격 사물의 좌표 값을 비교하여 인조 손톱 모델의 스케일 값을 결정하고, 인조 손톱 모델의 실제 크기를 산출할 수 있다.
이 때, 단계(S232)는 제1 이미지에서 촬영된 손톱과 표준 규격 사물이 3차원 좌표계 상의 X, Y 평면에 위치하는 것으로 설정하고, 제2 이미지의 손톱 끝 단의 모양에서 인식된 좌표 값들과, 제3 이미지의 손톱 몸체의 측면 모양에서 인식된 좌표 값들로부터 손톱 끝 단의 휘어진 정도와 손톱 몸체 측면의 휘어진 정도를 산출할 수 있고, 손톱 끝 단의 휘어진 정도와 손톱 몸체 측면의 휘어진 정도를 X, Y 평면에 대해 Z 축 좌표가 계산되는 스칼라 공간을 계산하여, 3차원 좌표계 상의 인조 손톱 모델을 생성할 수 있다.
도 8을 참조하면, 본 발명의 일실시예에 따른 인조 손톱 모델의 세부 조정을 나타낸 것을 알 수 있다.
예를 들어, 단계(S232)는 생성된 인조 손톱 모델의 두께(THICKNESS), 수평 곡면 높이(HORIZONTAL CURVATURE HEIGHT), 수직 곡면 높이(VERTICAL CURVATURE HEIGHT) 및 손톱 길이(NAIL LENGTH)를 'mm' 단위로 세부 조정할 수 있으며, 추가적인 파라미터가 더 포함되어 조정할 수 있고, 세부 조정 단위도 이에 한정하지 않는다.
이 때, 단계(S232)는 최종적으로 생성된 인조 손톱 모델에 관한 데이터를 사용자에게 다운로드(DOWNLOAD) 기능을 통해 전달할 수 있고, 저장(SAVE PROJECT)할 수도 있다.
이 때, 단계(S232)는 인조 손톱 모델을 3D 인쇄 가능한 3D 모델 파일(예: STL 파일 등)로 생성할 수 있다.
또한, 단계(S230)는 학습 데이터를 생성할 수 있다(S233).
즉, 단계(S233)는 인조 손톱 모델 생성과정에 사용된 이미지 데이터, 좌표 값들, 기준 인조 손톱 모델을 조정한 파라미터들로부터 학습 데이터를 생성할 수 있다.
이 때, 단계(S233)는 인조 손톱 모델을 생성하기 위해 사용된 이미지 데이터, 좌표 값들 및 기준 인조 손톱 모델을 조정한 파라미터들을 학습하여 학습 데이터를 생성할 수 있다.
이 때, 학습 데이터는 단계(S231) 및 단계(S232)에서 이용되어 3차원 좌표계 상의 인조 손톱 모델의 모양과 스케일 값을 보다 효과적으로 결정할 수도 있다.
도 13은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 13에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 사진 측량을 이용한 모델 재구성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명은 사용자에게 적합한 사용자 맞춤형 인조 손톱 모델을 편리하고 간편하게 제공할 수 있도록 하기 위한 것으로, 인조 손톱 제조 분야에서 산업상 이용가능성이 있다.

Claims (16)

  1. 인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신하는 이미지 수신부;
    상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정하는 이미지 분석부; 및
    상기 파라미터에 기반하여 인조 손톱 모델을 생성하는 모델 생성부;
    를 포함하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  2. 청구항 1에 있어서,
    상기 표준 규격 사물은
    국제 표준 규격에 따라 제작된 사물에 상응하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  3. 청구항 2에 있어서,
    상기 이미지 데이터는
    상기 손톱 몸체의 모양을 인식하기 위한 제1 이미지 및 상기 손톱 끝 단의 모양을 인식하기 위한 제2 이미지를 포함하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  4. 청구항 3에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는
    상기 표준 규격 사물과 상기 대상의 손가락 밑바닥이 밀착된 상태로 촬영된 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  5. 청구항 4에 있어서,
    상기 제1 이미지는
    상기 대상의 손등을 바라보는 시점에서 상기 대상의 손톱 몸체와 상기 표준 규격 사물이 함께 촬영된 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  6. 청구항 5에 있어서,
    상기 제2 이미지는
    상기 대상의 손가락 끝을 바라보는 시점에서 손톱 끝 단과 상기 표준 규격 사물이 함께 촬영된 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  7. 청구항 6에 있어서,
    상기 제2 이미지는
    상기 표준 규격 사물의 일 면에 상기 대상의 엄지 손가락 밑바닥이 밀착되고, 상기 표준 규격 사물의 다른 일 면에 상기 대상의 나머지 네 개의 손가락 밑바닥이 모두 밀착된 상태로 촬영된 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  8. 청구항 7에 있어서,
    상기 이미지 분석부는
    상기 제1 이미지로부터 상기 손등을 바라보는 시점에서 상기 손톱 몸체의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양에 대한 파라미터를 결정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  9. 청구항 8에 있어서,
    상기 이미지 분석부는
    상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 상기 손톱 몸체의 손톱 경계선에 적어도 4개 이상의 포인트들을 설정하고, 상기 적어도 4개 이상의 포인트들을 상기 손톱 몸체의 모양에 대한 좌표 값들로 상기 파라미터를 결정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  10. 청구항 9에 있어서,
    상기 이미지 분석부는
    상기 제1 이미지로부터 상기 대상의 손등을 바라보는 시점에서 인식된 상기 손톱 몸체의 모양에 기반하여 적어도 하나 이상의 선택 가능한 상기 인조 손톱 모델의 손톱 모양의 종류를 결정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  11. 청구항 10에 있어서,
    상기 이미지 분석부는
    상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 상기 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 끝 단의 모양에 대한 파라미터를 결정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  12. 청구항 11에 있어서,
    상기 이미지 분석부는
    상기 제2 이미지로부터 상기 대상의 손가락 끝을 바라보는 시점에서 손톱의 양 측에 해당하는 점에 각각 하나씩 2개의 포인트들을 설정하고, 상기 손톱 끝 단의 적어도 하나 이상의 지점에 추가 포인트를 설정하여 상기 2개의 포인트들과 상기 추가 포인트를 상기 손톱 끝 단의 모양에 대한 좌표 값들로 상기 파라미터를 결정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  13. 청구항 12에 있어서,
    상기 이미지 분석부는
    상기 2개의 포인트들을 이은 직선을 생성하고, 상기 직선에 대해 수직하고, 상기 대상의 손톱 몸체를 관통하는 방향인 수선과 만나는 손톱 끝 단의 지점을 상기 추가 포인트로 설정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  14. 청구항 13에 있어서,
    상기 모델 생성부는
    상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 좌표 값들에 기반하여 기준 인조 손톱 모델에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 조정하고, 손톱 몸체의 모양과 손톱 끝 단의 모양이 조정된 기준 인조 손톱 모델로부터 상기 인조 손톱 모델을 생성하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  15. 청구항 14에 있어서,
    상기 모델 생성부는
    상기 인조 손톱 모델의 좌표 값들과 상기 표준 규격 사물의 좌표 값들에 기반하여, 상기 표준 규격 사물에 상응하는 상기 인조 손톱 모델의 스케일 값을 결정하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 장치.
  16. 사진 측량을 이용한 모델 재구성 장치의 사진 측량을 이용한 모델 재구성 방법에 있어서,
    인조 손톱 모델을 생성하기 위한 대상의 손톱과 표준 규격 사물이 함께 촬영된 이미지 데이터를 수신하는 단계;
    상기 이미지 데이터에서 상기 대상의 손톱에 대한 손톱 몸체의 모양과 손톱 끝 단의 모양을 인식하고, 상기 표준 규격 사물에 기반하여 상기 손톱 몸체의 모양과 상기 손톱 끝 단의 모양에 대한 파라미터를 결정하는 단계; 및
    상기 파라미터에 기반하여 인조 손톱 모델을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 사진 측량을 이용한 모델 재구성 방법.
PCT/KR2019/012475 2018-09-28 2019-09-25 사진 측량을 이용한 모델 재구성 장치 및 방법 WO2020067725A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980063981.5A CN113678170A (zh) 2018-09-28 2019-09-25 一种利用摄影测量法的模型重建的设备和方法
CA3112538A CA3112538A1 (en) 2018-09-28 2019-09-25 Apparatus and method for model reconstruction using photogrammetry
EP19867687.6A EP3859686A4 (en) 2018-09-28 2019-09-25 DEVICE AND METHOD FOR MODEL RECONSTRUCTION USING PHOTOGRAMMETRY
JP2021543106A JP2022502230A (ja) 2018-09-28 2019-09-25 フォトグラメトリを使用するモデル再構成装置と方法
KR1020217008322A KR20210042160A (ko) 2018-09-28 2019-09-25 사진 측량을 이용한 모델 재구성 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/145,721 2018-09-28
US16/145,721 US20200105007A1 (en) 2018-09-28 2018-09-28 Apparatus and method for model reconstruction using photogrammetry

Publications (1)

Publication Number Publication Date
WO2020067725A1 true WO2020067725A1 (ko) 2020-04-02

Family

ID=69947732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012475 WO2020067725A1 (ko) 2018-09-28 2019-09-25 사진 측량을 이용한 모델 재구성 장치 및 방법

Country Status (7)

Country Link
US (2) US20200105007A1 (ko)
EP (1) EP3859686A4 (ko)
JP (1) JP2022502230A (ko)
KR (1) KR20210042160A (ko)
CN (1) CN113678170A (ko)
CA (1) CA3112538A1 (ko)
WO (1) WO2020067725A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020176560A1 (en) * 2019-02-28 2020-09-03 Cochran Brianna Storm Soluble 3d printed custom artificial nails designed through a mobile application
JP2024517839A (ja) * 2021-05-03 2024-04-23 ディット・テクノロジーズ・インコーポレーテッド ユーザ頭部モデルのスケール化を実施するための基準物体３ｄモデルの生成
KR102509296B1 (ko) * 2022-02-03 2023-03-10 이경은 네일팁제품 매칭 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6196234B1 (en) 1997-05-16 2001-03-06 Ova Nail Products, Inc. Precision fit fingernails
US6382217B2 (en) 2000-04-06 2002-05-07 Wade Coker Process for fabricating custom fit removable and reusable metal fingernails
US20040143359A1 (en) * 2002-11-13 2004-07-22 Teruaki Yogo System and process for creating custom fit artificial fingernails using a non-contact optical measuring device
KR20110101106A (ko) 2011-07-08 2011-09-15 조광식 개인별 맞춤형 인조손톱 제작공급 서비스 시스템
US20120103210A1 (en) * 2010-10-28 2012-05-03 Casio Computer Co., Ltd. Nail print apparatus and print control method
JP2014117455A (ja) * 2012-12-17 2014-06-30 Casio Comput Co Ltd ネイルプリント装置及びネイルプリント装置の印刷方法
KR101844347B1 (ko) * 2017-08-31 2018-05-14 김지환 증강된 네일아트 서비스 제공 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196234A (en) 1986-08-29 1993-03-23 Gte Products Corporation Method for preparing zinc orthosilicate phosphor particle
DE4232956C2 (de) 1992-10-01 2002-02-21 Jagenberg Diana Gmbh Verfahren und Vorrichtung zum Nachbrechen der Längsrillinien bei der Herstellung von quaderförmigen Faltschachteln
US6328949B1 (en) * 1998-10-14 2001-12-11 Dino Tessarolo Nail covering system
US20090092310A1 (en) * 2004-02-06 2009-04-09 Gifford Craig P System and method for precision fit artificial fingernails
WO2005076996A2 (en) * 2004-02-06 2005-08-25 Nielson Scott L Artificial nail blank and related methods
US20110087351A1 (en) * 2009-10-09 2011-04-14 Rohit Sachdeva Customized artificial nail
JP2012232042A (ja) * 2011-05-09 2012-11-29 Casio Computer Co Ltd 付け爪サービス提供装置および端末装置
JP5338848B2 (ja) * 2011-05-09 2013-11-13 カシオ計算機株式会社 ネイルプリント装置及びネイルプリント装置の印刷制御方法
JP5382078B2 (ja) * 2011-08-12 2014-01-08 カシオ計算機株式会社 ネイルプリント装置及び印刷制御方法
JP2014121344A (ja) * 2012-12-20 2014-07-03 Casio Comput Co Ltd ネイルプリント装置及びネイルプリント装置の印刷制御方法
US9227359B2 (en) * 2012-12-31 2016-01-05 Yong Li System and method for manufacturing custom-fit three-dimensional artificial nails
WO2015094412A2 (en) * 2013-12-20 2015-06-25 Avon Products, Inc. Printable nail strips
WO2015126533A1 (en) * 2014-02-19 2015-08-27 Jobani Itamar Computer-implemented system and method for generating personalized and customized artificial nails
WO2015132734A1 (en) * 2014-03-05 2015-09-11 Daniel Moyal 3d printed nails
JP6699176B2 (ja) * 2016-01-06 2020-05-27 カシオ計算機株式会社 描画装置、その描画制御方法及び描画制御プログラム
CN106127181B (zh) * 2016-07-02 2020-03-20 乐活无限（北京）科技有限公司 一种虚拟试戴美甲的方法、系统
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US11515019B2 (en) * 2017-06-21 2022-11-29 H3Alth Technologies Inc. System and method for manufacturing custom nails

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6196234B1 (en) 1997-05-16 2001-03-06 Ova Nail Products, Inc. Precision fit fingernails
US6382217B2 (en) 2000-04-06 2002-05-07 Wade Coker Process for fabricating custom fit removable and reusable metal fingernails
US20040143359A1 (en) * 2002-11-13 2004-07-22 Teruaki Yogo System and process for creating custom fit artificial fingernails using a non-contact optical measuring device
US20120103210A1 (en) * 2010-10-28 2012-05-03 Casio Computer Co., Ltd. Nail print apparatus and print control method
KR20110101106A (ko) 2011-07-08 2011-09-15 조광식 개인별 맞춤형 인조손톱 제작공급 서비스 시스템
JP2014117455A (ja) * 2012-12-17 2014-06-30 Casio Comput Co Ltd ネイルプリント装置及びネイルプリント装置の印刷方法
KR101844347B1 (ko) * 2017-08-31 2018-05-14 김지환 증강된 네일아트 서비스 제공 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3859686A4

Also Published As

Publication number Publication date
JP2022502230A (ja) 2022-01-11
EP3859686A4 (en) 2022-08-10
EP3859686A1 (en) 2021-08-04
US11147353B2 (en) 2021-10-19
CA3112538A1 (en) 2020-04-02
CN113678170A (zh) 2021-11-19
US20210030133A1 (en) 2021-02-04
KR20210042160A (ko) 2021-04-16
US20200105007A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
WO2020067725A1 (ko) 사진 측량을 이용한 모델 재구성 장치 및 방법
WO2019164374A1 (ko) 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
WO2020149581A1 (en) Electronic device for generating avatar and method thereof
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2021020814A1 (en) Electronic device for providing avatar and operating method thereof
WO2020130281A1 (en) Electronic device and method for providing avatar based on emotion state of user
WO2020171541A1 (ko) 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
WO2020242254A1 (en) Electronic device obtaining skin image and method of controlling the same
WO2019066373A1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
WO2020159149A1 (en) Electronic device and method for processing image
WO2020032383A1 (ko) 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2020207038A1 (zh) 基于人脸识别的人数统计方法、装置、设备及存储介质
WO2021242005A1 (ko) 전자 장치 및 사용자 아바타 기반의 이모지 스티커를 생성하는 방법
WO2022085966A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2021060721A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2019160262A1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
WO2020122513A1 (ko) 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
WO2020204291A1 (ko) 전자 장치 및 그의 발열 제어 방법
WO2017034321A1 (ko) 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
WO2020075953A1 (ko) 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치
WO2023177213A1 (ko) 객체의 색상을 결정하는 방법, 그 장치 및 그 명령을 기록한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867687

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3112538

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2021543106

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019867687

Country of ref document: EP

Effective date: 20210428