WO2016085085A1 - 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램 - Google Patents

콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2016085085A1
WO2016085085A1 PCT/KR2015/007397 KR2015007397W WO2016085085A1 WO 2016085085 A1 WO2016085085 A1 WO 2016085085A1 KR 2015007397 W KR2015007397 W KR 2015007397W WO 2016085085 A1 WO2016085085 A1 WO 2016085085A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact lens
image
circle
points
transparency
Prior art date
Application number
PCT/KR2015/007397
Other languages
English (en)
French (fr)
Inventor
김기곤
이광규
김일한
전용선
Original Assignee
(주)뷰엠테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뷰엠테크놀로지 filed Critical (주)뷰엠테크놀로지
Priority to JP2017527662A priority Critical patent/JP6460237B2/ja
Priority to CN201580062709.7A priority patent/CN107077751B/zh
Priority to EP15864029.2A priority patent/EP3226209A4/en
Priority to US15/526,761 priority patent/US20170337740A1/en
Publication of WO2016085085A1 publication Critical patent/WO2016085085A1/ko
Priority to SA517381617A priority patent/SA517381617B1/ar

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/04—Contact lenses for the eyes
    • G02C7/046—Contact lenses having an iris pattern
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/04—Contact lenses for the eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to a method and apparatus for virtually fitting a contact lens and a computer program for executing the method. Specifically, a contact lens and a face image photographed directly without wearing the contact lens are synthesized through the shape recognition of the contact lens and the eye. A contact lens virtual fitting method, apparatus, and a computer program for executing the method, which enable the user to know the state after wearing the contact lens.
  • Contact lenses are widely used. Contact lenses are not only used for vision correction but are also widely used for cosmetic purposes. It is known that contact lenses for cosmetic purposes include circle lenses and color lenses. Circle lenses or color lenses have a color on the edge of the lens or a color within the lens. Such circle lenses or color lenses are widely worn among teenagers and 20s who are sensitive to their appearance even if they are not intended for vision correction.
  • an app program of a specific app store provides a function for removing such inconvenience.
  • the app can combine the preconfigured lens image with its face image in software and let the app know the style after wearing.
  • App programs can only do face synthesis for pre-tuned lens images, degrade the quality of the lens image, often differ from the real and tuned lens images, and it is not easy to add lens images.
  • a method and apparatus for virtually fitting a contact lens and a method of performing the method for performing a contact lens virtual fitting, which enables a user to know a state after wearing the contact lens by synthesizing the face lens through dynamic image capturing and face recognition without wearing the contact lens. You need a computer program.
  • the present invention has been made to solve the above-mentioned problems, and the contact lens virtual to virtually know the state after wearing the contact lens virtually by the image shooting of the contact lens, the face image shooting and the dynamic composition between the two images It is an object of the present invention to provide a fitting method, an apparatus and a computer program for executing the method.
  • the present invention is to virtualize the contact lens to adjust the size of the contact lens in the eye region recognized in the face image and to provide a natural post-wear appearance by providing transparency to the contact lens image according to the image of the contact lens and the shape of the eye region It is an object of the present invention to provide a fitting method, an apparatus and a computer program for executing the method.
  • the present invention also provides a contact lens virtual fitting method, apparatus, and computer program for executing the method, which can prevent eye diseases caused by direct wearing and reduce the cost of discarding contact lenses after wearing. There is a purpose.
  • the contact lens virtual fitting method for achieving the above object comprises the steps of capturing an image of the contact lens mounted on the contact lens holder through the second optical lens in the mechanism forming the dark room, in the image of the captured contact lens Identifying the contact lens region, imparting transparency to corresponding pixels in the contact lens region based on the color of the contact lens cradle or the color of the contact lens case, identifying the contact lens image generated through the second optical lens Synthesizing according to the transparency imparted to the contact lens image to the pupil of the eye region and displaying the synthesized image.
  • the contact lens virtual fitting method may further include capturing a face image through the first optical lens and identifying an eye region in the captured face image before the synthesizing step, and capturing the contact lens image.
  • the light is output from a plurality of LED lights provided in the dark room so as to provide uniform illuminance in the dark room, and is made in a state in which light is diffused through the diffusion plate provided in the dark room.
  • the step of identifying the contact lens region of the contact lens virtual fitting method may include identifying one or more contours in the captured image, identifying a circle according to the deviation of each of the one or more contours, and the largest circle among the identified circles. Determining a circle as a circle corresponding to the shape of the contact lens, and generating a contact lens image including the determined circle, wherein the step of providing transparency is performed according to the color of the pixels in the corresponding circle of the determined contact lens. And impart transparency beyond the specified threshold to non-circular pixels.
  • the step of identifying the eye region of the contact lens virtual fitting method also includes determining a plurality of points located at the boundary between the pupil and the skin adjacent the pupil.
  • the synthesizing of the contact lens virtual fitting method may include determining a circle corresponding to the pupil using a plurality of points, reducing the generated contact lens image using a size of a circle determined by a plurality of points, and a plurality of points. Further imparting transparency to pixels of a region identified in the reduced contact lens image using a first circle determined as first points of the points of the second circle and a second circle determined as second points. .
  • the pixels of the identified region of the contact lens virtual fitting method are set to be transparent, and the synthesizing step matches the center of the circle of the reduced contact lens to the center corresponding to the pupil after the transparency of the identified region, and then pixel by pixel. Overlap and synthesize.
  • the contact lens virtual fitting method is a contact lens mounted on the contact lens holder through the second optical lens in the mechanism forming the dark room Capturing an image of the contact lens region, identifying a contact lens region in the image of the captured contact lens, imparting transparency to a corresponding pixel of the contact lens region based on the color of the contact lens cradle or the color of the contact lens case. And composing the contact lens image generated through the second optical lens according to the transparency imparted to the contact lens image to the pupil of the identified eye region and displaying the synthesized image.
  • the contact lens virtual fitting device for achieving the above object is a second camera unit including a first camera unit, a second optical lens and a contact lens holder for capturing a face image including a first optical lens,
  • a second camera unit configured to capture a contact lens image mounted on the contact lens holder through the second optical lens and configured to form a darkroom, and identify a contact lens region in the captured contact lens image, Give transparency to corresponding pixels in the contact lens region based on the color or color of the contact lens case, identify the eye region in the captured face image, and identify the contact lens image generated through the second optical lens in the identified eye region
  • Display the synthesized image and the control unit for synthesizing according to the transparency given to the contact lens image Below it includes a display.
  • the second camera unit of the contact lens virtual fitting device may further include a plurality of LED lights and a diffuser plate for diffusing light, respectively, and the control unit may include a second light under an illuminance environment of the plurality of LED lights and the diffuser plate. Capture an image of the contact lens through the optical lens.
  • the control unit of the contact lens virtual fitting device identifies one or more contours in the captured contact lens image, identifies a circle according to the deviation of each point of the one or more contours,
  • the large circle is determined as a circle corresponding to the shape of the contact lens to generate a contact lens image including the determined circle, and the control unit gives transparency according to the color of the pixels in the corresponding circle of the determined contact lens for imparting transparency. Give extra pixels transparency above a specified threshold.
  • the control unit of the contact lens virtual fitting device determines a plurality of points located at the boundary line between the pupil and the skin adjacent to the pupil, and for image synthesis, the control unit determines the plurality of points. Determine the circle corresponding to the pupil, and reduce the generated contact lens image using the size of the circle determined as a plurality of points, and to the first circle and the second points determined as the first points of the plurality of points.
  • the second circle determined is used to impart transparency to the pixels of the identified region in the reduced contact lens image.
  • the contact lens virtual fitting device may further include a storage unit for storing the contact lens image and a corresponding contact lens identifier, and an input unit for receiving the contact lens identifier, and the controller may include a contact stored in the storage unit with the contact lens identifier received through the input unit.
  • the lens image is searched and synthesized into the pupil of the eye region by the contact lens region of the contact lens image retrieved from the storage for image synthesis.
  • the contact lens virtual fitting method, the apparatus and the computer program for executing the method are virtually any combination of contact lens images, face images, and dynamic composition between two images. It is effective to see the appearance.
  • the contact lens virtual fitting method, apparatus and computer program for executing the method according to the present invention as described above adjusts the contact lens to the eye region recognized in the face image and the contact lens according to the shape of the image and the eye region Transparency is provided to the lens image to provide a natural post-wear appearance.
  • the contact lens virtual fitting method, the apparatus and the computer program for executing the method according to the present invention as described above to prevent the eye disease caused when worn directly and to reduce the cost of discarding the contact lens after wearing It works.
  • FIG. 1 illustrates an exemplary block diagram of a contact lens virtual fitting device.
  • FIG. 2 illustrates an exemplary schematic flow for a contact lens virtual fitting.
  • FIG. 3 is a diagram illustrating a specific flow of a contact lens recognition process.
  • FIG. 4 is a diagram illustrating a specific flow of an eye recognition process.
  • 5 is a view showing a specific flow of the synthesis process.
  • FIG. 6 illustrates images of captured contact lenses.
  • FIG. 7 is a diagram illustrating an eye region part of a face image in which an eye region is displayed.
  • FIG. 8 is a diagram illustrating circles determined in a process of synthesizing a contact lens image and a face image.
  • FIG. 9 is a diagram illustrating an example of identifying a region for providing additional transparency using the determined circles.
  • FIG. 10 is a diagram illustrating an example of a structure of a second camera unit.
  • first camera portion 111 second camera portion
  • LED light 111-2 diffuser plate
  • FIG. 1 illustrates an exemplary block diagram of a contact lens virtual fitting device 100.
  • the contact lens virtual fitting device 100 includes an input unit 101, an output unit 103, a communication unit 105, a storage unit 107, a first camera unit 109, and a second camera unit 111. , A display unit 113, a connection unit 115, and a controller 117.
  • the contact lens virtual fitting device 100 may further include certain other blocks according to the addition of the function. Alternatively, the specific block of FIG. 1 may be omitted.
  • the block of FIG. 1 preferably represents a functional block diagram.
  • the contact lens virtual fitting device 100 may be configured in one case or distributed in a plurality of instruments.
  • the display unit 113 may be configured as one display device
  • the second camera unit 111 may be configured in a separate apparatus having a dark room
  • the remaining blocks may be configured as a personal computer or a dedicated product.
  • all blocks may be configured as one dedicated product.
  • the products constituting the contact lens virtual fitting device 100 may be composed of one or a plurality of products.
  • the input unit 101 receives a user input.
  • the input unit 101 includes one or more input means such as a mouse, a button, a touch pad, a touch panel, a keypad, a keyboard, a microphone, an optical pen, and the like.
  • the manager or user of the contact lens virtual fitting device 100 may call or stop a function provided by the contact lens virtual fitting device 100 or check a result of performing the function through the input unit 101.
  • the input unit 101 receives a user input for requesting synthesis of a face image and a contact lens image, and the input unit 101 transmits the user input to the controller 117.
  • the output unit 103 outputs the processed result in response to the user input or in accordance with the performance of the specific function in the contact lens virtual fitting device 100.
  • the output unit 103 has one or more output means such as a printer interface, a speaker, an LED, and the like.
  • the communication unit 105 is connected to the network to transmit and receive data.
  • the communication unit 105 may transmit, for example, data received from the control unit 117 to a network packet including a communication chipset for connecting to a local area communication network, and transmit data of the network packet received from the network to the control unit 117.
  • the local area network may be, for example, a wired LAN, a wireless LAN, a Bluetooth, a Zigbee, or the like.
  • the communication unit 105 may transmit various images, various data, and / or various programs stored in the storage unit 107 to a remote device and receive images, data, programs, etc. from the remote device.
  • the remote device may be a server connectable via an internet network or a portable terminal connectable via a mobile communication network.
  • the portable terminal may be, for example, a smartphone or a tablet PC.
  • the storage unit 107 stores various data and programs permanently and / or temporarily.
  • the storage unit 107 includes a mass storage medium such as volatile memory, nonvolatile memory, and / or hard disk.
  • the storage unit 107 includes various programs used in the contact lens virtual fitting apparatus 100, captured face images, captured contact lens images, and face images synthesized into contact lens images.
  • Each image is stored with an identifier.
  • facial images are stored with an identifier of a general user who intends to purchase or intention of the contact lens 111-5.
  • the identifier of the end user consists of one or more combinations of, for example, a name, a telephone number, an address, a unique serial number (e.g., a number given by an administrator of the contact lens virtual fitting device 100).
  • the contact lens images are stored together with the identifier of the corresponding contact lens 111-5, wherein the identifier of the contact lens 111-5 is composed of one or more combinations of a manufacturer, a model name, a model number, and the like.
  • the synthesized face images are stored together with the identifier of the general user and the identifier of the contact lens 111-5. Accordingly, one user can check composite images such as those wearing various contact lenses 111-5.
  • the storage unit 107 also stores the synthesis program.
  • the synthesis program may capture the image and store the captured image in the storage unit 107.
  • the compositing program can also synthesize and display the images.
  • the compositing program is preferably configured to be able to synthesize the contact lens image into the eye region, specifically the pupil region, of the face image. In order to create a natural image, the contact lens image is given transparency and is synthesized in the face image according to the transparency.
  • the synthesis program may be configured to be executed by being coupled to the hardware derived from FIG. 1 and may be stored and distributed on a medium.
  • the medium may be, for example, an online medium or an offline medium.
  • the online medium may be, for example, a server distributing an app or the like
  • the offline medium may be, for example, a USB memory, a memory card, a hard disk, a CD, a DVD, or the like.
  • Detailed image capturing and compositing performed in the synthesis program will be described below with reference to FIG. 2.
  • the first camera unit 109 includes an optical lens and an image sensor.
  • the first camera unit 109 captures an image including the face of the general user under the control of the controller 117.
  • the first camera unit 109 outputs the captured face image to the controller 117 as an analog or digital signal.
  • the second camera unit 111 includes an optical lens 111-4 and an image sensor.
  • the second camera unit 111 captures an image of the contact lens 111-5 under the control of the controller 117.
  • the second camera unit 111 preferably fixes the illumination 111-1 (for example, the LED illumination 111-1) and the contact lens 111-5, and captures the imaging area of the optical lens 111-4.
  • It further comprises a contact lens holder 111-3 is designated as.
  • At least the illumination and contact lens holder 111-3 is installed in a mechanism constituting the second camera portion 111, which mechanism provides at least a darkroom function.
  • the specific region in which the contact lens holder 111-3, in particular, the contact lens 111-5 is positioned, is displayed in a specific color. That is, a specific area for positioning the contact lens 111-5 of the contact lens holder 111-3 is recognized as one same color when capturing.
  • the contact lens holder 111-3 is painted or coated with ink or paint designated as the background color.
  • the background color is not limited to white and can be any other color. For example, it may be red (R), green (G), blue (B) and the like.
  • the background color may be selected by the color of the pattern of the specific contact lens 111-5 and is preferably selected by the manager. For example, when the pattern of the contact lens 111-5 is blue, a color other than blue is selected as the background color. In the following description, for simplicity of explanation, the background color is assumed to be white, and other colors will be mentioned only when necessary in the description.
  • the contact lens holder 111-3 is exposed to the outside of the dark room by sliding with a specific button of the input unit 101 and is inserted into the dark room by the sliding of the same button.
  • FIG. 10 is a diagram illustrating an example of the structure of the second camera portion 111.
  • the second camera unit 111 includes one or more LED lights 111-1, one or more diffusion plates 111-2, a contact lens holder 111-3, and the like. An optical lens 111-4.
  • the second camera unit may further include one or more contact lenses 111-5 mounted on the contact lens holder 111-3.
  • the contact lens holder 111-3 is configured to mount one or more contact lenses 111-5. Ink, paint, and the like are coated in a specific background color in the region where the contact lenses 111-5 are mounted.
  • the contact lens holder 111-3 is configured to be rotatable, and the optical lens 111-4 is configured to photograph a specific contact lens 111-5 selected by rotation.
  • the contact lens holder 111-3 may be exposed to the outside through a sliding method.
  • the colors of the regions of the contact lens holder 111-3 on which the contact lenses 111-5 are mounted may be different from each other. Can be. For example, one area is white, the other area is blue, another area is green, and another area is red.
  • the second camera unit 111 of FIG. 10 includes a plurality of LED lights 111-1 for forming a dark room and providing lighting in the dark room.
  • LED light 111-1 is configured to output a specified illuminance.
  • the LED lighting 111-1 outputs white light of a plurality of levels of illuminance, for example, and the level control of illuminance is performed by the control unit 117. Depending on the color of the particular contact lens 111-5, this illuminance may be controlled differently.
  • the light output through the LED lights 111-1 may diffuse through the diffuser 111-2 and provide uniform illumination in the dark room by the LED lights 111-1 provided at various angles.
  • the contact lens 111-5 is mounted on the contact lens holder 111-3.
  • the contact lens 111-5 is preferably mounted in the contact lens case and the contact lens case is mounted in the contact lens holder 111-3.
  • the contact lens case is configured as a lower case or further includes an upper case for accommodating the contact lens 111-5.
  • the lower case is made transparent or painted in the background color. If the lower case is coated with ink or paint of a background color, the configuration of the background color of the contact lens holder 111-3 may be omitted.
  • the upper case is made transparent.
  • the contact lens case may not include an upper case.
  • the administrator may mount the contact lens 111-5 on the contact lens case using tweezers or the like, and replace the contact lens 111-5 if necessary. Can be.
  • the contact lens case itself including the contact lens 111-5 may be mounted or changed on the contact lens holder 111-3.
  • the display 113 displays an image generated by the controller 117.
  • the display unit 113 may be an LCD or an LED display device.
  • the display can be a computer monitor, a dedicated monitor, or a generic TV manufactured and distributed by the manufacturer.
  • the display 113 displays an image output by the controller 117 and displays, for example, an image in which a contact lens image is synthesized in a face image.
  • connection unit 115 transmits and receives data between blocks.
  • the connection 115 includes a parallel bus or a serial bus.
  • the connection unit 115 further includes a dedicated bus according to the type of the interface of the specific block. For example, data transmitted from the first camera unit 109 and the second camera unit 111 to the control unit 117 is provided for receiving an image by the bus or the control unit 117 provided by the chipset of the image sensor. Is transmitted over the bus. Data transmitted from the control unit 117 to the display unit 113 is transmitted through a bus provided by the display unit 113 or a bus provided to output an image from the control unit 117.
  • the controller 117 controls each block of FIG. 1.
  • the control unit 117 includes an execution unit called a CPU, an MPU, a processor, or the like, and loads a program stored in the storage unit 107 into an internal memory or a register to control other blocks.
  • the control unit 117 loads the synthesis program stored in the storage unit 107 and executes the synthesis program, thereby inputting the input unit 101, the display unit 113, the storage unit 107, and the first camera unit 109. , The second camera unit 111 and the like.
  • the controller 117 controls the first camera unit 109 and / or the second camera unit 111 to capture an image and stores the captured image in the storage unit 107.
  • the controller 117 synthesizes the captured contact lens image to the captured face image and outputs the synthesized image through the display 113.
  • the controller 117 may store the captured image and / or the synthesized face image in the storage unit 107 and transmit the captured image to the remote device through the communication unit 105 if necessary.
  • FIG. 2 illustrates an exemplary schematic flow for a contact lens virtual fitting.
  • the general flow of FIG. 2 includes a contact lens recognition process S1, an eye recognition process S2, a synthesis process S3, and an output process S4.
  • the general flow of FIG. 2 is performed by the contact lens virtual fitting apparatus 100 and preferably the control unit 117 loads the synthesis program stored in the storage unit 107 to perform this synthesis program and another block according to the synthesis program. By controlling them.
  • the contact lens recognition process S1 may be performed by photographing an image of the contact lens holder 111-3 using the optical lens 111-4 and / or capturing a contact lens from an image captured by photographing.
  • the image of the contact lens 111-5 may be extracted or generated from the image captured by the contact lens recognition process, and then the transparency of each pixel may be given to the contact lens image.
  • the contact lens recognition process will be described in detail with reference to FIG. 3.
  • the eye recognition process (S2) is a process of recognizing an eye region of a face in a face image captured by an optical lens and / or captured by a general user's face.
  • the eye recognition process (S2) is particularly configured to recognize the pupil area of the eye area. The pupil area then becomes the area for the contact lens image to be synthesized. Eye recognition process (S2) will be described in detail with reference to FIG.
  • the synthesis process S3 is a process of synthesizing the contact lens image and the face image.
  • the compositing process synthesizes, according to the transparency, the contact lens image, which has been previously given transparency to the eye area of the face image.
  • the synthesizing process S3 may also adjust the size of the contact lens image in consideration of various types of pupils, and further proceed with the synthesis by adding new transparency to the contact lens image.
  • the synthesis process S3 will be described in detail with reference to FIG. 5.
  • the output process S4 outputs the synthesized image.
  • the output process S4 outputs the synthesized image through the display unit 113 or outputs the synthesized image through the communication unit 105.
  • Each process of FIG. 2 need not be performed sequentially. For example, there is no need for a posterior relationship between the contact lens recognition process S1 and the eye recognition process S2. After performing the contact lens recognition process S1, the eye recognition process S2 may be performed or vice versa.
  • the contact lens recognition process S1 is first performed by the manager for each contact lens 111-5 model so that the contact lens image and the corresponding contact lens identifier are stored in the storage unit 107 in advance. Thereafter, the control unit 117 receives the contact lens identifier of the administrator through the input unit 101 according to the request of the general user, and retrieves the contact lens image and data stored in the storage unit 107 using the received identifier. The controller 117 may synthesize (S3) and then output (S4) the pupil of the identified eye region of the face image captured by photographing the contact lens region of the retrieved contact lens image.
  • FIG. 3 is a diagram illustrating a specific flow of a contact lens recognition process S1.
  • the contact lens recognition process of FIG. 3 is performed by the blocks of FIG. 1 and is preferably performed by the controller 117 controlling other blocks using a synthesis program.
  • the flow starts by the manager of the contact lens virtual fitting device 100 requesting the recognition of the contact lens 111-5 through the input unit 101 (S100) and the execution of the flow is completed or terminated through the input unit 101.
  • the operation ends by receiving the request (S150).
  • the manager mounts the contact lens 111-5 to which the user requests a virtual fitting on the contact lens holder 111-3 (S101) and positions the contact lens holder 111-3 in the dark room by a sliding method.
  • the contact lens 111-5 is preferably included in the contact lens case and mounted on the contact lens holder 111-3.
  • the controller 117 When the manager presses the shooting button through the input unit 101, the controller 117 generates a control signal for controlling the second camera unit 111 according to the shooting button and outputs a control signal to the second camera unit 111. .
  • the second camera unit 111 controls the LED light 111-1 to output the light, and the contact lens mounted on the contact lens holder 111-3 through the optical lens 111-4.
  • the image including the image 111-5 is captured and the image exposed to the image sensor is captured according to the image capture (S103).
  • the captured image is transmitted to the control unit 117 by the second camera unit 111.
  • the captured image is composed of a predetermined number of pixels along the horizontal axis (X axis) and the vertical axis (Y axis) according to the resolution of the second camera unit 111 and includes an image representing the shape of the contact lens 111-5. do.
  • the pixels are preferably represented in color color and expressed in RGB pixel values, YCbCr pixel values, or in a format for representing other colors.
  • the controller 117 identifies a contact lens region representing the contact lens shape from the captured image (S105).
  • the identification of the contact lens region is made through the identification of the contour.
  • the identification of the contour may use an algorithm generally known in the image processing field. Contours are represented by points representing edges.
  • the contact lenses 111-5 in FIG. 6 are color lenses or circle lenses.
  • the captured images of the contact lens 111-5 have various contours, and the outermost circular contour shows the shape of the contact lens 111-5 and the other contours are the contact lenses. (111-5) It can be seen that it represents a pattern inside.
  • the controller 117 identifies contours with respect to the captured image. Since there are many patterns of the contact lenses 111-5, there are many outlines. The controller 117 aligns the identified contours in descending order by the number of points included in the contour, and excludes a predetermined number or less of the contours from the target contour for identification of the contact lens region. The control unit 117 finds (searches for) the minimum and maximum points on the X-axis (horizontal direction of the image) and the minimum and maximum points of the Y-axis (vertical direction of the image) of the aligned contours.
  • the controller 117 Using the four points of each contour, the controller 117 identifies whether each contour is circular. Since the contact lens shape is generally circular, the distance from the center of the circle to the point of the edge should be constant. For identification of the circle, the controller 117 calculates the center points of the four points using the four points found, and the controller 117 calculates the standard deviation of the distance between the center point and each point. If the standard deviation is less than or equal to the specified threshold, the controller 117 may identify the contour as being circular.
  • the specified threshold may be predetermined and may be, for example, a value of 30, 20, or the like.
  • the controller 117 may identify a plurality of prototypes corresponding to the plurality of contours.
  • the controller 117 may determine the largest circle among the identified plurality of circles as the circle representing the contact lens shape.
  • the control unit 117 sets the center point of the contour corresponding to the largest circle to the center of the identified contact lens 111-5 and the largest distance between the points from the center point of the corresponding contour to the identified contact lens 111. Set the radius to -5).
  • control unit 117 also generates a contact lens image including a circle representing the shape of the contact lens from the captured image.
  • the resulting contact lens image is an image cut out of a square or rectangle, including, for example, a circle of contact lens shape.
  • step S107 the controller 117 gives transparency to the generated contact lens image. Transparency for the contact lens image is based on the color (specifically the background color) of each pixel of the contact lens image.
  • the control unit 117 searches for the background color in the pixels of the contact lens image and gives transparency so that the pixels corresponding to the background color (pixels in the circle of the contact lens shape) are not visible (transparent).
  • the background color may be the same as the color of the contact lens holder 111-3 or the color of the lower case of the contact lens case and may be white, for example. Since white is generally 255, 255, and 255 as 8-bit RGB values, the control unit 117 provides transparency so as to be transparent when the pixel value (for example, each of the RGB values is 245 or more) that is recognized as white.
  • control unit 117 provides a transparency (for example, 100% transparency) above a threshold specified to make all pixels outside the contact lens shape circle (circle determined by radius and center) transparent.
  • the controller 117 may give additional transparency to the pixels in the contact lens shape.
  • the controller 117 may change the color colors of the pixels in the contact lens shape to the color value of the grayscale and give each pixel a transparency proportional to the color value of the grayscale. For example, if the color value of grayscale is 0 (black), it gives 0% transparency (opacity), and if the color value is 30 (for example, yellow or blue grayscale value), it gives 30% transparency.
  • the controller 117 stores the contact lens image to which the transparency is provided in the storage 107 (S109).
  • the controller 117 may be temporarily stored in a volatile memory or permanently stored in a nonvolatile memory or a mass storage medium.
  • the contact lens image is stored with data including the center and the radius of the contact lens 111-5.
  • the contact lens image can also be stored with the contact lens identifier.
  • the contact lens identifier is input through the input unit 101 by an administrator or the like and stored by the controller 117 together with the corresponding contact lens image.
  • the contact lens image may be extracted and transparency may be provided to the extracted image to provide a natural composite image in subsequent synthesis.
  • FIG. 4 is a diagram illustrating a specific flow of an eye recognition process.
  • the eye recognition process of FIG. 4 is performed by the blocks of FIG. 1 and is preferably performed by the controller 117 controlling other blocks using a synthesis program.
  • the manager presses a photographing button for capturing a face image via the input unit 101 and transmits it to the control unit 117 (S200).
  • the photographing button used here may be the same as or different from the photographing button in FIG. 3.
  • the controller 117 generates a control signal for controlling the first camera unit 109 and outputs a control signal to the first camera unit 109.
  • the first camera unit 109 Upon reception of the control signal, the first camera unit 109 captures the face of the user through the optical lens and captures the face image exposed to the image sensor according to the capture (S201). The captured face image is transmitted to the controller 117 by the first camera unit 109.
  • the captured face image is composed of a predetermined number of pixels on the horizontal axis (X axis) and the vertical axis (Y axis) according to the resolution of the first camera unit 109.
  • the pixels are preferably represented in color color and expressed in RGB pixel values, YCbCr pixel values, or in a format for representing other colors.
  • the controller 117 identifies an eye region in the captured image according to the reception of the captured face image (S203).
  • the identification of the eye area is made using known algorithms.
  • the synthesis program of the controller 117 identifies an eye region using a cascaded classifier that detects a face and an eye using a feature vector (eg, a Haar feature, an LBP feature).
  • control unit 117 also identifies the eye area.
  • the controller 117 identifies the contour of the pupil for identification of the pupil region.
  • the identification of the contours of the pupil can be made using algorithms known in the image processing art.
  • the identification of the contour it is present on the border between the pupil and the adjacent skin (e.g. the eyelids, the under-eye of the eye) among the points included in the contour or points within the contour and subsequently used for synthesis.
  • the controller 117 determines the points.
  • the controller 117 selects three points on the eyelid and the pupil boundary and selects three points on the pupil and the eyelid boundary.
  • the three points are selected as the midpoints and the end points of the border where the eyelids (or eyelids) and the pupils meet. If there is no border between the pupil and the skin, select three points each to fit the border of the pupil.
  • the controller 117 outputs the face image displaying the eye region through the display 113 (S205).
  • FIG. 7 is a diagram illustrating an eye region part of a face image in which an eye region is displayed.
  • the face image displayed through the display 113 is displayed with rectangles representing the areas of the left and right eyes and points displayed in the pupil area.
  • the points determined through step S203 are indicated by points and these points are modifiable. Administrators or users verify that the locations exist in the correct location. If it is determined that it does not exist in the correct position with the adjacent skin, the manager or the like provides an input for changing the position of the points through the input unit 101 (for example, a mouse, a touch panel, an optical pen, etc.).
  • the input unit 101 for example, a mouse, a touch panel, an optical pen, etc.
  • the control unit 117 receives an input for correcting the eye area (specifically, correction of points existing on the boundary between the pupil and the adjacent skin) (S207) and the input of the corresponding point according to the received input.
  • the image is displayed through the display unit 113 by changing the position and showing the changed eye area (specifically, changes of points existing on the boundary between the pupil and the adjacent skin).
  • Steps S207 and S209 may be performed repeatedly and thus specify the points on the boundary line of the correct eye area.
  • the controller 117 stores data indicating the determined face image, the position of the eye region on the face image, and the points on the pupil boundary of the eye region, in the storage unit 107 and ends (S250).
  • a (general) user identifier may also be stored.
  • the storage of the storage unit 107 may be stored in a volatile memory or in a nonvolatile memory or a mass storage medium.
  • FIG. 5 is a view showing a specific flow of the synthesis process (S3).
  • the synthesis process of FIG. 5 is performed by the blocks of FIG. 1 and is preferably performed by the controller 117 controlling other blocks using the synthesis program.
  • the control unit 117 is stored in the storage unit 107, the contact lens image is given transparency, the center and radius of the contact lens 111-5, face image
  • data representing the position of the eye region and the points on the boundary line are loaded into the volatile memory or the internal memory of the controller 117.
  • the controller 117 automatically edits the contact lens image according to the pupil area of the face image using the points on the boundary line (S303).
  • the automatic editing here can be omitted depending on the needs or design variations.
  • the controller 117 calculates a circle and a radius of the circle representing the pupil using points on the boundary line of the face image to determine a circle corresponding to the pupil (S305).
  • the circular determination corresponding to the pupil is made on the face image.
  • the controller 117 calculates the center and the radius of the circle using points (for example, three) that are not the middle point among the points on the boundary line.
  • the center of the circle corresponding to the pupil can be calculated using the normals of each point and the radius is calculated from the distance of each point from the center.
  • the circle corresponding to the pupil is also referred to as C0.
  • the control unit 117 reduces the contact lens image (specifically, the circular shape of the contact lens) to the size of a circle corresponding to the pupil determined using the points on the boundary in step S305 (S307).
  • the contact lens image is thus resized to be at least equal to the size of the pupil. Since the resolution of the contact lens image is generally higher than the resolution of the pupil included in the face image, the size is generally reduced, but step S307 may be omitted if necessary.
  • the face image and the contact lens image may be synthesized pixel by pixel by resizing the contact lens image and matching the center of the contact lens image to the center of the eye area of the face image. Since transparency is already given to the pixels of the contact lens image, a natural composite image can be constructed.
  • the shape of the eye (particularly the shape of the pupil) of the face image photographed here is different depending on the situation at the time of shooting even for the same user.
  • an image of a pupil close to a circle may be photographed, and at another point of time, an image of a pupil close to an oval may be photographed.
  • the controller 117 needs to consider the shape of the eye of the captured image and perform the synthesis of the contact lens image only on the pupil region recognized according to the boundary of the adjacent skin for the natural image composition.
  • the controller 117 calculates a circle and a radius at specific points among the determined points of the eye region of the face image and calculates another circle and a radius at other points (S309).
  • the specific points of the former are three points of the boundary where the eyelid and the eye meet
  • the latter specific points are the three points of the boundary where the eyelid and the eye meet.
  • a circle composed of specific points of the former is referred to as C1
  • a circle composed of specific points of the latter is also referred to as C2.
  • FIG. 8 is a diagram illustrating prototypes determined in a process of synthesizing a contact lens image and a face image. As shown in FIG. 8, centers of C1 and C2 may be calculated using normals of three points, and radiuses may be calculated. Can be. The example of FIG. 8 is made for the eye region of the face image and the corresponding circle C0 of the pupil region is also indicated as can be seen in FIG. 8.
  • the controller 117 uses the circles of C1 and C2 (or C0) to identify a region where the pupil is covered by the adjacent skin (S311). The identified areas are used to impart additional transparency to the circles of the contact lens areas of the contact lens image.
  • FIG. 9 is a diagram illustrating an example of identifying a region for providing additional transparency using the determined circles.
  • the controller 117 identifies the area excluding the intersection of C1 and C2 in the rectangular area of the scaled (reduced) contact lens image or the rectangular area of the corresponding pupil.
  • the identified area generally consists of two areas. One area represents the part where the eye is covered by the eyelid (upper eyelid) and the other area represents the part where the eye is covered by the eyelid (or lower eyelid).
  • the control unit 117 compares each of the coordinate points of the X (horizontal) and Y axis (vertical) constituting the circle of C1 with the Y coordinate having the same X coordinate of each pixel of the rectangular area. If the Y coordinate of the pixel of the rectangular area is larger than the Y coordinate of the corresponding C1, it is identified as an area to be given so that the pixel is transparent. By simply comparing the Y coordinate of the rectangular region corresponding to the Y coordinate constituting C1 with the Y coordinate, the controller 117 may determine the pixels to transparently process pixels having a large Y coordinate in the rectangular region.
  • the coordinate points constituting the circle of C1 may be calculated using the center point and the radius of C1.
  • the control unit 117 compares each of the X (horizontal) and Y axis (vertical) coordinate points constituting the circle of C2 with the Y coordinate having the same X coordinate of each pixel of the rectangular area, and if the pixel of the rectangular area If the Y-coordinate of is smaller than the Y-coordinate of the corresponding C2, it is identified as an area to be given so that the pixel is transparent.
  • the controller 117 may determine the pixels to transparently process pixels having a small Y coordinate in the rectangular region.
  • the coordinate points constituting the circle of C2 can be calculated using the center point and the radius of C2.
  • the identification of the area may also be made further utilizing C0. For example, only the pixels in C0 may be compared with respect to the coordinate points constituting C1 and C2, and according to the comparison, an area to be transparently identified in C0 may be identified.
  • the comparison and determination method is the same as the method using C1 and C2 and the rectangular region described above.
  • the controller 117 After identification of the region, the controller 117 imparts additional transparency to the pixels of the region of the contact lens image corresponding to the region (s) identified using C1 and C2 and C0 (S313).
  • the transparency here is set to, for example, a value such that the corresponding pixel of the contact lens image is invisible (i.e. transparent) and is given a transparency of 100%, for example.
  • the provision of transparency is made for the contact lens image reduced in step S307 and gives transparency (value) to each of the pixels corresponding to the identified area.
  • the identified region is the region identified within C0 or the region identified within the rectangular region containing C0.
  • control unit 117 configures such that when the contact lens image is synthesized in the eye region of the face image, the pixels of the contact lens image corresponding to the eye portion covered by the adjacent skin are not visible.
  • control unit 117 After providing additional transparency, the control unit 117 synthesizes the contact lens image provided with transparency to the face image according to the given transparency (S315). In detail, the control unit 117 matches the center of the circle of the contact lens image with the center of the contact lens image adjusted to the size of the pupil of the eye region identified in the face image and given transparency according to the shape of the pupil. Each pixel is overlapped with each other according to the transparency value assigned to each pixel to be synthesized.
  • the pixels of the contact lens image are displayed in the synthesized image. If the transparency given to a specific pixel of the contact lens 111-5 is 100% (transparent), the corresponding pixel of the face image is displayed in the synthesized image. If the transparency assigned to a specific pixel of the contact lens 111-5 is 30%, the color value of the pixel corresponding to the face image is 70%, and the color value of the specific pixel is added with a weight of 30% and displayed on the synthesized image. do.
  • control unit 117 ends the synthesis process (S350) and outputs the synthesized image through the display unit 113 (S4).
  • a natural and variable contact lens wearing image may be provided in consideration of the variable shape of the eye.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Eyeglasses (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 암실을 형성하는 기구물 내의 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈의 이미지를 캡쳐링하는 단계, 캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하는 단계, 콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하는 단계, 제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계 및 합성된 이미지를 디스플레이하는 단계를 포함하는, 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램에 관한 것이다.

Description

콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
본 발명은 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램에 관한 것으로서, 구체적으로는 콘택트렌즈의 착용없이도 직접 촬영된 콘택트렌즈와 얼굴 이미지를 콘택트렌즈 및 눈의 형상 인식을 통해 합성하여 콘택트렌즈의 착용 후의 모습을 알 수 있도록 하는, 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램에 관한 것이다.
콘택트렌즈(contact lens)가 널리 이용되고 있다. 콘택트렌즈는 시력교정용으로 이용될 뿐 아니라 미용 목적으로 널리 활용되고 있다. 미용 목적의 콘택트렌즈에는 서클렌즈나 컬러렌즈 등이 있는 것으로 알려져 있다. 서클렌즈나 컬러렌즈는 렌즈 테두리 부분에 색깔이 있거나 렌즈 내에 색깔이 존재한다. 이러한 서클렌즈나 컬러렌즈는 시력교정용 목적이 아니라도 외모에 민감한 10대에서 20대들 사이에서 널리 착용되고 있다.
미용렌즈를 포함한 모든 콘택트렌즈는 안과의사를 통하지 않는 경우 안전성이 담보되지 않고 렌즈 부작용의 위험이 높다. 특히 10대들은 안구가 성장하고 있어 렌즈 부작용으로 시력저하도 발생하기 때문에 더욱더 조심할 필요가 있다.
콘택트렌즈를 구매할 경우 구매자 자신에게 어울리는 렌즈를 선택할 필요가 있다. 일반적으로 콘택트렌즈를 선택하기 위해서 확대경을 이용하거나 눈으로 콘택트렌즈의 형태를 확인할 수밖에 없다. 서비스로 착용할 수 있다고 하더라도 콘택트렌즈 접촉을 위해 손의 위생을 청결히 해야만 하고 손끝에 렌즈를 놓고 눈 가운데서 눈을 벌려 거울을 주시하면서 렌즈를 착용해야 하기에 번거로운 일이다. 콘택트렌즈의 한번 착용후에는 위생상 및 기타 이유로 착용된 콘택트렌즈는 재사용이 불가능하다.
이와 같이 콘택트렌즈의 구매시 구매자 자신에게 어울리는 콘택트렌즈를 찾기란 용이치 않다.
한편 특정 앱스토어의 앱 프로그램은 이러한 불편함을 제거하기 위한 기능을 제공한다. 해당 앱은 소프트웨어적으로 자신의 얼굴 이미지에 미리 구성된 렌즈 이미지를 결합할 수 있고 그 결합에 따라 착용후의 스타일(외모)을 알 수 있도록 한다.
앱 프로그램은 미리 튜닝된 렌즈 이미지에 대해서만 얼굴 합성이 가능하고 렌즈 이미지의 화질이 떨어지며 실 렌즈 이미지와 튜닝된 렌즈 이미지가 다른 경우가 많고 렌즈 이미지의 추가가 용이치 않다.
이와 같이 콘택트렌즈를 착용하지 않고도 콘택트렌즈의 동적인 이미지 촬영과 얼굴 인식을 통한 얼굴 이미지에서의 합성으로 콘택트렌즈의 착용후의 모습을 알 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램이 필요하다.
본 발명은 상술한 문제점을 해결하기 위해서 안출한 것으로서, 콘택트렌즈의 이미지 촬영, 얼굴 이미지 촬영 및 두 이미지 사이의 동적인 합성으로 가상으로 임의의 콘택트렌즈의 착용후의 모습을 알 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.
또한 본 발명은 얼굴 이미지에서 인식되는 눈 영역에 콘택트렌즈를 크기 조정하고 콘택트렌즈의 이미지 및 눈 영역의 형상에 따라 콘택트렌즈 이미지에 투명도를 부여하여 자연스러운 착용후의 모습을 제공할 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.
또한 본 발명은 직접 착용했을 때 발생하는 눈 질환문제를 예방하고 착용후 콘택트렌즈의 폐기로 인한 비용을 줄일 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 콘택트렌즈 가상 피팅 방법은 암실을 형성하는 기구물 내의 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈의 이미지를 캡쳐링하는 단계, 캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하는 단계, 콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하는 단계, 제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계 및 합성된 이미지를 디스플레이하는 단계를 포함한다.
또한 콘택트렌즈 가상 피팅 방법은 합성 단계 이전에, 제1 광학렌즈를 통해 얼굴 이미지를 캡쳐링하는 단계 및 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하는 단계를 더 포함하며, 콘택트렌즈 이미지의 캡쳐링 단계는 암실에서의 균일한 조도를 제공 가능하도록 암실에 구비된 복수의 LED 조명으로부터 광을 출력하고 암실에 구비된 확산판을 통해 광을 확산한 상태에서 이루어진다.
또한 콘택트렌즈 가상 피팅 방법의 콘택트렌즈 영역의 식별 단계는 캡쳐링된 이미지에서 하나 이상의 윤곽선을 식별하는 단계, 하나 이상의 윤곽선 각각의 지점들의 편차에 따라 원형을 식별하는 단계, 식별된 원형 중 가장 큰 원형을 콘택트렌즈의 형상에 대응하는 원형으로 결정하는 단계, 및 결정된 원형을 포함하는 콘택트렌즈 이미지를 생성하는 단계를 포함하며, 투명도 부여 단계는 결정된 콘택트렌즈의 대응하는 원형 내의 픽셀들의 색상에 따라 투명도를 부여하고 원형 외의 픽셀들에 지정된 임계치 이상의 투명도를 부여한다.
또한 콘택트렌즈 가상 피팅 방법의 눈 영역의 식별 단계는 눈동자와 눈동자에 인접하는 피부 사이의 경계선에 위치하는 복수의 지점(point)을 결정하는 단계를 포함한다.
또한 콘택트렌즈 가상 피팅 방법의 합성 단계는 복수의 지점을 이용하여 눈동자에 대응하는 원형을 결정하는 단계, 생성된 콘택트렌즈 이미지를 복수의 지점으로 결정되는 원형의 크기를 이용하여 축소하는 단계, 및 복수의 지점 중 제1 지점들로 결정되는 제1 원형 및 제2 지점들로 결정되는 제2 원형을 이용하여 축소된 콘택트렌즈 이미지 내에서 식별된 영역의 픽셀들에 투명도를 더 부여하는 단계를 포함한다.
또한 콘택트렌즈 가상 피팅 방법의 식별된 영역의 픽셀들은 투명하도록 설정되며, 합성 단계는 식별된 영역의 투명도 부여 단계 이후에 눈동자에 대응하는 중심에 축소된 콘택트렌즈의 원형의 중심을 일치시킨후 픽셀별로 오브랩하여 합성한다.
또한 상기와 같은 목적을 달성하기 위한 컴퓨터 프로그램은 콘택트렌즈 가상 피팅 방법의 각 단계를 실행시키고, 콘택트렌즈 가상 피팅 방법은 암실을 형성하는 기구물 내의 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈의 이미지를 캡쳐링하는 단계, 캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하는 단계, 콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하는 단계, 제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계 및 합성된 이미지를 디스플레이하는 단계를 포함한다.
또한 상기와 같은 목적을 달성하기 위한 콘택트렌즈 가상 피팅 장치는 제1 광학렌즈를 포함하여 얼굴 이미지를 캡쳐링하는 제1 카메라부, 제2 광학렌즈 및 콘택트렌즈 거치대를 포함하는 제2 카메라부로서, 암실을 형성하는 기구물 내에 구성되어 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈 이미지를 캡쳐링하는 제2 카메라부, 캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하고 콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하며, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하고 제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 제어부 및 합성된 이미지를 디스플레이하는 디스플레이부를 포함한다.
또한 콘택트렌즈 가상 피팅 장치의 제2 카메라부는 광을 각각 출력하는 복수의 LED 조명 및 광을 확산하기 위한 확산판을 더 포함하며, 제어부는 복수의 LED 조명 및 확산판을 이용한 광의 조도 환경하에서 제2 광학렌즈를 통한 콘택트렌즈의 이미지를 캡쳐링한다.
또한 콘택트렌즈 영역의 식별을 위해, 콘택트렌즈 가상 피팅 장치의 제어부는 캡쳐링된 콘택트렌즈의 이미지에서 하나 이상의 윤곽선을 식별하고 하나 이상의 윤곽선 각각의 지점들의 편차에 따라 원형을 식별하며 식별된 원형 중 가장 큰 원형을 콘택트렌즈의 형상에 대응하는 원형으로 결정하여 결정된 원형을 포함하는 콘택트렌즈 이미지를 생성하며, 제어부는 투명도 부여를 위해 결정된 콘택트렌즈의 대응하는 원형 내의 픽셀들의 색상에 따라 투명도를 부여하고 원형 외의 픽셀들에 지정된 임계치 이상의 투명도를 부여한다.
또한 눈 영역의 식별을 위해, 콘택트렌즈 가상 피팅 장치의 제어부는 눈동자와 눈동자에 인접하는 피부 사이의 경계선에 위치하는 복수의 지점(point)을 결정하며, 이미지 합성을 위해, 제어부는 복수의 지점을 이용하여 눈동자에 대응하는 원형을 결정하고 생성된 콘택트렌즈 이미지를 복수의 지점으로 결정되는 원형의 크기를 이용하여 축소하고 복수의 지점 중 제1 지점들로 결정되는 제1 원형 및 제2 지점들로 결정되는 제2 원형을 이용하여 축소된 콘택트렌즈 이미지 내에서 식별된 영역의 픽셀들에 투명도를 부여한다.
또한 콘택트렌즈 가상 피팅 장치는 콘택트렌즈 이미지 및 대응하는 콘택트렌즈 식별자를 저장하는 저장부 및 콘택트렌즈 식별자를 수신하는 입력부를 더 포함하며, 제어부는 입력부를 통해 수신된 콘택트렌즈 식별자로 저장부에 저장된 콘택트렌즈 이미지를 검색하고 이미지 합성을 위해 저장부에서 검색된 콘택트렌즈 이미지의 콘택트렌즈 영역으로 눈 영역의 눈동자에 합성한다.
상기와 같은 본 발명에 따른 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램은 콘택트렌즈의 이미지 촬영, 얼굴 이미지 촬영 및 두 이미지 사이의 동적인 합성으로 가상으로 임의의 콘택트렌즈의 착용후의 모습을 알 수 있도록 하는 효과가 있다.
또한 상기와 같은 본 발명에 따른 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램은 얼굴 이미지에서 인식되는 눈 영역에 콘택트렌즈를 크기 조정하고 콘택트렌즈의 이미지 및 눈 영역의 형상에 따라 콘택트렌즈 이미지에 투명도를 부여하여 자연스러운 착용후의 모습을 제공할 수 있도록 하는 효과가 있다.
또한 상기와 같은 본 발명에 따른 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램은 직접 착용했을 때 발생하는 눈 질환문제를 예방하고 착용후 콘택트렌즈의 폐기로 인한 비용을 줄일 수 있도록 하는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 콘택트렌즈 가상 피팅 장치의 예시적인 블록도를 도시한 도면이다.
도 2는 콘택트렌즈 가상 피팅을 위한 예시적인 개괄적 흐름을 도시한 도면이다.
도 3은 콘택트렌즈 인식 과정의 구체적인 흐름을 도시한 도면이다.
도 4는 눈 인식 과정의 구체적인 흐름을 도시한 도면이다.
도 5는 합성 과정의 구체적인 흐름을 도시한 도면이다.
도 6은 캡쳐링된 콘택트렌즈의 이미지들을 도시한 도면이다.
도 7은 눈 영역이 표시된 얼굴 이미지 중 눈 영역 부분을 도시한 도면이다.
도 8은 콘택트렌즈 이미지와 얼굴 이미지의 합성 과정에서 결정되는 원형들을 도시한 도면이다.
도 9는 결정된 원형들을 이용하여 추가적인 투명도 부여를 위한 영역 식별 예를 도시한 도면이다.
도 10은 제2 카메라부의 구조의 예를 나타내는 도면이다.
<부호의 설명>
100 : 콘택트렌즈 가상 피팅 장치
101 : 입력부 103 : 출력부
105 : 통신부 107 : 저장부
109 : 제1 카메라부 111 : 제2 카메라부
111-1 : LED 조명 111-2 : 확산판
111-3 : 콘택트렌즈 거치대 111-4 : 광학렌즈
111-5 : 콘택트렌즈
113 : 디스플레이부 115 : 연결부
117 : 제어부
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 콘택트렌즈 가상 피팅 장치(100)의 예시적인 블록도를 도시한 도면이다.
도 1에 따르면 콘택트렌즈 가상 피팅 장치(100)는 입력부(101), 출력부(103), 통신부(105), 저장부(107), 제1 카메라부(109), 제2 카메라부(111), 디스플레이부(113), 연결부(115) 및 제어부(117)를 포함한다. 콘택트렌즈 가상 피팅 장치(100)는 기능의 추가에 따라 특정 다른 블록을 더 포함할 수 있다. 또는 도 1의 특정 블록은 생략될 수도 있다. 도 1의 블록은 바람직하게는 기능 블록도를 나타낸다.
콘택트렌즈 가상 피팅 장치(100)는 하나의 기구물(case) 내에 구성되거나 복수의 기구물에 분산되어 구성될 수 있다. 예를 들어 디스플레이부(113)는 하나의 디스플레이기기로 구성될 수 있고 제2 카메라부(111)는 암실을 갖춘 별도의 기구물 내에 구성되고 나머지 블록들은 개인용 컴퓨터나 전용 제품으로 구성될 수 있다. 또는 모든 블록들이 하나의 전용 제품으로 구성될 수도 있다. 이와 같이 콘택트렌즈 가상 피팅 장치(100)를 구성하는 제품은 하나 또는 복수개의 제품으로 구성될 수 있다.
콘택트렌즈 가상 피팅 장치(100)의 각 블록들을 간단히 살펴보면 입력부(101)는 사용자 입력을 수신한다. 입력부(101)는 마우스, 버튼, 터치 패드, 터치 패널, 키패드, 키보드, 마이크, 광학 펜 등과 같은 하나 이상의 입력 수단을 구비한다. 입력부(101)를 통해 콘택트렌즈 가상 피팅 장치(100)의 관리자 또는 사용자는 콘택트렌즈 가상 피팅 장치(100)에서 제공하는 기능을 호출하거나 중단하거나 기능 수행에 따른 결과를 확인할 수 있다. 예를 들어 입력부(101)는 얼굴 이미지와 콘택트렌즈 이미지의 합성을 요청하는 사용자 입력을 수신하고 입력부(101)는 이 사용자 입력을 제어부(117)로 전달한다.
출력부(103)는 사용자 입력에 응답해서 또는 콘택트렌즈 가상 피팅 장치(100)에서의 특정 기능의 수행에 따라 처리된 결과를 출력한다. 출력부(103)는 프린터 인터페이스, 스피커, LED 등과 같은 하나 이상의 출력 수단을 구비한다.
통신부(105)는 네트워크에 연결되어 데이터를 송수신한다. 통신부(105)는 예를 들어 근거리 통신 네트워크에 연결되기 위한 통신 칩셋을 포함하여 제어부(117)로부터 수신된 데이터를 네트워크 패킷으로 송출하고 네트워크로부터 수신된 네트워크 패킷의 데이터를 제어부(117)로 전달할 수 있다. 근거리 통신 네트워크는 예를 들어 유선 랜, 무선 랜, 블루투스, 지그비 등 일 수 있다.
통신부(105)를 통해 저장부(107)에 저장되어 있는 각종 이미지들, 각종 데이터, 및/또는 각종 프로그램을 원격의 장치로 송출할 수 있고 원격의 장치로부터 이미지, 데이터, 프로그램등을 수신할 수 있다. 원격의 장치는 인터넷망을 통해 접속가능한 서버이거나 이동통신망을 통해 접속가능한 휴대형 단말기일 수 있다. 휴대형 단말기는 예를 들어 스마트폰이거나 태블릿 PC 등일 수 있다.
저장부(107)는 각종 데이터와 프로그램을 영구히 및/또는 임시로 저장한다. 저장부(107)는 휘발성 메모리, 비휘발성 메모리, 및/또는 하드디스크 등과 같은 대용량 저장매체를 포함한다. 저장부(107)는 콘택트렌즈 가상 피팅 장치(100)에서 이용되는 각종 프로그램, 캡쳐링된 얼굴 이미지들, 캡쳐링된 콘택트렌즈 이미지들, 콘택트렌즈 이미지로 합성된 얼굴 이미지들을 포함한다.
각각의 이미지들은 식별자와 함께 저장된다. 예를 들어 얼굴 이미지들은 콘택트렌즈(111-5)의 구매 또는 의향을 가진 일반 사용자의 식별자와 함께 저장된다. 일반 사용자의 식별자는 예를 들어 이름, 전화번호, 주소, 고유의 일련번호(예를 들어 콘택트렌즈 가상 피팅 장치(100)의 관리자에 의해 부여된 번호) 등의 하나 이상의 조합으로 구성된다. 콘택트렌즈 이미지들은 대응하는 콘택트렌즈(111-5)의 식별자와 함께 저장되는 데, 콘택트렌즈(111-5)의 식별자는 제조사, 모델명이나 모델번호 등의 하나 이상의 조합으로 구성된다. 합성된 얼굴 이미지들은 일반 사용자의 식별자 및 콘택트렌즈(111-5)의 식별자와 함께 저장된다. 이에 따라 한 사용자는 여러 콘택트렌즈(111-5)를 착용한 것과 같은 합성 이미지들을 확인할 수 있다.
저장부(107)에는 또한 합성 프로그램을 저장한다. 합성 프로그램은 이미지를 캡쳐링하고 캡쳐링된 이미지를 저장부(107)에 저장할 수 있다. 또한 합성 프로그램은 이미지들을 합성하여 디스플레이하거나 저장할 수 있다. 합성 프로그램은 바람직하게는 콘택트렌즈 이미지를 얼굴 이미지의 눈 영역, 구체적으로 눈동자 영역,에 합성할 수 있도록 구성된다. 자연스러운 이미지의 생성을 위해 콘택트렌즈 이미지는 투명도가 부여되고 투명도에 따라 얼굴 이미지에 합성된다.
합성 프로그램은 도 1로부터 도출되는 하드웨어에 결합되어 실행시키수 있도록 구성되고 매체에 저장되어 배포될 수 있다. 매체는 예를 들어 온라인 매체이거나 오프라인 매체일 수 있다. 온라인 매체는 예를 들어 앱 등을 배포하는 서버 등일 수 있고 오프라인 매체는 예를 들어 USB 메모리, 메모리 카드, 하드디스크, CD, DVD 등일 수 있다. 합성 프로그램에서 이루어지는 구체적인 이미지 캡쳐링 및 합성에 대해서는 도 2 이하에서 살펴보도록 한다.
제1 카메라부(109)는 광학렌즈 및 이미지 센서를 포함한다. 제1 카메라부(109)는 제어부(117)의 제어에 따라 일반 사용자의 얼굴을 포함하는 이미지를 캡쳐링한다. 제1 카메라부(109)는 캡쳐링된 얼굴 이미지를 아날로그 또는 디지털 신호로 제어부(117)에 출력한다.
제2 카메라부(111)는 광학렌즈(111-4) 및 이미지 센서를 포함한다. 제2 카메라부(111)는 제어부(117)의 제어에 따라 콘택트렌즈(111-5)의 이미지를 캡쳐링한다. 제2 카메라부(111)는 바람직하게는 조명(111-1)(예를 들어 LED 조명(111-1)), 콘택트렌즈(111-5)를 고정시키고 광학렌즈(111-4)의 촬상 영역으로 지정되는 콘택트렌즈 거치대(111-3)를 더 포함한다. 적어도 조명 및 콘택트렌즈 거치대(111-3)는 제2 카메라부(111)를 구성하는 기구물 안에 설치되고 이 기구물은 적어도 암실 기능을 제공한다. 콘택트렌즈 거치대(111-3), 특히 콘택트렌즈(111-5)를 위치시키는 특정 영역,는 특정 색상으로 표시된다. 즉 콘택트렌즈 거치대(111-3)의 콘택트렌즈(111-5)를 위치시키는 특정 영역은 캡쳐링시 하나의 동일한 색상으로 인식된다.
예를 들어 특정 영역은 흰색으로 캡쳐링될 수 있다. 이 색상은 이후 배경색으로 인식될 수 있고 배경색의 인식을 통해 콘택트렌즈 이미지에 투명도를 부여할 수 있다. 콘택트렌즈 거치대(111-3)는 배경색으로 지정된 된 잉크나 도료로 칠해져 있거나 도포되어 있다. 배경색은 흰색에 국한되지 않고 다른 색상이 될 수 있다. 예를 들어 빨간색(R), 녹색(G), 파란색(B) 등일 수도 있다. 배경색은 특정 콘택트렌즈(111-5)의 무늬의 색상에 의해서 선택될 수 있고 바람직하게는 관리자에 의해서 선택된다. 예를 들어 콘택트렌즈(111-5)의 무늬가 파란색인 경우, 파란색이 아닌 색상이 배경색으로 선택된다. 이하의 설명에서는 설명의 간단한 이해를 위해 배경색은 흰색으로 가정하며 설명에 있어서 필요한 경우에만 다른 색상에 대해서 언급하도록 한다.
콘택트렌즈 거치대(111-3)는 입력부(101)의 특정 버튼과 연동하여 암실 외부로 슬라이딩 방식으로 노출되고 동일한 버튼의 입력에 따라 암실 내부로 슬라이딩 방식으로 삽입된다.
도 10은 제2 카메라부(111)의 구조의 예를 나타내는 도면이다.
도 10에서 알 수 있는 바와 같이, 제2 카메라부(111)는 하나 이상의 LED 조명(111-1), 하나 이상의 확산판(111-2)(diffusion plate), 콘택트렌즈 거치대(111-3) 및 광학렌즈(111-4)를 포함한다. 또한 제2 카메라부는 콘택트렌즈 거치대(111-3)에 탑재된 하나 이상의 콘택트렌즈(111-5)를 더 포함할 수 있다.
도 10을 통해서, 제2 카메라부(111)를 좀더 상세히 살펴보면, 콘택트렌즈 거치대(111-3)는 하나 이상의 콘택트렌즈(111-5)를 탑재할 수 있도록 구성된다. 각 콘택트렌즈(111-5)가 탑재되는 위치의 영역에는 특정 배경 색상으로 잉크나 도료 등이 도포되어 있다. 콘택트렌즈 거치대(111-3)는 회전 가능하도록 구성되고, 광학렌즈(111-4)는 회전에 의해서 선택되는 특정 콘택트렌즈(111-5)를 촬영할 수 있도록 구성된다. 콘택트렌즈 거치대(111-3)는 슬라이딩 방식을 통해 외부로 노출될 수 있다. 콘택트렌즈 거치대(111-3)가 복수의 콘택트렌즈(111-5)를 탑재가능한 경우, 각 콘택트렌즈(111-5)가 탑재되는 콘택트렌즈 거치대(111-3)의 영역의 색상은 서로 상이할 수 있다. 예를 한 영역은 흰색이고, 다른 영역은 파란색이고 또 다른 영역은 녹색이고 또 다른 영역은 빨간색으로 구성된다.
도 10의 제2 카메라부(111)는 암실을 형성하고 암실 내에서 조명을 제공하기 위한 복수의 LED 조명(111-1)을 포함한다. LED 조명(111-1)은 지정된 조도를 출력할 수 있도록 구성된다. LED 조명(111-1)은 예를 들어 다수 레벨의 조도의 백색광을 출력하고 조도의 레벨 제어는 제어부(117)에 의해서 이루어진다. 특정 콘택트렌즈(111-5)의 색상에 따라서 이 조도는 달리 제어될 수 있다. LED 조명(111-1)을 통해 출력된 광은 확산판(111-2)을 통해 확산되고 다양한 각도에서 제공되는 LED 조명(111-1)들에 의해서 균일한 조도를 암실 내에 제공할 수 있다.
콘택트렌즈(111-5)는 콘택트렌즈 거치대(111-3)에 탑재된다. 콘택트렌즈(111-5)는 바람직하게는 콘택트렌즈 케이스 내에 탑재되고 콘택트렌즈 케이스가 콘택트렌즈 거치대(111-3)에 탑재된다. 콘택트렌즈 케이스는 콘택트렌즈(111-5)를 내부 수용하기 위한 하부 케이스로 구성되거나 상부 케이스를 더 포함하여 구성된다. 하부 케이스는 투명하게 구성되거나 배경색으로 칠해져 있다. 만일 하부 케이스가 배경색의 잉크나 도료로 도포되어 있는 경우, 콘택트렌즈 거치대(111-3)의 배경색의 구성은 생략될 수도 있다. 상부 케이스는 투명하게 구성된다.
콘택트렌즈 케이스는 상부 케이스를 포함하지 않을 수 있는 데, 이런 경우 관리자는 콘택트렌즈 케이스에 콘택트렌즈(111-5)를 핀셋 등을 이용하여 탑재할 수 있고 필요한 경우 콘택트렌즈(111-5)를 바꿀 수 있다. 상부 케이스를 포함하는 경우, 콘택트렌즈(111-5)를 포함하는 콘택트렌즈 케이스 자체를 콘택트렌즈 거치대(111-3)에 탑재하거나 변경할 수 있다.
디스플레이부(113)는 제어부(117)에 의해서 생성된 이미지를 디스플레이한다. 디스플레이부(113)는 LCD나 LED 디스플레이 기기일 수 있다. 이 디스플레이는 컴퓨터 모니터이거나 전용 모니터이거나 제조사에서 제조 배포된 일반 TV일 수 있다. 디스플레이부(113)는 제어부(117)에 의해 출력된 이미지를 디스플레이하고 예를 들어 얼굴 이미지에 콘택트렌즈 이미지가 합성된 이미지를 디스플레이한다.
연결부(115)는 각 블록간 데이터를 송수신한다. 연결부(115)는 병렬 버스를 포함하거나 시리얼 버스를 포함한다. 또한 연결부(115)는 특정 블록의 인터페이스의 형식에 따라 전용의 버스를 더 포함한다. 예를 들어 제1 카메라부(109) 및 제2 카메라부(111)로부터 제어부(117)로 송신되는 데이터는 이미지 센서의 칩셋에 의해서 제공되는 버스 또는 제어부(117)에 의해서 이미지를 수신하기 위해서 제공되는 버스를 통해 송신된다. 제어부(117)로부터 디스플레이부(113)로 송신되는 데이터는 디스플레이부(113)에서 제공하는 버스 또는 제어부(117)에서 이미지를 출력하기 위해서 제공되는 버스를 통해 송신된다.
제어부(117)는 도 1의 각 블록들을 제어한다. 제어부(117)는 CPU, MPU, 프로세서 등으로 지칭되는 실행 유닛을 포함하고 저장부(107)에 저장된 프로그램을 내부 메모리나 레지스터에 로딩하여 다른 블록들을 제어한다. 예를 들어 제어부(117)는 저장부(107)에 저장된 합성 프로그램을 로딩하고 합성 프로그램에 의한 수행으로 입력부(101), 디스플레이부(113), 저장부(107), 제1 카메라부(109), 제2 카메라부(111) 등을 제어한다.
제어부(117)는 제1 카메라부(109) 및/또는 제2 카메라부(111)를 제어하여 이미지를 캡쳐링하고 캡쳐링된 이미지를 저장부(107)에 저장한다. 제어부(117)는 캡쳐링된 콘택트렌즈 이미지를 캡쳐링된 얼굴 이미지에 합성하고 합성된 이미지를 디스플레이부(113)를 통해 출력한다. 또한 제어부(117)는 캡쳐링된 이미지 및/또는 합성된 얼굴 이미지를 저장부(107)에 저장하고 필요시 통신부(105)를 통해 원격의 장치로 송출할 수 있다.
제어부(117)에서 수행되는 구체적 제어 흐름은 도 2 이하에서 살펴보도록 한다.
도 2는 콘택트렌즈 가상 피팅을 위한 예시적인 개괄적 흐름을 도시한 도면이다.
도 2의 개괄적 흐름은 콘택트렌즈 인식 과정(S1), 눈 인식 과정(S2), 합성 과정(S3) 및 출력 과정(S4)으로 구성된다. 도 2의 개괄적 흐름은 콘택트렌즈 가상 피팅 장치(100)에 의해서 수행되고 바람직하게는 제어부(117)가 저장부(107)에 저장된 합성 프로그램을 로딩하여 이 합성 프로그램을 수행하고 합성 프로그램에 따라 다른 블록들을 제어하여 이루어진다.
각 과정을 간단히 살펴보면, 콘택트렌즈 인식 과정(S1)은 콘택트렌즈 거치대(111-3)의 이미지를 광학렌즈(111-4)를 이용하여 촬영하고(거나) 촬영을 통해 캡쳐링된 이미지에서 콘택트렌즈(111-5)의 형상을 인식하고 이후 콘택트렌즈(111-5)의 인식에 따라 캡쳐링된 이미지를 처리하는 과정이다. 콘택트렌즈 인식 과정을 통해서 촬영된 이미지에서 콘택트렌즈(111-5)의 이미지를 추출 또는 생성하고 이후 콘택트렌즈 이미지에 픽셀별 투명도를 부여할 수 있다. 콘택트렌즈 인식 과정은 도 3을 통해서 구체적으로 살펴보도록 한다.
눈 인식 과정(S2)은 일반 사용자의 얼굴을 광학렌즈를 이용하여 촬영하고(거나) 촬영을 통해 캡쳐링된 얼굴 이미지에서 얼굴의 눈 영역을 인식하는 과정이다. 눈 인식 과정은(S2)는 특히 눈 영역의 눈동자 영역을 인식할 수 있도록 구성된다. 눈동자 영역은 이후 콘택트렌즈 이미지가 합성되기 위한 영역이 된다. 눈 인식 과정은(S2)는 도 4를 통해서 구체적으로 살펴보도록 한다.
합성 과정(S3)는 콘택트렌즈 이미지와 얼굴 이미지를 합성하는 과정이다. 합성 과정은 특히 얼굴 이미지의 눈동자 영역에 미리 투명도가 부여된 콘택트렌즈 이미지를 투명도에 따라 합성한다. 합성 과정(S3)은 또한 여러 형태의 눈동자를 고려하여 콘택트렌즈 이미지의 크기를 조정하고 나아가 콘택트렌즈 이미지에 신규의 투명도를 더 부여하여 합성을 진행할 수 있다. 합성 과정(S3)에 대해서는 도 5를 통해서 구체적으로 살펴보도록 한다.
출력 과정(S4)은 합성된 이미지를 출력한다. 출력 과정(S4)는 디스플레이부(113)를 통해 합성된 이미지를 출력하거나 통신부(105)를 통해 합성된 이미지를 출력한다.
도 2의 각 과정은 순차적으로 수행될 필요가 없다. 예를 들어 콘택트렌즈 인식 과정(S1) 및 눈 인식 과정(S2) 사이에는 선후 관계가 존재할 필요가 없다. 콘택트렌즈 인식 과정(S1)의 수행 이후에 눈 인식 과정(S2)이 수행되거나 그 반대로 수행될 수 있다.
또한 특정 과정은 다른 시점에 수행될 수 있다. 예를 들어 콘택트렌즈 인식 과정(S1)은 콘택트렌즈(111-5) 모델별로 관리자에 의해 먼저 수행되어 콘택트렌즈 이미지 , 대응하는 콘택트렌즈 식별자가 저장부(107)에 미리 저장된다. 이후, 일반 사용자의 요청에 따라 관리자에 의한 콘택트렌즈 식별자를 입력부(101)를 통해 제어부(117)가 수신하고 수신된 식별자로 저장부(107)에 저장된 콘택트렌즈 이미지 및 데이터를 검색한다. 검색된 콘택트렌즈 이미지의 콘택트렌즈 영역으로 촬영을 통해 캡쳐링된 얼굴 이미지의 식별된 눈 영역의 눈동자에 제어부(117)가 합성(S3)하고 이후 출력(S4)할 수 있다.
도 3은 콘택트렌즈 인식 과정(S1)의 구체적인 흐름을 도시한 도면이다.
도 3의 콘택트렌즈 인식 과정은 도 1의 블록들에 의해서 수행되며 바람직하게는 제어부(117)가 합성 프로그램을 이용하여 다른 블록들을 제어함으로써 이루어진다.
본 흐름은 콘택트렌즈 가상 피팅 장치(100)의 관리자가 입력부(101)를 통해서 콘택트렌즈(111-5) 인식을 요청함으로써 시작(S100)하고 본 흐름의 수행이 완료되거나 입력부(101)를 통해 종료 요청을 수신함으로써 종료(S150)한다.
관리자는 사용자가 가상 피팅을 요청한 콘택트렌즈(111-5)를 콘택트렌즈 거치대(111-3)에 탑재(S101)하고 콘택트렌즈 거치대(111-3)를 슬라이딩 방식으로 암실내에 위치시킨다. 콘택트렌즈(111-5)는 바람직하게는 콘택트렌즈 케이스내에 포함되어 콘택트렌즈 거치대(111-3)에 탑재된다.
관리자는 입력부(101)를 통해 촬영 버튼을 누르면 제어부(117)는 촬영 버튼에 따라 제2 카메라부(111)를 제어하기 위한 제어 신호를 생성하고 제2 카메라부(111)로 제어 신호를 출력한다. 제어 신호의 수신에 따라 제2 카메라부(111)는 LED 조명(111-1)을 제어하여 조명을 출력하고 광학렌즈(111-4)를 통해 콘택트렌즈 거치대(111-3)에 탑재된 콘택트렌즈(111-5)를 포함하는 이미지를 촬영하고 촬영에 따라 이미지 센서에 노출된 이미지를 캡쳐링(S103)한다. 캡쳐링된 이미지는 제2 카메라부(111)에 의해 제어부(117)로 송신한다.
캡쳐링된 이미지는 제2 카메라부(111)의 해상도에 따라 가로축(X축)과 세로축(Y축)으로 일정한 개수의 픽셀들로 구성되고 콘택트렌즈(111-5)의 형상을 나타내는 이미지를 포함한다. 픽셀들은 바람직하게는 컬러 색상으로 표현되고 예를 들어 RGB 픽셀값으로 표현되거나 YCbCr 픽셀값으로 표현되거나 그 외 색상을 표현하기 위한 포맷으로 표현된다.
제어부(117)는 캡쳐링된 이미지로부터 콘택트렌즈 형상을 나타내는 콘택트렌즈 영역을 식별(S105)한다. 콘택트렌즈 영역의 식별은 윤곽선(contour)의 식별을 통해 이루어진다. 윤곽선의 식별은 이미지 처리 분야에서 일반적으로 알려져 있는 알고리즘을 사용할 수 있다. 윤곽선들은 가장자리를 나타내는 지점들로 표현된다.
도 6은 캡쳐링된 콘택트렌즈(111-5)의 이미지들을 나타낸다. 도 6의 콘택트렌즈(111-5)는 컬러렌즈이거나 서클렌즈이다. 도 6에서 알 수 있는 바와 같이 콘택트렌즈(111-5)의 캡쳐링된 이미지들은 여러 윤곽선들을 가지고 있고 가장 외곽의 원형의 윤곽선이 콘택트렌즈(111-5)의 형상을 나타내고 그외 다른 윤곽선은 콘택트렌즈(111-5) 내부의 무늬등을 나타내는 것임을 알 수 있다.
콘택트렌즈 영역의 식별을 구체적으로 살펴보면, 제어부(117)는 캡쳐링된 이미지에 대해서 윤곽선(contour)들을 식별한다. 콘택트렌즈(111-5)의 무늬가 다수 존재하기에 윤곽선은 다수가 존재한다. 제어부(117)는 식별된 윤곽선들을 윤곽선 내에 포함된 지점들의 개수로 내림차순 정렬하고 일정 개수 이하의 윤곽선은 콘택트렌즈 영역의 식별을 위한 대상 윤곽선에서 제외한다. 정렬된 각각의 윤곽선의 X축(이미지의 수평방향)으로의 최소점 및 최대점, Y축(이미지의 수직방향)의 최소점 및 최대점을 제어부(117)가 찾는다(검색한다).
각 윤곽선의 4개의 지점을 이용하여 각 윤곽선이 원형인지를 제어부(117)가 식별한다. 콘택트렌즈 형상은 일반적으로 원형(circle)이므로 원의 중심점에서 가장자리(테두리)의 지점까지의 거리는 일정해야 한다. 원형의 식별을 위해 제어부(117)는 찾은 4개의 지점을 이용하여 4개 지점의 중심점을 계산하고 중심점과 각 지점 사이의 거리에 대한 표준 편차를 제어부(117)가 계산한다. 만일 표준 편차가 지정된 임계치 이하인 경우에 제어부(117)는 해당 윤곽선을 원형인 것으로 식별할 수 있다. 지정된 임계치는 미리 결정될 수 있고 예를 들어 30, 20등 의 값일 수 있다.
원형의 식별에 따라 제어부(117)는 복수의 윤곽선에 대응하는 복수의 원형을 식별가능하다. 제어부(117)는 식별된 복수의 원형 중에서 가장 큰 원형을 콘택트렌즈 형상을 나타내는 원형으로 결정할 수 있다. 제어부(117)는 가장 큰 원형에 대응하는 윤곽선의 중심점을 식별된 콘택트렌즈(111-5)의 중심으로 설정하고 대응하는 윤곽선의 중심점에서 지점 사이의 거리 중 가장 큰 거리를 식별된 콘택트렌즈(111-5)의 반지름으로 설정한다.
콘택트렌즈 영역의 식별과정에서 또한 제어부(117)는 콘택트렌즈 형상을 나타내는 원형을 포함하는 콘택트렌즈 이미지를 캡쳐링된 이미지로부터 생성한다. 생성된 콘택트렌즈 이미지는 예를 들어 콘택트렌즈 형상의 원형을 포함하는 정사각형 또는 직사각형으로 잘라낸 이미지이다.
콘택트렌즈 영역의 식별 단계(S105)이후에 단계 S107에서 제어부(117)는 생성된 콘택트렌즈 이미지에 투명도를 부여한다. 콘택트렌즈 이미지에 대한 투명도 부여는 콘택트렌즈 이미지의 각 픽셀들의 색상(구체적으로는 배경색)에 기초하여 이루어진다.
구체적으로, 제어부(117)는 콘택트렌즈 이미지의 픽셀들에서 배경색을 검색하고 배경색에 대응하는 픽셀들(콘택트렌즈 형상의 원형 내의 픽셀들)을 보이지 않도록(투명하도록) 투명도를 부여한다. 예를 들어 배경색은 콘택트렌즈 거치대(111-3)의 색상 또는 콘택트렌즈 케이스의 하부 케이스의 색상과 동일하고 예를 들어 흰색일 수 있다. 흰색은 일반적으로 8bit RGB 값으로 255, 255, 255 이므로, 흰색으로 인정될 수 있는 픽셀 값(예를 들어 RGB 값 각각이 245 이상 등)인 경우에 투명하도록 제어부(117)가 투명도를 부여한다.
또한 제어부(117)는 콘택트렌즈 형상의 원형(반지름 및 중심으로 결정되는 원형) 외부의 픽셀들 모두를 투명하도록 지정된 임계치 이상의 투명도(예를 들어 100% 투명도)를 부여한다. 또한 제어부(117)는 콘택트렌즈 형상 내의 픽셀들에 대해서 추가적인 투명도를 부여할 수 있다. 예를 들어 제어부(117)는 콘택트렌즈 형상 내의 픽셀들의 컬러 색상들을 그레이스케일의 색상 값으로 변경하고 그레이스케일의 색상 값에 비례하는 투명도를 각 픽셀에 부여할 수 있다. 예를 들어 그레이스케일의 색상 값이 0(검은색)이면 0%의 투명도(불투명)를 부여하고 색상 값이 30(예를 들어 노란색이나 파란색의 그레이스케일 값)이면 30%의 투명도를 부여한다.
투명도의 부여 이후에, 제어부(117)는 투명도가 부여된 콘택트렌즈 이미지를 저장부(107)에 저장(S109)한다. 제어부(117)는 휘발성 메모리에 임시로 저장하거나 비휘발성 메모리나 대용량 저장매체에 영구히 저장할 수 있다. 콘택트렌즈 이미지는 콘택트렌즈(111-5)의 중심 및 반지름을 포함하는 데이터와 함께 저장된다. 또한 콘택트렌즈 이미지는 콘택트렌즈 식별자와 함께 저장될 수 있다. 콘택트렌즈 식별자는 관리자 등에 의해서 입력부(101)를 통해 입력되고 대응하는 콘택트렌즈 이미지와 함께 제어부(117)가 저장한다.
도 3의 콘택트렌즈 인식 과정을 통해 콘택트렌즈 이미지를 추출가능하고 추출된 이미지에 투명도를 부여하여 이후 합성에서 자연스러운 합성 이미지를 제공 가능하도록 한다.
도 4는 눈 인식 과정의 구체적인 흐름을 도시한 도면이다.
도 4의 눈 인식 과정은 도 1의 블록들에 의해서 수행되며 바람직하게는 제어부(117)가 합성 프로그램을 이용하여 다른 블록들을 제어함으로써 이루어진다.
먼저 콘택트렌즈 가상 피팅을 위한 사용자의 요구에 따라 관리자는 입력부(101)를 경유해서 얼굴 이미지 촬영을 위한 촬영 버튼을 눌러 제어부(117)에 전달(S200)한다. 여기서 이용되는 촬영 버튼은 도 3에서의 촬영 버튼과 동일하거나 상이할 수 있다. 제어부(117)는 제1 카메라부(109)를 제어하기 위한 제어 신호를 생성하고 제1 카메라부(109)로 제어 신호를 출력한다.
제어 신호의 수신에 따라 제1 카메라부(109)는 광학렌즈를 통해 사용자의 얼굴을 촬영하고 촬영에 따라 이미지 센서에 노출된 얼굴 이미지를 캡쳐링(S201)한다. 캡쳐링된 얼굴 이미지는 제1 카메라부(109)에 의해 제어부(117)로 송신한다. 캡쳐링된 얼굴 이미지는 제1 카메라부(109)의 해상도에 따라 가로축(X축)과 세로축(Y축)으로 일정한 개수의 픽셀들로 구성된다. 픽셀들은 바람직하게는 컬러 색상으로 표현되고 예를 들어 RGB 픽셀값으로 표현되거나 YCbCr 픽셀값으로 표현되거나 그 외 색상을 표현하기 위한 포맷으로 표현된다.
제어부(117)는 캡쳐링된 얼굴 이미지의 수신에 따라 캡쳐링된 이미지에서 눈 영역을 식별(S203)한다. 눈 영역의 식별은 알려져 있는 알고리즘을 이용하여 이루어진다. 예를 들어 제어부(117)의 합성 프로그램은 특징 벡터(예를 들어 Haar 특징, LBP 특징)을 이용하는 얼굴 및 눈을 검출하는 캐스케이드(cascaded) 분류기(classifier)를 이용하여 눈 영역을 식별한다.
눈 영역의 식별동안에 제어부(117)는 또한 눈동자 영역을 식별한다. 바람직하게는 제어부(117)는 눈동자 영역의 식별을 위해 눈동자의 윤곽선을 식별한다. 눈동자의 윤곽선의 식별은 이미지 처리 분야에서 알려져 있는 알고리즘을 이용하여 이루어질 수 있다.
윤곽선의 식별에 따라, 이 윤곽선에 포함된 지점들 또는 윤곽선내에 존재하는 지점들 중에서 눈동자와 인접 피부(예를 들어 눈꺼풀, 눈동자 아래(눈두덩)의 피부)의 경계선 상에 존재하고 이후 합성에 이용될 지점들을 제어부(117)가 결정한다.
예를 들어 제어부(117)는 눈꺼풀과 눈동자 경계선 상에서 3개의 지점을 선택하고 눈동자와 눈두덩 경계선 상에서 3개의 지점을 선택한다. 3개의 지점은 눈꺼풀(또는 눈두덩)과 눈동자가 만나는 경계선의 양끝 지점 및 중간 점으로 선택된다. 만일 눈동자와 피부사이에 경계선이 없다면 눈동자의 테두리(경계선)에 맞게 각각 3개의 지점들을 선택한다.
이후 제어부(117)는 눈 영역을 표시한 얼굴 이미지를 디스플레이부(113)를 통해 출력(S205)한다.
도 7은 눈 영역이 표시된 얼굴 이미지 중 눈 영역 부분을 도시한 도면이다. 도 7에서 알 수 있는 바와 같이 디스플레이부(113)를 통해 디스플레이되는 얼굴 이미지는 좌측눈과 우측눈의 영역을 나타내기 위한 사각형과 눈동자 영역 내에 표시되는 지점들이 표시된다.
단계 S203을 통해 결정된 지점들은 점으로 표시되고 이 지점들은 수정가능하다. 관리자나 사용자는 지점들이 정확한 위치에 존재하는지 확인한다. 만일 인접 피부와의 정확한 위치에 존재하지 않는 것으로 판단한 경우, 관리자 등은 입력부(101)(예를 들어 마우스, 터치 패널, 광학펜 등)를 통해 지점들의 위치를 변경하기 위한 입력을 제공한다.
입력부(101)를 통해 눈 영역의 수정(구체적으로는 눈동자와 인접 피부의 경계선 상에 존재하는 지점들의 수정)을 위한 입력을 제어부(117)가 수신(S207)하고 수신된 입력에 따라 해당 지점의 위치를 변경하고 변경된 눈 영역(구체적으로는 눈동자와 인접 피부의 경계선 상에 존재하는 지점들의 변경)을 나타내는 이미지를 디스플레이부(113)를 통해 출력(S209)한다.
단계 S207 및 단계 S209는 반복적으로 수행될 수 있고 이에 따라 정확한 눈 영역의 경계선 상의 지점들을 특정할 수 있다.
단계 S209 이후에 제어부(117)는 확정된 얼굴 이미지, 얼굴 이미지 상의 눈 영역의 위치 및 눈 영역의 눈동자 경계선 상의 지점들을 나타내는 데이터를 저장부(107)에 저장하고 종료(S250)한다. 저장부(107)에 저장할 때, (일반) 사용자 식별자가 또한 저장될 수 있다. 저장부(107)의 저장은 휘발성 메모리에 저장되거나 비휘발성 메모리나 대용량 저장매체에 저장된다.
도 5는 합성 과정(S3)의 구체적인 흐름을 도시한 도면이다.
도 5의 합성 과정은 도 1의 블록들에 의해서 수행되며 바람직하게는 제어부(117)가 합성 프로그램을 이용하여 다른 블록들을 제어함으로써 이루어진다.
관리자에 의한 합성 요청 입력에 따라 또는 자동으로(S300), 제어부(117)는 저장부(107)에 저장되고 투명도가 부여된 콘택트렌즈 이미지, 콘택트렌즈(111-5)의 중심 및 반지름, 얼굴 이미지, 눈 영역의 위치 및 경계선 상의 지점들을 나타내는 데이터를 휘발성 메모리 또는 제어부(117)의 내장 메모리 등에 로딩(S301)한다.
제어부(117)는 경계선 상의 지점들을 이용하여 콘택트렌즈 이미지를 얼굴 이미지의 눈동자 영역에 맞추어 자동 편집(S303)한다. 여기서의 자동 편집은 필요나 설계 변형에 따라 생략될 수 있다.
이후 제어부(117)는 얼굴 이미지의 경계선 상의 지점들을 이용하여 눈동자를 나타내는 원형의 중심과 반지름을 계산하여 눈동자에 대응하는 원형을 결정(S305)한다. 눈동자에 대응하는 원형의 결정은 얼굴 이미지에 대해서 이루어진다. 구체적으로 제어부(117)는 경계선 상의 지점들 중 중간 지점이 아닌 가장 자리의 지점들(예를 들어 3개)을 이용하여 원의 중심과 반지름을 계산한다. 눈동자에 대응하는 원형의 중심은 각 지점들의 법선을 이용하여 계산될 수 있고 반지름은 중심에서 각 지점들의 거리로 계산된다. 이하 눈동자에 대응하는 원형을 C0라고도 지칭한다.
제어부(117)는 단계 S305에서 경계선 상의 지점들을 이용하여 결정된 눈동자에 대응하는 원형의 크기로 콘택트렌즈 이미지(구체적으로는 콘택트렌즈 형상의 원형)를 축소(S307)한다. 이에 따라 콘택트렌즈 이미지는 적어도 눈동자의 크기와 동일하도록 크기가 재조정된다. 콘택트렌즈 이미지의 해상도가 얼굴 이미지에 포함된 눈동자의 해상도보다 일반적으로 높기에 일반적으로 크기는 축소되나 필요에 따라 단계 S307은 생략될 수도 있다.
콘택트렌즈 이미지의 크기가 재조정되고 얼굴 이미지의 눈동자 영역의 중심에 콘택트렌즈 이미지의 중심을 일치시켜 얼굴 이미지와 콘택트렌즈 이미지를 픽셀별로 합성할 수 있다. 이미 콘택트렌즈 이미지의 픽셀들에 투명도가 부여되어 있으므로, 자연스러운 합성 이미지를 구성할 수 있다.
여기서 촬영된 얼굴 이미지의 눈의 형태(특히 눈동자의 형태)는 동일한 사용자에 대해서도 촬영 당시 상황에 따라 서로 다르다. 특정 시점에는 원형에 가까운 눈동자의 이미지가 촬영될 수 있고 다른 특정 시점에는 타원형에 가까운 눈동자의 이미지가 촬영될 수 있다. 제어부(117)는 자연스러운 이미지 구성을 위해 촬영된 이미지의 눈의 형태를 고려하고 인접 피부의 경계선에 따라 인식되는 눈동자 영역에 대해서만 콘택트렌즈 이미지의 합성을 수행할 필요가 있다.
이를 위해, 제어부(117)는 얼굴 이미지의 눈 영역의 결정된 지점들 중 특정 지점들로 원형 및 반지름을 계산하고 다른 지점들로 다른 원형 및 반지름을 계산(S309)한다. 예를 들어 전자의 특정 지점들은 눈꺼풀과 눈동자가 만나는 경계선의 3개의 지점들이고 후자의 특정 지점들은 눈두덩과 눈동자가 만나는 경계선의 3개의 지점들이다. 이하 전자의 특정 지점들로 구성되는 원형을 C1이라고도 지칭하고 후자의 특정 지점들로 구성되는 원형을 C2라고도 지칭한다.
도 8은 콘택트렌즈 이미지와 얼굴 이미지의 합성 과정에서 결정되는 원형들을 도시한 도면인데, 도 8에서 알 수 있는 바와 같이 3개의 지점의 법선을 이용하여 C1과 C2의 중심을 계산할 수 있고 반지름을 계산할 수 있다. 도 8의 예는 얼굴 이미지의 눈 영역에 대해서 이루어지며 도 8에서 알 수 있는 바와 같이 눈동자 영역의 대응하는 원형인 C0도 또한 표시되어 있다.
제어부(117)는 C1 및 C2( 나아가 C0)의 원들을 이용하여 눈동자가 인접 피부에 의해서 가려진 영역을 식별(S311)한다. 식별된 영역은 콘택트렌즈 이미지의 콘택트렌즈 영역의 원형에 추가적인 투명도를 부여하기 위해서 이용된다.
도 9는 결정된 원형들을 이용하여 추가적인 투명도 부여를 위한 영역 식별 예를 도시한 도면이다.
도 9에서 알수 있는 바와 같이, 크기 조정된(축소된) 콘택트 렌즈 이미지의 사각형 영역 또는 대응하는 눈동자의 사각형 영역에서 C1과 C2의 교집합을 제외한 영역을 제어부(117)가 식별한다. 식별된 영역은 두 개의 영역으로 일반적으로 구성된다. 하나의 영역은 눈동자가 눈꺼풀(위쪽 눈꺼풀)에 의해서 가려지는 부분을 나타내고 다른 하나의 영역은 눈동자가 눈두덩(또는 아래쪽 눈꺼풀)에 의해서 가려지는 부분을 나타낸다.
좀 더 구체적으로 살펴보면, 제어부(117)는 C1의 원형을 구성하는 X(수평) 및 Y축(수직)의 좌표점들 각각을 사각형 영역의 각 픽셀의 동일한 X 좌표를 가지는 Y좌표와 비교하고 만일 사각형 영역의 픽셀의 Y좌표가 대응하는 C1의 Y좌표보다 큰 경우 해당 픽셀이 투명하도록 부여할 영역으로 식별한다. 단순히 C1을 구성하는 Y좌표와 동일한 X좌표에 대응하는 사각형 영역의 Y좌표의 비교로 사각형 영역의 Y좌표가 큰 픽셀들을 투명하게 처리할 픽셀들로 제어부(117)가 결정할 수 있다. C1의 원형을 구성하는 좌표점들은 C1의 중심점과 반지름을 이용하여 계산될 수 있다.
마찬가지로, 제어부(117)는 C2의 원형을 구성하는 X(수평) 및 Y축(수직)의 좌표점들 각각을 사각형 영역의 각 픽셀의 동일한 X 좌표를 가지는 Y좌표와 비교하고 만일 사각형 영역의 픽셀의 Y좌표가 대응하는 C2의 Y좌표보다 작은 경우 해당 픽셀이 투명하도록 부여할 영역으로 식별한다. 단순히 C2을 구성하는 Y좌표와 동일한 X좌표에 대응하는 사각형 영역의 Y좌표의 비교로 사각형 영역의 Y좌표가 작은 픽셀들을 투명하게 처리할 픽셀들로 제어부(117)가 결정할 수 있다. C2의 원형을 구성하는 좌표점들은 C2의 중심점과 반지름을 이용하여 계산될 수 있다.
영역의 식별은 또한 C0를 더 활용하여 이루어질 수도 있다. 예를 들어 C0의 내의 픽셀들에 대해서만 C1과 C2를 구성하는 좌표점에 대해 비교하고 그 비교에 따라 C0내에서 투명하게 처리할 영역을 식별할 수 있다. 비교 및 결정 방법은 앞서 살펴본 C1 및 C2 및 사각형 영역을 이용하는 방안과 동일하다.
영역의 식별 이후에 제어부(117)는 C1과 C2 나아가 C0를 이용하여 식별된 영역(들)에 대응하는 콘택트렌즈 이미지의 영역의 픽셀들에 추가적인 투명도를 부여(S313)한다. 여기서의 투명도는 예를 들어 콘택트렌즈 이미지의 대응 픽셀이 보이지 않도록(즉 투명하도록) 하는 값으로 설정되고 예를 들어 100%의 투명도로 부여된다.
투명도의 부여는 단계 S307에서 축소된 콘택트렌즈 이미지에 대해서 이루어지고 식별된 영역에 대응하는 픽셀들에 대해서 각각 투명하도록 투명도( 값)를 부여한다. 식별된 영역은 C0 내에서 식별되는 영역이거나 C0를 포함하는 사각형 영역 내에서 식별되는 영역이다.
추가적인 투명도 부여를 통해, 제어부(117)는 콘택트렌즈 이미지가 얼굴 이미지의 눈 영역에 합성될 때, 인접 피부에 의해서 가려지는 눈동자 부분에 대응하는 콘택트렌즈 이미지의 픽셀들을 보이지 않도록 구성한다.
추가적인 투명도 부여 이후에, 제어부(117)는 얼굴 이미지에 투명도가 부여된 콘택트렌즈 이미지를 부여된 투명도에 따라 합성(S315)한다. 구체적으로 제어부(117)는 얼굴 이미지에서 식별된 눈 영역의 눈동자에 눈동자 크기로 조정되고 눈동자의 형상에 따라 투명도가 부여된 콘택트렌즈 이미지를 눈동자의 중심에 콘택트렌즈 이미지의 원형의 중심을 일치시킨 후 각 픽셀별로 각 픽셀에 부여된 투명도 값에 따라 대응하는 픽셀에 서로 오브랩하여 합성한다.
만일 콘택트렌즈의 특정 픽셀에 부여된 투명도가 0%(불투명)이면 콘택트렌즈 이미지의 픽셀이 합성된 이미지에 표시된다. 만일 콘택트렌즈(111-5)의 특정 픽셀에 부여된 투명도가 100%(투명)이면 얼굴 이미지의 대응하는 픽셀이 합성된 이미지에 표시된다. 만일 콘택트렌즈(111-5)의 특정 픽셀에 부여된 투명도가 30%이면 얼굴 이미지에 대응하는 픽셀의 색상값이 70%, 특정 픽셀의 색상값이 30%의 가중치로 합산되어 합성된 이미지에 표시된다.
이후 제어부(117)는 합성 과정을 종료(S350)하고 합성된 이미지를 디스플레이부(113)를 통해 출력(S4)한다.
이상과 같은 흐름을 통해 눈의 가변적인 형상을 고려하여 자연스럽고 가변적인 콘택트렌즈 착용 이미지를 제공할 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (12)

  1. 암실을 형성하는 기구물 내의 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈의 이미지를 캡쳐링하는 단계;
    캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하는 단계;
    콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하는 단계;
    제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계; 및
    합성된 이미지를 디스플레이하는 단계;를 포함하는,
    콘택트렌즈 가상 피팅 방법.
  2. 제1항에 있어서,
    상기 합성 단계 이전에, 제1 광학렌즈를 통해 얼굴 이미지를 캡쳐링하는 단계; 및 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하는 단계;를 더 포함하며,
    콘택트렌즈 이미지의 캡쳐링 단계는 상기 암실에서의 균일한 조도를 제공 가능하도록 상기 암실에 구비된 복수의 LED 조명으로부터 광을 출력하고 상기 암실에 구비된 확산판을 통해 상기 광을 확산한 상태에서 이루어지는,
    콘택트렌즈 가상 피팅 방법.
  3. 제1항에 있어서,
    상기 콘택트렌즈 영역의 식별 단계는 캡쳐링된 이미지에서 하나 이상의 윤곽선을 식별하는 단계; 하나 이상의 윤곽선 각각의 지점들의 편차에 따라 원형을 식별하는 단계; 식별된 원형 중 가장 큰 원형을 콘택트렌즈의 형상에 대응하는 원형으로 결정하는 단계; 및 결정된 원형을 포함하는 콘택트렌즈 이미지를 생성하는 단계;를 포함하며,
    상기 투명도 부여 단계는 결정된 콘택트렌즈의 대응하는 원형 내의 픽셀들의 색상에 따라 투명도를 부여하고 상기 원형 외의 픽셀들에 지정된 임계치 이상의 투명도를 부여하는,
    콘택트렌즈 가상 피팅 방법.
  4. 제2항에 있어서,
    상기 눈 영역의 식별 단계는 눈동자와 상기 눈동자에 인접하는 피부 사이의 경계선에 위치하는 복수의 지점(point)을 결정하는 단계;를 포함하는,
    콘택트렌즈 가상 피팅 방법.
  5. 제4항에 있어서,
    상기 합성 단계는 상기 복수의 지점을 이용하여 눈동자에 대응하는 원형을 결정하는 단계; 상기 생성된 콘택트렌즈 이미지를 상기 복수의 지점으로 결정되는 원형의 크기를 이용하여 축소하는 단계; 및 상기 복수의 지점 중 제1 지점들로 결정되는 제1 원형 및 제2 지점들로 결정되는 제2 원형을 이용하여 축소된 콘택트렌즈 이미지 내에서 식별된 영역의 픽셀들에 투명도를 더 부여하는 단계;를 포함하는,
    콘택트렌즈 가상 피팅 방법.
  6. 제5항에 있어서,
    상기 식별된 영역의 픽셀들은 투명하도록 설정되며,
    상기 합성 단계는 식별된 영역의 투명도 부여 단계 이후에 눈동자에 대응하는 중심에 축소된 콘택트렌즈의 원형의 중심을 일치시킨후 픽셀별로 오브랩하여 합성하는,
    콘택트렌즈 가상 피팅 방법.
  7. 제1항에 따른 콘택트렌즈 가상 피팅 방법의 각 단계를 실행시키기 위한 컴퓨터 프로그램.
  8. 제1 광학렌즈를 포함하여 얼굴 이미지를 캡쳐링하는 제1 카메라부;
    제2 광학렌즈 및 콘택트렌즈 거치대를 포함하는 제2 카메라부로서, 암실을 형성하는 기구물 내에 구성되어 상기 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈 이미지를 캡쳐링하는 제2 카메라부;
    캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하고 콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하며, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하고 제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 제어부; 및
    합성된 이미지를 디스플레이하는 디스플레이부;를 포함하는,
    콘택트렌즈 가상 피팅 장치.
  9. 제8항에 있어서,
    상기 제2 카메라부는 광을 각각 출력하는 복수의 LED 조명 및 상기 광을 확산하기 위한 확산판을 더 포함하며,
    상기 제어부는 상기 복수의 LED 조명 및 상기 확산판을 이용한 광의 조도 환경하에서 상기 제2 광학렌즈를 통한 콘택트렌즈의 이미지를 캡쳐링하는,
    콘택트렌즈 가상 피팅 장치.
  10. 제8항에 있어서,
    콘택트렌즈 영역의 식별을 위해, 상기 제어부는 캡쳐링된 콘택트렌즈의 이미지에서 하나 이상의 윤곽선을 식별하고 하나 이상의 윤곽선 각각의 지점들의 편차에 따라 원형을 식별하며 식별된 원형 중 가장 큰 원형을 콘택트렌즈의 형상에 대응하는 원형으로 결정하여 결정된 원형을 포함하는 콘택트렌즈 이미지를 생성하며,
    상기 제어부는 상기 투명도 부여를 위해 결정된 콘택트렌즈의 대응하는 원형 내의 픽셀들의 색상에 따라 투명도를 부여하고 상기 원형 외의 픽셀들에 지정된 임계치 이상의 투명도를 부여하는,
    콘택트렌즈 가상 피팅 장치.
  11. 제8항에 있어서,
    상기 눈 영역의 식별을 위해, 상기 제어부는 눈동자와 상기 눈동자에 인접하는 피부 사이의 경계선에 위치하는 복수의 지점(point)을 결정하며,
    이미지 합성을 위해, 상기 제어부는 상기 복수의 지점을 이용하여 눈동자에 대응하는 원형을 결정하고 상기 생성된 콘택트렌즈 이미지를 상기 복수의 지점으로 결정되는 원형의 크기를 이용하여 축소하고 상기 복수의 지점 중 제1 지점들로 결정되는 제1 원형 및 제2 지점들로 결정되는 제2 원형을 이용하여 축소된 콘택트렌즈 이미지 내에서 식별된 영역의 픽셀들에 투명도를 부여하는,
    콘택트렌즈 가상 피팅 장치.
  12. 제8항에 있어서,
    콘택트렌즈 이미지 및 대응하는 콘택트렌즈 식별자를 저장하는 저장부; 및
    콘택트렌즈 식별자를 수신하는 입력부;를 더 포함하며,
    상기 제어부는 상기 입력부를 통해 수신된 콘택트렌즈 식별자로 저장부에 저장된 콘택트렌즈 이미지를 검색하고 이미지 합성을 위해 저장부에서 검색된 콘택트렌즈 이미지의 콘택트렌즈 영역으로 상기 눈 영역의 눈동자에 합성하는,
    콘택트렌즈 가상 피팅 장치.
PCT/KR2015/007397 2014-11-28 2015-07-16 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램 WO2016085085A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017527662A JP6460237B2 (ja) 2014-11-28 2015-07-16 コンタクトレンズの仮想試着方法、装置及びこの方法を実行させるコンピュータプログラム
CN201580062709.7A CN107077751B (zh) 2014-11-28 2015-07-16 隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序
EP15864029.2A EP3226209A4 (en) 2014-11-28 2015-07-16 Contact lens virtual fitting method and device, and computer program for executing contact lens virtual fitting method
US15/526,761 US20170337740A1 (en) 2014-11-28 2015-07-16 Contact lens virtual fitting method and device, and computer program for executing contact lens virtual fitting method
SA517381617A SA517381617B1 (ar) 2014-11-28 2017-05-28 طريقة ووسيلة مواءمة افتراضية لعدسة لاصقة، وبرنامج حاسوب لتنفيذ طريقة المواءمة الافتراضية للعدسة اللاصقة

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0168501 2014-11-28
KR1020140168501A KR101520778B1 (ko) 2014-11-28 2014-11-28 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2016085085A1 true WO2016085085A1 (ko) 2016-06-02

Family

ID=53394845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007397 WO2016085085A1 (ko) 2014-11-28 2015-07-16 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램

Country Status (7)

Country Link
US (1) US20170337740A1 (ko)
EP (1) EP3226209A4 (ko)
JP (1) JP6460237B2 (ko)
KR (1) KR101520778B1 (ko)
CN (1) CN107077751B (ko)
SA (1) SA517381617B1 (ko)
WO (1) WO2016085085A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383296A (zh) * 2017-04-07 2019-10-25 英特尔公司 用于提供深度堆叠的自动程序合成的系统和方法
KR102039164B1 (ko) * 2018-03-30 2019-10-31 경일대학교산학협력단 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102134476B1 (ko) * 2018-03-30 2020-08-26 경일대학교산학협력단 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102039166B1 (ko) * 2018-03-30 2019-10-31 경일대학교산학협력단 순환 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102194909B1 (ko) * 2019-01-21 2020-12-24 김윤호 영상 합성 장치 및 방법
KR102214411B1 (ko) * 2019-03-29 2021-02-09 상명대학교산학협력단 렌즈 가상 착용 장치 및 방법
CN111062328B (zh) * 2019-12-18 2023-10-03 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
KR20220075984A (ko) * 2020-11-30 2022-06-08 (주)인터비젼 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템
TWD218109S (zh) * 2021-01-29 2022-04-11 晶碩光學股份有限公司 隱形眼鏡
TWD214688S (zh) * 2021-01-29 2021-10-11 晶碩光學股份有限公司 隱形眼鏡
TWD214892S (zh) * 2021-01-29 2021-10-21 晶碩光學股份有限公司 隱形眼鏡
TWD214891S (zh) * 2021-01-29 2021-10-21 晶碩光學股份有限公司 隱形眼鏡
TWD214689S (zh) * 2021-01-29 2021-10-11 晶碩光學股份有限公司 隱形眼鏡
KR102394021B1 (ko) * 2021-03-23 2022-05-04 윤경태 사용자 맞춤형 콘택트렌즈 추천 방법 및 이러한 방법을 수행하는 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050052A (ko) * 2008-11-05 2010-05-13 김영준 안경 가상 착용 방법
KR20130103216A (ko) * 2012-03-09 2013-09-23 최미애 원격안경주문방법
KR20130103153A (ko) * 2012-03-09 2013-09-23 주식회사 퍼비스코리아 고객 맞춤형 안경 및 콘택트렌즈 버추얼 피팅 방법 및 그 시스템
KR20140119981A (ko) * 2013-04-01 2014-10-13 주홍찬 증강현실을 이용한 가상 옷 또는 가상 액세서리 착용 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585874A (en) * 1995-01-12 1996-12-17 Bausch & Lomb Incorporated Color imaging convergence projector
BR9600543A (pt) * 1996-02-06 1997-12-30 Samir Jacob Bechara Sistema computadorizado para escolha e adaptação de óculos
US5801822A (en) * 1997-02-06 1998-09-01 Pbh, Inc. Ophthalmic lens inspection system
US6095650A (en) * 1998-09-22 2000-08-01 Virtual Visual Devices, Llc Interactive eyewear selection system
JP2003057611A (ja) * 2001-08-13 2003-02-26 San Contact Lens:Kk コンタクトレンズ検査装置
CN100462048C (zh) * 2002-01-04 2009-02-18 株式会社威炯眼镜 眼镜选定系统及其方法
JP4435809B2 (ja) * 2002-07-08 2010-03-24 株式会社東芝 仮想化粧装置及びその方法
US7226163B2 (en) * 2003-08-01 2007-06-05 Johnson & Johnson Vision Care, Inc. Methods for designing tinted contact lenses
JP2005304809A (ja) * 2004-04-22 2005-11-04 Matsushita Electric Ind Co Ltd 照明装置付き目画像撮像装置
CA2568260A1 (en) * 2006-11-15 2008-05-15 Christian Dufour Transparent material inspection system
JP2013130716A (ja) * 2011-12-21 2013-07-04 Menicon Co Ltd 色付コンタクトレンズおよびその製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050052A (ko) * 2008-11-05 2010-05-13 김영준 안경 가상 착용 방법
KR20130103216A (ko) * 2012-03-09 2013-09-23 최미애 원격안경주문방법
KR20130103153A (ko) * 2012-03-09 2013-09-23 주식회사 퍼비스코리아 고객 맞춤형 안경 및 콘택트렌즈 버추얼 피팅 방법 및 그 시스템
KR20140119981A (ko) * 2013-04-01 2014-10-13 주홍찬 증강현실을 이용한 가상 옷 또는 가상 액세서리 착용 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3226209A4 *

Also Published As

Publication number Publication date
CN107077751A (zh) 2017-08-18
CN107077751B (zh) 2021-04-13
JP2018502318A (ja) 2018-01-25
US20170337740A1 (en) 2017-11-23
EP3226209A4 (en) 2018-08-29
JP6460237B2 (ja) 2019-01-30
KR101520778B1 (ko) 2015-05-18
EP3226209A1 (en) 2017-10-04
SA517381617B1 (ar) 2021-03-08

Similar Documents

Publication Publication Date Title
WO2016085085A1 (ko) 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
WO2019164266A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2020171540A1 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
EP3785103A1 (en) Electronic device and control method thereof
WO2017030266A1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
WO2017014415A1 (en) Image capturing apparatus and method of operating the same
WO2020162673A1 (en) Electronic device for providing avatar animation and method thereof
CN111480333B (zh) 补光拍照方法、移动终端及计算机可读存储介质
WO2018021736A1 (en) Apparatus and method for processing a beauty effect
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2018174493A1 (ko) 피부에 해당하는 이미지 처리 영역을 보정하는 방법 및 전자 장치
WO2017164562A1 (ko) 시력 검사 방법, 시력 검사기 및 이 시력 검사 방법의 프로그램을 저장하는 다운로더 서버
EP3746923A1 (en) Electronic device for performing biometric authentication and method of operating the same
WO2020242254A1 (en) Electronic device obtaining skin image and method of controlling the same
WO2020141754A1 (ko) 안면착용 제품 추천 방법 및 그 장치
US10685216B2 (en) Method for collecting facial information and related devices
WO2020096192A1 (ko) 전자 장치 및 그 제어 방법
WO2019221494A1 (en) Electronic device for performing biometric authentication and method of operating the same
WO2022119163A1 (ko) 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법
WO2020085718A1 (ko) 보정 이미지 기반 아바타 생성 방법 및 장치
WO2021251585A1 (ko) 복수의 디스플레이 모듈을 각각 인식하기 위한 전자 장치 및 멀티 디스플레이 인식 방법
WO2020204594A1 (ko) 가상 현실 장치 및 그 제어 방법
WO2021177567A1 (en) System and method for image color management

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15864029

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017527662

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015864029

Country of ref document: EP