WO2022092763A1 - 이미지 처리 방법 및 이를 사용한 장치 - Google Patents

이미지 처리 방법 및 이를 사용한 장치 Download PDF

Info

Publication number
WO2022092763A1
WO2022092763A1 PCT/KR2021/015098 KR2021015098W WO2022092763A1 WO 2022092763 A1 WO2022092763 A1 WO 2022092763A1 KR 2021015098 W KR2021015098 W KR 2021015098W WO 2022092763 A1 WO2022092763 A1 WO 2022092763A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
feature
line
length
characteristic
Prior art date
Application number
PCT/KR2021/015098
Other languages
English (en)
French (fr)
Inventor
김상훈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200178225A external-priority patent/KR102512838B1/ko
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to EP21886757.0A priority Critical patent/EP4238528A1/en
Priority to US18/034,138 priority patent/US20230380934A1/en
Publication of WO2022092763A1 publication Critical patent/WO2022092763A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present invention relates to an image processing method and an apparatus using the same (Image Processing Method and Apparatus Using Thereof).
  • the smile line refers to the tooth line, the shape of the teeth, the degree of exposure to the gingiva when smiling, the gingival line, the length and thickness of the lips, the length of the pharynx, the muscles around the lips and the activity level and direction of the muscles related thereto.
  • the smile design allows the patient to obtain a desired smile line.
  • the patient may wear an orthodontic appliance.
  • a method and apparatus capable of acquiring a precise and rapid smile line, improving user convenience, and quickly providing an orthodontic treatment plan.
  • the present invention receives at least one image data, fits the image data to have at least one of a predetermined size or a predetermined angle, and applies a template for correction to a feature area of the fitted image data.
  • An image processing method to design a smile line is provided.
  • the present invention provides an image processing method of comparing a plurality of image data having different aperture degrees, determining the order of the aperture image data and the general image data, and arranging the image data according to the determined order.
  • the present invention provides an image processing apparatus for designing a smile line by fitting image data through an image data fitting unit and applying a template to the image data.
  • the present invention provides an image processing apparatus that receives a plurality of different image data according to the aperture degree, matches at least one of a size and an angle between the image data, and arranges the image data based on a parameter according to the aperture degree.
  • the image processing method comprises the steps of: receiving at least one image data; providing at least one feature point on the image data; Fitting to have a , and designing a smile line by applying at least one template to a feature area of the image data based on the feature point to easily fit image data to a standard Fit and apply templates.
  • the image processing method receives a plurality of different image data according to the degree of aperture, matches at least one of a size and an angle between the image data, and selects the image data based on an aperture parameter indicating the degree of aperture of the mouth. order can be determined.
  • the image processing apparatus can design a smile line by using the above-described image processing method, fitting image data through an image data fitting unit, and applying a template to the image data.
  • the present invention by fitting at least one of a size and an angle of image data based on a feature point and a feature line on the image data, there is an advantage in that the fitting accuracy of the image data is improved and the fitting operation is simplified.
  • the order in which image data is arranged is automatically determined based on the aperture parameter, and image data with a small aperture degree is overlaid on the image data with a large aperture degree, thereby reducing the user's workload.
  • image data with a small aperture degree is overlaid on the image data with a large aperture degree, thereby reducing the user's workload.
  • FIG. 1 is a flowchart of an image processing method according to the present invention.
  • FIG. 2 is a diagram for explaining image data.
  • 3 is a diagram for explaining that feature points are generated in image data.
  • FIG. 4 is a diagram for explaining fitting of image data based on a first feature line generated by connecting feature points.
  • FIG. 5 is a diagram for explaining fitting of image data based on a second feature line generated by connecting feature points.
  • FIG. 6 is a diagram for explaining that a template is applied to a feature area among fitted image data.
  • FIG. 9 is a diagram for explaining an example in which normal face data and open face data are matched.
  • 10 and 11 are diagrams for explaining a third characteristic line and a fourth characteristic line generated by connecting the characteristic points.
  • FIG. 12 is a block diagram of an image processing apparatus according to the present invention.
  • control unit 300 display unit
  • FIG. 1 is a flowchart of an image processing method according to the present invention
  • FIG. 2 is a diagram for explaining image data
  • FIG. 3 is a diagram for explaining that feature points are generated in the image data.
  • the image processing method includes a step of receiving at least one image data (S110), a step of providing a plurality of feature points on the image data (S120), and at least two of the feature points.
  • the method may include designing a smile line by applying at least one template to a predetermined area ( S160 ).
  • the template refers to a sample model of orthodontic teeth
  • the template may have standard information on the position, size, and shape of at least one tooth.
  • the user and the patient can predict the shape of the teeth after orthodontic treatment by overlaying the template on the patient's teeth among the image data.
  • a plurality of templates may be provided in order to provide an optimal orthodontic treatment to the patient, and the user and the patient may determine a template that best matches the patient's teeth by selectively applying the plurality of templates on the patient's teeth among the image data.
  • pre-imaged image data of a patient may be received.
  • the image data is stored in a data storage element called a database unit (DB unit), and may be input by a user's manipulation.
  • the database unit (DB unit) in which image data is stored may be physically a hard disk drive, a floppy disk drive, or a solid state drive, and is a cloud-type virtual database. may be
  • the image data may be human face data. More specifically, the image data may be face data 400 in which a person's eyes, nose, mouth, etc. are visually displayed, and in particular, may be face data in which a person's mouth is opened and teeth are exposed.
  • the face data 400 may be general image data having a natural smile, and portions of teeth and gingiva may be exposed as both corners of the mouth rise upward. A portion of the exposed teeth and gingiva may be included in a feature region to be described later, and a template for orthodontic treatment may be virtually applied within the region.
  • a step ( S120 ) of assigning a plurality of feature points to the received image data may be performed.
  • a plurality of feature points P may be assigned to the characteristic parts on the image data according to a predetermined criterion based on the face data. More specifically, the characteristic parts may be an eyebrow, an eye contour between the upper and lower eyelids, a nose, an outer lip and an inner lip, and a face contour.
  • the number of the feature points P provided in the step of assigning the feature points ( S120 ) may be a number that can effectively represent the characteristic parts of the above-described image data.
  • the step of giving the feature points ( S120 ) may use an AI Facial Landmarks Detection method to express characteristic parts of image data.
  • an AI Facial Landmarks Detection method to express characteristic parts of image data.
  • the present invention has been described based on the Face Landmark 68 algorithm that assigns 68 feature points (P) to the image data among the AI Facial Landmarks Detection methods, but the present invention is not limited thereto. Any algorithm can be used.
  • a plurality of feature points P may be assigned according to a predetermined criterion based on the face data 400 while rotating the image data at a predetermined angular interval.
  • the feature points P may be assigned while rotating the image data in a clockwise or counterclockwise direction at 90° intervals.
  • the feature point P may be assigned while rotating the image data clockwise or counterclockwise at 15° intervals.
  • the step of assigning the feature points uses artificial intelligence to select image data that best matches the face data 400 from among a plurality of two-dimensional image data and continuous video data, and select the selected image.
  • Feature points P may be assigned to data.
  • FIG. 4 is a diagram for explaining fitting image data based on a first feature line generated by connecting feature points
  • FIG. 5 is a diagram illustrating fitting image data based on a second feature line generated by connecting feature points. It is a diagram to explain.
  • a step of fitting ( S130 ) of image data to have at least one of a predetermined size or a predetermined angle may be performed based on the assigned feature points.
  • the position of the feature points P, the distance between the feature points P, and the angle formed by the feature points P can be obtained, and such information can be used as an element for performing the image processing method according to the present invention.
  • a predetermined feature line may be generated from the feature points (P) provided in the step ( S120 ) of assigning the aforementioned feature points.
  • the feature line may be generated by connecting at least two feature points among the assigned feature points, and the generated feature line is feature points P1' and P2' corresponding to the lateral canthus of each eye in the face data. It may be a line connecting This characteristic line is called a first characteristic line L1' or an eye line.
  • the key points P1' and P2' may be the No. 37 key point and No. 46 key point, respectively, but these are merely exemplary and are not limited thereto.
  • the size of the image data may be enlarged or reduced based on the generated feature line. More specifically, in the fitting ( S130 ), the size of the image data may be enlarged or reduced so that the length of the first feature line L1 ′ matches a predetermined length. Exemplarily, when the length of the first feature line L1' is 300 pixels and the preset target length is 400 pixels, the image data is multiplied by a constant value so that the fitted first feature line L1 has a length of 400 pixels. size can be enlarged.
  • the size of the image data is reduced by multiplying the length of the fitted first feature line L1 by a predetermined value so that the length becomes the preset target length.
  • the fitting ( S130 ) may rotate the image data based on the generated feature line.
  • the fitting ( S130 ) may rotate the image data based on a second characteristic line L2 ′ that is different from the first characteristic line L1 ′.
  • a second feature line (or midpoint) generated by connecting a point of the first feature line L1 ′ and a feature point spaced apart from the first feature line L1 ′.
  • Line, L2' can be used to rotate the image data.
  • the second characteristic line L2' may be generated by connecting the central point P3' and the characteristic point P4' of the first characteristic line L1'.
  • the feature point P4 ′ may correspond to the feature point number 34.
  • the image data is fitted so that a smile line can be designed at a normal angle.
  • an angle of the fitted second feature line L2 may be perpendicular to a horizontal direction among a user interface (UI) plane on which image data is input and displayed.
  • UI user interface
  • the user can accurately apply a template to the fitted face data 400 and establish a highly reliable correction plan. can do.
  • the user may manually rotate the image data by a predetermined angle.
  • the image data may be rotated clockwise or counterclockwise around the center point P3 of the fitted first feature line L1, and the predetermined angle at which the image data may be rotated is clockwise. Alternatively, it may be within about 5° in a counterclockwise direction. In this way, by manually finely rotating the image data by a predetermined angle according to the user's judgment, the user can acquire image data that is more suitable for image data analysis and smile line design.
  • FIG. 6 is a diagram for explaining that a template is applied to a feature area among fitted image data.
  • the step of designing a smile line by applying at least one template to a predetermined area of the image data based on the feature point may be performed.
  • the template may be orthodontic data pre-stored in the database, and a plurality of templates may be provided so that an optimal template may be applied to the patient's image data.
  • the template can be customized by the user according to the oral condition of the patient. For example, the user may change the shape of the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template.
  • the shape of the teeth may be changed by adjusting the tooth contours forming the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template.
  • the user may change the position, size, color, or shade of the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template.
  • the positions or sizes of the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template By changing the positions or sizes of the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template, the positions or sizes of adjacent teeth may be changed in conjunction with each other.
  • a comprehensive dental treatment plan in consideration of whitening procedures other than prosthetics may be considered.
  • customizing the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template in this way, the user can provide an optimal treatment plan to the patient.
  • a template may be applied to the feature area ( C1 ) generated by connecting at least three feature points among the plurality of feature points provided in the step ( S130 ) of assigning the feature points. More specifically, a lipline generated by connecting the feature points constituting the inner side of the lips among the feature points given on the image data may be formed as a feature region, and a tooth image Ta' existing in the feature region may be formed. , Tb', Tc', Td', Te', and Tf'). More specifically, in the designing step (S160), the feature area C1 generated by connecting at least three feature points is recognized as a lip line (lip line recognition step), and a tooth image is displayed inside the feature area C1.
  • the region is recognized (tooth region recognition step), and a template matching algorithm can be used for the tooth region to match the tooth image with the template inside the feature region C1 constituting the lip line (template matching step).
  • the template matching algorithm is a method of matching the template to the position of the tooth image expressed inside the feature area C1, and the algorithm considers factors such as shape, size, or color, and a tooth having a similar element to the template. You can automatically match a template to an area.
  • the contours of the feature points P and the feature region C1 may be corrected using the feature point correction function formed on the user interface, and a more accurate feature region C1 acquisition and template application process may be performed.
  • the step of designing the smile line ( S160 ) may be performed on one image data, and the image data at this time may be general face data among face data in which the mouth is opened and teeth are exposed.
  • the template may be applied inside the feature area C1.
  • the template may be displayed only inside the feature region C1, and in this case, a portion of the template may be covered by the lip line. According to the user's needs, the entire template may be displayed up to a portion existing outside the feature area C1.
  • one general face data may be duplicated to form two identical image data (eg, the first general face data and the second general face data).
  • the template in the first general face data, the template may be applied inside the feature region C1 , and in the second general face data, the template may be applied irrespective of the feature region C1 .
  • the first general face data since the template is not displayed outside the lip line, a portion of the template may be covered by the lip line.
  • the second general face data the entire template may be displayed regardless of the lip line. Accordingly, the user and the patient can easily check the smile line through the first general face data, and the laboratory can easily manufacture the correction through the second general face data.
  • the orthodontic product may mean an object worn by the patient.
  • the orthodontic appliance may refer to a veneer, a prosthesis including a laminate, and an orthodontic appliance.
  • the orthodontic appliance worn by the patient is produced in a dental laboratory linked to the dentist, but with the image data of the patient including the patient's face, a precise orthodontic appliance cannot be manufactured because the patient's lips cover some teeth.
  • image data including a face in a state in which the patient's mouth was forcibly opened with a mouth opening, as well as normal patient image data (eg, general face data).
  • FIG. 7 is general face data 401 of image data
  • FIG. 8 is face data 402 of the image data
  • FIG. 9 shows an example in which normal face data 401 and face data 402 are matched. It is a diagram to explain.
  • a plurality of image data having different degrees of opening of the oral cavity may be received.
  • two different image data may be received.
  • one of the image data may be general face data 401 having a smile line, and the other one may be an open face having a larger opening than the general face data 401 by forcibly opening the mouth with an open mouth. It may be data 402 .
  • the general facial data 401 may be used by a user and a patient to establish a correction plan by applying a template, and the opening facial data 402 may be used by a laboratory to produce a correction.
  • the feature points P may be assigned to each image data. That is, feature points P may be assigned to the general face data 401 and the face face data 402 with the opening, respectively, and the Face Landmark 68 algorithm as described above may be used as a method for assigning the feature points P, It is not limited thereto.
  • the fitting step ( S130 ) is at least one feature line generated by connecting at least two feature points among the feature points of the image data. Based on , at least one of a size and an angle of the image data may be matched with each other.
  • the size of the general face data 401 may be matched to the size of the opening face data 402 .
  • the size of the opening face data 402 may be matched to match the size of the general face data 401 .
  • the size of the normal face data 401 and the size of the opening face data 402 may be matched to have the same preset size.
  • the process of matching the sizes of the image data may be performed based on the length of the first feature line (L1') as described above.
  • the angle of the general face data 401 may be matched to match the angle of the opening face data 402 .
  • the angle of the opening face data 402 may be matched to match the angle of the general face data 401 .
  • the angle of the general face data 401 and the angle of the opening face data 402 may be matched to have the same preset angle.
  • the process of matching the angles of the image data may be performed based on the angle of the second feature line L2 ′ as described above.
  • the normal face data 401 and the open face data 402 are aligned, the distance between the eyes and the virtual line connecting the eyes and the predetermined point of the nose hardly change. That is, the normal face data 401 and the open face data 402 differ only in the degree of mouth opening, and the distance between the eyes and the distance and angle from the virtual line connecting the eyes to the nose have constant values.
  • the distance of the first feature line L1' representing a predetermined distance and the angle of the second feature line L2' from the first feature line L1' to the fourth feature point P4' spaced apart from the first feature line L1' (and By aligning the normal face data 401 and the opening face data 402 through the distance), there is an advantage that the patient's face can be accurately aligned and a stable smile design is possible.
  • the fitting ( S130 ) may include matching image data through the feature regions C1 and C2 . That is, in the fitting ( S130 ), the image data may be matched through the feature regions C1 and C2 respectively generated based on the feature points P assigned to each image data.
  • the feature regions C1 and C2 may be an inner region of the lip line, which means an inner region of the lips among the respective image data. More specifically, matching the image data through the feature regions C1 and C2 may be performed through at least one of various methods of expressing the feature regions C1 and C2.
  • the region inside the lip line is applied to the feature regions C1 and C2 , that is, the teeth T1 , T2 , T3 , T4 , T5 , and T6 among the face data 401 and 402 . It can be recognized as an area where data exists. Accordingly, in the fitting step ( S130 ), any one of the received image data may be extracted and matched with the feature regions C1 and C2 of other image data and the contours thereof are compared. Such matching may be performed using a template matching algorithm.
  • the element of the feature region matching the general facial data 401 and the opening face data 402 is not limited to the contour of the feature region (ie, the outline of the lip line), and the color of the teeth.
  • matching between image data may be performed by various elements inside the feature region, such as a shape.
  • the shape of the predetermined teeth T1 , T2 , and T3 of the general facial data 401 and the shape of the predetermined teeth T4 , T5 , and T6 of the opening face data 402 are performed ( S130 ). can be compared to perform matching.
  • the number of matching teeth may be variable, and matching may be performed using other elements within the appropriate feature regions C1 and C2 without necessarily using the shape of the teeth.
  • the image data may be matched using at least one of matching using the above-described feature lines L1' and L2' and matching using the feature regions C1 and C2, for example, the feature line L1', L2') may be preferentially performed, and matching using the feature regions C1 and C2 may be auxiliaryly performed.
  • the general face data 401 and the opening face data 402 can be more precisely aligned.
  • 10 and 11 are diagrams for explaining a third characteristic line and a fourth characteristic line generated by connecting the characteristic points.
  • determining an overlay order between image data based on an opening parameter indicating an opening degree of an oral cavity among face data may include arranging the image data so that the image data is overlaid ( S150 ).
  • the step of determining the overlay order may be a step of determining the display order of the image data according to the degree of opening of the mouth among the face data. More specifically, the normal face data 401 is arranged in a higher priority than the opening face data 402, so that a smile line designed through a template applied to the general face data 401 can be displayed to users and patients. do.
  • opening parameters may be obtained by using the feature points assigned in the step of assigning the feature points ( S120 ).
  • the opening parameter may be a length of the third feature lines L3 and L5 generated by connecting at least two feature points among the feature points. More specifically, the third feature lines L3 and L5 may be straight lines connecting the feature points P5 and P9 and the feature points P6 and P10, respectively.
  • the vertical length of the feature regions C1 and C2 may be indicated.
  • the feature points P5 and P9 may be feature points 63
  • the feature points P6 and P10 may be feature points 67.
  • the third characteristic lines L3 and L5 may be formed to be spaced apart from the first and second characteristic lines L1 and L2 described above.
  • the third feature line L3 may be generated from respective image data, and the step of determining the overlay order ( S140 ) includes the length of the third feature line L3 of the general face data 401 and the opening face data ( S140 ). Lengths of the third feature line L5 of 402 may be compared with each other.
  • the opening face data 402 is a forced opening of the oral cavity, and may have a feature area C2 that is vertically longer than that of the general facial data 401 , and the opening facial data 402 is the general facial data 401 .
  • the length of the third feature line L3 of the general face data 401 may be shorter than the length of the third feature line L5 of the opening face data 402 .
  • the order of image data having relatively short lengths of the third feature lines L3 and L5 may be determined as the priority. More specifically, since the length of the third feature line L3 of the general face data 401 is shorter than the length of the third feature line L5 of the opening face data 402, the general face data 401 is set to 1
  • the ranking and the opening face data 402 may be determined as the second priority.
  • the 'priority' may mean an order in which the images are displayed to the user and the patient through the display device, and the images determined as the priority may be preferentially displayed to the user and the patient.
  • a predetermined ratio may be used as an aperture parameter for determining the overlay order.
  • fourth feature lines L4 and L6 generated by connecting two new feature points P may be defined.
  • the fourth feature lines L4 and L6 may be generated by connecting two different feature points P that intersect the third feature lines L3 and L5, respectively, and are spaced apart from the third feature lines L3 and L5. there is.
  • the fourth characteristic lines L4 and L6 may represent the horizontal lengths of the characteristic regions C1 and C2.
  • the fourth feature lines L4 and L6 may be lines generated by connecting the feature points P7 and P11 and the feature points P8 and P12 among the feature points P forming the outline of the feature regions C1 and C2, respectively.
  • the key points P7 and P11 may be the 61st key points
  • the key points P8 and P12 may be the 65th key points.
  • the ratio used as the opening parameter may be a ratio of the lengths of the third characteristic lines L3 and L5 to the lengths of the fourth characteristic lines L4 and L6.
  • the ratio used as the aperture parameter may mean a ratio of the vertical length of the lip line to the horizontal length of the lip line in the feature region.
  • the general face data 401 is given the first priority, and the face data with the opening face data ( 402) can be determined as the second priority.
  • arranging the image data to be overlaid on the image data determined with the highest priority on the image data determined with the lower priority may be performed.
  • image data having a relatively short length of the third feature lines L3 and L5 is the third feature line L3 and L5. It is judged to have priority over image data with a longer length.
  • image data having a small ratio of the third feature lines L3 and L5 to the fourth features L4 and L6 may be determined as having a higher priority than image data having a high ratio.
  • a plurality of data may be arranged according to the order, and the image data determined as the priority may be sequentially overlaid on the image data determined as the lower priority. Accordingly, the normal face data 401 is automatically arranged to be overlaid on the opening face data 402, and the user and the patient can check the smile line after correction through the template applied to the general face data 401 in advance. there is.
  • the laboratory may check the template applied through the opening face data 402 and produce a corrective product corresponding thereto.
  • the face data 402 is determined and arranged in priority over the general face data 401 .
  • the user may arbitrarily change the order of image data by using an image switching function (not shown) formed on the user interface. Therefore, while automatically arranging the image data, it is possible to manually switch the arrangement order of the image data when an error occurs, so that the user can always arrange the normal face data 401 to be overlaid on the opening face data 402, A correction plan may be established based on the face data 401 .
  • At least some of the above content may be displayed through an output device such as a display device, and a user and a patient can easily check the process of performing the image processing method according to the present invention.
  • an output device such as a display device
  • FIG. 12 is a block diagram of an image processing apparatus according to the present invention.
  • the image processing apparatus 10 includes a database unit 100 storing at least one image data, and a control unit 100 receiving image data from the database and performing predetermined processing on the image data ( 200), and a display unit 300 that visually displays the processing result of the control unit 200 .
  • the database unit 100 may store image data.
  • the image data may be face data in which the oral cavity is opened and teeth are exposed.
  • the opening of the oral cavity may mean that the lips are opened and a part of the teeth or gingiva is exposed, and may include general face data having a natural smile line or face data with a forced open opening.
  • the database unit 100 may include not only image data but also an algorithm for generating feature points, and at least one tooth template data to be applied to the image data.
  • the database unit 100 may be a physical storage device or a cloud.
  • the controller 200 may receive image data from the database unit 100 and perform feature points, image fitting, and smile line design on the image data.
  • the control unit 200 may receive image data from the database unit 100 and perform feature points, image fitting, and smile line design on the image data.
  • the control unit 200 includes a feature point generator 210 that gives a plurality of feature points to image data according to a predetermined criterion, and image data based on at least one feature line generated by connecting at least two feature points among the generated feature points.
  • the feature point generator 210 assigns feature points to a characteristic part of the input image data.
  • the characteristic part may include the eyebrows, the lower eyelid, the upper eyelid, the nose, the outer side of the lips, the inner side of the lips, the contour of the face, and the like, as described above.
  • characteristic points may be given to the characteristic parts, and a plurality of the characteristic points may be provided to the image data.
  • the feature point may be used as a reference point for generating a feature line and feature region, which will be described later, and for determining a parameter.
  • the feature point generating unit 210 may use a predetermined criterion to assign the feature points to the image data, and the criterion may be an algorithm such as face landmark 68 .
  • the image data fitting unit 220 may fit the image data to have at least one of a predetermined size and a predetermined angle based on at least one characteristic line generated by connecting the characteristic points provided by the characteristic point generator 210 .
  • the image data fitting unit 220 may enlarge or reduce the size of the image data so that the length of the first feature line generated by connecting the feature points generated on the lateral canthus of both eyes corresponds to a predetermined length.
  • the image data fitting unit 220 may rotate the image data so that a second feature line generated by connecting a point of the first feature line and a feature point spaced apart from the first feature line has a predetermined angle. In this case, the image data fitting unit 220 may rotate the image data so that the angle of the second feature line is perpendicular to the horizontal direction of the user interface plane.
  • the smile line design unit 260 may design a smile line of the fitted image data.
  • designing the smile line may mean applying at least one template to a predetermined area generated by the feature points among image data generated based on the feature points.
  • the predetermined region of the image data may be a feature region generated by connecting at least three feature points among a plurality of feature points provided by the feature point generating unit 210 .
  • the feature region may be an inner region of a lip line generated by connecting feature points on the inner side of the lips among image data.
  • the feature area includes data representing teeth, and the smile line design unit 260 may indicate the state of the patient's teeth after orthodontic treatment by applying a template related to orthodontic teeth to the feature area.
  • the image data may include general face data and open face data.
  • the general face data and the opening face data may have different degrees of opening of the mouth.
  • the general face data can be used to establish a correction plan for users and patients, and the aperture face data can be used to confirm the correct template design of the laboratory.
  • the feature point generating unit 210 may assign the feature points to each image data, and the image data fitting unit 220 . may match at least one of a size and an angle of the image data based on at least one feature line generated by connecting at least two feature points among the feature points of the image data.
  • matching the image data includes matching normal face data to face data, matching face data to face data, or making the face data and face data have at least one of a predetermined size and a predetermined angle. It can mean fitting.
  • the image data fitting unit 220 may match the image data through the feature region generated in each image data based on the feature point generated by the feature point generator 210 .
  • the feature region may be the region inside the lip line as described above, and by extracting any one feature region from the input image data, the feature region of other image data and its outline may be compared to perform matching. .
  • Such a matching process may be performed using a template matching algorithm, and related details are as described above.
  • control unit 200 generates an aperture parameter representing the degree of mouth opening among the face data, and an overlay sequence between image data based on the aperture parameter generated by the parameter generator 240 . It may include a parameter determination unit 250 to determine the.
  • the parameter generator 240 may generate a parameter based on the feature points provided by the feature point generator 210 , and for example, the opening parameter is a third feature line generated by connecting at least two feature points among the feature points.
  • the length of the third characteristic line may indicate the vertical length of the lip line, which is the characteristic region.
  • the aperture parameter may be a ratio of a length of the third feature line to the length of the fourth feature line.
  • the third feature line is generated by connecting at least two feature points among the feature points
  • the fourth feature line is the feature points. It may be generated by connecting two different feature points that intersect the third feature line and are spaced apart from the third feature line.
  • the length of the fourth characteristic line may indicate the horizontal length of the lip line, which is the characteristic region.
  • the parameter determining unit 250 may determine the order of image data having a relatively short length of the third characteristic line as the priority. Also, when the generated aperture parameter is the ratio of the third characteristic line to the fourth characteristic line, the parameter determining unit 250 may determine the order of image data having a relatively small ratio as the priority.
  • the detailed process of determining the overlay order based on the aperture parameter of the image data is the same as described above in the image processing method according to the present invention.
  • the controller 200 may further include an image data arranging unit 230 that arranges the image data so that the image data are sequentially overlaid according to the order determined by the parameter determining unit 250 .
  • the image data arranging unit 230 is configured to overlay the image data determined with the priority according to the length of the third characteristic line or the ratio of the length of the third characteristic line to the length of the fourth characteristic line on the image data determined with the lower priority.
  • the general face data since the length of the third feature line of the general face data is shorter than the length of the third feature line of the opening face data, the general face data is determined to have priority over the opening face data, so that the general face data is overlaid on the opening face data can be In addition, since the ratio of the length of the third feature line to the length of the fourth feature line of the general face data is smaller than the ratio of the opening face data, it is determined that the general face data has priority over the opening face data, so that the general face data is displayed on the opening face data. may be arranged to be overlaid.
  • the present invention has an advantage in that it is possible to establish a calibration plan based on image data of a certain standard because a template is applied by giving feature points on image data and fitting them with a predetermined size and a predetermined angle.
  • the order in which the image data is arranged is determined based on the aperture parameter derived from each image data regardless of the received order, so that the desired arrangement order of the image data is automatically determined.
  • the present invention is an image processing method that matches image data representing a patient's face, applies a template that matches the patient, so that the patient and the therapist can easily check the smile line, and the laboratory can easily produce a correction and an apparatus using the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 이미지 처리 방법은, 적어도 하나의 이미지 데이터를 입력받는 단계; 상기 이미지 데이터 상에 복수의 특징점들을 부여하는 단계; 상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계; 및 피팅된 상기 이미지 데이터의 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계;를 포함한다.

Description

이미지 처리 방법 및 이를 사용한 장치
본 발명은 이미지 처리 방법 및 이를 사용한 장치(Image Processing Method and Apparatus Using Thereof)에 관한 것이다.
스마일 라인(smile line)이란, 치아라인, 치아모양, 웃을 때 노출되는 치은의 정도와 치은라인, 입술의 길이 및 두께, 인중의 길이, 입술 주위의 근육 및 이와 연관된 근육들의 활성 정도 및 방향에 따라 만들어진다. 교정 치료를 통해, 환자는 원하는 스마일 라인을 가질 수 있다. 특히, 비니어, 라미네이트 등의 치료를 고민하는 환자는 자신의 얼굴(보다 상세하게는, 스마일 라인)이 치료 후 어떻게 변화하는지를 궁금해한다. 스마일 라인에 따라 사람의 인상이 달라지게 되며, 교정 치료 또는 수술을 통해 이와 같은 스마일 라인을 갖도록 하는 것을 스마일 디자인(smile design)이라고 부르기도 한다.
한편, 스마일 디자인을 통해 환자는 원하는 스마일 라인을 획득할 수 있다. 스마일 라인을 획득하기 위해, 환자는 교정물을 착용할 수 있다. 정밀하고 신속한 스마일 라인을 획득하여, 사용자의 편의성을 향상시키고 신속하게 교정 치료 계획을 제공할 수 있는 방법 및 장치에 대한 요구가 증가하고 있다.
이상의 문제점을 해결하기 위하여, 본 발명은 적어도 하나의 이미지 데이터를 입력받아 상기 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅하여, 피팅된 이미지 데이터의 특징 영역에 교정을 위한 템플릿을 적용하여 스마일 라인을 디자인하는 이미지 처리 방법을 제공한다.
또한, 본 발명은 개구 정도가 상이한 복수의 이미지 데이터들을 비교하여 개구 이미지 데이터와 일반 이미지 데이터의 순위를 판단하고, 판단된 순위에 따라 이미지 데이터들을 배열하는 이미지 처리 방법을 제공한다.
또한, 본 발명은 이미지 데이터 피팅부를 통해 이미지 데이터를 피팅하고 템플릿을 이미지 데이터 상에 적용시켜 스마일 라인을 디자인하는 이미지 처리 장치를 제공한다.
또한, 본 발명은 개구 정도에 따라 상이한 복수의 이미지 데이터를 입력받아 이미지 데이터 간 크기 및 각도 중 적어도 하나를 매칭하며, 개구 정도에 따른 파라미터에 기초하여 이미지 데이터를 배열하는 이미지 처리 장치를 제공한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 이미지 처리 방법은, 적어도 하나의 이미지 데이터를 입력받는 단계, 상기 이미지 데이터 상에 적어도 하나의 특징점을 부여하는 단계, 상기 특징점을 기초로 상기 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계, 그리고 상기 특징점을 기초로 상기 이미지 데이터의 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계를 포함하여, 이미지 데이터를 규격에 맞게 용이하게 피팅하고 템플릿을 적용할 수 있다.
또한, 본 발명에 따른 이미지 처리 방법은, 개구 정도에 따라 상이한 복수의 이미지 데이터를 입력받아 이미지 데이터 간 크기 및 각도 중 적어도 하나를 매칭하며, 구각의 개구 정도를 나타내는 개구파라미터에 기초하여 이미지 데이터의 순서를 판단할 수 있다.
한편, 본 발명에 따른 이미지 처리 장치는 전술한 이미지 처리 방법을 이용하며, 이미지 데이터 피팅부를 통해 이미지 데이터를 피팅하고 템플릿을 이미지 데이터 상에 적용시켜 스마일 라인을 디자인할 수 있다.
또한, 개구 정도에 따라 상이한 복수의 이미지 데이터를 입력받아 이미지 데이터 간 크기 및 각도 중 적어도 하나를 매칭하며, 구강의 개구 정도를 나타내는 개구파라미터에 기초하여 이미지 데이터를 배열 및 디스플레이부 상에 표시할 수 있다.
본 발명에 따르면, 이미지 데이터 상의 특징점 및 특징선을 기초로 이미지 데이터의 크기 및 각도 중 적어도 하나를 피팅함으로써, 이미지 데이터의 피팅 정확도가 향상되고, 피팅 연산이 단순화되는 이점이 있다.
또한, 이미지 데이터를 순서대로 입력하지 않더라도 개구파라미터를 기초로 이미지 데이터가 배치되는 순서를 자동으로 판단하고, 개구 정도가 작은 이미지 데이터가 개구 정도가 큰 이미지 데이터 상에 오버레이 되도록 함으로써, 사용자의 작업량을 감소시킴으로써 사용자 편의성이 향상되고, 신속하게 교정 치료 계획을 제공할 수 있는 이점이 있다.
또한, 사용자는 이미지 데이터를 피팅하여 환자 또는 사용자가 원하는 교정 템플릿을 가상으로 적용하여, 교정 후 환자의 스마일 라인을 용이하게 예측할 수 있는 이점이 있다.
도 1은 본 발명에 따른 이미지 처리 방법의 순서도이다.
도 2는 이미지 데이터를 설명하기 위한 도이다.
도 3은 이미지 데이터에 특징점들이 생성된 것을 설명하기 위한 도이다.
도 4는 특징점들을 연결하여 생성된 제1 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이다.
도 5는 특징점들을 연결하여 생성된 제2 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이다.
도 6은 피팅된 이미지 데이터 중 특징 영역에 템플릿이 적용된 것을 설명하기 위한 도이다.
도 7은 이미지 데이터 중 일반 얼굴 데이터이다.
도 8은 이미지 데이터 중 개구 얼굴 데이터이다.
도 9는 일반 얼굴 데이터와 개구 얼굴 데이터가 매칭되는 일 예시를 설명하기 위한 도이다.
도 10 및 도 11은 특징점들을 연결하여 생성된 제3 특징선 및 제4 특징선을 설명하기 위한 도이다.
도 12는 본 발명에 따른 이미지 처리 장치의 구성도이다.
[부호의 설명]
S110: 이미지 데이터를 입력받는 단계
S120: 특징점을 부여하는 단계
S130: 피팅하는 단계
S140: 오버레이 순서를 판단하는 단계
S150: 이미지 데이터들을 배열하는 단계
S160: 디자인하는 단계
10: 이미지 처리 장치 100: 데이터베이스부
200: 제어부 300: 디스플레이부
400: 얼굴 데이터 401: 일반 얼굴 데이터
402: 개구 얼굴 데이터
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 이미지 처리 방법의 순서도이고, 도 2는 이미지 데이터를 설명하기 위한 도이며, 도 3은 이미지 데이터에 특징점들이 생성된 것을 설명하기 위한 도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 이미지 처리 방법은 적어도 하나의 이미지 데이터를 입력받는 단계(S110), 이미지 데이터 상에 복수의 특징점들을 부여하는 단계(S120), 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계(S130), 그리고 피팅된 이미지 데이터의 특징점들에 의해 생성되는 소정 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계(S160)를 포함할 수 있다.
본 발명에서 템플릿은 교정 치아의 샘플 모델을 의미하며, 템플릿은 적어도 하나의 치아에 대한 위치, 크기, 형상의 표준 정보를 가질 수 있다. 사용자 및 환자는 템플릿을 이미지 데이터 중 환자의 치아 상에 오버레이 함으로써 교정 이후의 치아의 모양을 미리 예상할 수 있다. 또한, 템플릿은 환자에게 최적의 교정물을 제공하기 위해 복수개 구비될 수 있으며, 사용자 및 환자는 복수개의 템플릿을 이미지 데이터 중 환자의 치아 상에 선택적으로 적용함으로써 환자의 치아에 가장 부합하는 템플릿을 결정할 수 있다.
이하에서는 각 단계들에 대해 상세히 설명하기로 한다.
적어도 하나의 이미지 데이터를 입력받는 단계(S110)에서는 기 촬영된 환자의 이미지 데이터를 입력받을 수 있다. 여기서, 상기 이미지 데이터는 데이터베이스부(DB부)로 명명되는 데이터 저장 요소에 저장되어 있으며, 사용자의 조작에 의하여 입력될 수 있다. 이미지 데이터가 저장되는 데이터베이스부(DB부)는 물리적으로 하드 디스크 드라이브(Hard Disk Drive), 플로피 디스크 드라이브(Floppy Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive)일 수 있으며, 클라우드 형태의 가상 데이터베이스일 수도 있다.
바람직하게는, 상기 이미지 데이터는 사람의 얼굴 데이터일 수 있다. 보다 상세하게는, 이미지 데이터는 사람의 눈, 코, 입 등이 가시적으로 나타난 얼굴 데이터(400)이며, 특히 사람의 구강이 개구되어 치아가 노출된 얼굴 데이터일 수 있다. 얼굴 데이터(400)는 자연스러운 미소를 갖는 일반 이미지 데이터일 수 있으며, 양측 입꼬리가 상부 방향으로 올라가면서 치아 및 치은의 일부가 노출될 수 있다. 노출된 치아 및 치은의 일부는 후술하는 특징 영역 내에 포함되며, 해당 영역 내에서 치아 교정을 위한 템플릿이 가상으로 적용될 수 있다.
이하에서는, 이미지 데이터 상에 특징점들이 부여되는 과정에 대해 설명한다.
도 3을 참조하면, 이미지 데이터를 입력받으면, 입력받은 이미지 데이터 상에 복수의 특징점들을 부여하는 단계(S120)가 수행될 수 있다. 특징점들을 부여하는 단계(S120)는 얼굴 데이터를 기초로 소정 기준에 따라 이미지 데이터 상의 특징적인 부분들에 복수의 특징점(P)을 부여할 수 있다. 보다 상세하게는, 상기 특징적인 부분들은 눈썹, 상안검과 하안검 사이의 눈 윤곽, 코, 입술 외측과 입술 내측, 얼굴의 윤곽일 수 있다. 특징점들을 부여하는 단계(S120)에서 부여되는 특징점(P)의 수는 전술한 이미지 데이터의 특징적인 부분들을 효과적으로 나타낼 수 있을 정도의 수일 수 있다.
예시적으로, 특징점들을 부여하는 단계(S120)는 이미지 데이터의 특징적인 부분들을 표현하기 위해 AI Facial Landmarks Detection 방식을 사용할 수 있다. 이하에서는 본 발명에서 AI Facial Landmarks Detection 방식 중 상기 이미지 데이터에 68개의 특징점(P)들을 부여하는 Face Landmark 68 알고리즘을 기준으로 설명하였으나, 이에 한정되는 것은 아니며, 이미지 데이터의 특징을 용이하게 나타낼 수 있는 어떠한 알고리즘이라도 사용될 수 있다.
한편, 이미지 데이터가 입력되었을 때, 입력된 이미지 데이터가 일방향으로 과도하게 회전되어 있는 경우, 상기 이미지 데이터에 특징점(P)들이 원활하게 부여되지 않을 수 있다. 따라서, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 소정 각도 간격으로 회전하면서 얼굴 데이터(400)를 기초로 소정 기준에 따라 복수의 특징점(P)들을 부여할 수 있다.
예시적으로, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 90° 간격으로 시계방향 또는 반시계방향으로 회전시키면서 특징점(P)들을 부여할 수 있다. 다른 예시에 따라, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 15° 간격으로 시계방향 또는 반시계방향으로 회전시키면서 특징점(P)을 부여할 수 있다. 이와 같이 이미지 데이터를 회전시켜 특징점(P)들을 부여함으로써, 이미지 데이터에 대한 정확한 인식 및 특징점(P)들의 부여가 가능하며, 정상적인 위치에서의 파라미터 판단 및 템플릿 적용이 가능한 이점이 있다.
다른 실시예에 따르면, 특징점들을 부여하는 단계(S120)는 인공지능을 이용하여, 복수의 2차원 이미지 데이터 및 연속적인 비디오 데이터 중에서 얼굴 데이터(400)에 가장 부합하는 이미지 데이터를 선택하고, 선택된 이미지 데이터에 특징점(P)들을 부여할 수 있다. 인공지능을 사용하여 특징점들을 부여하는 단계(S120)가 수행되면, 사용자는 얼굴 데이터(400)에 가장 부합하는 이미지 데이터를 직접 입력하지 않더라도 자동으로 적합한 이미지 데이터가 선택되어 특징점(P)들이 부여되는 이점이 있다.
이하에서는, 이미지 데이터에 부여된 특징점들을 기초로 이미지 데이터를 피팅하는 단계(S130)에 대해 상세히 설명한다.
도 4는 특징점들을 연결하여 생성된 제1 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이고, 도 5는 특징점들을 연결하여 생성된 제2 특징선을 기초로 이미지 데이터를 피팅하는 것을 설명하기 위한 도이다.
도 4 및 도 5를 참조하면, 이미지 데이터 상에 특징점들이 부여되면, 부여된 특징점들을 기초로 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계(S130)가 수행될 수 있다. 즉, 특징점(P)의 위치, 특징점(P)들 간의 거리, 특징점(P)들이 이루는 각도가 구해질 수 있고, 이러한 정보들은 본 발명에 따른 이미지 처리 방법이 수행되기 위한 요소로 사용될 수 있다.
피팅하는 단계(S130)는 전술한 특징점들을 부여하는 단계(S120)에서 부여된 특징점(P)들로부터 소정의 특징선을 생성할 수 있다. 예시적으로, 특징선은 부여된 특징점들 중 적어도 2개의 특징점을 연결하여 생성될 수 있으며, 생성되는 특징선은 얼굴 데이터에서 각각의 눈의 외안각에 해당하는 특징점들(P1', P2')을 연결한 선일 수 있다. 이 특징선을 제1 특징선(L1') 또는 아이라인으로 명명한다. 한편, 상기 특징점들(P1', P2')은 각각 37번 특징점 및 46번 특징점일 수 있으나 이는 예시적인 것에 불과하며, 이에 제한되지 않는다.
피팅하는 단계(S130)는 생성된 특징선을 기초로 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 보다 상세하게는, 피팅하는 단계(S130)는 제1 특징선(L1')의 길이가 소정 길이에 부합하도록 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 예시적으로, 제1 특징선(L1')의 길이가 300 픽셀이고 기설정된 목표 길이가 400 픽셀인 경우, 피팅된 제1 특징선(L1)의 길이가 400 픽셀이 되도록 일정한 값을 곱하여 이미지 데이터의 크기를 확대할 수 있다. 한편, 제1 특징선(L1')의 길이가 기설정된 목표 길이보다 큰 경우, 피팅된 제1 특징선(L1)의 길이가 기설정된 목표 길이가 되도록 일정한 값을 곱하여 이미지 데이터의 크기를 축소할 수 있다.
또한, 피팅하는 단계(S130)는 생성된 특징선을 기초로 이미지 데이터를 회전할 수 있다. 이미지 데이터를 회전하기 위해, 피팅하는 단계(S130)는 제1 특징선(L1')과 상이한 제2 특징선(L2')을 기초로 하여 상기 이미지 데이터를 회전할 수 있다. 보다 상세하게는, 피팅하는 단계(S130)는 제1 특징선(L1')의 일 지점과, 상기 제1 특징선(L1')으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선(또는 미드라인, L2')을 이용하여 이미지 데이터를 회전할 수 있다. 제2 특징선(L2')은, 제1 특징선(L1')의 중심 지점(P3')과 특징점(P4')을 연결하여 생성된 것일 수 있다. 예시적으로, 상기 특징점(P4')은 34번 특징점에 해당할 수 있다.
생성된 제2 특징선(L2')에 기초하여, 피팅하는 단계(S130)는 이미지 데이터가 정상적인 각도에서 스마일 라인이 디자인될 수 있도록 피팅한다. 예시적으로, 피팅된 제2 특징선(L2)의 각도는 이미지 데이터가 입력되어 표시되는 유저 인터페이스(UI) 평면 중 가로방향에 수직일 수 있다.
상기와 같이 이미지 데이터를 소정 크기 및 소정 각도 중 적어도 하나에 부합하도록 얼굴 데이터(400')를 피팅함으로써, 사용자는 피팅된 얼굴 데이터(400)에 정확하게 템플릿을 적용할 수 있고 신뢰도 높은 교정 계획을 수립할 수 있다.
선택적으로, 이미지 데이터의 각도가 사용자의 의도와 다르게 피팅된 경우, 사용자는 이미지 데이터를 소정 각도 수동으로 회전시킬 수 있다. 예시적으로, 이미지 데이터는 피팅된 제1 특징선(L1)의 중심 지점(P3)을 회전 중심으로 시계방향 또는 시계 반대방향으로 회전될 수 있으며, 이미지 데이터가 회전될 수 있는 소정 각도는 시계방향 또는 시계 반대방향으로 약 5°이내일 수 있다. 이와 같이, 사용자의 판단에 따라 이미지 데이터를 소정 각도 수동으로 미세 회전시킴으로써, 사용자는 이미지 데이터 분석 및 스마일 라인 디자인에 더욱 적합하도록 피팅된 이미지 데이터를 획득할 수 있다.
도 6은 피팅된 이미지 데이터 중 특징 영역에 템플릿이 적용된 것을 설명하기 위한 도이다.
도 6을 참조하면, 이미지 데이터의 피팅이 완료된 후, 특징점을 기초로 이미지 데이터의 소정 영역에 적어도 하나의 템플릿을 적용하여 스마일 라인을 디자인하는 단계(S160)가 수행될 수 있다. 템플릿은 데이터베이스 상에 기 저장된 교정 치아 데이터일 수 있으며, 템플릿은 복수 구비되어 환자의 이미지 데이터에 최적의 템플릿이 적용될 수 있다. 템플릿은 환자의 구강 상태에 따라 사용자가 커스터마이징할 수 있다. 예를 들면, 사용자는 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 형상을 변경할 수 있다. 이 때, 치아의 형상은 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)를 이루는 치아 윤곽을 조정함으로써 변경될 수 있다. 또한, 사용자는 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 위치, 크기, 색상, 또는 음영을 변경할 수 있다. 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 위치 또는 크기를 변경함으로써, 인접하는 치아의 위치 또는 크기가 함께 연동되어 변경될 수 있다. 또한, 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 색상 또는 음영을 변경함으로써 보철 이외의 미백 시술 등을 고려한 종합적인 치아 치료 계획이 고려될 수 있다. 이와 같이 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)를 커스터마이징 함으로써, 사용자는 환자에게 최적의 치료 계획을 제공할 수 있다.
한편, 디자인하는 단계(S160)는 특징점을 부여하는 단계(S130)에서 부여된 복수의 특징점들 중 적어도 3개의 특징점을 연결하여 생성되는 특징 영역(C1)에 템플릿을 적용할 수 있다. 보다 상세하게는, 이미지 데이터 상에 부여된 특징점들 중 입술 내측을 구성하는 특징점들을 연결하여 생성된 립라인(lipline)이 특징 영역으로 형성될 수 있고, 이 특징 영역 내부에 존재하는 치아 이미지(Ta', Tb', Tc', Td', Te', 및 Tf') 상에 템플릿이 적용될 수 있다. 보다 상세하게는, 디자인하는 단계(S160)는 적어도 3개의 특징점을 연결하여 생성되는 특징 영역(C1)을 립라인으로 인식하고(립라인 인식 단계), 상기 특징 영역(C1) 내부에 치아 이미지가 나타난 치아 영역을 인식하며(치아 영역 인식 단계), 상기 치아 영역에 template matching algorithm을 이용하여 립라인을 구성하는 특징 영역(C1) 내부의 치아 이미지와 템플릿을 매칭할 수 있다(템플릿 매칭 단계). 이 때, template matching algorithm은 템플릿을 특징 영역(C1) 내부에 표현된 치아 이미지 위치에 매칭하는 방식으로, 상기 알고리즘은 형상, 크기, 또는 색상 등의 요소를 고려하여 상기 템플릿과 유사한 요소를 가지는 치아 영역에 자동으로 템플릿을 매칭할 수 있다. 이와 같이 특징 영역(C1)에 템플릿이 적용됨으로써, 템플릿이 이미지 데이터 중 특징 영역(C1)이 아닌 다른 영역에 오적용되는 점을 방지할 수 있다.
한편, 특징 영역(C1)이 생성될 때 특징점(P)들의 위치가 불명확한 경우 잘못된 특징 영역이 생성될 수 있다. 이러한 경우, 유저 인터페이스 상에 형성된 특징점 수정 기능을 사용하여 특징점(P)들 및 특징 영역(C1)의 윤곽을 수정할 수 있으며, 더욱 정확한 특징 영역(C1) 획득 및 템플릿 적용 과정이 수행될 수 있다.
스마일 라인을 디자인하는 단계(S160)는 하나의 이미지 데이터에 대해 수행될 수 있으며, 이 때의 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터 중 일반 얼굴 데이터일 수 있다. 이 때, 템플릿은 특징 영역(C1) 내부에 적용될 수 있다. 템플릿은 특징 영역(C1) 내부에만 표시될 수 있으며, 이 경우 립라인에 의해 템플릿의 일부분이 가려질 수 있다. 템플릿은 사용자의 필요에 따라 특징 영역(C1) 외부에 존재하는 부분까지 전부 표시될 수도 있다.
또한, 스마일 라인을 디자인하는 단계(S160)는 하나의 일반 얼굴 데이터를 복제하여 동일한 2개의 이미지 데이터(예를 들면, 제1 일반 얼굴 데이터 및 제2 일반 얼굴 데이터)를 형성할 수 있다. 이 때, 제1 일반 얼굴 데이터에서는 템플릿이 특징 영역(C1) 내부에서 적용되고, 제2 일반 얼굴 데이터에서는 템플릿이 특징 영역(C1)과 관계없이 적용될 수 있다. 보다 상세하게는, 제1 일반 얼굴 데이터에서는 템플릿이 립라인 외부로 이탈하여 표시되지 않으므로, 템플릿의 일부분이 립라인에 의해 가려질 수 있다. 이와 비교하여, 제2 일반 얼굴 데이터에서는 립라인과 관계없이 템플릿 전부가 표시될 수 있다. 이에 따라, 제1 일반 얼굴 데이터를 통해 사용자 및 환자는 스마일 라인을 용이하게 확인할 수 있고, 제2 일반 얼굴 데이터를 통해 기공소는 교정물을 용이하게 제작할 수 있다. 이 때, 교정물이란 환자가 착용하는 물체를 의미할 수 있다. 예시적으로, 교정물은 비니어, 라미네이트를 포함하는 보철물, 및 교정 장치 등을 의미할 수 있다.
한편, 환자가 착용하는 교정물은 치과와 연계된 기공소에서 제작하게 되는데, 환자의 얼굴을 포함하는 통상적인 환자의 이미지 데이터로는 환자의 입술이 일부 치아를 가리기 때문에 정밀한 교정물을 제작할 수 없는 단점이 있었고, 통상적인 환자의 이미지 데이터(예시적으로, 일반 얼굴 데이터)뿐 아니라, 개구기 등으로 환자의 구강을 강제 개구한 상태의 얼굴을 포함하는 이미지 데이터의 필요성이 대두되었다.
전술한 바와 같이 2장의 이미지를 사용할 경우, 종래에는 사용자가 구강을 강제 개구한 환자의 이미지 데이터와 통상적인 환자의 이미지 데이터를 이미지 처리 장치에 각각 별도로 입력하고, 상기 서로 다른 이미지 데이터들을 수동으로 정렬하여 스마일 디자인을 수행하였다. 상기 작업은 사용자가 상기 이미지 처리 장치를 조작함에 있어 필연적으로 많은 작업 수를 초래하게 되고, 그에 따라 사용자 편의성이 저하되며, 교정 치료 계획의 제공이 지연되는 단점이 있었다.
상기와 같은 단점을 해결하는 방법을 제공하기 위해, 이하에서는 이미지 데이터가 복수인 경우 이미지 데이터의 순서를 판단하고 배열하는 추가적인 단계들에 대해 상세히 설명하기로 한다.
도 7은 이미지 데이터 중 일반 얼굴 데이터(401)이고, 도 8은 이미지 데이터 중 개구 얼굴 데이터(402)이며, 도 9는 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)가 매칭되는 일 예시를 설명하기 위한 도이다.
도 7 및 도 8을 참조하면, 이미지 데이터를 입력받는 단계(S110)는 구강의 개구 정도가 상이한 복수의 이미지 데이터를 입력받을 수 있다. 예시적으로, 이미지 데이터를 입력받는 단계(S110)는 2개의 서로 다른 이미지 데이터를 입력받을 수 있다. 이 때, 이미지 데이터들 중 어느 하나는 스마일 라인을 가지는 일반 얼굴 데이터(401)일 수 있고, 다른 하나는 개구기 등으로 구강을 강제 개구하여 일반 얼굴 데이터(401)보다 개구 정도가 더 큰 개구 얼굴 데이터(402)일 수 있다. 일반 얼굴 데이터(401)는 사용자 및 환자가 템플릿을 적용하여 교정 계획을 수립하기 위해 사용되고, 개구 얼굴 데이터(402)는 기공소가 교정물을 제작하기 위해 사용될 수 있다.
한편, 특징점들을 부여하는 단계(S120)는 각각의 이미지 데이터별로 특징점(P)들을 부여할 수 있다. 즉, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)에 각각 특징점(P)들이 부여될 수 있으며, 특징점(P)들을 부여하는 방법으로는 전술한 바와 같은 Face Landmark 68 알고리즘이 사용될 수 있으나, 이에 제한되지 않는다.
특징점들을 부여하는 단계(S120)에서 각각의 이미지 데이터별로 특징점(P)들이 부여되면, 피팅하는 단계(S130)는 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭할 수 있다.
예시적으로, 일반 얼굴 데이터(401)의 크기는 개구 얼굴 데이터(402)의 크기에 부합되도록 매칭될 수 있다. 반대로, 개구 얼굴 데이터(402)의 크기는 일반 얼굴 데이터(401)의 크기에 부합되도록 매칭될 수도 있다. 또한, 일반 얼굴 데이터(401)의 크기와 개구 얼굴 데이터(402)의 크기는 동일한 기설정된 크기를 가지도록 매칭될 수 있다. 이미지 데이터들의 크기를 매칭하는 과정은 전술한 바와 같은 제1 특징선의(L1') 길이를 기초로 수행될 수 있다. 일반 얼굴 데이터(401)의 크기와 개구 얼굴 데이터(402)의 크기가 같아지도록 매칭함으로써, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)의 오버레이 및 비교 분석이 용이해지고, 정렬이 가능해지는 이점이 있다.
또한, 일반 얼굴 데이터(401)의 각도는 개구 얼굴 데이터(402)의 각도에 부합하도록 매칭될 수 있다. 반대로, 개구 얼굴 데이터(402)의 각도는 일반 얼굴 데이터(401)의 각도에 부합하도록 매칭될 수도 있다. 또한, 일반 얼굴 데이터(401)의 각도와 개구 얼굴 데이터(402)의 각도는 동일한 기설정된 각도를 가지도록 매칭될 수 있다. 이미지 데이터들의 각도를 매칭하는 과정은 전술한 바와 같은 제2 특징선(L2')의 각도를 기초로 수행될 수 있다. 일반 얼굴 데이터(401)의 각도와 개구 얼굴 데이터(402)의 각도가 같아지도록 매칭함으로써, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)의 오버레이 및 비교 분석이 용이해지고, 정렬이 가능해지는 이점이 있다.
한편, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)를 정렬할 때, 실제 사람의 얼굴에서 양눈 사이의 거리와, 양눈을 잇는 가상선과 코의 소정 지점까지의 거리 및 각도는 거의 변하지 않는다. 즉, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)는 입의 개구 정도에 차이가 있을 뿐, 양눈 사이의 거리와 양눈을 잇는 가상선으로부터 코까지의 거리 및 각도는 일정한 값을 가진다. 따라서, 소정 거리를 나타내는 제1 특징선(L1’)의 거리와, 제1 특징선(L1’)으로부터 이격된 제4 특징점(P4’)까지의 제2 특징선(L2’)의 각도(및/또는 거리)를 통해 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)를 정렬함으로써, 환자의 얼굴이 정확하게 정렬될 수 있고, 안정적인 스마일 디자인이 가능한 이점이 있다.
도 9를 참조하면, 피팅하는 단계(S130)는 특징 영역(C1, C2)을 통해 이미지 데이터들을 매칭하는 단계를 포함할 수 있다. 즉, 피팅하는 단계(S130)는, 이미지 데이터별로 부여된 특징점(P)들을 기초로 각각 생성된 특징 영역(C1, C2)을 통해 이미지 데이터들을 매칭할 수 있다. 이 때, 특징 영역(C1, C2)은 각각의 이미지 데이터 중 입술 내측 영역을 의미하는 립라인 내부 영역일 수 있다. 보다 상세하게는, 특징 영역(C1, C2)을 통해 이미지 데이터들을 매칭하는 것은 특징 영역(C1, C2)을 표현하는 다양한 방식 중 적어도 하나를 통해 수행될 수 있다. 예를 들면, 피팅하는 단계(S130)는 립라인 내부의 영역을 특징 영역(C1, C2), 즉 얼굴 데이터(401, 402) 중 치아(T1, T2, T3, T4, T5, 및 T6)에 대한 데이터가 존재하는 영역으로 인식할 수 있다. 따라서, 피팅하는 단계(S130)는 입력받은 이미지 데이터들 중 어느 하나의 특징 영역을 추출하여 다른 이미지 데이터의 특징 영역(C1, C2)과 그 윤곽을 비교하여 매칭을 수행할 수 있다. 이와 같은 매칭은 template matching 알고리즘을 사용하여 수행될 수 있다.
다만, 피팅하는 단계(S130)에서 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)를 매칭하는 특징 영역의 요소가 특징 영역의 윤곽(즉, 립라인의 윤곽)에 한정되는 것은 아니며, 치아의 색상, 형상과 같이 특징 영역 내부의 다양한 요소들에 의해 이미지 데이터들 간의 매칭이 수행될 수 있다. 예를 들면, 피팅하는 단계(S130)에서 일반 얼굴 데이터(401)의 소정 치아(T1, T2, 및 T3)의 형상과 개구 얼굴 데이터(402)의 소정 치아(T4, T5, 및 T6)의 형상을 비교하여 매칭을 수행할 수 있다. 한편, 매칭하는 치아의 수는 가변적일 수 있으며, 반드시 치아의 형상을 이용하지 않고 적절한 특징 영역(C1, C2) 내의 다른 요소들을 사용하여 매칭을 수행할 수도 있다.
또한, 이미지 데이터들은 전술한 특징선들(L1’, L2’)을 이용한 매칭과 특징 영역(C1, C2)을 이용한 매칭 중 적어도 하나를 사용하여 매칭될 수 있으며, 예시적으로 특징선(L1’, L2’)을 이용한 매칭을 우선적으로 수행하고, 특징 영역(C1, C2)을 이용한 매칭을 보조적으로 수행할 수 있다. 2 이상의 매칭 방식을 사용하는 경우, 일반 얼굴 데이터(401)와 개구 얼굴 데이터(402)를 보다 정밀하게 정렬할 수 있는 이점이 있다.
이하에서는, 이미지 데이터들의 개구 정도에 따라 이미지 데이터가 배열될 순서를 판단하고, 판단된 순서에 따라 이미지 데이터들을 배열하는 과정에 대해 상세히 설명하기로 한다.
도 10 및 도 11은 특징점들을 연결하여 생성된 제3 특징선 및 제4 특징선을 설명하기 위한 도이다.
도 10 및 도 11을 참조하면, 본 발명에 따른 이미지 처리 방법은 얼굴 데이터들 중 구강의 개구 정도를 나타내는 개구파라미터에 기초하여 이미지 데이터들 간의 오버레이 순서를 판단하는 단계(S140)와, 순서에 따라 이미지 데이터들이 오버레이 되도록 이미지 데이터들을 배열하는 단계(S150)를 포함할 수 있다.
오버레이 순서를 판단하는 단계(S140)는 얼굴 데이터들 중 구강의 개구 정도에 따라 이미지 데이터가 표시되는 순서를 판단하는 단계일 수 있다. 보다 상세하게는, 일반 얼굴 데이터(401)가 개구 얼굴 데이터(402)보다 선순위로 배열되도록 함으로써, 사용자와 환자에게 일반 얼굴 데이터(401)에 적용되는 템플릿을 통해 디자인된 스마일 라인을 디스플레이 할 수 있도록 한다.
오버레이 순서를 판단하기 위한 개구파라미터로 다양한 요소들이 존재할 수 있다. 그 중에서, 특징점들을 부여하는 단계(S120)에서 부여된 특징점을 사용하여 개구파라미터들이 획득될 수 있다. 예시적으로, 개구파라미터는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 제3 특징선(L3, L5)의 길이일 수 있다. 보다 상세하게는, 제3 특징선(L3, L5)은 특징점 P5, P9과 특징점 P6, P10을 각각 연결한 직선일 수 있으며, 이 때 제3 특징선은 각각의 얼굴 데이터에서 입술 내측을 의미하는 특징 영역(C1, C2)의 세로 길이를 나타낼 수 있다. 예시적으로, 상기 특징점 P5, P9는 63번 특징점일 수 있고, 상기 특징점 P6, P10은 67번 특징점일 수 있다.
또한, 제3 특징선(L3, L5)은 전술한 제1 특징선(L1) 및 제2 특징선(L2)과 이격되어 형성될 수 있다. 제3 특징선(L3)은 각각의 이미지 데이터들에서 생성될 수 있으며, 오버레이 순서를 판단하는 단계(S140)는 일반 얼굴 데이터(401)의 제3 특징선(L3)의 길이와 개구 얼굴 데이터(402)의 제3 특징선(L5)의 길이를 서로 비교할 수 있다. 이 때, 개구 얼굴 데이터(402)는 구강을 강제 개구한 것으로, 일반 얼굴 데이터(401)보다 세로로 더 긴 특징 영역(C2)을 가질 수 있으며, 개구 얼굴 데이터(402)가 일반 얼굴 데이터(401)보다 개구 정도가 더 큰 것으로 판단될 수 있다. 즉, 일반 얼굴 데이터(401)의 제3 특징선(L3)의 길이는 개구 얼굴 데이터(402)의 제3 특징선(L5)의 길이보다 더 짧을 수 있다.
오버레이 순서를 판단하는 단계(S140)는 상대적으로 제3 특징선(L3, L5)의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 보다 상세하게는, 일반 얼굴 데이터(401)의 제3 특징선(L3)의 길이가 개구 얼굴 데이터(402)의 제3 특징선(L5)의 길이보다 짧으므로, 일반 얼굴 데이터(401)를 1순위, 개구 얼굴 데이터(402)를 2순위로 판단할 수 있다. 이 때, '순위'는 디스플레이 장치를 통해 사용자 및 환자에게 표시되는 순서를 의미할 수 있으며, 선순위로 판단된 이미지일수록 사용자 및 환자에게 우선적으로 표시될 수 있다.
한편, 오버레이 순서를 판단하기 위한 개구파라미터로 소정 비율이 사용될 수 있다. 이와 같은 비율을 도출하기 위해, 새로운 2개의 특징점(P)들을 연결하여 생성된 제4 특징선(L4, L6)이 정의될 수 있다. 제4 특징선(L4, L6)은 상기 제3 특징선(L3, L5)과 각각 교차되며 제3 특징선(L3, L5)으로부터 이격된 서로 다른 2개의 특징점(P)을 연결하여 생성될 수 있다. 보다 상세하게는, 제4 특징선(L4, L6)은 특징 영역(C1, C2)의 가로 길이를 나타낼 수 있다. 예시적으로, 제4 특징선(L4, L6)은 특징 영역(C1, C2)의 윤곽을 이루는 특징점(P)들 중 특징점 P7, P11과 특징점 P8, P12를 각각 연결하여 생성된 선일 수 있다. 예시적으로, 상기 특징점 P7, P11은 61번 특징점일 수 있고, 상기 특징점 P8, P12는 65번 특징점일 수 있다.
개구파라미터로 사용되는 비율은 제4 특징선(L4, L6)의 길이에 대한 제3 특징선(L3, L5)의 길이의 비율일 수 있다. 간단하게는, 개구파라미터로 사용되는 비율은 특징 영역에서 립라인의 가로 길이에 대한 립라인의 세로 길이의 비율을 의미할 수 있다. 이러한 비율을 개구파라미터로 사용함으로써, 제3 특징선(L3, L5)의 길이의 장단으로 이미지 데이터의 오버레이 순서를 판단하는 것보다 정밀한 판단이 가능하다. 이 때, 오버레이 순서를 판단하는 단계(S140)는 상기 비율을 비교함으로써 이미지 데이터의 순서를 판단할 수 있다. 즉, 오버레이 순서를 판단하는 단계(S140)는 상기 비율이 상대적으로 작은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 보다 상세하게는, 일반 얼굴 데이터(401)의 비율(L3/L4)이 개구 얼굴 데이터(402)의 비율(L5/L6)보다 작으므로, 일반 얼굴 데이터(401)를 1순위, 개구 얼굴 데이터(402)를 2순위로 판단할 수 있다.
오버레이 순서를 판단하는 단계(S140)가 완료되면, 판단의 기초로 사용된 개구파라미터에 따라, 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열하는 이미지 데이터들을 배열하는 단계(S150)가 수행될 수 있다. 예시적으로, 제3 특징선(L3, L5)의 길이를 개구파라미터로 사용하는 경우, 상대적으로 제3 특징선(L3, L5)의 길이가 짧은 이미지 데이터가 제3 특징선(L3, L5)의 길이가 긴 이미지 데이터보다 선순위로 판단된다. 다른 예시로, 제4 특징(L4, L6)에 대한 제3 특징선(L3, L5)의 비율이 작은 이미지 데이터가 상기 비율이 큰 이미지 데이터보다 선순위로 판단될 수 있다. 이미지 데이터들을 배열하는 단계(S150)는 복수의 데이터들을 순위에 따라 배열하며, 후순위로 판단된 이미지 데이터 상에 선순위로 판단된 이미지 데이터가 순서대로 오버레이 되도록 배열할 수 있다. 이에 따라, 일반 얼굴 데이터(401)가 개구 얼굴 데이터(402) 상에 오버레이 되도록 자동으로 배열되며, 사용자 및 환자는 일반 얼굴 데이터(401)에 적용되는 템플릿을 통해 교정 이후의 스마일 라인을 미리 확인할 수 있다. 기공소는 개구 얼굴 데이터(402)를 통해 적용되는 템플릿을 확인하고, 이에 부합하는 교정물을 제작할 수 있다.
한편, 특징점(P)을 부여함에 있어서 오류가 발생하거나, 파라미터에 기초한 판단에 오류가 발생한 경우, 개구 얼굴 데이터(402)가 일반 얼굴 데이터(401)보다 선순위로 판단되어 배열될 가능성이 있다. 이러한 경우, 사용자는 유저 인터페이스 상에 형성된 이미지 스위칭 기능(미도시)을 사용하여 임의로 이미지 데이터들의 순서를 변경할 수 있다. 따라서, 자동으로 이미지 데이터들을 배열하면서도 오류 발생시 수동으로 이미지 데이터의 배열 순서를 전환할 수 있으므로, 사용자는 항상 일반 얼굴 데이터(401)가 개구 얼굴 데이터(402) 상에 오버레이 되도록 배열할 수 있으며, 일반 얼굴 데이터(401)를 기초로 교정 계획을 수립할 수 있다.
전술한 내용 중 적어도 일부는 디스플레이 장치와 같은 출력 장치를 통해 표시될 수 있으며, 사용자 및 환자는 본 발명에 따른 이미지 처리 방법이 수행되는 과정을 용이하게 확인할 수 있다. 또한, 입력 장치를 통해 유저 인터페이스 상의 특징점, 특징선, 특징 영역, 및 템플릿을 커스터마이징 할 수 있으며, 사용자는 환자가 원하는 교정물을 제공할 수 있는 이점이 있다.
이하에서는, 본 발명에 따른 이미지 처리 장치에 대해 상세히 설명하기로 한다. 이미지 처리 장치를 설명함에 있어서, 이미지 처리 방법과 중첩되는 내용은 간략히 언급하거나 생략한다.
도 12는 본 발명에 따른 이미지 처리 장치의 구성도이다.
도 12를 참조하면, 본 발명에 따른 이미지 처리 장치(10)는, 적어도 하나의 이미지 데이터가 저장된 데이터베이스부(100)와, 데이터베이스에서 이미지 데이터를 입력받아 상기 이미지 데이터에 소정 처리를 수행하는 제어부(200), 그리고 제어부(200)의 처리 수행 결과를 시각적으로 표시하는 디스플레이부(300)를 포함할 수 있다.
이하에서는, 각부 구성에 대하여 설명하기로 한다.
데이터베이스부(100)는 이미지 데이터를 저장할 수 있다. 이 때, 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터일 수 있다. 이 때, 구강이 개구된 것은 입술이 개방되어 치아 또는 치은의 일부가 노출된 것을 의미할 수 있으며, 자연스러운 스마일 라인을 갖는 일반 얼굴 데이터 또는 강제 개구된 개구 얼굴 데이터를 포함할 수 있다. 데이터베이스부(100)는 이미지 데이터뿐만 아니라 특징점들을 생성하기 위한 알고리즘, 이미지 데이터에 적용하기 위한 적어도 하나의 치아 템플릿 데이터 등을 포함할 수 있다.
본 발명에 따른 이미지 처리 방법에서 전술한 바와 같이, 데이터베이스부(100)는 물리적 저장 장치일 수도 있고, 클라우드일 수도 있다.
한편, 제어부(200)는 데이터베이스부(100)로부터 이미지 데이터를 입력받아 이미지 데이터에 특징점들 부여, 이미지 피팅, 및 스마일 라인 디자인 등을 수행할 수 있다. 이하에서는 제어부(200)의 세부 구성에 대하여 설명한다.
제어부(200)는 소정 기준에 따라 이미지 데이터에 복수의 특징점들을 부여하는 특징점 생성부(210)와, 생성된 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅하는 이미지 데이터 피팅부(220)를 포함할 수 있다.
특징점 생성부(210)는 입력받은 이미지 데이터의 특징적인 부분에 대하여 특징점들을 부여한다. 이 때, 특징적인 부분은 전술한 바와 같이 눈썹, 하안검, 상안검, 코, 입술의 외측, 입술의 내측, 안면의 윤곽 등을 포함할 수 있다. 상기 특징적인 부분들을 나타내기 위해, 특징적인 부분들에 특징점들을 부여하며, 상기 특징점은 이미지 데이터에 복수로 부여될 수 있다. 특징점은 후술할 특징선 및 특징 영역의 생성, 그리고 파라미터 판단의 참조점으로 사용될 수 있다. 한편, 특징점 생성부(210)는 상기 이미지 데이터에 특징점들을 부여하기 위해 소정 기준을 사용할 수 있으며, 상기 기준은 face landmark 68과 같은 알고리즘일 수 있다.
이미지 데이터 피팅부(220)는 특징점 생성부(210)로부터 부여된 특징점을 연결하여 생성된 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅할 수 있다. 예시적으로, 이미지 데이터 피팅부(220)는 양안의 외안각에 생성된 특징점들을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 또한, 이미지 데이터 피팅부(220)는 상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선이 소정 각도를 갖도록 이미지 데이터를 회전시킬 수 있다. 이 때, 이미지 데이터 피팅부(220)는 제2 특징선의 각도가 유저 인터페이스 평면 중 가로방향에 수직을 이루도록 이미지 데이터를 회전시킬 수 있다.
이하, 이미지 데이터 피팅부(220)에서 입력받은 이미지 데이터를 피팅하는 방법은 상기 이미지 처리 방법에서 전술한 바 있다.
이미지 데이터 피팅부(220)에서 피팅이 완료되면, 스마일 라인 디자인부(260)는 피팅된 이미지 데이터의 스마일 라인을 디자인할 수 있다. 이 때, 스마일 라인을 디자인하는 것은 특징점을 기초로 생성되는 이미지 데이터 중 특징점들에 의해 생성되는 소정 영역에 적어도 하나의 템플릿을 적용하는 것을 의미할 수 있다. 이미지 데이터의 소정 영역은, 특징점 생성부(210)에서 부여된 복수의 특징점들 중 적어도 3개의 특징점을 연결하여 생성되는 특징 영역일 수 있다. 예시적으로, 특징 영역은 이미지 데이터 중 입술 내측에 대한 특징점들을 연결하여 생성되는 립라인의 내부 영역일 수 있다. 특징 영역은 치아를 나타내는 데이터를 포함하며, 스마일 라인 디자인부(260)는 특징 영역에 교정 치아에 관한 템플릿을 적용하여 환자의 교정 후 치아 상태를 나타낼 수 있다.
이하에서는, 이미지 데이터가 복수인 경우 특징점들의 생성과 이미지 매칭, 파라미터 생성부(240) 및 파라미터 판단부(250)에 의한 이미지 데이터들의 배열에 대하여 설명한다.
데이터베이스부(100)에 저장된 이미지 데이터는 복수일 수 있으며, 이미지 데이터는 일반 얼굴 데이터와 개구 얼굴 데이터를 포함할 수 있다. 일반 얼굴 데이터와 개구 얼굴 데이터는 구강의 개구 정도가 상이할 수 있다. 전술한 바와 같이, 일반 얼굴 데이터는 사용자 및 환자의 교정 계획 수립에 사용될 수 있고, 개구 얼굴 데이터는 기공소의 정확한 템플릿 디자인 확인에 사용될 수 있다.
데이터베이스부(100)로부터 제어부(200)로 개구 정도가 상이한 복수의 이미지 데이터가 입력된 경우, 특징점 생성부(210)는 각각의 이미지 데이터별로 특징점들을 부여할 수 있으며, 이미지 데이터 피팅부(220)는 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭할 수 있다. 이 때, 이미지 데이터를 매칭하는 것은 일반 얼굴 데이터를 개구 얼굴 데이터에 매칭하거나, 개구 얼굴 데이터를 일반 얼굴 데이터에 매칭하거나, 또는 일반 얼굴 데이터와 개구 얼굴 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅하는 것을 의미할 수 있다.
또한, 이미지 데이터 피팅부(220)는 특징점 생성부(210)에 의해 생성된 특징점을 기초로, 각각의 이미지 데이터에 생성된 특징 영역을 통해 이미지 데이터들을 매칭할 수 있다. 이 때, 특징 영역은 전술한 바와 같이 립라인 내부 영역일 수 있으며, 입력받은 이미지 데이터들 중 어느 하나의 특징 영역을 추출하여, 다른 이미지 데이터의 특징 영역과 그 윤곽을 비교하여 매칭을 수행할 수 있다. 이와 같은 매칭 과정은 template matching 알고리즘을 사용하여 수행될 수 있으며, 관련한 내용은 전술한 바와 같다.
한편, 제어부(200)는 얼굴 데이터 중 구강의 개구 정도를 나타내는 개구파라미터를 생성하는 파라미터 생성부(240)와, 파라미터 생성부(240)에 의해 생성된 개구파라미터에 기초하여 이미지 데이터들 간의 오버레이 순서를 판단하는 파라미터 판단부(250)를 포함할 수 있다.
파라미터 생성부(240)는 특징점 생성부(210)에 의해 부여된 특징점들을 기초로 파라미터를 생성할 수 있으며, 예시적으로 개구파라미터는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 제3 특징선의 길이일 수 있다. 제3 특징선의 길이는 특징 영역인 립라인의 세로 길이를 나타낼 수 있다. 또한, 개구파라미터는 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율일 수 있으며, 이 경우 제3 특징선은 특징점들 중 적어도 2개의 특징점을 연결하여 생성되고, 제4 특징선은 특징점들 중 상기 제3 특징선과 교차되며 상기 제3 특징선으로부터 이격된 서로 다른 2개의 특징점을 연결하여 생성될 수 있다. 이 때, 제4 특징선의 길이는 특징 영역인 립라인의 가로 길이를 나타낼 수 있다.
생성된 개구파라미터가 제3 특징선의 길이인 경우, 파라미터 판단부(250)는 상대적으로 제3 특징선의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 또한, 생성된 개구파라미터가 제4 특징선에 대한 제3 특징선의 비율인 경우, 파라미터 판단부(250)는 상대적으로 비율이 작은 이미지 데이터의 순서를 선순위로 판단할 수 있다. 이미지 데이터의 개구파라미터에 기초하여 오버레이 순서를 판단하는 상세한 과정은 본 발명에 따른 이미지 처리 방법에서 전술한 바와 같다.
한편, 제어부(200)는 파라미터 판단부(250)에 의해 판단된 순서에 따라 이미지 데이터들이 순서대로 오버레이 되도록 이미지 데이터들을 배열하는 이미지 데이터 배열부(230)를 더 포함할 수 있다. 이미지 데이터 배열부(230)는 전술한 제3 특징선의 길이, 또는 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율에 따라 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열할 수 있다. 이 때, 일반 얼굴 데이터의 제3 특징선의 길이는 개구 얼굴 데이터의 제3 특징선의 길이보다 짧으므로, 일반 얼굴 데이터가 개구 얼굴 데이터보다 선순위로 판단되어 개구 얼굴 데이터 상에 일반 얼굴 데이터가 오버레이 되도록 배열될 수 있다. 또한, 일반 얼굴 데이터의 제4 특징선의 길이에 대한 제3 특징선의 길이의 비율은 개구 얼굴 데이터의 비율보다 작으므로, 일반 얼굴 데이터가 개구 얼굴 데이터보다 선순위로 판단되어 개구 얼굴 데이터 상에 일반 얼굴 데이터가 오버레이 되도록 배열될 수 있다.
전술한 설명에 따르면, 본 발명은 이미지 데이터 상에 특징점을 부여하고 소정 크기 및 소정 각도로 피팅하여 템플릿을 적용하므로, 일정한 규격의 이미지 데이터를 통해 교정 계획을 수립할 수 있는 이점이 있다.
또한, 얼굴 데이터 상에 템플릿을 적용함으로써, 교정 후 환자의 스마일 라인을 미리 확인할 수 있는 이점이 있다.
또한, 일반 얼굴 데이터 및 개구 얼굴 데이터를 입력받을 때, 입력받은 순서와 상관없이 각각의 이미지 데이터로부터 도출되는 개구파라미터를 기초로 이미지 데이터가 배열되는 순위가 판단됨으로써, 자동적으로 원하는 이미지 데이터의 배열순서를 가질 수 있는 이점이 있다.
또한, 자동적으로 원하는 이미지 데이터의 배열순서를 가짐으로써, 사용자는 이미지 데이터를 배열하기 위한 조작을 최소화하는 이점이 있다.
또한, 필요에 따라 템플릿의 형상, 색상 등을 변경함으로써, 사용자는 환자에게 최적의 교정물을 제공할 수 있는 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은, 환자의 얼굴을 나타내는 이미지 데이터들을 매칭시키고, 환자에게 부합하는 템플릿을 적용하여 환자 및 치료자가 용이하게 스마일 라인을 확인할 수 있고, 기공소는 용이하게 교정물을 제작할 수 있도록 하는 이미지 처리 방법 및 이를 사용한 장치를 제공한다.

Claims (20)

  1. 구강이 개구되어 치아가 노출된 얼굴 데이터인 적어도 하나의 이미지 데이터를 입력받는 단계;
    상기 이미지 데이터 상에 복수의 특징점들을 부여하는 단계;
    상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계; 및
    피팅된 상기 이미지 데이터의 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 청구항 1에 있어서,
    상기 피팅하는 단계는,
    적어도 2개의 특징점을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 상기 이미지 데이터의 크기를 확대 또는 축소하는 것과,
    상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선의 각도가 소정 각도에 부합하도록 상기 이미지 데이터를 회전하는 것 중 적어도 하나를 수행하는 것을 특징으로 하는 이미지 처리 방법.
  3. 청구항 1에 있어서,
    상기 특징 영역은 치아 이미지를 포함하는 립라인(lip line)인 것을 특징으로 하는 이미지 처리 방법.
  4. 청구항 3에 있어서,
    상기 템플릿은 상기 치아 이미지와 매칭되는 것을 특징으로 하는 이미지 처리 방법.
  5. 청구항 3에 있어서,
    상기 디자인하는 단계는,
    상기 이미지 데이터를 복제하여 제1 이미지 데이터 및 제2 이미지 데이터를 형성하고,
    상기 템플릿은 각각의 이미지 데이터 내 특징 영역 내부의 치아 이미지에 적용되는 것을 특징으로 하는 이미지 처리 방법.
  6. 구강의 개구 정도가 상이한 복수의 이미지 데이터들을 입력받는 단계;
    각각의 이미지 데이터별로 상기 이미지 데이터들 상에 복수의 특징점들을 부여하는 단계;
    상기 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 상기 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭하도록 피팅(fitting)하는 단계; 및
    피팅된 상기 이미지 데이터들 중 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 청구항 6에 있어서,
    상기 피팅하는 단계는,
    상기 이미지 데이터별 생성된 상기 특징 영역을 통해 상기 이미지 데이터들을 매칭하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 청구항 6에 있어서,
    상기 구강의 개구 정도를 나타내는 개구파라미터에 기초하여 상기 복수의 이미지 데이터들 간의 오버레이 순서를 판단하는 단계; 및
    상기 순서에 따라 상기 이미지 데이터들이 오버레이 되도록 상기 이미지 데이터들을 배열하는 단계;를 더 포함하는 이미지 처리 방법.
  9. 청구항 8에 있어서,
    상기 개구파라미터는 상기 특징 영역의 세로 길이를 나타내는 제3 특징선의 길이이며,
    상기 오버레이 순서를 판단하는 단계는,
    상기 제3 특징선의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 방법.
  10. 청구항 8에 있어서,
    상기 개구파라미터는,
    제4 특징선의 길이에 대한 제3 특징선의 길이의 비율이며,
    상기 제3 특징선은 상기 특징 영역의 세로 길이를 나타내고,
    상기 제4 특징선은 상기 제3 특징선과 교차되며 상기 특징 영역의 가로 길이를 나타내며,
    상기 오버레이 순서를 판단하는 단계는,
    상기 제4 특징선의 길이에 대한 상기 제3 특징선의 길이의 비율이 작은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 방법.
  11. 청구항 9 또는 청구항 10 중 어느 한 항에 있어서,
    상기 이미지 데이터들을 배열하는 단계는,
    상기 제3 특징선의 길이 또는 상기 제4 특징선의 길이에 대한 상기 제3 특징선의 길이의 비율에 따라, 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열하는 것을 특징으로 하는 이미지 처리 방법.
  12. 구강이 개구되어 치아가 노출된 얼굴 데이터인 적어도 하나의 이미지 데이터가 저장된 데이터베이스부;
    제어부; 및
    상기 제어부의 수행 결과를 시각적으로 표시하는 디스플레이부;를 포함하고,
    상기 제어부는,
    상기 데이터베이스부에서 상기 이미지 데이터를 입력받아 상기 이미지 데이터에 복수의 특징점들을 부여하는 특징점 생성부;
    상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 이미지 데이터 피팅부; 및
    상기 이미지 데이터의 상기 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿(template)을 적용하여 스마일 라인을 디자인하는 스마일 라인 디자인부; 를 포함하는 것을 특징으로 하는 이미지 처리 장치.
  13. 청구항 12에 있어서,
    상기 이미지 데이터 피팅부는,
    적어도 2개의 특징점을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 상기 이미지 데이터의 크기를 확대 또는 축소하는 것과,
    상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선의 각도가 소정 각도에 부합하도록 상기 이미지 데이터를 회전하는 것 중 적어도 하나를 수행하는 것을 특징으로 하는 이미지 처리 장치.
  14. 청구항 12에 있어서,
    상기 특징 영역은 치아 이미지를 포함하는 립라인(lip line)인 것을 특징으로 하는 이미지 처리 장치.
  15. 청구항 12에 있어서,
    상기 데이터베이스부는 구강의 개구 정도에 따라 서로 상이한 복수의 이미지 데이터들을 저장하며,
    상기 특징점 생성부는 각각의 이미지 데이터별로 상기 특징점들을 부여하고,
    상기 이미지 데이터 피팅부는 상기 이미지 데이터들이 가지는 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로, 상기 이미지 데이터들의 크기 및 각도 중 적어도 하나를 서로 매칭하는 것을 특징으로 하는 이미지 처리 장치.
  16. 청구항 15에 있어서,
    상기 이미지 데이터 피팅부는,
    상기 이미지 데이터별 생성된 상기 특징 영역을 통해 상기 이미지 데이터들을 매칭하는 것을 특징으로 하는 이미지 처리 장치.
  17. 청구항 15에 있어서,
    상기 제어부는,
    상기 구강의 개구 정도를 나타내는 개구파라미터를 생성하는 파라미터 생성부;
    상기 파라미터 생성부에 의해 생성된 상기 개구파라미터에 기초하여 상기 복수의 이미지 데이터들 간의 오버레이 순서를 판단하는 파라미터 판단부; 및
    상기 순서에 따라 상기 이미지 데이터들이 오버레이 되도록 상기 이미지 데이터들을 배열하는 이미지 데이터 배열부;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  18. 청구항 17에 있어서,
    상기 개구파라미터는 상기 특징 영역의 세로 길이를 나타내는 제3 특징선의 길이이며,
    상기 파라미터 판단부는,
    상기 제3 특징선의 길이가 짧은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 장치.
  19. 청구항 17에 있어서,
    상기 개구파라미터는,
    제4 특징선의 길이에 대한 제3 특징선의 길이의 비율이며,
    상기 제3 특징선은 상기 특징 영역의 세로 길이를 나타내고,
    상기 제4 특징선은 상기 제3 특징선과 교차되며 상기 특징 영역의 가로 길이를 나타내며,
    상기 파라미터 판단부는,
    상기 제4 특징선의 길이에 대한 상기 제3 특징선의 길이의 비율이 작은 이미지 데이터의 순서를 선순위로 판단하는 것을 특징으로 하는 이미지 처리 장치.
  20. 청구항 18 또는 청구항 19 중 어느 한 항에 있어서,
    상기 이미지 데이터 배열부는,
    상기 제3 특징선의 길이 또는 상기 제4 특징선의 길이에 대한 상기 제3 특징선의 길이의 비율에 따라, 선순위로 판단된 이미지 데이터를 후순위로 판단된 이미지 데이터 상에 오버레이 되도록 배열하는 것을 특징으로 하는 이미지 처리 장치.
PCT/KR2021/015098 2020-10-29 2021-10-26 이미지 처리 방법 및 이를 사용한 장치 WO2022092763A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21886757.0A EP4238528A1 (en) 2020-10-29 2021-10-26 Image processing method and apparatus using same
US18/034,138 US20230380934A1 (en) 2020-10-29 2021-10-26 Image processing method and device using the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0142089 2020-10-29
KR20200142089 2020-10-29
KR10-2020-0178225 2020-12-18
KR1020200178225A KR102512838B1 (ko) 2020-10-29 2020-12-18 이미지 처리 방법 및 이를 사용한 장치

Publications (1)

Publication Number Publication Date
WO2022092763A1 true WO2022092763A1 (ko) 2022-05-05

Family

ID=81382850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015098 WO2022092763A1 (ko) 2020-10-29 2021-10-26 이미지 처리 방법 및 이를 사용한 장치

Country Status (3)

Country Link
US (1) US20230380934A1 (ko)
EP (1) EP4238528A1 (ko)
WO (1) WO2022092763A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158958A1 (en) * 2010-07-12 2013-06-20 Alain Methot Dental analysis method and system
KR101799878B1 (ko) * 2010-06-29 2017-11-22 쓰리세이프 에이/에스 2ｄ 영상 장치
US20180263731A1 (en) * 2017-03-20 2018-09-20 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
KR101978559B1 (ko) * 2017-06-21 2019-05-15 한국광기술원 치아의 형태적 특성을 분석하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101799878B1 (ko) * 2010-06-29 2017-11-22 쓰리세이프 에이/에스 2ｄ 영상 장치
US20130158958A1 (en) * 2010-07-12 2013-06-20 Alain Methot Dental analysis method and system
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
US20180263731A1 (en) * 2017-03-20 2018-09-20 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
KR101978559B1 (ko) * 2017-06-21 2019-05-15 한국광기술원 치아의 형태적 특성을 분석하는 장치 및 방법

Also Published As

Publication number Publication date
US20230380934A1 (en) 2023-11-30
EP4238528A1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US11559377B2 (en) Augmented reality enhancements for dental practitioners
WO2019212228A1 (ko) 3차원 구강 모델 분석방법 및 이를 포함하는 보철물 디자인 방법
CN105354426B (zh) 笑容设计器
CN104473700B (zh) 一种数字化个性化基台制作方法及其系统
WO2018066764A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2021141416A1 (ko) 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
CN107252356A (zh) 一种数字化口腔美学修复方法
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
WO2021137573A2 (ko) 마진라인 설정 장치 및 방법
CA3091942A1 (en) Method for aligning a three-dimensional model of a dentition of a patient to an image of the face of the patient
WO2022092763A1 (ko) 이미지 처리 방법 및 이를 사용한 장치
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2020185019A1 (ko) 디지털 스캔바디 정렬 방법 및 이를 이용하는 장치
WO2023058994A1 (ko) 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
WO2022092695A1 (ko) 이미지 처리 방법 및 이를 사용한 장치
WO2020235784A1 (ko) 신경 검출 방법 및 장치
WO2021246643A1 (ko) 구강 영상의 결손 치아 예측 방법 및 장치
WO2021182754A1 (ko) 치과 임플란트 수술계획 수립방법 및 그 장치
WO2020209495A1 (ko) 영상 데이터의 전처리 장치
WO2020185015A1 (ko) 치아 보철 제조를 위한 3차원 스캔 데이터 처리 방법
WO2019124845A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2022098039A1 (ko) 데이터 처리 방법
WO2022260442A1 (ko) 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법
WO2022197016A1 (ko) 데이터 처리 방법
WO2018043816A1 (ko) 치과 임플란트용 시술 안내자료 제공방법 및 치과 임플란트용 시술 안내자료 제공용 클라이언트 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886757

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18034138

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021886757

Country of ref document: EP

Effective date: 20230530