WO2021141416A1 - 데이터 정합을 통한 3차원 모델 생성 장치 및 방법 - Google Patents

데이터 정합을 통한 3차원 모델 생성 장치 및 방법 Download PDF

Info

Publication number
WO2021141416A1
WO2021141416A1 PCT/KR2021/000208 KR2021000208W WO2021141416A1 WO 2021141416 A1 WO2021141416 A1 WO 2021141416A1 KR 2021000208 W KR2021000208 W KR 2021000208W WO 2021141416 A1 WO2021141416 A1 WO 2021141416A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
oral
matching
patient
face
Prior art date
Application number
PCT/KR2021/000208
Other languages
English (en)
French (fr)
Inventor
이동훈
송명우
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to EP21738175.5A priority Critical patent/EP4071724A4/en
Publication of WO2021141416A1 publication Critical patent/WO2021141416A1/ko
Priority to US17/858,091 priority patent/US20220338738A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A61C19/05—Measuring instruments specially adapted for dentistry for determining occlusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an apparatus and method for generating a three-dimensional model through data registration, and more particularly, to generate a patient's face data, upper/mandibular oral data, and occlusal oral data with an oral scanner, and register the three-dimensional model It relates to an apparatus and method for generating a three-dimensional model through data matching to generate (APPARATUS AND METHOD FOR GENERATING 3D MODEL USING DATA MATCHING).
  • the dental prosthesis manufacturing process includes a process of obtaining information about a patient's teeth and manufacturing an accurate prosthesis based on the corresponding tooth information. Conventionally, impressions were taken on the teeth and gums by using an impression material on the patient's teeth, and after the impression was taken, a plaster model was produced, and a prosthesis was produced based on the plaster model.
  • prostheses are manufactured based on dental CAD/CAM (computer aided design/computer aided manufacturing) technology that uses an oral scanner, etc. to create a virtual three-dimensional model for the shape of a patient's affected part, such as teeth, gums, and jawbone. Methods for doing so are constantly being developed.
  • dental CAD/CAM computer aided design/computer aided manufacturing
  • prosthetic treatment or orthodontic treatment can be accurately calculated and performed using a computer. At this time, in order to obtain good treatment results, it is necessary to secure 3D data that accurately reflects the shape of the patient's affected area.
  • Medical devices such as computed tomography (CT) and magnetic resonance imaging (MRI) may be used to obtain 3D data of the affected area during dental CAD/CAM treatment.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • CBCT Cone Beam Computed Tomography
  • Volume data obtained by CT, etc. has the advantage of expressing not only the shape of externally exposed surfaces such as teeth and gums, but also the internal shape of the patient's affected part that is not exposed externally, such as the tooth root or jawbone.
  • optical 3D scanners are widely used.
  • the optical three-dimensional scanner may acquire three-dimensional surface shape information of a measurement target, and for example, may acquire three-dimensional data for an impression body of a patient's oral cavity or teeth, a plaster model obtained with an impression body, and the like.
  • 3D surface data obtained with an optical 3D scanner for dental CAD/CAM is known to have a relatively high accuracy (eg, about 20um or less), and even if all subsequent processing is included, about 60um It shows a relatively high level of accuracy.
  • surface data is used for various purposes.
  • the present invention provides information that enables more accurate treatment for prosthesis fabrication or correction through multiple data matching based on the patient's face data, upper/mandibular oral data, and occlusal oral data acquired by an oral scanner.
  • An object of the present invention is to provide an apparatus and method for generating a three-dimensional model through data matching, and a recording medium.
  • An object of the present invention is to provide an apparatus and method for generating a 3D model through data matching for providing dimensional data, and a recording medium.
  • An object of the present invention is to provide an apparatus and method for generating a 3D model through data matching, and a recording medium that can be used to determine an implant insertion direction or design a prosthesis in consideration of the shape and face shape.
  • a method for generating a three-dimensional model through data matching comprising: a maxillary scan step of scanning the patient's maxilla using an oral scanner to obtain maxillary oral data including maxillary teeth; a mandibular scanning step of scanning the patient's mandible using the oral scanner to obtain mandibular oral data including mandibular teeth; an occlusion step of obtaining occlusal oral data of a state in which the maxillary teeth and the mandible teeth are occluded using the oral scanner; a face scanning step of obtaining first face data by scanning the patient's face using the oral scanner; and a matching step of matching the first face data with at least one of the maxillary mouth data, the mandibular mouth data, and the occlusal mouth data.
  • the matching step may include: a tooth data extraction step of extracting tooth data corresponding to a part of the patient's teeth from the first face data; a first matching step of matching the dental data with at least one oral data of the maxillary oral data and the mandibular oral data; and a second matching step of matching the occlusal oral data to the first facial data based on matching information between the dental data and the oral data.
  • the first facial data may be obtained by scanning a facial region including the patient's nose.
  • the first facial data may be obtained by scanning a facial region including lips and a pharynx between a nose and a part of a tooth of the patient.
  • the scanning of the face may include scanning the first face data to include a part of the patient's teeth.
  • the matching step at least one of the maxillary mouth data, the mandibular mouth data, and the occlusal mouth data with second face data including at least one of three-dimensional face scan data and CT data obtained by scanning the entire face of the patient. It may include the step of matching with oral data comprising a.
  • the oral cavity data including at least one of the maxillary oral cavity data, the mandibular oral cavity data, and the occlusal oral data data may be matched with the second facial data using the patient's nose.
  • a computer-readable recording medium in which a program for executing the method for generating a three-dimensional model through data matching is recorded.
  • the apparatus for generating a three-dimensional model through data matching scans a patient's maxillary teeth to acquire maxillary oral data, scans the patient's mandibular teeth to acquire mandibular oral data, and the maxillary teeth and an oral scanner configured to obtain dental scan data by scanning a portion of the patient's teeth in a state in which the mandible and the mandible teeth are occluded, and to obtain first facial data by scanning the patient's face; an occlusion unit for obtaining occlusal oral data in a state in which the maxillary oral data and the mandibular data are occluded using the dental scan data; and a matching unit configured to match the first face data with at least one of the maxillary mouth data, the mandibular mouth data, and the occlusal mouth data.
  • the matching unit may include: a tooth data extraction unit for extracting tooth data corresponding to a portion of the patient's teeth from the first face data; a first matching unit matching the dental data with at least one oral data of the maxillary oral data and the mandibular oral data; and a second matching unit configured to match the occlusal oral data to the first facial data based on matching information between the dental data and the oral data.
  • the matching unit receives at least one of the maxillary oral data, the mandibular oral data, and the occlusal oral data for second face data including at least one of three-dimensional face scan data and CT data obtained by scanning the entire face of the patient. It can be matched with oral data containing
  • the matching unit may match the oral data including at least one of the maxillary oral data, the mandibular oral data, and the occlusal oral data with the second facial data using the patient's nose.
  • more accurate treatment for prosthesis production or correction can be performed through multiple data matching.
  • an apparatus and method for generating a 3D model through data matching that provides information that allows the user to perform the same, and a recording medium.
  • information acquired by extraoral scan is additionally provided along with oral data on the patient's affected part acquired by the oral scanner, so that not only teeth but also the entire maxilla / mandible of the patient, such as the patient's face It is possible to provide integrated three-dimensional data for the region.
  • the present invention it is easy to check the condition of teeth and face shape before treatment and predict changes to be expected after treatment during dental and jaw bone-related disease treatment and orthodontic treatment, It can be used to determine the implant insertion direction or to design a prosthesis in consideration of the shape of the teeth and the face around the affected area.
  • FIG. 1 is a flowchart of a method for generating a 3D model through data matching according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of step S150 of FIG. 1 .
  • FIG. 3 is a block diagram of an apparatus for generating a 3D model through data matching according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a data matching unit constituting an apparatus for generating a 3D model through data matching according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram of maxillary oral data generated by an intraoral scanner constituting an apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram of mandibular oral data generated by an intraoral scanner constituting an apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view of occlusal oral data generated by the occlusal unit constituting the apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention.
  • FIG. 8 is an exemplary view of facial data generated by an intraoral scanner constituting an apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram illustrating a screen for selecting oral data to be matched with face data according to an embodiment of the present invention.
  • FIG. 10 is an exemplary view illustrating a screen in which oral data to be matched with face data is selected according to an embodiment of the present invention.
  • FIG. 11 is a view illustrating that face data and maxillary oral data are matched according to an embodiment of the present invention.
  • FIGS. 12 to 14 are diagrams illustrating that face data and oral data are matched according to an embodiment of the present invention.
  • 15 is a block diagram of an apparatus for generating a 3D model through data matching according to another embodiment of the present invention.
  • 16 is an exemplary diagram illustrating a screen for selecting face data and oral data to be matched according to an embodiment of the present invention.
  • 17 is an exemplary diagram illustrating a screen in which occlusal oral data and first facial data are matched, and three-dimensional facial scan data are selected according to an embodiment of the present invention.
  • 18 to 21 are exemplary views for explaining a process of matching oral data and second face data according to an embodiment of the present invention.
  • 22 is an exemplary view illustrating a screen in which oral data and CT data are selected according to an embodiment of the present invention.
  • 23 to 24 are exemplary views for explaining a process of matching oral data and CT data according to an embodiment of the present invention.
  • ' ⁇ unit' is a unit that processes at least one function or operation, and may refer to, for example, software, FPGA, or hardware component.
  • ' ⁇ unit' may be performed separately by a plurality of components, or may be integrated with other additional components.
  • the term ' ⁇ ' in this specification is not necessarily limited to software or hardware, and may be configured to reside in an addressable storage medium, or may be configured to reproduce one or more processors.
  • the apparatus and method for generating a three-dimensional model through data registration obtain three-dimensional maxillary oral data by scanning the maxillary teeth and/or maxillary gums of a patient using an oral scanner, and After obtaining three-dimensional mandibular oral data by scanning the patient's mandibular teeth and/or mandibular gums using a scanner, Obtain three-dimensional occlusal oral data of the state.
  • the patient's 3D occlusal oral data is created by matching the maxillary and mandibular oral data based on the scan information obtained by scanning a part of the patient's teeth using an oral scanner in a state where the patient's maxillary and mandibular teeth are occluded.
  • the point of the tooth part to be matched with the oral data is specified in the patient's face data, and the point specified in the facial data in any one of the maxillary oral data, the mandibular oral data and the occlusal oral data is After designating a point at a corresponding position, the face is matched by performing registration between the two data using the Iterative Closest Point (ICP) method, which aligns the positions by minimizing the distance deviation between two or more different 3D data.
  • ICP Iterative Closest Point
  • three-dimensional face data is obtained by scanning the patient's face using an oral scanner, and tooth data corresponding to a part of the patient's teeth is extracted from the facial data, and then the tooth data is combined with the maxillary oral data and
  • the three-dimensional model may be generated by matching with the mandibular oral data and matching the occlusal oral data with the facial data based on the registration information of the dental data and the three-dimensional oral data.
  • more accurate treatment for prosthesis production or correction can be performed through multiple data registration.
  • can provide additional information for example, it is possible to provide not only teeth but also integrated 3D data on the entire maxilla/mandibular region of the patient, such as the patient's face, and the face.
  • the three-dimensional model generation method through data matching determines the insertion direction of an implant, designing a prosthesis, etc. in consideration of the shape of the tooth and the face shape around the missing affected area when planning the implant surgery. It can be used for various dental treatments.
  • the 3D model generation method through data registration includes a maxillary scan step (S110), a mandibular scan step (S120), an occlusion step (S130), a face scan step (S140), and a matching step (S150).
  • a dental health professional uses an oral scanner to scan (intraoral scan) a patient's maxillary teeth and gums to acquire upper jaw oral data, and scans the patient's mandibular teeth and gums to scan the lower jaw (intraoral scan).
  • jaw oral data can be obtained (S110, S120).
  • the intraoral scanner 110 may be, for example, a triangulation-based optical scanner or a scanner such as a confocal laser microscope-based scanner, but is not limited thereto.
  • the intraoral scanner 110 projects structured light to the measurement object by means of a light source and acquires a 2D image through a camera, which may be implemented as a three-dimensional virtual model, which may be recorded in the form of a polygon mesh .
  • the maxillary and mandibular teeth of the patient are matched by matching the maxillary/mandibular oral data using the information obtained by measuring a part of the patient's occlusal teeth by the oral scanner 110.
  • An occlusal step of obtaining three-dimensional occlusal oral data in an occluded state may be performed (S130).
  • both side portions of the patient's teeth eg, molar portions
  • the oral scanner 110 in a state where the maxillary and mandibular teeth of the patient are occluded. It is possible to obtain occlusal tooth scan information by measuring and obtain occlusal oral data by matching the maxillary and mandibular oral data based on the occlusal tooth scan information.
  • facial data may be obtained by scanning the patient's face (extraoral scan) using the intraoral scanner 110 ( S140 ).
  • the facial data may be obtained by scanning a facial region for a portion of the anterior portion of the oral cavity including the patient's lips, pharynx, nose, and teeth.
  • the intraoral scanner 110 may generate three-dimensional surface data (Surface data) having a relatively high accuracy (eg, about 20um or less). Therefore, sophisticated 3D maxillary oral data, 3D mandibular oral cavity data, and 3D face data may be acquired by the intraoral scanner 110 .
  • the point of the tooth part to be matched with the oral data is specified in the patient's face data, and the point specified in the facial data in any one of the maxillary oral data, the mandibular oral data and the occlusal oral data is After designating a point at a corresponding position, it is possible to create a three-dimensional model in which face data and oral data are matched by performing registration between the two data using the Iterative Closest Point (ICP) method.
  • ICP Iterative Closest Point
  • the facial data may be matched by matching the oral data of at least one of the maxillary oral data, the mandibular oral data, and the occlusal oral data (S150).
  • the point of the tooth part to be matched with the oral data is designated, the point is designated in the oral data at a position corresponding to the point designated in the face data, and then the nearest point iterative finding (ICP; Iterative Closest Point) method It is possible to create a three-dimensional model in which face data and oral data are matched by performing registration between the two data using .
  • FIG. 2 is a flowchart of step S150 of FIG. 1 .
  • tooth data corresponding to a part of a patient's teeth may be extracted from the patient's face data (S152).
  • the tooth data may be extracted based on the shape information and color information of the tooth.
  • At least one 3D oral data of the patient's maxillary oral data and mandibular oral data is matched with the tooth data extracted from the 3D face data.
  • the registration between the upper/mandibular oral data and the dental data may be performed, for example, by an Iterative Closest Point (ICP) algorithm.
  • ICP Iterative Closest Point
  • vertexes are extracted (sampling) on the surface of the upper/lower oral cavity data, and corresponding points corresponding to each vertex are extracted from the tooth data, and then the vertex-corresponding point group corresponds to the energy of the distance values.
  • An objective function can be calculated.
  • a vertex does not necessarily mean a point that satisfies a specific condition on the surface data, and all points on the surface of the surface data may be a vertex.
  • a method for extracting vertices from surface data is not limited to a particular method, and various methods known in the field of data processing may be used to extract vertices.
  • One or more vertices may be extracted from the surface data, and as the number of extracted vertices increases, the matching accuracy may be improved.
  • an objective function is calculated from them, and a movement function between upper/mandibular oral data and tooth data that minimizes the value of the objective function (three-dimensional movement transformation matrix, 3 axis rotation transformation matrix) can be calculated.
  • the upper/mandibular oral data and the teeth Matching between data can be performed.
  • the 3D occlusal oral data maxillary and mandibular teeth occluded
  • the data scanned by the intraoral scanner or the 3D maxillary oral data scanned by the intraoral scanner and the 3D mandibular oral data matched to the occlusal state may be matched (S156).
  • the occlusal oral data is matched to the face data based on the matching information between the dental data and the maxillary or mandibular oral data, but the face data It is also possible to directly match the occlusal oral data with the tooth part of the face data by using the ICP method or the like by designating a point in each of the tooth part and the tooth part of the occlusal oral data.
  • a three-dimensional model is generated by registering the facial data (first facial data) obtained by the oral scanner with the oral data (maxillary oral data, mandibular oral data, or occlusal oral data).
  • CT data or 3D face scan data (second face data) obtained by scanning the entire face may be matched with oral data.
  • the apparatus 100 for generating a 3D model through data matching according to an embodiment of the present invention includes an input unit 101, a communication unit 102, a storage unit 103, a display unit 104, It may include a controller 105 and a data matching unit 100', an intraoral scanner 110 and a three-dimensional data generating unit 140.
  • the apparatus 100 for generating a 3D model through data matching may be provided, for example, to a medical terminal for dental treatment.
  • the medical terminal may be implemented as, for example, a desktop PC, a tablet PC, a laptop PC, a netbook computer, a smart phone, a workstation, a PDA, a PMP, a wearable device, and the like, but is not limited thereto.
  • the input unit 101 may include a user interface that receives various commands such as 3D model generation from a user such as a medical professional.
  • the input unit 101 may be provided as a keyboard, a mouse, a touchpad, at least one button or switch, an input means through recognition of a user's gesture, or a user interface that performs an equivalent function.
  • the medical professional reads the patient's maxillary oral data, mandibular oral data, occlusal oral data, face data, etc. from the storage unit 103, or generates occlusal oral data by matching the maxillary and mandibular oral data. Or, to input various commands such as matching one or more oral data among maxillary oral data, mandibular oral data, and occlusal oral data to facial data, or matching upper/mandibular oral data and tooth data extracted from facial data. can be provided.
  • the communication unit 102 may provide a wired/wireless communication interface for receiving data obtained by the intraoral scanner 110 .
  • Communication interfaces are LAN (Local Area Network), ISDN (Integrated Services Digital Network), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), GSM (Global System for Mobile communication), LTE (Long Term Evolution) , World Interoperability for Microwave Access (WIMAX), Wireless LAN (Local Area Network), WAN (Wide Area Network), WIFI (Wireless Fidelity), and the like, but are not limited thereto.
  • the storage unit 103 may store a program for generating a 3D model through data matching and other various information.
  • the storage unit 103 includes oral data (maxillary oral data, mandibular oral data or occlusal oral data) in the patient's upper/mandibular oral data, occlusal oral data in a state where the maxillary and mandibular teeth are occluded, facial data, and facial data. Matched data and the like can be stored.
  • the storage unit 103 is a volatile memory such as SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM), etc., ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM ( Nonvolatile memory such as Electrically Erasable and Programmable ROM), flash memory, phase-change RAM (PRAM), magnetic RAM (MRAM), resistive RAM (RRAM), ferroelectric RAM (FRAM), floppy disks, hard disks, or optically readable media , for example, may be a storage medium such as an optical recording medium such as a CDROM or DVD, or a magnetic medium such as a magnetic tape, but is not limited thereto.
  • SRAM Static RAM
  • DRAM Dynamic RAM
  • SDRAM Synchronous DRAM
  • ROM Read Only Memory
  • PROM Programmable ROM
  • EPROM Electrically Erasable and Programmable ROM
  • EEPROM Nonvolatile memory such as Electrical
  • the display unit 104 may display information such as a three-dimensional virtual model (eg, patient's upper/lower mouth data, occlusal mouth data, face data, and data obtained by matching oral data to face data) on the display screen.
  • the display unit 104 may be provided as a display device such as a liquid crystal display (LCD) or a light emitting diode (LED) display, but is not limited thereto.
  • LCD liquid crystal display
  • LED light emitting diode
  • the controller 105 applies various control commands for generating a three-dimensional model through data matching to control functions and operations of each component of the three-dimensional model generating apparatus, and a three-dimensional model including the mouth and face of the patient. Functions such as executing a program for creation can be executed.
  • the controller 105 may include one or more processors.
  • the control unit 105 matches the occlusal mouth data obtained by the oral scanner 110 or the upper/mandibular oral data obtained by the oral scanner 110 to the face data, or matches the maxillary oral data and the mandibular oral data to the occlusal state.
  • a program for controlling the data matching unit 100 ′ may be executed to do so.
  • the data matching unit 100 ′ is for generating a three-dimensional virtual model in which the oral data and the face data are integrated by registering the three-dimensional oral data obtained by the oral scanner 110 and the three-dimensional face data, and the occlusion It may include a part 120 and a matching part 130 .
  • 5 is an exemplary diagram of maxillary oral data generated by an intraoral scanner constituting an apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention.
  • 6 is an exemplary diagram of mandibular oral data generated by an intraoral scanner constituting an apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention.
  • the oral scanner 110 scans the patient's maxillary teeth and/or maxillary gum to acquire maxillary oral data 20, and examines the patient's mandibular teeth and/or mandibular gums. It is possible to obtain the mandibular oral data 22 by scanning (S110, S120).
  • the intraoral scanner 110 may be, for example, a triangulation-based optical scanner or a scanner such as a confocal laser microscope-based scanner.
  • the intraoral scanner 110 projects structured light to the measurement object by means of a light source and acquires a 2D image through a camera, which may be implemented as a three-dimensional virtual model, which may be recorded in the form of a polygon mesh .
  • FIG. 7 is an exemplary view of occlusal oral data generated by the occlusal unit constituting the apparatus for generating a three-dimensional model through data matching according to an embodiment of the present invention. 1, 4 and 7, the occlusion unit 120 is based on the data scanned by the oral scanner 110, as shown in FIG. It is possible to obtain oral data 40 (S130).
  • the portion measured with respect to the occlusal teeth through the oral scanner 110 is shown in a predetermined color or pattern in FIG.
  • a predetermined number of upper and lower teeth (6 in the example of FIG. 7) are scanned from the side part of the tooth (for example, the molar part)
  • the maxillary oral data and the mandibular oral data are occlusal based on the scan data.
  • the matching unit 130 is a position corresponding to one or more points specified in the tooth part to be matched with the oral data among the first facial data of the patient obtained by the oral scanner 110, and the points specified in the first facial data among the oral data Based on one or more points specified in , a three-dimensional model in which the first face data and oral data are registered by performing registration between the first face data and the oral data using the Iterative Closest Point (ICP) method can create.
  • the matching unit 130 matches the CT data generated by the 3D data generation unit 140 or the 3D face scan data (second face data) of the entire face to the oral data to match the second face face A three-dimensional model in which data and oral data are matched can be created.
  • the medical professional performs occlusion of the maxillary scan object 161 for scanning the maxillary oral data, the mandibular scan object 162 for scanning the mandibular oral data, and the maxillary/mandibular oral data.
  • the occlusal object 163 for obtaining the matched occlusal oral data may be displayed, and oral data may be acquired through selection of the corresponding objects 161 , 162 , and 163 .
  • the oral scanner 110 may acquire the patient's face data 10 by scanning a facial region including a part of the patient's lips, pharynx, nose, and teeth (S140). ).
  • an object 164 for a medical professional to input a command to scan the face data 10 and display it on the screen may be displayed.
  • the facial data 10 scanned by the oral scanner 110 may be displayed on the user interface screen 160 of the medical terminal.
  • a matching object 165 for a medical professional to input a command for executing a matching function between the facial data 10 and the oral data 20 , 22 , and 40 may be displayed on the user interface screen 160 .
  • the medical professional inputs the registration object 165 for executing the matching function of the facial data and the oral data on the user interface screen 160, the oral data to be matched with the facial data (maxillary oral data, mandibular oral data, or occlusal oral data) ), a selection object 166 from which to select may be displayed.
  • 10 is an exemplary view illustrating a screen in which oral data to be matched with face data is selected according to an embodiment of the present invention.
  • 11 is a view illustrating that face data and maxillary oral data are matched according to an embodiment of the present invention.
  • 12 to 14 are diagrams illustrating that face data and oral data are matched according to an embodiment of the present invention.
  • one or more points 14 in the patient's tooth part 12 among the patient's first facial data 10 acquired using the intraoral scanner 110 are If specified and a point corresponding to the point 14 specified in the first face data 10 is specified in the oral data (maxillary oral data, mandibular oral data, or occlusal oral data), the matching unit 130 performs the first facial data By performing registration between (10) and the oral data (20, 40), the first face data (10) and the oral data (20, 40) are matched to generate 3D models (30, 50) (S150) .
  • the registration between the oral data 20 and 40 and the first facial data 10 may be performed by, for example, an Iterative Closest Point (ICP) algorithm.
  • ICP Iterative Closest Point
  • the ICP algorithm it is possible to calculate an objective function (Objective Function) corresponding to the distance energy of a pair of corresponding points between a point designated in the oral data 20 and 40 and a point designated in the first face data 10 .
  • a movement function between the oral data (20, 40) and the first facial data (10) is calculated so that the value of this objective function is minimized, and the oral data (20, 40) or the first facial data (10) by the movement function ), by repeatedly performing the process of moving the position until the end condition is satisfied, matching between the oral data 20 and 40 and the first face data 10 can be performed.
  • information obtained by extraoral scan is additionally provided along with oral data on the patient's affected part acquired by the oral scanner, so that not only teeth but also the entire maxilla / mandible of the patient, such as the patient's face It is possible to provide integrated three-dimensional data for the region.
  • the matching unit 130 may include a tooth data extracting unit 132 , a first matching unit 134 , a second matching unit 136 , and a third matching unit 138 .
  • the tooth data extraction unit 132 may extract tooth data corresponding to a part of the patient's teeth from the patient's first face data obtained by using the oral scanner 110 .
  • the first matching unit 134 matches the dental data 12 extracted by the tooth data extraction unit 132 with the maxillary oral data and/or the mandibular oral data to match the first facial data 10 and the upper/mandibular oral data.
  • the 3D model 30 in which the first face data and upper/mandibular oral data are matched may be generated.
  • the second matching unit 136 matches the occlusal mouth data to the first facial data based on the tooth data extracted by the tooth data extraction unit 132 and the matching information (matching information) of the upper/lower oral cavity data, A three-dimensional model in which occlusal oral data is matched to face data may be generated.
  • the third matching unit 138 converts the CT data generated by the 3D data generation unit 140 or 3D face scan data (second face data) of the entire face to oral data (maxillary oral data, mandibular oral data). Alternatively, by matching with data including occlusal oral data), a three-dimensional model in which the second face data and the oral data are matched may be generated. In an embodiment, the third matching unit 138 may register the oral data with the second facial data using the patient's nose.
  • FIG. 16 is an exemplary diagram illustrating a screen for selecting face data and oral data to be matched according to an embodiment of the present invention.
  • the medical professional may select any one of the three-dimensional face scan data 80 and CT data 90 that scan the entire face on the display screen, and the second face data may include maxillary mouth data, mandibular mouth data, and occlusal mouth data. , or the oral data 60 of any one of the facial data 10 to which the oral data is matched may be selected.
  • 17 is an exemplary diagram illustrating a screen in which occlusal oral data and first facial data are matched, and three-dimensional facial scan data are selected according to an embodiment of the present invention.
  • 18 to 21 are exemplary views for explaining a process of matching oral data and second face data according to an embodiment of the present invention. 17 to 21 show an example in which the three-dimensional face scan data 80 is selected as the second face data, and the data 70 in which the occlusal oral data and the first face data are matched is selected as the oral data. .
  • 22 is an exemplary view illustrating a screen in which oral data and CT data are selected according to an embodiment of the present invention.
  • 23 to 24 are exemplary views for explaining a process of matching oral data and CT data according to an embodiment of the present invention. 22 to 24 show an example in which the CT data 90 is selected as the second face data and the maxillary mouth data is selected as the oral data 60 .
  • the third matching unit 138 is the designated
  • the three-dimensional model 94 in which the oral data 60 is matched to the CT data 90 (second face data) can be generated by matching the two data by the ICP method using the corresponding points 62 and 92 .
  • the teeth by additionally providing information such as three-dimensional face scan data or CT data that scans the entire patient's face together with the oral data for the patient's affected part obtained by the oral scanner, the teeth / It is possible to provide integrated 3D data not only for the gums but also for the entire part of the patient's face such as the patient's face and facial bones Accordingly, it is easier to check the condition of teeth and face shape before treatment and to predict the expected change after treatment during dental and jawbone-related disease treatment and orthodontic treatment, and the shape of teeth around the lost area during implant surgery planning Considering the shape of the face, there is an advantage that can be used to determine the insertion direction of the implant or to design a prosthesis.
  • the embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the apparatus, method, and component described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). Array), a Programmable Logic Unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • ALU arithmetic logic unit
  • FPGA field programmable gate
  • PLU Programmable Logic Unit
  • microprocessor or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • the processing device may run an operating system and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device is sometimes described as being used, but one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It will be understood that this may include
  • the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a Parallel Processor.
  • the software may include a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and ROMs, RAMs, and flash memories.
  • Hardware devices specially configured to store and execute program instructions, such as, etc. are included.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • matching unit 132 tooth data extraction unit
  • first matching part 136 second matching part
  • the present invention provides information that enables more accurate treatment for prosthesis fabrication or correction through multiple data matching based on the patient's face data, upper/mandibular oral data, and occlusal oral data acquired by an oral scanner.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 방법은 구강 스캐너를 이용하여 환자의 상악을 스캔하여 상악 치아가 포함된 상악 구강 데이터를 획득하는 상악 스캔 단계; 상기 구강 스캐너를 이용하여 상기 환자의 하악을 스캔하여 하악 치아가 포함된 하악 구강 데이터를 획득하는 하악 스캔 단계; 상기 구강 스캐너를 이용하여 상기 상악 치아와 상기 하악 치아가 교합된 상태의 교합 구강 데이터를 획득하는 교합 단계; 상기 구강 스캐너를 이용하여 상기 환자의 얼굴을 스캔하여 제1 얼굴 데이터를 획득하는 얼굴 스캔 단계; 및 상기 제1 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나와 정합하는 정합 단계를 포함한다.

Description

데이터 정합을 통한 3차원 모델 생성 장치 및 방법
본 발명은 데이터 정합을 통한 3차원 모델 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 구강 스캐너로 환자의 얼굴 데이터와 상/하악 구강 데이터 및 교합 구강 데이터를 생성하고, 이를 정합하여 3차원 모델을 생성하는 데이터 정합을 통한 3차원 모델 생성 장치 및 방법(APPARATUS AND METHOD FOR GENERATING 3D MODEL USING DATA MATCHING)에 관한 것이다.
치과 보철제작 과정은 환자 치아에 대한 정보를 획득하여 해당 치아 정보를 토대로 정확한 보철물을 제작하는 과정을 포함한다. 종래에는 환자의 치아에 대하여 인상재를 이용하여, 치아 및 잇몸에 대한 인상채득을 수행하였으며, 해당 인상채득 후 석고 모형을 제작, 해당 석고 모형을 바탕으로 보철물을 제작하였다.
하지만, 종래의 과정은 시술자(치과 의사 또는 치과 종사자)의 숙련도에 의하여 정확도의 차이가 존재하며, 인상재를 환자의 구강 내에 삽입하는 과정에서 환자의 거부 반응(구토, 불쾌감 등) 등이 발생할 수 있다. 또한, 인상채득에서 보철물 제작까지 수공 과정이 추가되므로, 비용이 비싸고 시간이 오래 걸리는 단점이 존재하였다.
이에 따라, 최근에는 구강 스캐너 등을 이용하여 치아, 잇몸, 턱뼈 등 환자의 환부 형상에 대해 가상 3차원 모델을 생성하는 덴탈 CAD/CAM(computer aided design/computer aided manufacturing) 기술을 기반으로 보철물을 제작하는 방법에 대한 개발이 꾸준하게 이루어지고 있다.
환자의 환부에 대해 획득된 3D 데이터를 이용하면 보철 치료나 교정 치료 등을 컴퓨터를 이용하여 정확하게 계산하여 수행할 수 있다. 이때 좋은 치료 결과를 얻기 위해서는 환자의 환부의 형상을 정확하게 반영하는 3D 데이터의 확보가 필요하다.
덴탈 CAD/CAM 치료 과정에서 환부의 3D 데이터를 얻기 위해서 CT(Computed Tomography), MRI(Magnetic Resonance Imaging) 등의 의료 기기가 활용될 수 있다. 예를 들어, CBCT(Cone Beam Computed Tomography) 등의 X-ray CT(Computed Tomography), MRI(Magnetic Resonance Imaging) 등의 의료 기기는 복셀(Voxel) 구조 내에 밝기(Intensity)값을 가지고 있는 형태로 표현되는 볼륨 데이터(Volumetric data)를 획득하는데 활용될 수 있다.
CT 등에 의해 획득되는 볼륨 데이터는 치아, 잇몸 등 외부에 드러나는 표면의 형상뿐 아니라, 치아 뿌리나 턱뼈 등과 같이 외부에 드러나지 않는 환자의 환부 내부의 형상도 표현할 수 있는 이점이 있다.
그러나, 치과 치료에 있어서 환자의 환부에 적절한 보철물을 만들려면, 0.05mm 이하의 정확도가 요구되는 것으로 알려져 있으며, CT 데이터의 정확도(accuracy)는 약 0.2mm 수준으로, 요구 조건을 만족하지 못하여 치과 치료에 사용하는데 제약이 따르고 있다.
덴탈 CAD/CAM 분야에서는 CT 외에도 광학식 3차원 스캐너가 많이 사용되고 있다. 광학식 3차원 스캐너는 측정 대상의 3차원 표면 형상 정보를 획득할 수 있으며, 예를 들어 환자의 구강 내, 또는 치아의 인상체나, 인상체로 획득한 석고 모델 등에 대해 3차원 데이터를 획득할 수 있다.
특히, 구강 스캐너를 이용하면, 다양한 치과 치료 및 치료 계획을 수립할 수 있고, 치료 비용의 절약 및 치료 시간의 절감이 가능하고, 환자의 거부 반응을 감소시킬 수 있는 등의 장점이 존재한다.
또한, 덴탈 CAD/CAM용 광학식 3차원 스캐너로 획득한 3차원 표면 데이터(Surface data)는 상대적으로 높은 정확성(예를 들어, 약 20um 이하)을 가지는 것으로 알려져 있으며, 후속 처리를 모두 포함하더라도 약 60um 수준의 비교적 높은 정확성을 나타낸다. 덴탈 CAD/CAM을 이용한 어플리케이션들에서 표면 데이터는 다양한 용도로 사용되고 있다.
한편, 구강 스캐너에 의해 획득된 환자 환부에 대한 데이터만을 사용하는 경우 보다, 환자의 구강 데이터 이외에 추가적인 환자 정보를 획득하면 보철물 제작이나 교정을 수행하는 과정에서 더 정확한 치료를 수행할 수 있는데, 주로 X-ray 또는 환자의 사진 등의 2차원 이미지 데이터가 사용되었다.
그러나, X-ray 또는 환자의 사진 등의 2차원 이미지는 환자 환부에 대한 가상 모델 데이터와의 관계를 파악하기 어려워, 치과 전문가가 육안으로 확인하여 환자의 치과 치료에 보조적으로 활용하는 수준에 그치고 있다.
따라서, X-ray 또는 환자의 사진 등의 2차원 이미지 만으로는 임플란트 수술 계획시에는 망실된 환부 주위의 치아의 형태 및 치아 주변 얼굴 부위 등의 정보를 고려하여 임플란트의 삽입 방향을 결정하거나, 보철물을 설계하는데 활용하기 어려운 제약이 있다.
따라서, 치아 및 턱뼈 관련 질환 진료, 교정 치료시에 치아 및 얼굴 형태의 치료 전 상태 확인 및 치료 후 예상되는 변화에 대한 예측을 위해서는 치아 뿐만 아니라 치아 주위의 환자 얼굴 등 환자의 상악/하악 전체 부위에 대한 통합 3차원 데이터가 필요하다.
본 발명은 구강 스캐너에 의해 획득된 환자의 얼굴 데이터와 상/하악 구강 데이터 및 교합 구강 데이터를 기반으로, 다수의 데이터 정합을 통해 보철물 제작이나 교정을 위한 보다 정확한 치료를 수행할 수 있도록 하는 정보를 제공하는 데이터 정합을 통한 3차원 모델 생성 장치 및 방법, 기록 매체를 제공하기 위한 것이다.
또한, 본 발명은 구강 스캐너에 의해 획득된 환자 환부에 대한 구강 데이터와 함께 구강 외 스캔에 의해 획득한 정보를 추가로 제공하여, 치아 뿐만 아니라 환자 얼굴 등 환자의 상악/하악 전체 부위에 대한 통합 3차원 데이터를 제공하는 데이터 정합을 통한 3차원 모델 생성 장치 및 방법, 기록 매체를 제공하기 위한 것이다.
또한, 본 발명은 치아 및 턱뼈 관련 질환 진료, 교정 치료시에 치아 및 얼굴 형태의 치료 전 상태 확인 및 치료 후 예상되는 변화에 대한 예측이 용이하고, 임플란트 수술 계획시에 망실된 환부 주위의 치아의 형태와 얼굴 형태를 고려하여 임플란트의 삽입 방향을 결정하거나, 보철물을 설계하는데 활용할 수 있는 데이터 정합을 통한 3차원 모델 생성 장치 및 방법, 기록 매체를 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 방법은, 구강 스캐너를 이용하여 환자의 상악을 스캔하여 상악 치아가 포함된 상악 구강 데이터를 획득하는 상악 스캔 단계; 상기 구강 스캐너를 이용하여 상기 환자의 하악을 스캔하여 하악 치아가 포함된 하악 구강 데이터를 획득하는 하악 스캔 단계; 상기 구강 스캐너를 이용하여 상기 상악 치아와 상기 하악 치아가 교합된 상태의 교합 구강 데이터를 획득하는 교합 단계; 상기 구강 스캐너를 이용하여 상기 환자의 얼굴을 스캔하여 제1 얼굴 데이터를 획득하는 얼굴 스캔 단계; 및 상기 제1 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터 및 상기 교합 구강 데이터 중 적어도 하나와 정합하는 정합 단계를 포함한다.
상기 정합 단계는, 상기 제1 얼굴 데이터에서 상기 환자의 치아 일부에 해당하는 치아 데이터를 추출하는 치아 데이터 추출 단계; 상기 치아 데이터를 상기 상악 구강 데이터 및 상기 하악 구강 데이터 중 적어도 하나의 구강 데이터와 매칭시켜 정합하는 제1 정합 단계; 및 상기 치아 데이터와 상기 구강 데이터의 정합 정보를 기반으로, 상기 제1 얼굴 데이터에 상기 교합 구강 데이터를 정합하는 제2 정합 단계를 포함할 수 있다.
상기 제1 얼굴 데이터는 상기 환자의 코를 포함하는 얼굴 영역을 스캔하여 획득될 수 있다. 상기 제1 얼굴 데이터는 상기 환자의 코와 치아 일부 사이에서 입술 및 인중을 포함하는 얼굴 영역을 스캔하여 획득될 수 있다. 상기 얼굴 스캔 단계는 상기 환자의 치아 일부가 포함되도록 상기 제1 얼굴 데이터를 스캔할 수 있다.
상기 정합 단계는, 상기 환자의 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터 및 CT 데이터 중 적어도 하나를 포함하는 제2 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 구강 데이터와 정합하는 단계를 포함할 수 있다.
상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 상기 구강 데이터는 상기 환자의 코를 이용하여 상기 제2 얼굴 데이터와 정합될 수 있다.
본 발명의 실시예에 따르면, 상기 데이터 정합을 통한 3차원 모델 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치는, 환자의 상악 치아를 스캔하여 상악 구강 데이터를 획득하고, 상기 환자의 하악 치아를 스캔하여 하악 구강 데이터를 획득하고, 상기 상악 치아와 상기 하악 치아가 교합된 상태에서 상기 환자의 치아 일부를 스캔하여 치아 스캔 데이터를 획득하고, 상기 환자의 얼굴을 스캔하여 제1 얼굴 데이터를 획득하는 구강 스캐너; 상기 치아 스캔 데이터를 이용하여 상기 상악 구강 데이터와 상기 하악 데이터가 교합된 상태의 교합 구강 데이터를 획득하는 교합부; 및 상기 제1 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터 및 상기 교합 구강 데이터 중 적어도 하나와 정합하는 정합부를 포함한다.
상기 정합부는, 상기 제1 얼굴 데이터에서 상기 환자의 치아 일부에 해당하는 치아 데이터를 추출하는 치아 데이터 추출부; 상기 치아 데이터를 상기 상악 구강 데이터 및 상기 하악 구강 데이터 중 적어도 하나의 구강 데이터와 매칭시켜 정합하는 제1 정합부; 및 상기 치아 데이터와 상기 구강 데이터의 정합 정보를 기반으로, 상기 제1 얼굴 데이터에 상기 교합 구강 데이터를 정합하는 제2 정합부를 포함할 수 있다.
상기 정합부는, 상기 환자의 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터 및 CT 데이터 중 적어도 하나를 포함하는 제2 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 구강 데이터와 정합할 수 있다.
상기 정합부는, 상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 상기 구강 데이터를 상기 환자의 코를 이용하여 상기 제2 얼굴 데이터와 정합할 수 있다.
본 발명의 실시예에 의하면, 구강 스캐너에 의해 획득된 환자의 얼굴 데이터와 상/하악 구강 데이터 및 교합 구강 데이터를 기반으로, 다수의 데이터 정합을 통해 보철물 제작이나 교정을 위한 보다 정확한 치료를 수행할 수 있도록 하는 정보를 제공하는 데이터 정합을 통한 3차원 모델 생성 장치 및 방법, 기록 매체가 제공된다.
또한, 본 발명의 실시예에 의하면, 구강 스캐너에 의해 획득된 환자 환부에 대한 구강 데이터와 함께 구강 외 스캔에 의해 획득한 정보를 추가로 제공하여, 치아 뿐만 아니라 환자 얼굴 등 환자의 상악/하악 전체 부위에 대한 통합 3차원 데이터를 제공할 수 있다.
또한, 본 발명의 실시예에 의하면, 치아 및 턱뼈 관련 질환 진료, 교정 치료시에 치아 및 얼굴 형태의 치료 전 상태 확인 및 치료 후 예상되는 변화에 대한 예측이 용이하고, 임플란트 수술 계획시에 망실된 환부 주위의 치아의 형태와 얼굴 형태를 고려하여 임플란트의 삽입 방향을 결정하거나, 보철물을 설계하는데 활용할 수 있다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 방법의 순서도이다.
도 2는 도 1의 단계 S150의 순서도이다.
도 3은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치의 구성도이다.
도 4는 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 데이터 정합부의 구성도이다.
도 5는 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 구강 스캐너에 의해 생성된 상악 구강 데이터의 예시도이다.
도 6은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 구강 스캐너에 의해 생성된 하악 구강 데이터의 예시도이다.
도 7은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 교합부에 의해 생성된 교합 구강 데이터의 예시도이다.
도 8은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 구강 스캐너에 의해 생성된 얼굴 데이터의 예시도이다.
도 9는 본 발명의 실시예에 따라 얼굴 데이터와 정합할 구강 데이터를 선택하는 화면을 나타낸 예시도이다.
도 10은 본 발명의 실시예에 따라 얼굴 데이터와 정합될 구강 데이터가 선택된 화면을 나타낸 예시도이다.
도 11은 본 발명의 실시예에 따라 얼굴 데이터와 상악 구강 데이터가 정합된 것을 예시한 도면이다.
도 12 내지 도 14는 본 발명의 실시예에 따라 얼굴 데이터와 구강 데이터가 정합된 것을 예시한 도면이다.
도 15는 본 발명의 다른 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치의 구성도이다.
도 16은 본 발명의 실시예에 따라 정합할 얼굴 데이터와 구강 데이터를 선택할 수 있는 화면을 나타낸 예시도이다.
도 17은 본 발명의 실시예에 따라 교합 구강 데이터와 제1 얼굴 데이터가 정합된 구강 데이터와, 3차원 얼굴 스캔 데이터가 선택된 화면을 나타낸 예시도이다.
도 18 내지 도 21은 본 발명의 실시예에 따라 구강 데이터와 제2 얼굴 데이터를 정합하는 과정을 설명하기 위한 예시도이다.
도 22는 본 발명의 실시예에 따라 구강 데이터와 CT 데이터가 선택된 화면을 나타낸 예시도이다.
도 23 내지 도 24는 본 발명의 실시예에 따라 구강 데이터와 CT 데이터를 정합하는 과정을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다.
본 명세서에서 '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.
본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치 및 방법은 구강 스캐너를 이용하여 환자의 상악 치아 및/또는 상악 잇몸을 스캔하여 3차원의 상악(上顎) 구강 데이터를 획득하고, 구강 스캐너를 이용하여 환자의 하악 치아 및/또는 하악 잇몸을 스캔하여 3차원의 하악(下顎) 구강 데이터를 획득한 후, 상악 구강 데이터와 하악 구강 데이터를 정합하여 환자의 상악 치아와 하악 치아가 교합된 상태의 3차원 교합 구강 데이터를 획득한다.
환자의 3차원 교합 구강 데이터는 환자의 상악 치아와 하악 치아가 교합된 상태에서 구강 스캐너를 이용하여 환자의 치아 일부를 스캔하여 획득한 스캔 정보를 기반으로 상악 구강 데이터와 하악 구강 데이터를 정합함으로써 생성될 수 있다.
본 발명의 일 실시예에서, 환자의 얼굴 데이터에서 구강 데이터와 매칭시킬 치아 부분의 포인트를 지정하고, 상악 구강 데이터, 하악 구강 데이터 및 교합 구강 데이터 중 어느 하나의 구강 데이터에서 얼굴 데이터에 지정된 포인트와 대응되는 위치에 포인트를 지정한 후, 서로 다른 두 개 이상의 3차원 데이터 간 거리 편차를 최소화하여 위치를 정렬하는 최근접점 반복 찾기(ICP; Iterative Closest Point) 방법을 이용하여 두 데이터 간에 정합을 수행함으로써 얼굴 데이터와 구강 데이터가 정합된 3차원 모델을 생성할 수 있다.
본 발명의 다른 실시예에서, 구강 스캐너를 이용하여 환자의 얼굴을 스캔하여 3차원 얼굴 데이터를 획득하고, 얼굴 데이터에서 환자의 치아 일부에 해당하는 치아 데이터를 추출한 후, 치아 데이터를 상악 구강 데이터 및/또는 하악 구강 데이터와 정합하고, 치아 데이터와 3차원 구강 데이터의 정합 정보를 기반으로 얼굴 데이터에 교합 구강 데이터를 정합함으로써 3차원 모델을 생성할 수도 있다.
본 발명의 실시예에 의하면, 구강 스캐너 등에 의해 획득된 얼굴 데이터와 상/하악 구강 데이터 또는 교합 구강 데이터를 기반으로, 다수의 데이터 정합을 통해 보철물 제작이나 교정을 위한 보다 정확한 치료를 수행할 수 있도록 하는 추가적인 정보를 제공할 수 있으며, 예를 들어, 치아 뿐만 아니라 환자 얼굴 등 환자의 상악/하악 전체 부위와 얼굴에 대한 통합 3차원 데이터를 제공할 수 있다.
따라서, 본 발명의 실시예에 의하면, 구강 스캐너에 의해 획득된 환자 환부에 대한 구강 데이터와 함께 구강 외 스캔에 의해 획득한 정보를 구강 데이터와 정합하여 추가로 제공함으로써, 치아 및 턱뼈 관련 질환 진료, 교정 치료시에 치아 및 얼굴 형태의 치료 전 상태 확인 및 치료 후 예상되는 변화에 대한 예측이 용이하다.
본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 방법은, 임플란트 수술 계획시에 망실된 환부 주위의 치아의 형태와 얼굴 형태를 고려하여 임플란트의 삽입 방향을 결정하거나, 보철물을 설계하는 등 다양한 치과 치료에 활용할 수 있다.
도 1은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 방법의 순서도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 방법은 상악 스캔 단계(S110), 하악 스캔 단계(S120), 교합 단계(S130), 얼굴 스캔 단계(S140), 및 정합 단계(S150)를 포함한다.
먼저, 치과 의료 전문가는 구강 스캐너를 이용하여 환자의 상악 치아 및 상악 잇몸을 스캔(구강 내 스캔)하여 상악(upper jaw) 구강 데이터를 획득하고, 환자의 하악 치아 및 하악 잇몸을 스캔하여 하악(lower jaw) 구강 데이터를 획득할 수 있다(S110, S120).
구강 스캐너(110)는 예를 들어, 삼각법 기반의 광학식 스캐너 또는 공초점 레이저 현미경 기반 스캐너와 같은 스캐너가 사용될 수 있으나, 이에 제한되는 것은 아니다. 구강 스캐너(110)는 광원에 의해 측정 대상물에 구조광을 투사하고 카메라를 통하여 2D 이미지를 획득한 후, 이를 3차원 가상 모델로 구현할 수 있으며, 이는 폴리곤 메쉬(Polygon mesh) 형태로 기록될 수 있다.
상악 구강 데이터와 하악 구강 데이터를 획득한 다음, 구강 스캐너(110)에 의해 환자의 교합된 치아 일부를 측정해 얻은 정보를 이용하여 상악/하악 구강 데이터를 정합함으로써, 환자의 상악 치아와 하악 치아가 교합된 상태의 3차원 교합 구강 데이터를 획득하는 교합 단계를 수행할 수 있다(S130).
본 발명의 일 실시예에서, 교합 단계(S130)는 환자의 상악 치아와 하악 치아가 교합된 상태에서 구강 스캐너(110)를 이용하여 환자의 치아의 양쪽 측면 부분(예를 들어, 어금니 부분)을 측정하여 교합 치아 스캔 정보를 획득하고, 교합 치아 스캔 정보를 기반으로 상악 구강 데이터와 하악 구강 데이터를 정합하여 교합 구강 데이터를 획득할 수 있다.
또한, 구강 스캐너(110)를 이용하여 환자의 얼굴을 스캔(구강 외 스캔)하여 얼굴 데이터(제1 얼굴 데이터)를 획득할 수 있다(S140). 얼굴 데이터는 환자의 입술, 인중, 코 및 치아 일부를 포함하는 구강 전방부 일부에 대한 얼굴 영역을 스캔하여 획득될 수 있다.
구강 스캐너(110)는 상대적으로 높은 정확성(예를 들어, 약 20um 이하)을 가지는 3차원 표면 데이터(Surface data)를 생성할 수 있다. 따라서, 구강 스캐너(110)에 의해 정교한 3차원 상악 구강 데이터, 3차원 하악 구강 데이터와, 3차원 얼굴 데이터를 획득할 수 있다.
본 발명의 일 실시예에서, 환자의 얼굴 데이터에서 구강 데이터와 매칭시킬 치아 부분의 포인트를 지정하고, 상악 구강 데이터, 하악 구강 데이터 및 교합 구강 데이터 중 어느 하나의 구강 데이터에서 얼굴 데이터에 지정된 포인트와 대응되는 위치에 포인트를 지정한 후, 최근접점 반복 찾기(ICP; Iterative Closest Point) 방법을 이용하여 두 데이터 간에 정합을 수행함으로써 얼굴 데이터와 구강 데이터가 정합된 3차원 모델을 생성할 수 있다.
구강 스캐너(110)에 의해 환자의 3차원 얼굴 데이터가 생성되면, 얼굴 데이터를 상악 구강 데이터, 하악 구강 데이터 및 교합 구강 데이터 중 적어도 하나의 구강 데이터와 매칭시켜 정합할 수 있다(S150). 이때, 환자의 얼굴 데이터에서 구강 데이터와 매칭시킬 치아 부분의 포인트를 지정하고, 구강 데이터에서 얼굴 데이터에 지정된 포인트와 대응되는 위치에 포인트를 지정한 후, 최근접점 반복 찾기(ICP; Iterative Closest Point) 방법을 이용하여 두 데이터 간에 정합을 수행함으로써 얼굴 데이터와 구강 데이터가 정합된 3차원 모델을 생성할 수 있다.
대안적으로, 얼굴 데이터와 구강 데이터의 정합은 얼굴 데이터에서 치아 데이터를 추출한 후 구강 데이터와 매칭시킴으로써 수행될 수도 있다. 도 2는 도 1의 단계 S150의 순서도이다. 도 2를 참조하면, 환자의 얼굴 데이터에서 환자의 치아 일부(상악 치아 일부 및/또는 하악 치아 일부)에 해당하는 치아 데이터를 추출할 수 있다(S152). 이때, 치아 데이터는 치아의 형상 정보 및 색상 정보를 기초로 추출될 수 있다.
환자의 3차원 얼굴 데이터에서 치아 일부에 해당하는 치아 데이터가 추출되면, 환자의 상악 구강 데이터 및 하악 구강 데이터 중 적어도 하나의 3차원 구강 데이터를 3차원 얼굴 데이터에서 추출된 치아 데이터와 매칭시켜 정합할 수 있다(S154). 상/하악 구강 데이터와 치아 데이터 간의 정합은 예를 들어, 최근접점 반복 찾기(ICP; Iterative Closest Point) 알고리즘에 의해 수행될 수 있다.
ICP 알고리즘에 의해, 상/하악 구강 데이터의 표면 상에서 정점들(vertexes)을 추출(샘플링)하고, 치아 데이터에서 각 정점에 대응되는 대응점을 추출한 후, 정점-대응점 그룹에 대한 거리값들의 에너지에 해당하는 목적함수(Objective Function)를 산출할 수 있다.
이때 정점은 반드시 표면 데이터 상의 특정한 조건을 만족하는 점을 의미하지 않으며, 표면 데이터의 표면 상의 점들이 모두 정점이 될 수 있다. 표면 데이터에서 정점을 추출하는 방법은 특별한 방법으로 제한되지 않으며, 데이터 처리 분야에서 알려진 다양한 방법으로 정점을 추출할 수 있다.
표면 데이터에서 정점은 1개 또는 복수개가 추출될 수 있으며, 정점의 추출 개수가 증가할수록 정합 정확도가 향상될 수 있다. 추출된 정점 및 그 대응점의 쌍이 1개 이상 확보되면, 그로부터 목적함수를 산출하고, 이 목적함수의 값이 최소가 되도록 하는 상/하악 구강 데이터와 치아 데이터 간의 이동 함수(3차원 이동 변환 행렬, 3축 회전 변환 행렬)를 계산할 수 있다.
그리고, 상/하악 구강 데이터와 치아 데이터 간의 이동 함수에 의해 상/하악 구강 데이터 또는 치아 데이터의 위치를 이동하는 과정을 소정의 종료 조건을 만족할 때까지 반복하여 수행함으로써, 상/하악 구강 데이터와 치아 데이터 간의 정합을 수행할 수 있다.
3차원 치아 데이터와 3차원 구강 데이터의 정합이 완료되면, 치아 데이터와 구강 데이터의 정합 정보(매칭 정보)를 기반으로, 3차원 얼굴 데이터에 3차원 교합 구강 데이터(상악 치아와 하악 치아가 교합된 상태에서 구강 스캐너에 의해 스캔된 데이터 또는 구강 스캐너에 의해 스캔된 3차원 상악 구강 데이터와 3차원 하악 구강 데이터가 교합 상태로 정합된 데이터)를 정합할 수 있다(S156).
도 2의 실시예에서는 얼굴 데이터에서 추출된 치아 데이터를 상악 또는 하악 구강 데이터와 정합한 이후, 치아 데이터와 상악 또는 하악 구강 데이터 간의 정합 정보를 기반으로 얼굴 데이터에 교합 구강 데이터를 매칭시키지만, 얼굴 데이터의 치아 부분과 교합 구강 데이터의 치아 부분에 각각 포인트를 지정하여, ICP 방법 등에 의해 교합 구강 데이터를 직접 얼굴 데이터의 치아 부분과 매칭시킬 수도 있다.
또한, 도 1 및 도 2의 실시예에서는 구강 스캐너에 의해 획득된 얼굴 데이터(제1 얼굴 데이터)를 구강 데이터(상악 구강 데이터, 하악 구강 데이터 또는 교합 구강 데이터)와 정합하여 3차원 모델을 생성하지만, CT 데이터 또는 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터(제2 얼굴 데이터)를 구강 데이터와 매칭시켜 정합할 수도 있다.
도 3은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치의 구성도이다. 도 4는 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 데이터 정합부의 구성도이다. 도 1 내지 도 4를 참조하면, 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치(100)는 입력부(101), 통신부(102), 저장부(103), 표시부(104), 제어부(105) 및 데이터 정합부(100'), 구강 스캐너(110) 및 3차원 데이터 생성부(140)를 포함할 수 있다.
본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치(100)는 예를 들어, 치과 치료용 의료 단말기에 제공될 수 있다. 의료 단말기는 예를 들어 데스크탑 PC, 태블릿 PC, 랩탑 PC, 넷북 컴퓨터, 스마트폰, 워크스테이션, PDA, PMP, 웨어러블 장치 등으로 구현될 수 있으나, 이에 제한되는 것은 아니다.
입력부(101)는 의료 전문가 등의 사용자로부터 3차원 모델 생성 등의 각종 명령을 입력받는 사용자 인터페이스(User Interface)를 구비할 수 있다. 입력부(101)는 키보드, 마우스, 터치패드, 적어도 하나의 버튼 또는 스위치, 사용자의 제스처 인식을 통한 입력 수단 또는 이와 동등한 기능을 수행하는 사용자 인터페이스로 제공될 수 있다.
입력부(101)는 의료 전문가가 저장부(103)로부터 환자의 상악 구강 데이터, 하악 구강 데이터, 교합 구강 데이터, 얼굴 데이터 등을 독출하거나, 상악 구강 데이터와 하악 구강 데이터를 정합하여 교합 구강 데이터를 생성하거나, 상악 구강 데이터, 하악 구강 데이터 및 교합 구강 데이터 중 하나 이상의 구강 데이터를 얼굴 데이터에 정합하거나, 상/하악 구강 데이터와 얼굴 데이터에서 추출된 치아 데이터를 정합하는 등의 다양한 명령을 입력할 수 있도록 제공될 수 있다.
통신부(102)는 구강 스캐너(110)에 의해 획득된 데이터를 입력받는 유/무선 통신 인터페이스를 제공할 수 있다. 통신 인터페이스는 LAN(Local Area Network), ISDN(Integrated Services Digital Network), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile communication), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), Wireless LAN(Local Area Network), WAN(Wide Area Network), WIFI(Wireless Fidelity) 등을 포함할 수 있으나, 이에 제한되지는 않는다.
저장부(103)는 데이터 정합을 통해 3차원 모델을 생성하기 위한 프로그램, 그 밖의 각종 정보를 저장할 수 있다. 저장부(103)는 환자의 상/하악 구강 데이터, 상악 치아와 하악 치아가 교합된 상태의 교합 구강 데이터, 얼굴 데이터, 얼굴 데이터에 구강 데이터(상악 구강 데이터, 하악 구강 데이터 또는 교합 구강 데이터)가 정합된 데이터 등을 저장할 수 있다.
저장부(103)는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체, 예를 들어 시디롬(CDROM), 디브이디(DVD)와 같은 광기록 매체(optical media), 자기 테이프와 같은 자기 매체(magnetic media) 등의 저장매체일 수 있으나, 이에 제한되지는 않는다.
표시부(104)는 3차원 가상 모델 등의 정보(예를 들어, 환자의 상/하악 구강 데이터, 교합 구강 데이터, 얼굴 데이터, 얼굴 데이터에 구강 데이터가 정합된 데이터)를 디스플레이 화면에 표시할 수 있다. 표시부(104)는 액정 표시 장치(LCD; Liquid Crystal Display), 엘이디(LED; Light Emitting Diode) 디스플레이 등의 표시 장치로 제공될 수 있으나, 이에 제한되는 것은 아니다.
제어부(105)는 데이터 정합을 통해 3차원 모델을 생성하기 위한 각종 제어명령을 인가하여 3차원 모델 생성 장치의 각 구성요소들의 기능 및 동작을 제어하고, 환자의 구강 및 얼굴을 포함하는 3차원 모델 생성을 위한 프로그램을 실행하는 등의 기능을 실행할 수 있다. 제어부(105)는 하나 이상의 프로세서(processor)를 포함할 수 있다.
제어부(105)는 구강 스캐너(110)에 의해 획득된 상/하악 구강 데이터 또는 상/하악 구강 데이터가 정합된 교합 구강 데이터를 얼굴 데이터에 정합하거나, 상악 구강 데이터와 하악 구강 데이터를 교합 상태로 정합하도록 데이터 정합부(100')를 제어하기 위한 프로그램을 실행할 수 있다.
데이터 정합부(100')는 구강 스캐너(110)에 의해 획득된 3차원 구강 데이터와, 3차원 얼굴 데이터를 정합하여, 구강 데이터와 얼굴 데이터가 통합된 3차원 가상 모델을 생성하기 위한 것으로, 교합부(120), 및 정합부(130)를 포함할 수 있다. 도 5는 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 구강 스캐너에 의해 생성된 상악 구강 데이터의 예시도이다. 도 6은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 구강 스캐너에 의해 생성된 하악 구강 데이터의 예시도이다.
도 1, 도 4 내지 도 6을 참조하면, 구강 스캐너(110)는 환자의 상악 치아 및/또는 상악 잇몸을 스캔하여 상악 구강 데이터(20)를 획득하고, 환자의 하악 치아 및/또는 하악 잇몸을 스캔하여 하악 구강 데이터(22)를 획득할 수 있다(S110, S120).
구강 스캐너(110)는 예를 들어, 삼각법 기반의 광학식 스캐너 또는 공초점 레이저 현미경 기반 스캐너와 같은 스캐너가 사용될 수 있다. 구강 스캐너(110)는 광원에 의해 측정 대상물에 구조광을 투사하고 카메라를 통하여 2D 이미지를 획득한 후, 이를 3차원 가상 모델로 구현할 수 있으며, 이는 폴리곤 메쉬(Polygon mesh) 형태로 기록될 수 있다.
도 7은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 교합부에 의해 생성된 교합 구강 데이터의 예시도이다. 도 1, 도 4 및 도 7을 참조하면, 교합부(120)는 구강 스캐너(110)에 의해 스캔된 데이터를 기반으로, 도 7에 도시된 바와 같이 상악 치아와 하악 치아가 교합된 상태의 교합 구강 데이터(40)를 획득할 수 있다(S130).
구강 스캐너(110)를 통하여 교합된 치아에 대해 측정되는 부분은 도 7에 소정 색상 또는 패턴으로 나타나 있다. 치아의 측면 부분(예를 들어, 어금니 부분)에서 상/하악의 소정 개수(도 7의 예에서는 6개)의 치아를 스캔하면, 해당 스캔 데이터를 기반으로 상악 구강 데이터와 하악 구강 데이터가 교합 상태로 정합될 수 있다. 치아의 한쪽 측면에서만 치아 데이터를 측정할 경우, 상악/하악 구강 데이터가 반대쪽 측면(반대쪽 어금니 부분)에서 맞지 않을 수 있으므로, 치아의 반대쪽 측면 부분도 측정을 진행하여 교합 상태 치아의 양쪽 측면 부분의 측정 정보(치아 스캔 정보)로부터 교합 구강 데이터를 획득할 수 있다.
정합부(130)는 구강 스캐너(110)에 의해 획득된 환자의 제1 얼굴 데이터 중 구강 데이터와 매칭시킬 치아 부분에 지정된 하나 이상의 포인트와, 구강 데이터 중 제1 얼굴 데이터에 지정된 포인트와 대응되는 위치에 지정된 하나 이상의 포인트를 기반으로, 최근접점 반복 찾기(ICP; Iterative Closest Point) 방법을 이용하여 제1 얼굴 데이터와 구강 데이터 간에 정합을 수행함으로써 제1 얼굴 데이터와 구강 데이터가 정합된 3차원 모델을 생성할 수 있다. 또한, 정합부(130)는 3차원 데이터 생성부(140)에 의해 생성된 CT 데이터 또는 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터(제2 얼굴 데이터)를 구강 데이터와 매칭시켜, 제2 얼굴 얼굴 데이터와 구강 데이터가 정합된 3차원 모델을 생성할 수 있다.
사용자 인터페이스 화면(160)에는 의료 전문가가 상악 구강 데이터를 스캔하기 위한 상악 스캔 오브젝트(161)와, 하악 구강 데이터를 스캔하기 위한 하악 스캔 오브젝트(162)와, 상악/하악 구강 데이터의 교합을 진행하여 정합된 교합 구강 데이터를 획득하기 위한 교합 오브젝트(163)가 표시될 수 있으며, 해당 오브젝트들(161, 162, 163)에 대한 선택을 통해 구강 데이터를 획득할 수 있다.
도 8은 본 발명의 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치를 구성하는 구강 스캐너에 의해 생성된 얼굴 데이터의 예시도이다. 도 1, 도 4 및 도 8을 참조하면, 구강 스캐너(110)는 환자의 입술, 인중, 코 및 치아 일부를 포함하는 얼굴 영역을 스캔하여 환자의 얼굴 데이터(10)를 획득할 수 있다(S140).
사용자 인터페이스 화면(160)에는 의료 전문가가 얼굴 데이터(10)를 스캔하여 화면에 표시하는 명령을 입력하기 위한 오브젝트(164)가 표시될 수 있다. 구강 스캐너(110)에 의해 스캔된 얼굴 데이터(10)는 의료 단말기의 사용자 인터페이스 화면(160)에 표시될 수 있다.
도 9는 본 발명의 실시예에 따라 얼굴 데이터와 정합할 구강 데이터를 선택하는 화면을 나타낸 예시도이다. 사용자 인터페이스 화면(160)에는 의료 전문가가 얼굴 데이터(10)와 구강 데이터(20, 22, 40)의 정합 기능을 실행시키는 명령을 입력하기 위한 정합 오브젝트(165)가 표시될 수 있다. 의료 전문가가 사용자 인터페이스 화면(160)에서 얼굴 데이터와 구강 데이터의 정합 기능을 실행하기 위한 정합 오브젝트(165)를 입력하면, 얼굴 데이터와 정합할 구강 데이터(상악 구강 데이터, 하악 구강 데이터 또는 교합 구강 데이터)를 선택할 수 있는 선택 오브젝트(166)가 표시될 수 있다.
도 10은 본 발명의 실시예에 따라 얼굴 데이터와 정합될 구강 데이터가 선택된 화면을 나타낸 예시도이다. 도 11은 본 발명의 실시예에 따라 얼굴 데이터와 상악 구강 데이터가 정합된 것을 예시한 도면이다. 도 12 내지 도 14는 본 발명의 실시예에 따라 얼굴 데이터와 구강 데이터가 정합된 것을 예시한 도면이다.
도 1, 도 4, 도 9 내지 도 14를 참조하면, 구강 스캐너(110)를 이용하여 획득한 환자의 제1 얼굴 데이터(10) 중 환자의 치아 부분(12)에서 하나 이상의 포인트(14)가 지정되고, 구강 데이터(상악 구강 데이터, 하악 구강 데이터 또는 교합 구강 데이터)에서 제1 얼굴 데이터(10)에 지정된 포인트(14)와 대응되는 포인트가 지정되면, 정합부(130)는 제1 얼굴 데이터(10)와 구강 데이터(20, 40) 간에 정합을 수행함으로써 제1 얼굴 데이터(10)와 구강 데이터(20, 40)가 정합된 3차원 모델(30, 50)을 생성할 수 있다(S150).
구강 데이터(20, 40)와 제1 얼굴 데이터(10) 간의 정합은 예를 들어, ICP(Iterative Closest Point) 알고리즘에 의해 수행될 수 있다. ICP 알고리즘에 의해, 구강 데이터(20, 40)에서 지정된 포인트와, 제1 얼굴 데이터(10)에서 지정된 포인트 간의 대응점 쌍의 거리 에너지에 해당하는 목적함수(Objective Function)를 산출할 수 있다.
이 목적함수의 값이 최소가 되도록 하는 구강 데이터(20, 40)와 제1 얼굴 데이터(10) 간의 이동 함수를 계산하고, 이동 함수에 의해 구강 데이터(20, 40) 또는 제1 얼굴 데이터(10)의 위치를 이동하는 과정을 종료 조건을 만족할 때까지 반복하여 수행함으로써, 구강 데이터(20, 40)와 제1 얼굴 데이터(10) 간의 정합을 수행할 수 있다.
본 발명의 실시예에 의하면, 구강 외 스캔에 의해 얼굴 스캔을 측정하면서 획득한 일부 치아 부분과 이에 해당하는 구강 내 스캔에 의해 획득된 구강 데이터를 매칭시킴으로써, 보철물 제작이나 교정을 위한 보다 정확한 치료를 수행할 수 있도록 하는 구강 데이터와 얼굴 데이터가 통합된 3차원 모델을 제공할 수 있다.
즉, 본 발명의 실시예에 의하면, 구강 스캐너에 의해 획득된 환자 환부에 대한 구강 데이터와 함께 구강 외 스캔에 의해 획득한 정보를 추가로 제공하여, 치아 뿐만 아니라 환자 얼굴 등 환자의 상악/하악 전체 부위에 대한 통합 3차원 데이터를 제공할 수 있다.
이에 따라 치아 및 턱뼈 관련 질환 진료, 교정 치료시에 치아 및 얼굴 형태의 치료 전 상태 확인 및 치료 후 예상되는 변화에 대한 예측이 용이하고, 임플란트 수술 계획시에 망실된 환부 주위의 치아의 형태와 얼굴 형태를 고려하여 임플란트의 삽입 방향을 결정하거나, 보철물을 설계하는데 활용할 수 있는 이점이 있다.
도 15는 본 발명의 다른 실시예에 따른 데이터 정합을 통한 3차원 모델 생성 장치의 구성도이다. 도 15를 참조하면, 정합부(130)는 치아 데이터 추출부(132), 제1 정합부(134), 제2 정합부(136) 및 제3 정합부(138)를 포함할 수 있다. 치아 데이터 추출부(132)는 구강 스캐너(110)를 이용하여 획득한 환자의 제1 얼굴 데이터에서 환자의 치아 일부에 해당하는 치아 데이터를 추출할 수 있다.
제1 정합부(134)는 치아 데이터 추출부(132)에 의해 추출된 치아 데이터(12)를 상악 구강 데이터 및/또는 하악 구강 데이터와 매칭시켜 제1 얼굴 데이터(10)와 상/하악 구강 데이터를 정합하여, 제1 얼굴 데이터와 상/하악 구강 데이터가 정합된 3차원 모델(30)을 생성할 수 있다.
제2 정합부(136)는 치아 데이터 추출부(132)에 의해 추출된 치아 데이터와 상/하악 구강 데이터의 정합 정보(매칭 정보)를 기반으로, 제1 얼굴 데이터에 교합 구강 데이터를 정합하여, 얼굴 데이터에 교합 구강 데이터가 정합된 3차원 모델을 생성할 수 있다.
제3 정합부(138)는 3차원 데이터 생성부(140)에 의해 생성된 CT 데이터 또는 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터(제2 얼굴 데이터)를 구강 데이터(상악 구강 데이터, 하악 구강 데이터 또는 교합 구강 데이터를 포함하는 데이터)와 매칭시켜, 제2 얼굴 데이터와 구강 데이터가 정합된 3차원 모델을 생성할 수 있다. 실시예에서, 제3 정합부(138)는 구강 데이터를 환자의 코를 이용하여 제2 얼굴 데이터와 정합할 수 있다.
도 16은 본 발명의 실시예에 따라 정합할 얼굴 데이터와 구강 데이터를 선택할 수 있는 화면을 나타낸 예시도이다. 의료 전문가는 디스플레이 화면에서, 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터(80)와 CT 데이터(90) 중 어느 하나의 제2 얼굴 데이터를 선택할 수 있으며, 상악 구강 데이터, 하악 구강 데이터, 교합 구강 데이터, 또는 구강 데이터가 정합된 얼굴 데이터(10) 중 어느 하나의 구강 데이터(60)를 선택할 수 있다.
도 17은 본 발명의 실시예에 따라 교합 구강 데이터와 제1 얼굴 데이터가 정합된 구강 데이터와, 3차원 얼굴 스캔 데이터가 선택된 화면을 나타낸 예시도이다. 도 18 내지 도 21은 본 발명의 실시예에 따라 구강 데이터와 제2 얼굴 데이터를 정합하는 과정을 설명하기 위한 예시도이다. 도 17 내지 도 21의 실시예는, 3차원 얼굴 스캔 데이터(80)가 제2 얼굴 데이터로 선택되고, 교합 구강 데이터와 제1 얼굴 데이터가 정합된 데이터(70)가 구강 데이터로 선택된 예를 나타낸다.
도 15 내지 도 21을 참조하면, 먼저 도 18 및 도 19에 도시된 바와 같이, 표준 트리밍 도구(standard trimming tool)를 이용하여 제2 얼굴 데이터(구강 스캐너에 의해 획득된 얼굴 데이터)에 해당하는 3차원 얼굴 스캔 데이터(80)에서 치아를 제거할 수 있다. 다음으로, 교합 구강 데이터와 제1 얼굴 데이터가 정합된 데이터(70)와, 3차원 얼굴 스캔 데이터(80)에서 각각 환자의 코 부분, 치아 부분, 잇몸 부분, 입술 부분, 인중 부분 등에 해당하는 대응점(72, 82)이 포인트 지정되면, 제3 정합부(138)는 지정된 대응점(72, 82)을 이용하여 ICP 방법 등에 의해 두 데이터를 정합하여 3차원 얼굴 스캔 데이터(80)(제2 얼굴 데이터)에 구강 데이터(70)가 정합된 3차원 모델(84)을 생성할 수 있다.
도 22는 본 발명의 실시예에 따라 구강 데이터와 CT 데이터가 선택된 화면을 나타낸 예시도이다. 도 23 내지 도 24는 본 발명의 실시예에 따라 구강 데이터와 CT 데이터를 정합하는 과정을 설명하기 위한 예시도이다. 도 22 내지 도 24의 실시예는, CT 데이터(90)가 제2 얼굴 데이터로 선택되고, 상악 구강 데이터가 구강 데이터(60)로 선택된 예를 나타낸다.
도 15, 도 22 내지 도 24를 참조하면, 구강 데이터(60)와 CT 데이터(90)에서 각각 치아 부분에 해당하는 대응점(62, 92)이 포인트 지정되면, 제3 정합부(138)는 지정된 대응점(62, 92)을 이용하여 ICP 방법 등에 의해 두 데이터를 정합하여 CT 데이터(90)(제2 얼굴 데이터)에 구강 데이터(60)가 정합된 3차원 모델(94)을 생성할 수 있다.
도 15 내지 도 24의 실시예에 의하면, 구강 스캐너에 의해 획득된 환자 환부에 대한 구강 데이터와 함께 환자의 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터 또는 CT 데이터 등의 정보를 추가로 제공하여, 치아/잇몸 뿐 아니라 환자의 얼굴이나, 얼굴 뼈 등 환자의 얼굴 전체 부위에 대한 통합 3차원 데이터를 제공할 수 있다. 이에 따라 치아 및 턱뼈 관련 질환 진료, 교정 치료시에 치아 및 얼굴 형태의 치료 전 상태 확인 및 치료 후 예상되는 변화에 대한 예측이 보다 용이해지고, 임플란트 수술 계획시에 망실된 환부 주위의 치아의 형태와 얼굴 형태를 고려하여 임플란트의 삽입 방향을 결정하거나, 보철물을 설계하는데 활용할 수 있는 이점이 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.
예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
[부호의 설명]
100: 데이터 정합을 통한 3차원 모델 생성 장치
100': 데이터 정합부 101: 입력부
102: 통신부 103: 저장부
104: 표시부 105: 제어부
110: 구강 스캐너 120: 교합부
130: 정합부 132: 치아 데이터 추출부
134: 제1 정합부 136: 제2 정합부
138: 제3 정합부 140: 3차원 데이터 생성부
본 발명은 구강 스캐너에 의해 획득된 환자의 얼굴 데이터와 상/하악 구강 데이터 및 교합 구강 데이터를 기반으로, 다수의 데이터 정합을 통해 보철물 제작이나 교정을 위한 보다 정확한 치료를 수행할 수 있도록 하는 정보를 제공하는 데이터 정합을 통한 3차원 모델 생성 장치 및 방법, 기록 매체를 제공한다.

Claims (15)

  1. 구강 스캐너를 이용하여 환자의 상악을 스캔하여 상악 치아가 포함된 상악 구강 데이터를 획득하는 상악 스캔 단계;
    상기 구강 스캐너를 이용하여 상기 환자의 하악을 스캔하여 하악 치아가 포함된 하악 구강 데이터를 획득하는 하악 스캔 단계;
    상기 구강 스캐너를 이용하여 상기 상악 치아와 상기 하악 치아가 교합된 상태의 교합 구강 데이터를 획득하는 교합 단계;
    상기 구강 스캐너를 이용하여 상기 환자의 얼굴을 스캔하여 제1 얼굴 데이터를 획득하는 얼굴 스캔 단계; 및
    상기 제1 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터 및 상기 교합 구강 데이터 중 적어도 하나와 정합하는 정합 단계를 포함하는,
    데이터 정합을 통한 3차원 모델 생성 방법.
  2. 제1항에 있어서,
    상기 정합 단계는,
    상기 제1 얼굴 데이터에서 상기 환자의 치아 일부에 해당하는 치아 데이터를 추출하는 치아 데이터 추출 단계;
    상기 치아 데이터를 상기 상악 구강 데이터 및 상기 하악 구강 데이터 중 적어도 하나의 구강 데이터와 매칭시켜 정합하는 제1 정합 단계; 및
    상기 치아 데이터와 상기 구강 데이터의 정합 정보를 기반으로, 상기 제1 얼굴 데이터에 상기 교합 구강 데이터를 정합하는 제2 정합 단계를 포함하는,
    데이터 정합을 통한 3차원 모델 생성 방법.
  3. 제1항에 있어서,
    상기 제1 얼굴 데이터는 상기 환자의 코를 포함하는 얼굴 영역을 스캔하여 획득되는, 데이터 정합을 통한 3차원 모델 생성 방법.
  4. 제3항에 있어서,
    상기 제1 얼굴 데이터는 상기 환자의 코와 치아 일부 사이에서 입술 및 인중을 포함하는 얼굴 영역을 스캔하여 획득되는, 데이터 정합을 통한 3차원 모델 생성 방법.
  5. 제1항에 있어서,
    상기 얼굴 스캔 단계는 상기 환자의 치아 일부가 포함되도록 상기 제1 얼굴 데이터를 스캔하는, 데이터 정합을 통한 3차원 모델 생성 방법.
  6. 제1항에 있어서,
    상기 정합 단계는, 상기 환자의 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터 및 CT 데이터 중 적어도 하나를 포함하는 제2 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 구강 데이터와 정합하는 단계를 포함하는,
    데이터 정합을 통한 3차원 모델 생성 방법.
  7. 제6항에 있어서,
    상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 상기 구강 데이터는 상기 환자의 코를 이용하여 상기 제2 얼굴 데이터와 정합되는, 데이터 정합을 통한 3차원 모델 생성 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 데이터 정합을 통한 3차원 모델 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  9. 환자의 상악 치아를 스캔하여 상악 구강 데이터를 획득하고, 상기 환자의 하악 치아를 스캔하여 하악 구강 데이터를 획득하고, 상기 상악 치아와 상기 하악 치아가 교합된 상태에서 상기 환자의 치아 일부를 스캔하여 치아 스캔 데이터를 획득하고, 상기 환자의 얼굴을 스캔하여 제1 얼굴 데이터를 획득하는 구강 스캐너;
    상기 치아 스캔 데이터를 이용하여 상기 상악 구강 데이터와 상기 하악 데이터가 교합된 상태의 교합 구강 데이터를 획득하는 교합부; 및
    상기 제1 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터 및 상기 교합 구강 데이터 중 적어도 하나와 정합하는 정합부를 포함하는,
    데이터 정합을 통한 3차원 모델 생성 장치.
  10. 제9항에 있어서,
    상기 정합부는,
    상기 제1 얼굴 데이터에서 상기 환자의 치아 일부에 해당하는 치아 데이터를 추출하는 치아 데이터 추출부;
    상기 치아 데이터를 상기 상악 구강 데이터 및 상기 하악 구강 데이터 중 적어도 하나의 구강 데이터와 매칭시켜 정합하는 제1 정합부; 및
    상기 치아 데이터와 상기 구강 데이터의 정합 정보를 기반으로, 상기 제1 얼굴 데이터에 상기 교합 구강 데이터를 정합하는 제2 정합부를 포함하는,
    데이터 정합을 통한 3차원 모델 생성 장치.
  11. 제9항에 있어서,
    상기 제1 얼굴 데이터는 상기 환자의 코를 포함하는 얼굴 영역을 스캔하여 획득되는, 데이터 정합을 통한 3차원 모델 생성 장치.
  12. 제11항에 있어서,
    상기 제1 얼굴 데이터는 상기 환자의 코와 치아 일부 사이에서 입술 및 인중을 포함하는 얼굴 영역을 스캔하여 획득되는, 데이터 정합을 통한 3차원 모델 생성 장치.
  13. 제12항에 있어서,
    상기 구강 스캐너는 상기 환자의 치아 일부가 포함되도록 상기 제1 얼굴 데이터를 획득하는, 데이터 정합을 통한 3차원 모델 생성 장치.
  14. 제9항에 있어서,
    상기 정합부는,
    상기 환자의 얼굴 전체를 스캔한 3차원 얼굴 스캔 데이터 및 CT 데이터 중 적어도 하나를 포함하는 제2 얼굴 데이터를 상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 구강 데이터와 정합하는,
    데이터 정합을 통한 3차원 모델 생성 장치.
  15. 제14항에 있어서,
    상기 정합부는,
    상기 상악 구강 데이터, 상기 하악 구강 데이터, 및 상기 교합 구강 데이터 중 적어도 하나를 포함하는 상기 구강 데이터를 상기 환자의 코를 이용하여 상기 제2 얼굴 데이터와 정합하는, 데이터 정합을 통한 3차원 모델 생성 장치.
PCT/KR2021/000208 2020-01-07 2021-01-07 데이터 정합을 통한 3차원 모델 생성 장치 및 방법 WO2021141416A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21738175.5A EP4071724A4 (en) 2020-01-07 2021-01-07 APPARATUS AND METHOD FOR GENERATING THREE-DIMENSIONAL MODEL THROUGH DATA MATCHING
US17/858,091 US20220338738A1 (en) 2020-01-07 2022-07-06 Apparatus and method for generating three-dimensional model through data matching

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200002044A KR20210088946A (ko) 2020-01-07 2020-01-07 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
KR10-2020-0002044 2020-01-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/858,091 Continuation US20220338738A1 (en) 2020-01-07 2022-07-06 Apparatus and method for generating three-dimensional model through data matching

Publications (1)

Publication Number Publication Date
WO2021141416A1 true WO2021141416A1 (ko) 2021-07-15

Family

ID=76788114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000208 WO2021141416A1 (ko) 2020-01-07 2021-01-07 데이터 정합을 통한 3차원 모델 생성 장치 및 방법

Country Status (4)

Country Link
US (1) US20220338738A1 (ko)
EP (1) EP4071724A4 (ko)
KR (1) KR20210088946A (ko)
WO (1) WO2021141416A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11937996B2 (en) * 2019-11-05 2024-03-26 Align Technology, Inc. Face capture and intraoral scanner and methods of use
KR102472029B1 (ko) 2020-12-08 2022-11-30 오스템임플란트 주식회사 가상 교합기를 제공하는 디바이스 및 방법
KR102615021B1 (ko) * 2021-10-14 2023-12-20 주식회사 메디트 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체
KR102670128B1 (ko) * 2021-12-29 2024-05-30 주식회사 메디트 데이터 처리 장치 및 그 동작 방법
KR102533659B1 (ko) * 2022-02-28 2023-05-18 이마고웍스 주식회사 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20230137779A (ko) * 2022-03-22 2023-10-05 주식회사 레이 3차원 얼굴 스캔 데이터의 생성 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140242539A1 (en) * 2011-10-06 2014-08-28 3Shape A/S Virtual design of attachment of dental model in articulator
KR20140105473A (ko) * 2011-11-15 2014-09-01 트리스페라 덴탈 아이엔씨. 3ｄ 모델을 준비하기 위해 개인으로부터 데이터를 획득하기 위한 방법 및 시스템
KR20170125599A (ko) * 2016-05-04 2017-11-15 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법
JP2019051323A (ja) * 2012-05-17 2019-04-04 デピュイ・シンセス・プロダクツ・インコーポレイテッド 外科手術計画の方法
US20190216580A1 (en) * 2010-02-25 2019-07-18 3Shape A/S Dynamic virtual articulator for simulating occlusion of teeth

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8021147B2 (en) * 2001-04-13 2011-09-20 Orametrix, Inc. Method and system for comprehensive evaluation of orthodontic care using unified workstation
US7156655B2 (en) * 2001-04-13 2007-01-02 Orametrix, Inc. Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
US7717708B2 (en) * 2001-04-13 2010-05-18 Orametrix, Inc. Method and system for integrated orthodontic treatment planning using unified workstation
US20140379356A1 (en) * 2013-06-20 2014-12-25 Rohit Sachdeva Method and system for integrated orthodontic treatment planning using unified workstation
US10779917B2 (en) * 2018-02-20 2020-09-22 Ivoclar Vivadent Ag Computer implemented method for modifying a digital three-dimensional model of a dentition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190216580A1 (en) * 2010-02-25 2019-07-18 3Shape A/S Dynamic virtual articulator for simulating occlusion of teeth
US20140242539A1 (en) * 2011-10-06 2014-08-28 3Shape A/S Virtual design of attachment of dental model in articulator
KR20140105473A (ko) * 2011-11-15 2014-09-01 트리스페라 덴탈 아이엔씨. 3ｄ 모델을 준비하기 위해 개인으로부터 데이터를 획득하기 위한 방법 및 시스템
JP2019051323A (ja) * 2012-05-17 2019-04-04 デピュイ・シンセス・プロダクツ・インコーポレイテッド 外科手術計画の方法
KR20170125599A (ko) * 2016-05-04 2017-11-15 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4071724A4 *

Also Published As

Publication number Publication date
KR20210088946A (ko) 2021-07-15
EP4071724A1 (en) 2022-10-12
US20220338738A1 (en) 2022-10-27
EP4071724A4 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
WO2021141416A1 (ko) 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
CN109414306B (zh) 用于口内扫描的历史扫描参考
US10952817B1 (en) Systems and methods for determining orthodontic treatments
WO2021145544A1 (ko) 교정적 치아배열 형상 생성 방법 및 장치
KR101915215B1 (ko) 구강내 스캔 중 관심 구역의 식별
ES2896679T3 (es) Producto de programa informático para la planificación, visualización y optimización de restauraciones dentales
ES2717447T3 (es) Creación asistida por ordenador de una preparación de diente habitual usando análisis facial
US7245753B2 (en) Method for determining dental alignment using radiographs
WO2016003255A2 (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
KR20170125924A (ko) 구강 이미지의 자동 선택 및 잠금
TWI728374B (zh) 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
US10945811B1 (en) Systems and methods for determining orthodontic treatments
BRPI0613627A2 (pt) registro de formação de imagem tridimensional de objetos tridimensionais
JP2021514232A (ja) 患者の歯列の３次元モデルをカメラによって記録された患者の顔の画像に整合させるための方法
Huang et al. Effect of distance between the abutment and the adjacent teeth on intraoral scanning: An in vitro study
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
CN112419476A (zh) 牙科病人三维虚拟图像的创建方法及系统
KR102215068B1 (ko) 임플란트 진단용 영상 정합을 위한 장치 및 방법
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
US11654002B2 (en) Method for determining and visualizing tooth movements and planned instances of tooth repositioning
WO2019124845A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
Elkholy et al. Artificial intelligence in orthodontics: Part 2–Status quo
US20240189076A1 (en) Method of generating manufacturing parameters during a dental procedure for a dental prosthesis
US20240024076A1 (en) Combined face scanning and intraoral scanning
KR20210059726A (ko) 구강내 스캐너를 사용하여 3d 데이터를 획득하는 하이브리드 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21738175

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021738175

Country of ref document: EP

Effective date: 20220707

NENP Non-entry into the national phase

Ref country code: DE