WO2021145713A1 - 가상 모델 생성 장치 및 방법 - Google Patents

가상 모델 생성 장치 및 방법 Download PDF

Info

Publication number
WO2021145713A1
WO2021145713A1 PCT/KR2021/000576 KR2021000576W WO2021145713A1 WO 2021145713 A1 WO2021145713 A1 WO 2021145713A1 KR 2021000576 W KR2021000576 W KR 2021000576W WO 2021145713 A1 WO2021145713 A1 WO 2021145713A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
virtual model
model
tooth
region
Prior art date
Application number
PCT/KR2021/000576
Other languages
English (en)
French (fr)
Inventor
이동훈
서범식
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to EP21741804.5A priority Critical patent/EP4075391A4/en
Publication of WO2021145713A1 publication Critical patent/WO2021145713A1/ko
Priority to US17/864,366 priority patent/US20220346913A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present invention relates to an apparatus and method for generating a virtual model (APPARATUS AND METHOD FOR GENERATING VIRTUAL MODEL).
  • An object of the present invention is to provide an apparatus and method for generating a virtual model in which a tooth model can be easily and quickly generated by automatically removing a noise region having a low density from measurement data.
  • Another object of the present invention is to provide an apparatus and method for generating a virtual model, in which an unnecessary area in a virtual model is automatically selected as a deletion target area and, at the same time, a necessary area is excluded from the deletion target area to provide a high-precision measurement model. is in providing.
  • Another object of the present invention is to provide an apparatus and method for generating a virtual model, which automatically selects a designated area according to a user's icon selection in a virtual model, and creates a tooth model simply and quickly based on the designated area. is in providing.
  • a virtual model generating apparatus for achieving the above object is a scanner that acquires a continuous 2D image in a measurement space, and generates a three-dimensional virtual model by converting the image obtained from the scanner It includes a model generating unit that
  • the model generator may remove one region according to data reliability among the three-dimensional virtual model and generate a final model based on the remaining region.
  • the model generator may calculate a region in which data reliability is less than a preset reference value in the 3D virtual model, and generate the final model by removing the calculated region.
  • the device displays the generated 3D virtual model on a display screen, selects the calculated area from among the 3D virtual model as a deletion target area, and displays the selected area on the display screen It is characterized in that it further comprises a control unit.
  • the deletion target area may be an area in the 3D virtual model in which data density is less than a preset reference value.
  • the reference value is characterized in that it is adjustable.
  • the reference value is characterized in that it is adjusted by operating a selection bar or button provided in the operation unit of the display screen.
  • the controller may provide a tool for correcting the deletion target area through the display screen before generating the final model.
  • the model generation unit may exclude a necessary area from the deletion target area according to an operation of a deselection tool.
  • the required area is characterized in that it includes a tooth area.
  • the required area may include a tooth area and a peripheral area of the tooth area.
  • the apparatus performs machine learning using the tooth image and the gingival image of the reference data as input data when the region lock tool is executed, and distinguishes the teeth and the gingiva as a result of the machine learning learning. It is characterized in that it further comprises a learning unit for extracting the rules for.
  • the apparatus divides a tooth image based on a rule extracted as a result of performing the machine learning, and extracts a tooth region of the 3D virtual model based on the divided tooth image It is characterized in that it further comprises an image analysis unit.
  • the model generating unit may set a lock on the tooth region of the 3D virtual model, and exclude the locked region from the deletion target region.
  • the model generator sets a lock on the region selected by the tool manipulation, and excludes the locked region from the deletion target region.
  • the model generator may automatically select a designated area among the 3D virtual model by a designated area selection tool, and generate the final model based on the selected designated area.
  • the designated area selection tool selects a first icon corresponding to the entire target area including teeth and gingiva of the 3D virtual model, a second icon corresponding to the gingiva and tooth area, and a third icon corresponding to the tooth area. characterized by including.
  • the model generating unit may select an entire target area of the 3D virtual model as a designated area and generate the final model based on measurement data of the entire target area.
  • the model generation unit selects a tooth area of the 3D virtual model and a partial gingival area around the tooth area as a designated area, and measures the tooth area and a partial gingival area around the tooth area It is characterized in that the final model is generated based on the data.
  • the model generator may remove a region in which data reliability is less than a reference value from among the gingival regions of the 3D virtual model.
  • the model generating unit may select a tooth area of the 3D virtual model as a designated area and generate the final model based on measurement data of the tooth area.
  • the method for generating a virtual model according to an embodiment of the present invention for achieving the above object includes the steps of: acquiring continuous images in a measurement space with a scanner; converting the images acquired from the scanner to create a three-dimensional virtual model generating, and removing one region according to data reliability among the three-dimensional virtual model and generating a final model based on the remaining region.
  • a tooth model can be created simply and quickly by automatically removing a noise region having a low density from measurement data, thereby increasing user convenience.
  • a high-precision measurement model can be provided by automatically selecting an unnecessary region from the virtual model as a deletion target region and excluding a necessary region from the deletion target region.
  • FIG. 1 is a diagram illustrating a configuration of an apparatus for generating a virtual model according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a three-dimensional virtual model according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a deletion target area of a 3D virtual model according to an embodiment of the present invention.
  • 4A and 4B are diagrams illustrating a correction operation of an area to be deleted according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a final model according to an embodiment of the present invention.
  • 6A and 6B are diagrams illustrating a correction operation of an area to be deleted according to the second embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a designated area selection tool according to an embodiment of the present invention.
  • FIGS. 8A to 8C are diagrams illustrating a final model generated based on a designated area according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an image of measurement data according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a machine learning-based tooth region detection operation according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example of measurement data according to an embodiment of the present invention.
  • FIGS. 12 and 13 are diagrams illustrating an operation flow of a method for generating a virtual model according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a first embodiment of a method for generating a virtual model according to an embodiment of the present invention.
  • 15 is a diagram illustrating a second embodiment of a method for generating a virtual model according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration of an apparatus for generating a virtual model according to an embodiment of the present invention.
  • the virtual model generating apparatus 100 includes a control unit 110 , an interface unit 120 , a communication unit 130 , a storage unit 140 , an image analysis unit 150 , a learning unit 160 , and a model.
  • a generator 170 may be included.
  • the controller 110 , the image analyzer 150 , the learner 160 , and the model generator 170 of the virtual model generating apparatus 100 according to the present embodiment may be implemented as at least one or more processors. can
  • the controller 110 may control the operation of each component of the virtual model generating apparatus 100 and may process a signal transmitted between each component.
  • the interface unit 120 may include an input unit for receiving a command from a user and an output unit for outputting an operation state and result of the virtual model generating apparatus 100 .
  • the input means receives control commands for scan, data recognition, and model generation, and condition data for tooth model generation is set or input.
  • the input means may include a key button, and may include a mouse, a joystick, a jog shuttle, a stylus pen, and the like.
  • the input means may include a soft key implemented on the display.
  • the output means may include a display, and may include an audio output means such as a speaker.
  • a touch sensor such as a touch film, a touch sheet, or a touch pad
  • the display operates as a touch screen, and the input means and the output means are integrated.
  • Measurement data received from the scanner 10 may be displayed on the display, and a 3D virtual model and/or a finally generated tooth model generated based on the scan data may be displayed.
  • the measurement data may include an intraoral scan image scanned with a scanner.
  • the display may include a liquid crystal display (LCD), an organic light-emitting diode (OLED), a flexible display, a three-dimensional display (3D display), and the like.
  • LCD liquid crystal display
  • OLED organic light-emitting diode
  • flexible display a three-dimensional display
  • 3D display three-dimensional display
  • the communication unit 130 may include a communication module supporting a communication interface with the scanner 10 .
  • the communication module may receive the measurement data from the scanner 10 by communication with the scanner 10 for obtaining the measurement data in the oral cavity.
  • the communication module may communicate with the scanner 10 in a wired or wireless manner.
  • the wired communication technology may include universal serial bus (USB) communication, and the like, and the wireless communication technology includes wireless Internet such as wireless LAN (WLAN), wireless broadband (Wibro), and Wi-Fi.
  • Wi-Fi wireless LAN
  • Communication technology and/or short-range wireless communication technology such as Bluetooth, ZigBee, Radio Frequency Identification (RFID), etc. may be included.
  • the scanner 10 acquires two-dimensional or three-dimensional scan data by recognizing the teeth, and transmits the obtained measurement data to the communication unit 130 .
  • the scanner 10 may be an intraoral scanner or a model scanner.
  • the virtual model generating apparatus 100 is illustrated as being connected to the scanner 10 through the communication unit 130 , but the scanner 10 is included as a component of the virtual model generating apparatus 100 . It may be implemented in the form.
  • the storage unit 140 may store measurement data received from the scanner 10 . Also, the storage unit 140 may store tooth and gingival images recognized from the measurement data, a 3D virtual model, a final model generated based on the 3D virtual model, and the like.
  • the storage unit 140 may store learning data and/or an algorithm used to segment a tooth image from the measurement data. Also, the storage unit 140 may store condition data for selecting a deletion target region from among the 3D virtual model and correcting the selected deletion target region and/or an algorithm for executing a corresponding command.
  • the storage unit 140 may store a command and/or an algorithm for generating a final model based on a designated area selected by a user among the 3D virtual model.
  • the storage unit 140 includes a random access memory (RAM), a static random access memory (SRAM), a read-only memory (ROM), a programmable read-only memory (PROM), and an electrically erasable programmable read (EEPROM).
  • RAM random access memory
  • SRAM static random access memory
  • ROM read-only memory
  • PROM programmable read-only memory
  • EEPROM electrically erasable programmable read
  • -Only Memory may include a storage medium.
  • the image analyzer 150 may process the input measurement data in a recognizable form.
  • the image analysis unit 150 analyzes the measurement data input (received) from the scanner 10 to recognize the shape of the object. For example, the image analyzer 150 recognizes shapes of teeth, gingiva, and the like from the measurement data, respectively.
  • the image analysis unit 150 may divide the image into a tooth image and a gingival image using an image segmentation algorithm, and recognize the shape of the object from each of the divided images.
  • the image analysis unit 150 provides shape information of the recognized object to the model generation unit 170 .
  • the image analysis unit 150 divides the image of the measurement data for each object based on the rule data learned by the learning unit 160 .
  • the image analyzer 150 may divide the image of the measurement data into a tooth image and a gingival image.
  • the image analysis unit 150 recognizes a tooth region in the 3D virtual model based on the segmented tooth image using the learned rule data. can do.
  • the image analyzer 150 may divide the image of the measurement data into a tooth image and a gingival image by using a machine learning-based semantic segmentation technique.
  • the image analyzer 150 may provide segmentation information of the tooth image to the controller 110 and/or the model generator 170 .
  • the learning unit 160 performs machine learning based on a two-dimensional or three-dimensional tooth image as a reference. At this time, the learning unit 160 divides the tooth and the gingiva from the reference tooth image and uses it as input data, and extracts a rule for distinguishing the tooth and the gingiva as a result of performing machine learning.
  • the learning unit 160 divides the image of the measurement data into the teeth and the gingiva as input data to acquire data to be used for learning, and uses the acquired data a backpropogation algorithm to distinguish between the teeth and the gingiva. data can be extracted.
  • the learning unit 160 may store the extracted rule data in the storage unit 140 and provide it to the control unit 110 and/or the image analysis unit 150 .
  • the image analysis unit 150 may perform machine learning according to the rule extracted by the learning unit 160 , and may divide the tooth region and the gingival region from the 3D virtual model based on the machine learning execution result.
  • the model generating unit 170 generates a 3D virtual model based on the tooth image analysis result of the image analyzing unit 150 .
  • the controller 110 may display the 3D virtual model generated by the model generator 170 on the display screen.
  • the controller 110 executes the model generation algorithm so that the user can check and/or modify the measurement data, the 3D virtual model, and the like, and displays an execution screen of the model generation algorithm on the display.
  • the controller 110 may display the measurement data, the 3D virtual model, and the like on the display unit on the execution screen displayed on the display.
  • the control unit 110 may control execution of a manipulation tool provided in the manipulation unit of the execution screen, and may control a corresponding operation to be performed by activating a tool manipulated or selected by a user.
  • control unit 110 operates each unit so that a corresponding operation can be performed when a deletion region selection tool, a selection bar, a selection release tool, a region lock tool, a model creation tool, etc. provided in the operation unit of the execution screen are selected.
  • the model generating unit 170 selects a deletion target area from among the 3D virtual models displayed on the display screen under the control of the controller 110 , corrects the deletion target area, and removes the deletion target area from the 3D virtual model and create the final model.
  • controller 110 may activate the designated area selection tool provided in the operation unit of the execution screen to control the operation of each unit so that a corresponding operation is performed according to the icon selection of the designated area selection tool.
  • the designated area selection tool is for selecting a designated area for generating a final model from the 3D virtual model, and performing an operation of generating a final model based on the designated area.
  • the designated area selection tool is a first icon for designating the entire target area including the teeth and gingiva of the 3D virtual model as the model generation area, and designating the tooth area and some gingival areas around the tooth area as the model generation area. It may include a second icon for, a third icon for designating the tooth area as a model generation area, and the like.
  • the model generator 170 automatically selects a set area corresponding to the selected icon from among the 3D virtual model as the designated area. In this case, the model generator 170 may generate a final model based on a designated area automatically selected in response to the icon.
  • the model generating unit 170 may delete data for an area other than the designated area among the measurement data before generating the final model. Meanwhile, the model generating unit 170 may remove a region in which the reliability is less than the reference value for regions other than the designated region, and include the remaining regions in the final model.
  • the controller 110 may display the tooth model generated based on the designated area on the display unit on the execution screen.
  • FIG. 2 is a diagram illustrating a three-dimensional virtual model according to an embodiment of the present invention.
  • the measurement data received from the scanner 10 is displayed on the display of the virtual model generating apparatus 100 , and the virtual model generating apparatus 100 recognizes the shape of teeth and gingiva from the measured data, and , to create a three-dimensional virtual model based on the recognized shape.
  • the virtual model generating apparatus 100 may execute the model generating algorithm and display the 3D virtual model on the execution screen of the model generating algorithm.
  • the execution screen of the model generation algorithm may include a plurality of manipulation units 211 , 212 , 213 , 214 and a display unit 221 , as shown in FIG. 2 .
  • the plurality of manipulation units 211 , 212 , 213 , and 214 operate for executing operations such as changing the direction of the 3D virtual model, selecting, deselecting and/or removing a region to be deleted, dividing a tooth region and/or setting a lock. Tools may be included.
  • the display unit 221 may display measurement data input from the scanner 10 , a 3D virtual model, a deletion target area, and/or a final model.
  • FIG. 3 is a diagram illustrating a deletion target area of a 3D virtual model according to an embodiment of the present invention.
  • the virtual model generating apparatus 100 displays the 3D virtual model on the display unit of the execution screen as shown in FIG. 2 , and when the deletion area selection tool of the manipulation unit 211 is selected, one of the 3D virtual models is displayed.
  • the deletion target area 313 may be automatically selected and displayed on the 3D virtual model displayed on the execution screen.
  • the virtual model generating apparatus 100 automatically selects the deletion target area 313 of the 3D virtual model. can be selected and displayed on the 3D virtual model displayed on the execution screen.
  • the virtual model generating apparatus 100 may select, as the deletion target area 313 , an area in the 3D virtual model in which the density of data is less than a preset reference value.
  • the density of data refer to the embodiment of FIG. 11 .
  • the deletion target area 313 may be visually expressed differently.
  • the density of data may be expressed differently, such as green, yellow, red, and the like, according to a reference range.
  • the user may determine the density range selected by the selection bar 315 according to the color difference with respect to the density of data.
  • the green color when the density range is divided into green, yellow, and red and expressed, the green color may be classified as an area having a high reliability of data density higher than or equal to an upper reference value.
  • the yellow color may be divided into a medium reliability region in which data density is between an upper reference value and a lower reference value.
  • the red color may be divided into an area having a low reliability because the data density is less than a lower reference value.
  • the user may move the position of the selection bar 315 provided on the manipulation unit.
  • the reference value for selecting the deletion target area 313 may be adjusted according to the movement of the selection bar 315 provided in the manipulation unit 211 , and the reference value decreases or increases according to the movement of the selection bar 315 . Accordingly, the deletion target area 313 may be widened or narrowed.
  • the density range may not necessarily be expressed by being divided by color, and for example, the density range may be expressed to have different patterns according to the reference range.
  • the selection bar is configured in the form of a slide, but may be configured in various forms, such as in the form of a plurality of color buttons with respect to the color.
  • 4A and 4B are diagrams illustrating a correction operation of an area to be deleted according to the first embodiment of the present invention.
  • the density of the 3D virtual model based on the measurement data is not constant, a portion in which the data density of the teeth of the 3D virtual model or its surroundings is lower than the reference value may occur. Accordingly, as shown in FIG. 4A , there is a risk that a tooth or a necessary area around the tooth may be selected as the deletion target area.
  • the tooth or the image around the tooth is a necessary area necessary to create a highly reliable virtual model, so it is not subject to deletion. Accordingly, the user may select the selection deselection tool 411 provided in the manipulation unit of the execution screen and select a necessary area among the deletion target areas as the area 415 to deselect.
  • the deletion target region in the tooth region of the 3D virtual model is released as shown in reference numeral 421 of FIG. 4B .
  • the user can prevent the required area of the 3D virtual model from being designated as the deletion target and deleted by the tool manipulation.
  • FIG. 5 is a diagram illustrating a final model according to an embodiment of the present invention.
  • the virtual model generating apparatus 100 removes the determined deletion target area from the 3D virtual model and generates a final model.
  • the virtual model generating apparatus 100 displays the final model 511 on the display unit of the execution screen as shown in FIG. 5 .
  • the final model 511 displayed on the display has a neat shape because the deletion target region, that is, the region having the data density less than the reference value is removed.
  • the final model is generated while the tooth region of the 3D virtual model is maintained as it is, it is possible to provide a high-accuracy tooth model.
  • 6A and 6B are diagrams illustrating a correction operation of an area to be deleted according to the second embodiment of the present invention.
  • An image of a tooth or a tooth surrounding it is essential for creating a highly reliable virtual model, so it is not subject to deletion. Accordingly, when the region locking tool 611 provided in the operation unit of the execution screen is selected by the user, the virtual model generating apparatus 100 performs machine learning, and from the measurement data according to a rule extracted as a learning result of the machine learning. A tooth image is automatically segmented, and a tooth region 615 in the 3D virtual model is extracted based on the segmented tooth image.
  • the virtual model generating apparatus 100 sets a lock on the tooth region 615 extracted from the 3D virtual model.
  • the virtual model generating apparatus 100 may automatically release the tooth area 615 extracted based on machine learning among the area to be deleted from the area to be deleted, and the extracted tooth area ( The final model 621 may be generated by removing the deletion target area from the area other than 615 .
  • the user may manually select an area to be locked on the image of the measurement data, and may set the lock for the area selected by the user. In this case, it is possible to set a lock on the tooth area even if machine learning is not performed.
  • FIG. 7 to 8C are diagrams illustrating an operation of generating a final model according to another embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a designated area selection tool according to an embodiment of the present invention.
  • the designated area selection tool provides a function for designating an area in which a final model is to be generated among the 3D virtual model.
  • the designated area selection tool may be displayed in one area of the execution screen, and may include a first icon 711 , a second icon 712 , and a third icon 713 .
  • the first icon 711 means an icon for selecting the entire target area including the teeth and gingiva in the oral cavity among the 3D virtual model as the designated area.
  • the designated area selected by the manipulation of the first icon 711 may include the entire target area to which the filtering function is not performed.
  • the second icon 712 refers to an icon for selecting a tooth area and a partial gingival area around the tooth area in the 3D virtual model as a designated area.
  • the designated area selected by the manipulation of the second icon 712 may not include the remaining gingival area except for some gingival areas around the tooth area due to the performance of the filtering function.
  • the third icon means an icon for selecting a tooth area excluding the gingiva as a designated area in the 3D virtual model.
  • the designated area selected by the manipulation of the third icon 713 may not include all areas other than the tooth area.
  • the user may select an icon corresponding to a desired area from among the icons of the designated area selection tool.
  • the virtual model generating apparatus 100 recognizes an area set corresponding to the selected icon among the 3D virtual model as a designated area and automatically selects the designated area in the 3D virtual model. You can select, create a final model based on the selected designated area and display it on the execution screen.
  • the virtual model generating apparatus 100 may select a designated area from among the 3D virtual model by machine learning. In this case, when the second icon or the third icon is selected, the virtual model generating apparatus 100 automatically deletes measurement data for an area other than the designated area among the measurement data, and designates it using the measurement data of the selected designated area. A final model based on the domain can be created.
  • the virtual model generating apparatus 100 selects the entire target area of the 3D virtual model as the designated area.
  • the virtual model generating apparatus 100 generates a tooth model, ie, a first model, using the measurement data of the entire target area including the tooth and gingiva selected as the designated area, and displays the generated first model on the execution screen.
  • a tooth model ie, a first model
  • the virtual model generating apparatus 100 generates the first model based on the measurement data of the entire target area without performing a separate soft tissue removal operation.
  • FIG. 8A An embodiment of the first model displayed on the execution screen according to the selection of the first icon may be illustrated as shown in FIG. 8A .
  • the first model illustrated in FIG. 8A is generated based on measurement data of the entire target area, and includes a lot of soft tissue because a separate soft tissue removal operation is not performed. Therefore, the first model may be usefully used when scanning an edentulous jaw without teeth.
  • the virtual model generating apparatus 100 selects a tooth area recognized by machine learning among the 3D virtual model and some gingival areas around the tooth area as the designated area. do.
  • the virtual model generating apparatus 100 may remove a region in which data reliability is less than a reference value among the gingival regions of the 3D virtual model, and select the remaining tooth region and some gingival regions as designated regions.
  • the virtual model generating apparatus 100 generates a tooth model based on teeth and a gingival area, that is, a second model, using measurement data of a tooth area selected as a designated area and a partial gingival area around the tooth area,
  • the second model may be displayed on the execution screen.
  • FIG. 8B An embodiment of the second model displayed on the execution screen according to the selection of the second icon may be shown as shown in FIG. 8B .
  • the model shown in FIG. 8B was generated based on the measurement data of the tooth area and some gingival areas around the tooth area, and soft tissue that interferes with the scan in the gingival area was removed. Accordingly, the second model based on the gingival and tooth regions may be usefully used when scanning general teeth.
  • the virtual model generating apparatus 100 selects a tooth area recognized by machine learning from among the 3D virtual model as the designated area.
  • the virtual model generating apparatus 100 may delete measurement data received for an area other than the selected designated area in real time, and in this process, all soft tissues of the gingival area may be removed.
  • the virtual model generating apparatus 100 may generate a tooth model based on the tooth area, that is, the third model, using the measurement data of the tooth area selected as the designated area, and the generated third model may be displayed on the execution screen. there is.
  • the virtual model generating apparatus 100 may generate a third model based on the remaining tooth area after excluding the gingival area from the second model.
  • FIG. 8C An embodiment of the third model displayed on the execution screen according to the selection of the third icon may be shown as shown in FIG. 8C .
  • the model shown in FIG. 8C was generated based on the measurement data of the tooth area, and all soft tissues were removed. Therefore, the third model based on the tooth region may be usefully used when only teeth are scanned.
  • FIG. 9 is a diagram illustrating measurement data according to an embodiment of the present invention
  • FIG. 10 is a diagram illustrating a machine learning-based tooth region detection operation according to an embodiment of the present invention.
  • the virtual model generating apparatus 100 divides a tooth image and a gingival image from the measurement data (image) of FIG. 9 , and performs machine learning on the divided tooth image and the gingival image as input data to distinguish the tooth image and the gingival image Extract rules for
  • pixels having the same property are grouped and segmented. In this case, if the object to be divided does not have consistent properties, accurate division is impossible.
  • the image segmentation technique may only allow division (segmentation) of a region, and the meaning of the separated region may not be accurately recognized.
  • the virtual model generating apparatus 100 obtains data to be used for learning by dividing the teeth and gingiva by using the image of the measurement data as input data, as shown in FIG. 10, and backpropagating the obtained data ( Backpropogation) algorithm can be used to extract rules that distinguish between teeth and gingiva.
  • the virtual model generating apparatus 100 divides the tooth image 1011 from the measurement data based on the rule extracted as a learning result of machine learning, and the tooth in the 3D virtual model based on the divided tooth image 1011 . area is extracted.
  • the extracted tooth area may be used to exclude the tooth area from the deletion target in the 3D virtual model. Meanwhile, the extracted tooth area may be used to determine the designated area according to the icon selection of the designated area selection tool.
  • FIG. 11 is a diagram illustrating an example of measurement data according to an embodiment of the present invention.
  • the scanner may measure the intraoral area several times per cycle instead of only scanning the intraoral tooth image once. In this case, some measured data may vary depending on the state of the oral cavity when scanning the intraoral region.
  • data may be measured only for area A with teeth, and at the second measurement, other materials in area B in the oral cavity other than area A with teeth are measured. can be measured together.
  • the final measurement data is data measured during the first measurement, the second measurement, and the third measurement, and three data are accumulated for the A area, two data are accumulated for the B area, For region C, one data is accumulated.
  • the area A in which the three pieces of data are accumulated, has a higher data density than the areas B and C, and thus it can be determined as an area with high reliability.
  • area B may be determined as an area with medium reliability because two data are accumulated and data density is medium
  • area C may be determined as an area with low reliability due to accumulation of one data density.
  • the virtual model generating apparatus 100 may be implemented in the form of an independent hardware device, and as at least one or more processors, other hardware devices such as a microprocessor or a general-purpose computer system. It can be driven in the form included in the .
  • FIGS. 12 and 13 are diagrams illustrating an operation flow of a method for generating a virtual model according to the present invention.
  • the virtual model generating apparatus 100 when measurement data is input from the scanner 10 ( S110 ), the virtual model generating apparatus 100 generates a 3D virtual model based on the input measurement data ( S120 ).
  • the virtual model generating apparatus 100 recognizes the shape of each object such as teeth and gingiva from the measurement data, and generates a 3D virtual model according to the recognized shape.
  • the virtual model generating apparatus 100 may generate a 3D virtual model corresponding to the measurement data using a 3D modeling algorithm.
  • the virtual model generating apparatus 100 displays the generated 3D virtual model on the display screen so that the user can check it (S130).
  • An embodiment of the three-dimensional virtual model will be referred to FIG. 2 .
  • the virtual model generating apparatus 100 selects and displays a deletion target area from among the 3D virtual model (S140).
  • the deletion target region means a region in the 3D virtual model in which the data density is less than the reference value.
  • the deletion target area refer to FIG. 3 .
  • the virtual model generating apparatus 100 may automatically select the deletion target area when an event occurs, such as a specific button is manipulated or a specific menu or a specific mode is selected after the 3D virtual model is displayed.
  • the deletion target region may be displayed in a color and/or pattern that is distinguished from the 3D virtual model so that the user can easily recognize it.
  • the virtual model generating apparatus 100 removes the deletion target region from the 3D virtual model ( S150 ), and generates a final model based on the 3D virtual model from which the deletion target region is removed ( S160 ). See FIG. 5 for an example of the final model.
  • the virtual model generating apparatus 100 may additionally perform the step of correcting the deletion target area as shown in FIG. 13 .
  • the virtual model generating apparatus 100 when measurement data (image) is input from the scanner 10 ( S210 ), the virtual model generating apparatus 100 generates a 3D virtual model based on the input measurement data (image) ( S220 ). ).
  • the virtual model generating apparatus 100 recognizes the shape of each object such as teeth and gingiva from the measurement data (image), and generates a 3D virtual model according to the recognized shape.
  • the virtual model generating apparatus 100 may generate a 3D virtual model corresponding to the measurement data using a 3D modeling algorithm.
  • the virtual model generating apparatus 100 displays the generated 3D virtual model on the display screen so that the user can check it (S230).
  • the virtual model generating apparatus 100 selects an area to be deleted from among the 3D virtual model and displays it together on the display screen (S240).
  • the virtual model generating apparatus 100 may correct the deletion target area selected in the process 'S240' (S250).
  • the virtual model generating apparatus 100 deselects an area designated by the user to exclude it from the deletion target area, or sets a lock for the selected tooth area according to a rule learned based on machine learning, and selects a locked area You can also cancel it to exclude it from being deleted. For specific embodiments thereof, refer to FIGS. 14 and 15 .
  • the virtual model generating apparatus 100 removes the corrected deletion target region from the 3D virtual model ( S260 ), and generates a final model based on the 3D virtual model from which the deletion target region is removed ( S270 ).
  • the virtual model generating apparatus 100 may exclude the tooth region from the deletion target region by the user's tool manipulation as shown in FIG. 14 .
  • the virtual model generating apparatus 100 executes a deselection tool at the user's request (S310).
  • the user may designate a tooth area or a deselection area around the tooth area among the deletion target areas by using the activated selection deselection tool.
  • the virtual model generating apparatus 100 releases a designated area, ie, a tooth area, by manipulation of the deselection tool ( S320 ).
  • the tooth region may be excluded from the deletion target region by the 'S320' process.
  • the virtual model generating apparatus 100 corrects the area to be deleted from which the tooth area is excluded ( S330 ).
  • the virtual model generating apparatus 100 may deselect the tooth region from the deletion target region by locking the tooth region as shown in FIG. 15 .
  • the virtual model generating apparatus 100 locks the tooth area of the 3D virtual model at the user's request when the deletion target area is displayed on the 3D virtual model in the process 'S240' of FIG. 13 . can be set (S440).
  • the virtual model generating apparatus 100 performs machine learning on a tooth image as a reference before setting a lock on the tooth region of the 3D virtual model (S410), and measures it according to a rule learned as a result of the machine learning execution A region corresponding to the tooth image is divided from the data (S420).
  • the virtual model generating apparatus 100 detects a tooth area of the 3D virtual model corresponding to the tooth image divided from the measurement data (S430), and performs lock setting on the tooth area detected in the process 'S430'. (S440).
  • the virtual model generating apparatus 100 releases the locked area (S450).
  • the tooth area may be excluded from the deletion target area by the 'S450' process.
  • the virtual model generating apparatus 100 corrects the area excluding the tooth area as the deletion target area ( S460 ).
  • the user may arbitrarily select a partial region including teeth and set a lock for the selected region so that the corresponding region is not selected as the deletion target region.
  • control unit 120 interface unit
  • the present invention provides a virtual model generating apparatus and method for easily and quickly generating a tooth model by automatically removing a low-density noise region from measurement data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 모델 생성 장치 및 방법에 관한 것으로서, 본 발명에 따른 장치는, 측정 공간 내에서 연속된 2D 이미지를 획득하는 스캐너, 및 상기 스캐너로부터 획득된 이미지를 변환하여 3차원 가상 모델을 생성하는 모델 생성부를 포함하고, 상기 모델 생성부는 상기 3차원 가상 모델 중 데이터의 신뢰도에 따라 일 영역을 제거하고 남은 영역을 기반으로 최종 모델을 생성한다.

Description

가상 모델 생성 장치 및 방법
본 발명은 가상 모델 생성 장치 및 방법(APPARATUS AND METHOD FOR GENERATING VIRTUAL MODEL)에 관한 것이다.
일반적으로, 구강 스캐너를 통해 구강 데이터를 획득하는 과정에서, 치아 이외의 혀, 볼, 사용자의 손가락 등과 같은, 이른바 연조직(Soft Tissue)으로 인한 불필요한 데이터가 획득됨에 따라 치아 상태에 관한 정확한 구강 데이터를 측정하는데 어려움이 있었으며, 이는 스캐너의 스캔 정밀도에 큰 영향을 미쳤다.
이에 따라, 정확한 구강 데이터를 획득하기 위해서 측정되는 구강 내의 불필요한 연조직을 삭제하는 기술이 무엇보다 중요하다.
종래의 경우, 불필요한 연조직에 관한 데이터가 측정될 경우, 환자가 직접 필요 없는 연조직을 삭제하여야 하므로 불편함이 존재하고 시간도 오래 소요되어 사용자의 편의성이 저하되는 문제가 있었으며, 연조직을 삭제하는 과정에서 필요한 데이터(구강 및 잇몸)도 함께 제거되는 경우가 존재하였다.
본 발명의 목적은, 측정 데이터로부터 밀도가 낮은 노이즈 영역을 자동으로 제거함으로써 간편하고 신속하게 치아 모델을 생성할 수 있도록 한, 가상 모델 생성 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은, 가상 모델에서 불필요한 영역을 삭제 대상 영역으로 자동 선택함과 동시에 필요한 영역에 대해서는 삭제 대상 영역에서 제외시킴으로써 정밀도 높은 측정 모델을 제공할 수 있도록 한, 가상 모델 생성 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은, 가상 모델에서 사용자의 아이콘 선택에 따라 지정 영역을 자동으로 선택하고, 지정 영역을 기반으로 간편하고 신속하게 치아 모델을 생성할 수 있도록 한, 가상 모델 생성 장치 및 방법을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가상 모델 생성 장치는, 측정 공간 내에서 연속된 2D 이미지를 획득하는 스캐너, 및 상기 스캐너로부터 획득된 이미지를 변환하여 3차원 가상 모델을 생성하는 모델 생성부를 포함한다.
상기 모델 생성부는, 상기 3차원 가상 모델 중 데이터의 신뢰도에 따라 일 영역을 제거하고 남은 영역을 기반으로 최종 모델을 생성하는 것을 특징으로 한다.
상기 모델 생성부는, 상기 3차원 가상 모델에서 데이터의 신뢰도가 기 설정된 기준치 미만인 영역을 계산하고, 상기 계산된 영역을 제거하여 상기 최종 모델을 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 상기 생성된 3차원 가상 모델을 디스플레이 화면에 표시하고, 상기 3차원 가상 모델 중 상기 계산된 영역을 삭제 대상 영역으로 선택하여 상기 디스플레이 화면에 표시하는 제어부를 더 포함하는 것을 특징으로 한다.
상기 삭제 대상 영역은, 상기 3차원 가상 모델 중 데이터의 밀도가 기 설정된 기준치 미만인 영역인 것을 특징으로 한다.
상기 기준치는, 조정 가능한 것을 특징으로 한다.
상기 기준치는, 상기 디스플레이 화면의 조작부에 구비된 선택 바 또는 버튼 조작에 의해 조정되는 것을 특징으로 한다.
상기 제어부는, 상기 최종 모델을 생성하기 전에 상기 디스플레이 화면을 통해 상기 삭제 대상 영역을 정정하는 툴을 제공하는 것을 특징으로 한다.
상기 모델 생성부는, 선택 해제 툴의 조작에 따라 상기 삭제 대상 영역으로부터 필요 영역을 제외시키는 것을 특징으로 한다.
상기 필요 영역은, 치아 영역을 포함하는 것을 특징으로 한다.
상기 필요 영역은, 치아 영역 및 상기 치아 영역의 주변 영역을 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 영역 잠금 툴이 실행되면, 기준 데이터의 치아 이미지와 치은 이미지를 입력 데이터로 머신 러닝을 수행하고, 머신 러닝의 학습 결과로 치아와 치은을 구분하기 위한 규칙을 추출하는 학습부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 상기 머신 러닝 수행 결과로서 추출된 규칙에 기초하여 치아 이미지를 분할하고, 상기 분할된 치아 이미지에 기초하여 상기 3차원 가상 모델의 치아 영역을 추출하는 영상 분석부를 더 포함하는 것을 특징으로 한다.
상기 모델 생성부는, 상기 3차원 가상 모델의 치아 영역에 대해 락(lock)을 설정하고, 상기 삭제 대상 영역으로부터 상기 락이 설정된 영역을 제외시키는 것을 특징으로 한다.
상기 모델 생성부는, 영역 잠금 툴이 실행되면, 상기 툴 조작에 의해 선택된 영역에 대해 락(lock)을 설정하고, 상기 삭제 대상 영역으로부터 상기 락이 설정된 영역을 제외시키는 것을 특징으로 한다.
상기 모델 생성부는, 지정 영역 선택 툴에 의해 상기 3차원 가상 모델 중 지정 영역을 자동으로 선택하고, 상기 선택된 지정 영역을 기반으로 상기 최종 모델을 생성하는 것을 특징으로 한다.
상기 지정 영역 선택 툴은, 상기 3차원 가상 모델의 치아 및 치은을 포함하는 전체 대상 영역에 대응되는 제1 아이콘, 치은과 치아 영역에 대응되는 제2 아이콘, 및 치아 영역에 대응되는 제3 아이콘을 포함하는 것을 특징으로 한다.
상기 모델 생성부는, 상기 제1 아이콘이 선택되면, 상기 3차원 가상 모델의 전체 대상 영역을 지정 영역으로 선택하고 상기 전체 대상 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 것을 특징으로 한다.
상기 모델 생성부는, 상기 제2 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 영역 및 상기 치아 영역 주변의 일부 치은 영역을 지정 영역으로 선택하고 상기 치아 영역 및 상기 치아 영역 주변의 일부 치은 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 것을 특징으로 한다.
상기 모델 생성부는, 상기 3차원 가상 모델의 치은 영역 중 데이터의 신뢰도가 기준치 미만인 영역을 제거하는 것을 특징으로 한다.
상기 모델 생성부는, 상기 제3 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 영역을 지정 영역으로 선택하고 상기 치아 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가상 모델 생성 방법은, 스캐너로 측정 공간 내에서 연속된 이미지를 획득하는 단계, 상기 스캐너로부터 획득된 이미지를 변환하여 3차원 가상 모델을 생성하는 단계, 및 상기 3차원 가상 모델 중 데이터의 신뢰도에 따라 일 영역을 제거하고 남은 영역을 기반으로 최종 모델을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 측정 데이터로부터 밀도가 낮은 노이즈 영역을 자동으로 제거함으로써 간편하고 신속하게 치아 모델을 생성할 수 있으며, 그로 인해 사용자의 편의성이 증대되는 효과가 있다.
또한, 본 발명에 따르면, 가상 모델에서 불필요한 영역을 삭제 대상 영역으로 자동 선택함과 동시에 필요한 영역은 삭제 대상 영역에서 제외시킴으로써 정밀도 높은 측정 모델을 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 가상 모델에서 사용자의 아이콘 선택에 따라 지정 영역을 자동으로 선택하고 지정 영역을 기반으로 간편하고 신속하게 치아 모델을 생성할 수 있을 뿐만 아니라, 사용자가 지정한 영역에 대한 치아 모델을 제공함으로써 사용자의 편의성이 증대되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 가상 모델 생성 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 가상 모델을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 가상 모델의 삭제 대상 영역을 도시한 도면이다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따른 삭제 대상 영역의 정정 동작을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 최종 모델을 도시한 도면이다.
도 6a 및 도 6b는 본 발명의 제2 실시예에 따른 삭제 대상 영역의 정정 동작을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 지정 영역 선택 툴을 도시한 도면이다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른 지정 영역을 기반으로 생성된 최종 모델을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 측정 데이터의 이미지를 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 머신 러닝 기반 치아 영역 검출 동작을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 측정 데이터의 실시예를 도시한 도면이다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 가상 모델 생성 방법에 대한 동작 흐름을 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 가상 모델 생성 방법의 제1 실시예를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 가상 모델 생성 방법의 제2 실시예를 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 가상 모델 생성 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 가상 모델 생성 장치(100)는 제어부(110), 인터페이스부(120), 통신부(130), 저장부(140), 영상 분석부(150), 학습부(160) 및 모델 생성부(170)를 포함할 수 있다. 여기서, 본 실시예에 따른 가상 모델 생성 장치(100)의 제어부(110), 영상 분석부(150), 학습부(160) 및 모델 생성부(170)는 적어도 하나 이상의 프로세서(processor)로서 구현될 수 있다.
제어부(110)는 가상 모델 생성 장치(100)의 각 구성요소들의 동작을 제어할 수 있으며, 각 구성요소 간에 전달되는 신호를 처리할 수도 있다.
인터페이스부(120)는 사용자로부터의 명령을 입력 받기 위한 입력수단과 가상 모델 생성 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 스캔, 데이터 인식 및 모델생성에 대한 제어 명령이 입력되고, 치아 모델 생성을 위한 조건 데이터가 설정 또는 입력된다.
일 예로서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
디스플레이에는 스캐너(10)로부터 수신된 측정 데이터가 표시될 수 있으며, 스캔 데이터에 기초하여 생성된 3차원 가상 모델 및/또는 최종 생성된 치아 모델 등이 표시될 수도 있다. 여기서, 측정 데이터는 스캐너로 스캔한 구강 내의 스캔 이미지를 포함할 수 있다.
일 예로서, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display) 등이 포함될 수 있다.
통신부(130)는 스캐너(10)와의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 구강 내의 측정 데이터를 획득하는 스캐너(10)와 통신 연결되어 스캐너(10)로부터 측정 데이터를 수신할 수 있다.
이때, 통신모듈은 유선 또는 무선 방식으로 스캐너(10)와 통신을 수행할 수 있다. 유선 통신 기술로는 USB(universal serial bus) 통신 등이 포함될 수 있고, 무선 통신 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi) 등과 같은 무선 인터넷 통신 기술 및/또는 블루투스(Bluetooth), 지그비(ZigBee), RFID(Radio Frequency Identification) 등과 같은 근거리 무선 통신 기술이 포함될 수 있다.
여기서, 스캐너(10)는 치아를 인식하여 2차원 또는 3 차원의 스캔 데이터를 획득하고, 획득된 측정 데이터를 통신부(130)로 송신한다. 일 예로서, 스캐너(10)는 구강 스캐너(Intraoral scanner) 또는 모델 스캐너일 수 있다.
도 1의 실시예에서는 가상 모델 생성 장치(100)가 통신부(130)를 통해 스캐너(10)와 연결되는 것으로 도시하였으나, 스캐너(10)가 가상 모델 생성 장치(100)의 일 구성요소로서 포함된 형태로 구현될 수도 있다.
한편, 저장부(140)는 스캐너(10)로부터 수신되는 측정 데이터가 저장될 수 있다. 또한, 저장부(140)는 측정 데이터로부터 인식된 치아 및 치은 이미지, 3차원 가상 모델, 3차원 가상 모델에 기초하여 생성된 최종 모델 등이 저장될 수 있다.
또한, 저장부(140)는 측정 데이터로부터 치아 이미지를 분할하기 위해 사용되는 학습 데이터 및/또는 알고리즘이 저장될 수 있다. 또한, 저장부(140)는 3차원 가상 모델 중 삭제 대상 영역을 선택하고, 상기 선택된 삭제 대상 영역을 정정하기 위한 조건 데이터 및/또는 해당 명령을 수행하는 알고리즘 등이 저장될 수도 있다.
한편, 저장부(140)는 3차원 가상 모델 중 사용자에 의해 선택된 지정 영역을 기반으로 최종 모델을 생성하기 위한 명령 및/또는 알고리즘이 저장될 수도 있다.
여기서, 저장부(140)는 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 저장매체를 포함할 수 있다.
영상 분석부(150)는 스캐너(10)로부터 측정 데이터가 입력(수신)되면 입력된 측정 데이터를 인식 가능한 형태로 이미지 처리할 수 있다.
영상 분석부(150)는 스캐너(10)로부터 입력(수신)된 측정 데이터를 분석하여 대상물의 형상을 인식한다. 예를 들어, 영상 분석부(150)는 측정 데이터로부터 치아, 치은 등의 형상을 각각 인식한다.
이때, 영상 분석부(150)는 영상 분할 알고리즘을 이용하여 치아 이미지와 치은 이미지로 분할하고, 분할된 각 이미지로부터 대상물의 형상을 인식할 수 있다.
영상 분석부(150)는 인식된 대상물의 형상 정보를 모델 생성부(170)로 제공한다.
또한, 영상 분석부(150)는 학습부(160)에 의해 학습된 규칙 데이터에 기초하여 측정 데이터의 이미지를 각 대상 별로 분할한다. 다시 말해, 영상 분석부(150)는 측정 데이터의 이미지를 치아 이미지와 치은 이미지로 분할할 수 있다.
또한, 영상 분석부(150)는 모델 생성부(170)에 의해 3차원 가상 모델이 생성되면, 학습된 규칙 데이터를 이용하여 분할된 치아 이미지에 기초하여 3차원 가상 모델 내에서의 치아 영역을 인식할 수 있다.
일 예로, 영상 분석부(150)는 머신 러닝 기반의 시맨틱 분할 기법(semantic segmentation)을 이용하여 측정 데이터의 이미지를 치아 이미지와 치은 이미지로 분할할 수 있다.
이때, 영상 분석부(150)는 치아 이미지의 분할 정보를 제어부(110) 및/또는 모델 생성부(170)로 제공할 수 있다.
학습부(160)는 기준이 되는 2차원 혹은 3차원의 치아 이미지를 기준으로 머신 러닝을 수행한다. 이때, 학습부(160)는 기준이 되는 치아 이미지로부터 치아와 치은을 분할하여 입력 데이터로 사용하고, 머신 러닝 수행 결과로서 치아와 치은을 구분하기 위한 규칙을 추출한다.
이때, 학습부(160)는 측정 데이터의 이미지를 입력 데이터로 치아와 치은을 분할하여 학습에 사용할 데이터를 획득하고, 획득한 데이터로 역전파(Backpropogation) 알고리즘을 사용하여 치아와 치은을 구분하는 규칙 데이터를 추출할 수 있다.
학습부(160)는 추출된 규칙 데이터를 저장부(140)에 저장하고, 제어부(110) 및/또는 영상 분석부(150)로 제공할 수 있다.
이에, 영상 분석부(150)는 학습부(160)에 의해 추출된 규칙에 따라 머신 러닝을 수행하고, 머신 러닝 수행 결과를 토대로 3차원 가상 모델로부터 치아 영역과 치은 영역을 분할할 수 있다.
모델 생성부(170)는 영상 분석부(150)의 치아 이미지 분석 결과에 기초하여 3차원 가상 모델을 생성한다. 이때, 제어부(110)는 모델 생성부(170)에 의해 생성된 3차원 가상 모델을 디스플레이 화면에 표시할 수 있다.
이때, 제어부(110)는 측정 데이터, 3차원 가상 모델 등을 사용자가 확인 및/또는 수정할 수 있도록 모델 생성 알고리즘을 실행하고, 모델 생성 알고리즘의 실행 화면을 디스플레이에 표시한다.
제어부(110)는 측정 데이터, 3차원 가상 모델 등을 디스플레이에 표시된 실행 화면 상의 표시부에 표시할 수 있다.
제어부(110)는 실행 화면의 조작부에 구비된 조작 툴의 실행을 제어하며, 사용자에 의해 조작 혹은 선택된 툴을 활성화하여 해당 동작이 수행되도록 제어할 수 있다.
일 예로, 제어부(110)는 실행 화면의 조작부에 구비된 삭제 영역 선택 툴, 선택 바, 선택 해제 툴, 영역 잠금 툴, 모델 생성 툴 등이 선택됨에 따라 대응되는 동작이 수행될 수 있도록 각 부의 동작을 제어한다.
이때, 모델 생성부(170)는 제어부(110)의 제어에 따라 디스플레이 화면에 표시된 3차원 가상 모델 중 삭제 대상 영역을 선택하고, 삭제 대상 영역을 정정하고, 3차원 가상 모델로부터 삭제 대상 영역을 제거하고, 최종 모델을 생성할 수 있다.
한편, 제어부(110)는 실행 화면의 조작부에 구비된 지정 영역 선택 툴을 활성화하여 지정 영역 선택 툴의 아이콘 선택에 따라 대응되는 동작이 수행될 수 있도록 각 부의 동작을 제어할 수도 있다.
지정 영역 선택 툴은 3차원 가상 모델로부터 최종 모델을 생성하기 위한 지정 영역을 선택하고, 지정 영역 기반의 최종 모델을 생성하는 동작이 수행되도록 하기 위한 것이다.
여기서, 지정 영역 선택 툴은 3차원 가상 모델의 치아 및 치은을 포함하는 전체 대상 영역을 모델 생성 영역으로 지정하기 위한 제1 아이콘, 치아 영역과 치아 영역 주변의 일부 치은 영역을 모델 생성 영역으로 지정하기 위한 제2 아이콘, 치아 영역을 모델 생성 영역으로 지정하기 위한 제3 아이콘 등을 포함할 수 있다.
모델 생성부(170)는 지정 영역 선택 툴의 아이콘들 중 어느 하나가 사용자에 의해 선택되면, 3차원 가상 모델 중 선택된 아이콘에 대응하여 설정된 영역을 지정 영역으로서 자동으로 선택한다. 이때, 모델 생성부(170)는 아이콘에 대응하여 자동으로 선택된 지정 영역을 기반으로 최종 모델을 생성할 수 있다.
여기서, 모델 생성부(170)는 최종 모델을 생성하기에 앞서 측정 데이터 중 지정 영역 이외의 영역에 대한 데이터를 삭제할 수 있다. 한편, 모델 생성부(170)는 지정 영역 이외의 영역에 대해 신뢰도가 기준치 미만일 영역을 제거하고, 나머지 영역을 최종 모델에 포함시킬 수도 있다.
이에, 제어부(110)는 지정 영역을 기반으로 생성된 치아 모델을 실행 화면 상의 표시부에 표시할 수 있다.
이와 관련하여 각 동작에 대한 실시예들은 후술하는 설명을 참조하도록 한다.
도 2는 본 발명의 일 실시예에 따른 3차원 가상 모델을 도시한 도면이다.
도 2에 도시된 바와 같이, 가상 모델 생성 장치(100)의 디스플레이에는 스캐너(10)로부터 수신된 측정 데이터가 표시되고, 가상 모델 생성 장치(100)는 측정 데이터로부터 치아 및 치은의 형상을 인식하고, 인식된 형상에 기초하여 3차원 가상 모델을 생성한다.
이때, 가상 모델 생성 장치(100)는 모델 생성 알고리즘을 실행하고, 모델 생성 알고리즘의 실행 화면 상에 3차원 가상 모델을 표시할 수 있다.
여기서, 모델 생성 알고리즘의 실행 화면은 도 2와 같이, 복수의 조작부(211, 212, 213, 214) 및 표시부(221)를 포함할 수 있다.
복수의 조작부(211, 212, 213, 214)는 3차원 가상 모델의 방향 전환, 삭제 대상 영역의 선택, 선택 해제 및/또는 제거, 치아 영역 분할 및/또는 잠금 설정 등의 동작을 실행하기 위한 조작 툴을 포함할 수 있다.
표시부(221)에는 스캐너(10)로부터 입력된 측정 데이터, 3차원 가상 모델, 삭제 대상 영역 및/또는 최종 모델 등이 표시될 수 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 가상 모델의 삭제 대상 영역을 도시한 도면이다.
도 3을 참조하면, 가상 모델 생성 장치(100)는 도 2와 같이 실행 화면의 표시부에 3차원 가상 모델을 표시한 상태에서 조작부(211)의 삭제 영역 선택 툴이 선택되면, 3차원 가상 모델 중 삭제 대상 영역(313)을 자동으로 선택하여 실행 화면에 표시된 3차원 가상 모델 상에 표시할 수 있다.
예를 들어, 실행 화면의 조작부(211)에 구비된 "Soft Tissue"버튼(311)이 사용자에 의해 선택되면, 가상 모델 생성 장치(100)는 3차원 가상 모델 중 삭제 대상 영역(313)을 자동으로 선택하여 실행 화면에 표시된 3차원 가상 모델 상에 표시할 수 있다.
여기서, 가상 모델 생성 장치(100)는 3차원 가상 모델 중 데이터의 밀도가 기 설정된 기준치 미만이 되는 영역을 삭제 대상 영역(313)으로 선택할 수 있다. 데이터의 밀도에 대한 구체적인 설명에 대해서는 도 11의 실시예를 참조하도록 한다.
또한, 상기 삭제 대상 영역(313)은 시각적으로 상이하게 표현될 수 있다. 예를 들어, 데이터의 밀도는 기준 범위에 따라 색상을 그린(Green), 옐로우(Yellow), 레드(Red) 등과 같이 다르게 표현될 수 있다. 이때, 사용자는 데이터의 밀도에 대한 색상의 차이에 따라서 선택 바(315)에 의해 선택된 밀도 범위를 판단할 수 있다.
일 예로서, 밀도 범위를 그린, 옐로우, 레드로 구분하여 표현하는 경우, 그린 색상은 데이터의 밀도가 상위 기준치 이상으로 신뢰도가 높은 영역으로 구분될 수 있다. 또한, 옐로우 색상은 데이터의 밀도가 상위 기준치와 하위 기준치 사이로서 중간 정도의 신뢰도 영역으로 구분될 수 있다. 또한, 레드 색상은 데이터의 밀도가 하위 기준치 미만으로 신뢰도가 낮은 영역으로 구분될 수 있다. 한편, 사용자는 조작부에 구비된 선택 바(315)의 위치를 이동시킬 수 있다. 구체적으로, 삭제 대상 영역(313)을 선택하기 위한 기준치는 조작부(211)에 구비된 선택 바(315)의 이동에 따라 조정될 수 있으며, 선택 바(315)의 이동에 따라 상기 기준치가 감소 또는 증가함에 따라 삭제 대상 영역(313)은 넓어지거나 좁아질 수 있다. 한편, 밀도 범위는 반드시 색상으로 구분되어 표현되지 않을 수 있으며, 예시적으로 밀도 범위는 기준 범위에 따라 상이한 패턴을 가지도록 표현될 수도 있다.
본 실시예에서 선택 바는 슬라이드 형식으로 구성되어 있으나, 상기 색상에 대하여 복수의 색상 버튼의 형태로 구성되는 등 다양한 형태로 구성될 수도 있다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따른 삭제 대상 영역의 정정 동작을 도시한 도면이다.
측정 데이터에 기초한 3차원 가상 모델은 그 밀도가 일정하지 않기 때문에, 3차원 가상 모델의 치아 또는 그 주변의 데이터 밀도가 기준치 보다 낮은 부분이 발생할 수 있다. 따라서, 도 4a에 도시된 바와 같이 치아 혹은 치아 주변의 필요 영역이 삭제 대상 영역으로 선택될 우려가 있다.
치아 혹은 치아 주변의 이미지는 신뢰도 높은 가상 모델을 생성하는데 반드시 필요한 필요 영역이므로 삭제의 대상이 아니다. 따라서, 사용자는 실행 화면의 조작부에 구비된 선택 해제 툴(411)을 선택하고, 삭제 대상 영역 중 필요 영역을 선택 해제시킬 영역(415)으로서 선택할 수 있다.
이때, 삭제 대상 영역 중 선택 해제시킬 영역(415)이 사용자에 의해 선택되면, 도 4b의 도면부호 421과 같이 3차원 가상 모델의 치아 영역 내 삭제 대상 영역이 해제된다.
이와 같이, 사용자는 툴 조작에 의해 3차원 가상 모델의 필요 영역이 삭제 대상으로 지정되어 삭제되는 것을 방지할 수 있다.
도 5는 본 발명의 일 실시예에 따른 최종 모델을 도시한 도면이다.
가상 모델 생성 장치(100)는 도 4a 및 도 4b의 동작들을 통해 3차원 가상 모델 상의 삭제 대상 영역이 정해지면, 정해진 삭제 대상 영역을 3차원 가상 모델로부터 제거하고, 최종 모델을 생성한다.
이때, 가상 모델 생성 장치(100)는 도 5에 도시된 바와 같이, 실행 화면의 표시부에 최종 모델(511)을 표시하도록 한다.
표시부에 표시된 최종 모델(511)은 삭제 대상 영역, 즉, 데이터의 밀도가 기준치 미만인 영역이 제거되었기 때문에 깔끔한 형태를 갖는다. 또한, 3차원 가상 모델의 치아 영역이 그대로 유지된 상태에서 최종 모델을 생성함에 따라 정확도 높은 치아 모델을 제공할 수 있다.
도 6a 및 도 6b는 본 발명의 제2 실시예에 따른 삭제 대상 영역의 정정 동작을 도시한 도면이다.
측정 데이터에 기초한 3차원 가상 모델은 그 밀도가 일정하지 않기 때문에, 3차원 가상 모델의 치아 또는 그 주변의 데이터 밀도가 기준치 보다 낮은 부분이 발생할 수 있다. 따라서, 도 6a에 도시된 바와 같이 치아 혹은 치아 주변의 필요 영역이 삭제 대상 영역으로 선택될 우려가 있다.
치아 혹은 치아 주변의 이미지는 신뢰도 높은 가상 모델을 생성하는데 반드시 필요하므로 삭제의 대상이 아니다. 이에, 사용자에 의해 실행 화면의 조작부에 구비된 영역 잠금 툴(611)이 선택되면, 가상 모델 생성 장치(100)는 머신 러닝을 수행하고, 머신 러닝의 학습 결과로써 추출된 규칙에 따라 측정 데이터로부터 치아 이미지를 자동으로 분할하고, 분할된 치아 이미지에 기초하여 3차원 가상 모델 내 치아 영역(615)을 추출한다.
이때, 가상 모델 생성 장치(100)는 3차원 가상 모델 내에서 추출된 치아 영역(615)에 대해 락(lock)을 설정한다.
따라서, 가상 모델 생성 장치(100)는 도 6b에 도시된 바와 같이, 삭제 대상 영역 중 머신 러닝 기반으로 추출된 치아 영역(615)을 삭제 대상 영역에서 자동으로 해제시킬 수 있고, 추출된 치아 영역(615)을 제외한 영역에서 삭제 대상 영역을 제거하여 최종 모델(621)을 생성할 수 있다.
도 6a 및 도 6b의 실시예에서는 머신 러닝에 의해 도출된 규칙 데이터에 따라 치아 영역을 자동으로 선택하여 락을 설정하는 기술에 대해 설명하였으나, 다른 형태로도 락 설정이 가능하다.
예를 들어, 사용자가 측정 데이터의 이미지 상에서 락 설정할 영역을 수동으로 선택하고, 사용자에 의해 선택된 영역에 대해 락을 설정할 수도 있다. 이 경우, 머신 러닝을 수행하지 않더라도 치아 영역에 대해 락을 설정할 수 있게 된다
도 7 내지 도 8c는 본 발명의 다른 실시예에 따른 최종 모델 생성 동작을 도시한 도면이다.
먼저, 도 7은 본 발명의 일 실시예에 따른 지정 영역 선택 툴을 도시한 도면이다.
도 7을 참조하면, 지정 영역 선택 툴은 3차원 가상 모델 중 최종 모델을 생성할 영역을 지정하기 위한 기능을 제공한다. 여기서, 지정 영역 선택 툴은 실행 화면의 일 영역에 표시될 수 있으며, 제1 아이콘(711), 제2 아이콘(712) 및 제3 아이콘(713) 등을 포함할 수 있다.
먼저, 제1 아이콘(711)은 3차원 가상 모델 중 구강 내 치아 및 치은을 포함한 전체 대상 영역을 지정 영역으로 선택하기 위한 아이콘을 의미한다. 여기서, 제1 아이콘(711)의 조작에 의해 선택된 지정 영역은 필터링 기능이 수행되지 않은 전체 대상 영역을 포함할 수 있다.
또한, 제2 아이콘(712)은 3차원 가상 모델 중 치아 영역과 치아 영역 주변의 일부 치은 영역을 지정 영역으로 선택하기 위한 아이콘을 의미한다. 여기서, 제2 아이콘(712)의 조작에 의해 선택된 지정 영역은 필터링 기능의 수행으로 인해 치아 영역 주변의 일부 치은 영역을 제외한 나머지 치은 영역이 포함되지 않을 수 있다.
또한, 제3 아이콘은 3차원 가상 모델 중 치은을 제외한 치아 영역을 지정 영역으로 선택하기 위한 아이콘을 의미한다. 여기서, 제3 아이콘(713)의 조작에 의해 선택된 지정 영역은 치아 영역을 제외한 나머지 영역을 모두 포함하지 않을 수 있다.
따라서, 사용자는 지정 영역 선택 툴의 아이콘들 중 원하는 영역에 대응되는 아이콘을 선택할 수 있다.
가상 모델 생성 장치(100)는 지정 영역 선택 툴의 아이콘들 중 어느 하나가 선택되면, 3차원 가상 모델 중 선택된 아이콘에 대응하여 설정된 영역을 지정 영역으로 인식하여 3차원 가상 모델 중 지정 영역을 자동으로 선택하고, 선택된 지정 영역을 기반으로 최종 모델을 생성하여 실행 화면에 표시할 수 있다.
여기서, 가상 모델 생성 장치(100)는 머신 러닝에 의해 3차원 가상 모델 중 지정 영역을 선택할 수 있다. 이때, 가상 모델 생성 장치(100)는 제2 아이콘 또는 제3 아이콘이 선택되는 경우, 측정 데이터 중 지정 영역 이외의 영역에 대한 측정 데이터를 자동으로 삭제하고, 선택된 지정 영역의 측정 데이터를 이용하여 지정 영역 기반의 최종 모델을 생성할 수 있다.
일 예로, 가상 모델 생성 장치(100)는 지정 영역 선택 툴의 제1 아이콘이 선택되면, 3차원 가상 모델의 전체 대상 영역을 지정 영역으로 선택한다.
이때, 가상 모델 생성 장치(100)는 지정 영역으로 선택된 치아 및 치은을 포함하는 전체 대상 영역의 측정 데이터를 이용하여 치아 모델, 즉, 제1 모델을 생성하고, 생성된 제1 모델을 실행 화면에 표시할 수 있다. 여기서, 가상 모델 생성 장치(100)는 제1 아이콘이 선택되는 경우 별도의 연조직 제거 동작을 수행하지 않고 전체 대상 영역의 측정 데이터를 기반으로 제1 모델을 생성한다.
제1 아이콘의 선택에 따라 실행 화면에 표시되는 제1 모델에 대한 실시예는 도 8a와 같이 나타낼 수 있다.
도 8a에 도시된 제1 모델은 전체 대상 영역의 측정 데이터를 기준으로 생성된 것으로, 별도의 연조직 제거 동작을 수행하지 않기 때문에 연조직을 많이 포함하고 있다. 따라서, 제1 모델은 치아가 없는 무치악을 스캔할 때 유용하게 이용될 수 있다.
다른 예로, 가상 모델 생성 장치(100)는 지정 영역 선택 툴의 제2 아이콘이 선택되면, 3차원 가상 모델 중 머신 러닝에 의해 인식된 치아 영역과, 치아 영역 주변의 일부 치은 영역을 지정 영역으로 선택한다.
여기서, 가상 모델 생성 장치(100)는 3차원 가상 모델의 치은 영역 중 데이터의 신뢰도가 기준치 미만인 영역을 제거하고, 나머지 치아 영역과 일부 치은 영역을 지정 영역으로 선택할 수 있다.
따라서, 가상 모델 생성 장치(100)는 지정 영역으로 선택된 치아 영역 및 치아 영역 주변의 일부 치은 영역의 측정 데이터를 이용하여 치아 및 치은 영역 기반의 치아 모델, 즉, 제2 모델을 생성하고, 생성된 제2 모델을 실행 화면에 표시할 수 있다.
제2 아이콘의 선택에 따라 실행 화면에 표시되는 제2 모델에 대한 실시예는 도 8b와 같이 나타낼 수 있다.
도 8b에 도시된 모델은 치아 영역과 치아 영역 주변의 일부 치은 영역의 측정 데이터를 기준으로 생성된 것으로, 치은 영역 중 스캔에 방해가 되는 연조직이 제거되었다. 따라서, 치은과 치아 영역 기반의 제2 모델은 일반적인 치아를 스캔할 때 유용하게 이용될 수 있다.
또 다른 예로, 가상 모델 생성 장치(100)는 지정 영역 선택 툴의 제3 아이콘이 선택되면, 3차원 가상 모델 중 머신 러닝에 의해 인식된 치아 영역을 지정 영역으로 선택한다. 여기서, 가상 모델 생성 장치(100)는 선택된 지정 영역 이외의 영역에 대해 수신되는 측정 데이터를 실시간으로 삭제할 수 있으며, 이 과정에서 치은 영역의 모든 연조직이 제거될 수 있다.
따라서, 가상 모델 생성 장치(100)는 지정 영역으로 선택된 치아 영역의 측정 데이터를 이용하여 치아 영역 기반의 치아 모델, 즉, 제3 모델을 생성하고, 생성된 제3 모델은 실행 화면에 표시할 수 있다.
이때, 가상 모델 생성 장치(100)는 제2 모델이 이미 생성된 경우, 제2 모델에서 치은 영역을 제외시키고 남은 치아 영역을 기반으로 제3 모델을 생성할 수도 있다.
제3 아이콘의 선택에 따라 실행 화면에 표시되는 제3 모델에 대한 실시예는 도 8c와 같이 나타낼 수 있다.
도 8c에 도시된 모델은 치아 영역의 측정 데이터를 기준으로 생성된 것으로, 모든 연조직이 제거되었다. 따라서, 치아 영역 기반의 제3 모델은 치아만을 스캔할 때 유용하게 이용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 측정 데이터를 도시한 도면이고, 도 10은 본 발명의 실시예에 따른 머신 러닝 기반 치아 영역 검출 동작을 도시한 도면이다.
가상 모델 생성 장치(100)는 도 9의 측정 데이터(이미지)로부터 치아 이미지 및 치은 이미지를 분할하고, 분할된 치아 이미지 및 치은 이미지를 입력 데이터로 머신 러닝을 수행하여 치아 이미지와 치은 이미지를 구분하기 위한 규칙을 추출한다.
일반적인 영상 분할 기법은 같은 성질을 갖는 픽셀들끼리 묶어 분할한다. 이 경우, 분할하고자 하는 물체가 일관된 성질을 갖지 않은 경우 정확한 분할이 불가능하다.
예를 들어, 스캐너(10)로부터 얻은 이미지에서 치아와 치은의 색상이 비슷한 경우, 치아에 이물질 혹은 보철물 등이 붙어있는 경우에는 일반적인 영상 분할 기법으로 치아와 치은을 구분하는 것이 어렵다.
따라서, 영상 분할 기법으로는 영역의 분리(분할)만 가능하고, 분리된 영역이 의미하는 것에 대해서는 정확하게 인지하지 못하는 경우가 발생한다.
이에, 본 발명에 따른 가상 모델 생성 장치(100)는 도 10과 같이, 측정 데이터의 이미지를 입력 데이터로 하여, 치아와 치은을 분할하여 학습에 사용할 데이터를 획득하고, 획득한 데이터로 역전파(Backpropogation) 알고리즘을 사용하여 치아와 치은을 구분하는 규칙을 추출할 수 있다.
머신 러닝 기반의 시맨틱 분할 기법(semantic segmentation)에 따르면, 입력 데이터가 치아 스캔 이미지인 경우, 치아 스캔 이미지의 픽셀별로 각 픽셀이 나타내는 것이 무엇인지를 픽셀단위로 예측을 수행한다.
따라서, 가상 모델 생성 장치(100)는 머신 러닝의 학습 결과로 추출된 규칙에 근거하여 측정 데이터로부터 치아 이미지(1011)를 분할하고, 분할된 치아 이미지(1011)에 기초하여 3차원 가상 모델에서 치아 영역을 추출하게 된다.
이와 같이, 머신 러닝을 기반으로 치아 영역을 분할하는 경우 보다 신뢰도 높은 치아 영역 추출이 가능하게 된다. 추출된 치아 영역은 3차원 가상 모델에서 치아 영역을 삭제 대상에서 제외시키는데 이용될 수 있다. 한편, 추출된 치아 영역은 지정 영역 선택 툴의 아이콘 선택에 따라 지정 영역을 결정하는데 이용될 수도 있다.
도 11은 본 발명의 일 실시예에 따른 측정 데이터의 실시예를 도시한 도면이다.
도 11을 참조하면, 스캐너는 구강 내 치아 이미지를 한 번만 스캔하는 것이 아니라 주기당 여러 횟수만큼 구강 내 영역을 측정할 수 있다. 이 경우, 구강 내 영역을 스캔할 때의 구강 내 상태에 따라 일부 측정되는 데이터가 달라질 수 있다.
일 예로, 도 11에 도시된 바와 같이, 제1 측정 시에는 치아가 있는 A 영역에 대해서만 데이터가 측정될 수 있고, 제2 측정 시에는 치아가 있는 A 영역 외에 구강 내의 B 영역에 있는 다른 물질이 함께 측정될 수 있다.
또한, 제3 측정 시에는 A 영역 및 B 영역 외에 C 영역에 존재하는 다른 물질이 다시 측정될 수 있다.
이 경우, 최종 측정 데이터는 제1 측정, 제2 측정 및 제3 측정 시에 측정된 데이터들을 누적한 것으로, A 영역에 대해서는 3개의 데이터가 누적되고, B 영역에 대해서는 두 개의 데이터가 누적되며, C 영역에 대해서는 하나의 데이터가 누적된다.
따라서, 세 개의 데이터가 누적된 A 영역은 B, C 영역에 비해 데이터 밀도가 높아 신뢰도가 높은 영역으로 판단할 수 있다.
한편, B 영역은 두 개의 데이터가 누적되어 데이터 밀도가 중간이므로 신뢰도도 중간인 영역으로 판단할 수 있으며, C 영역은 한 개의 데이터가 누적되어 데이터 밀도가 낮아 신뢰도가 낮은 영역으로 판단할 수 있다.
상기에서와 같이 동작하는 본 실시예들에 따른 가상 모델 생성 장치(100)는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 적어도 하나 이상의 프로세서(processor)로서 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 12 및 도 13은 본 발명에 따른 가상 모델 생성 방법에 대한 동작 흐름을 도시한 도면이다.
먼저, 도 12를 참조하면, 가상 모델 생성 장치(100)는 스캐너(10)로부터 측정 데이터가 입력되면(S110), 입력된 측정 데이터에 기초하여 3차원 가상 모델을 생성한다(S120).
'S120' 과정에서, 가상 모델 생성 장치(100)는 측정 데이터로부터 치아, 치은 등과 같은 각 대상물의 형상을 인식하고, 인식된 형상에 따라 3차원 가상 모델을 생성하도록 한다. 이때, 가상 모델 생성 장치(100)는 3차원 모델링 알고리즘을 이용하여 측정 데이터에 대응되는 3차원 가상 모델을 생성할 수도 있다.
가상 모델 생성 장치(100)는 'S120' 과정에서 3차원 가상 모델의 생성이 완료되면, 생성된 3차원 가상 모델을 사용자가 확인할 수 있도록 디스플레이 화면에 표시한다(S130). 3차원 가상 모델의 실시예는 도 2를 참조하도록 한다.
가상 모델 생성 장치(100)는 3차원 가상 모델을 디스플레이 화면에 표시할 때, 3차원 가상 모델 중 삭제 대상 영역을 선택하여 함께 표시한다(S140). 여기서, 삭제 대상 영역은 3차원 가상 모델 중 데이터의 밀도가 기준치 미만인 영역을 의미한다. 삭제 대상 영역에 대한 실시예는 도 3을 참조한다.
'S140' 과정에서, 가상 모델 생성 장치(100)는 3차원 가상 모델이 표시된 후 특정 버튼이 조작되거나 특정 메뉴 또는 특정 모드가 선택되는 등의 이벤트 발생 시에 삭제 대상 영역을 자동으로 선택할 수 있다.
삭제 대상 영역은 사용자가 인식하기 쉽도록 3차원 가상 모델과 구분되는 색상 및/또는 패턴 등으로 표시될 수 있다.
이후, 가상 모델 생성 장치(100)는 3차원 가상 모델로부터 삭제 대상 영역을 제거하고(S150), 삭제 대상 영역이 제거된 3차원 가상 모델에 기초하여 최종 모델을 생성한다(S160). 최종 모델에 대한 실시예는 도 5를 참조한다.
한편, 가상 모델 생성 장치(100)는 도 13과 같이, 삭제 대상 영역을 정정하는 단계를 추가로 수행할 수 있다.
도 13을 참조하면, 가상 모델 생성 장치(100)는 스캐너(10)로부터 측정 데이터(이미지)가 입력되면(S210), 입력된 측정 데이터(이미지)에 기초하여 3차원 가상 모델을 생성한다(S220).
'S220' 과정에서, 가상 모델 생성 장치(100)는 측정 데이터(이미지)로부터 치아, 치은 등과 같은 각 대상물의 형상을 인식하고, 인식된 형상에 따라 3차원 가상 모델을 생성하도록 한다. 이때, 가상 모델 생성 장치(100)는 3차원 모델링 알고리즘을 이용하여 측정 데이터에 대응되는 3차원 가상 모델을 생성할 수도 있다.
가상 모델 생성 장치(100)는 'S220' 과정에서 3차원 가상 모델의 생성이 완료되면, 생성된 3차원 가상 모델을 사용자가 확인할 수 있도록 디스플레이 화면에 표시한다(S230).
가상 모델 생성 장치(100)는 3차원 가상 모델을 디스플레이 화면에 표시할 때, 3차원 가상 모델 중 삭제 대상 영역을 선택하여 디스플레이 화면에 함께 표시한다(S240).
이때, 가상 모델 생성 장치(100)는 'S240' 과정에서 선택된 삭제 대상 영역을 정정할 수 있다(S250).
구체적으로, 가상 모델 생성 장치(100)는 사용자가 지정한 영역을 선택 해제하여 삭제 대상 영역에서 제외시키거나, 머신 러닝 기반으로 학습된 규칙에 따라 선택된 치아 영역에 대해 잠금 설정하고, 잠금 설정된 영역을 선택 해제하여 삭제 대상에서 제외시킬 수도 있다. 이에 대한 구체적인 실시예는 도 14 및 도 15를 참조하도록 한다.
이후, 가상 모델 생성 장치(100)는 정정된 삭제 대상 영역을 3차원 가상 모델로부터 제거하고(S260), 삭제 대상 영역이 제거된 3차원 가상 모델에 기초하여 최종 모델을 생성한다(S270).
삭제 대상 영역을 정정하는 동작의 제1 실시예로서, 가상 모델 생성 장치(100)는 도 14와 같이 사용자의 툴 조작에 의해 삭제 대상 영역으로부터 치아 영역을 제외시킬 수 있다.
도 14를 참조하면, 가상 모델 생성 장치(100)는 도 13의 'S240' 과정에서 3차원 가상 모델 상에 삭제 대상 영역이 표시되면, 사용자의 요청에 의해 선택 해제 툴을 실행시킨다(S310).
이때, 사용자는 선택 해제 툴이 활성화되면, 활성화된 선택 해제 툴을 이용하여 삭제 대상 영역 중 치아 영역 혹은 그 주변의 선택 해제 영역을 지정할 수 있다.
가상 모델 생성 장치(100)는 선택 해제 툴의 조작에 의해 지정된 영역, 즉, 치아 영역을 해제한다(S320). 'S320' 과정에 의해 치아 영역은 삭제 대상 영역으로부터 제외될 수 있다.
이에, 가상 모델 생성 장치(100)는 치아 영역이 제외된 삭제 대상 영역으로 정정한다(S330).
삭제 대상 영역을 정정하는 동작의 제2 실시예로서, 가상 모델 생성 장치(100)는 도 15과 같이 치아 영역에 대해 락 설정을 함으로써 삭제 대상 영역으로부터 치아 영역을 선택 해제시킬 수 있다.
도 15를 참조하면, 가상 모델 생성 장치(100)는 도 13의 'S240' 과정에서 3차원 가상 모델 상에 삭제 대상 영역이 표시되면, 사용자의 요청에 의해 3차원 가상 모델의 치아 영역에 대해 락을 설정할 수 있다(S440).
가상 모델 생성 장치(100)는 3차원 가상 모델의 치아 영역에 대해 락 설정하기 이전에, 기준이 되는 치아 이미지에 대한 머신 러닝을 수행하고(S410), 머신 러닝 수행 결과로써 학습된 규칙에 따라 측정 데이터로부터 치아 이미지에 해당되는 영역을 분할한다(S420).
이때, 가상 모델 생성 장치(100)는 측정 데이터에서 분할된 치아 이미지에 대응되는 3차원 가상 모델의 치아 영역을 검출하고(S430), 'S430' 과정에서 검출된 치아 영역에 대해 락 설정을 수행한다(S440).
이에, 가상 모델 생성 장치(100)는 락 설정된 영역을 해제한다(S450). 'S450' 과정에 의해 치아 영역은 삭제 대상 영역으로부터 제외될 수 있다.
이에, 가상 모델 생성 장치(100)는 치아 영역이 제외된 영역을 삭제 대상 영역으로 정정한다(S460).
상기의 실시예에서는 도시하지 않았으나, 실시 형태에 따라 사용자가 임의로 치아를 포함한 일부 영역을 선택하고, 선택된 영역에 대해 락을 설정하여 해당 영역이 삭제 대상 영역으로 선택되지 않도록 할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
10: 스캐너 100: 가상 모델 생성 장치
110: 제어부 120: 인터페이스부
130: 통신부 140: 저장부
150: 영상 분석부 160: 학습부
170: 모델 생성부
본 발명은 측정 데이터로부터 밀도가 낮은 노이즈 영역을 자동으로 제거함으로써 간편하고 신속하게 치아 모델을 생성할 수 있도록 하는 가상 모델 생성 장치 및 방법을 제공한다.

Claims (39)

  1. 측정 공간 내에서 연속된 2D 이미지를 획득하는 스캐너; 및
    상기 스캐너로부터 획득된 이미지를 변환하여 3차원 가상 모델을 생성하는 모델 생성부를 포함하고,
    상기 모델 생성부는,
    상기 3차원 가상 모델 중 데이터의 신뢰도에 따라 일 영역을 제거하고 남은 영역을 기반으로 최종 모델을 생성하는 것을 특징으로 하는 가상 모델 생성 장치.
  2. 청구항 1에 있어서,
    상기 모델 생성부는,
    상기 3차원 가상 모델에서 데이터의 신뢰도가 기 설정된 기준치 미만인 영역을 계산하고, 상기 계산된 영역을 제거하여 상기 최종 모델을 생성하는 것을 특징으로 하는 가상 모델 생성 장치.
  3. 청구항 2에 있어서,
    상기 생성된 3차원 가상 모델을 디스플레이 화면에 표시하고, 상기 3차원 가상 모델 중 상기 계산된 영역을 삭제 대상 영역으로 선택하여 상기 디스플레이 화면에 표시하는 제어부를 더 포함하는 것을 특징으로 하는 가상 모델 생성 장치.
  4. 청구항 3에 있어서,
    상기 삭제 대상 영역은,
    상기 3차원 가상 모델 중 데이터의 밀도가 기 설정된 기준치 미만인 영역인 것을 특징으로 하는 가상 모델 생성 장치.
  5. 청구항 4에 있어서,
    상기 기준치는,
    조정 가능한 것을 특징으로 하는 가상 모델 생성 장치.
  6. 청구항 5에 있어서,
    상기 기준치는,
    상기 디스플레이 화면의 조작부에 구비된 선택 바 또는 버튼 조작에 의해 조정되는 것을 특징으로 하는 가상 모델 생성 장치.
  7. 청구항 3에 있어서,
    상기 제어부는,
    상기 최종 모델을 생성하기 전에 상기 디스플레이 화면을 통해 상기 삭제 대상 영역을 정정하는 툴을 제공하는 것을 특징으로 하는 가상 모델 생성 장치.
  8. 청구항 7에 있어서,
    상기 모델 생성부는,
    선택 해제 툴의 조작에 따라 상기 삭제 대상 영역으로부터 필요 영역을 제외시키는 것을 특징으로 하는 가상 모델 생성 장치.
  9. 청구항 8에 있어서,
    상기 필요 영역은,
    치아 영역을 포함하는 것을 특징으로 하는 가상 모델 생성 장치.
  10. 청구항 8에 있어서,
    상기 필요 영역은,
    치아 영역 및 상기 치아 영역의 주변 영역을 포함하는 것을 특징으로 하는 가상 모델 생성 장치.
  11. 청구항 7에 있어서,
    영역 잠금 툴이 실행되면, 기준 데이터의 치아 이미지와 치은 이미지를 입력 데이터로 머신 러닝을 수행하고, 머신 러닝의 학습 결과로 치아와 치은을 구분하기 위한 규칙을 추출하는 학습부를 더 포함하는 것을 특징으로 하는 가상 모델 생성 장치.
  12. 청구항 11에 있어서,
    상기 머신 러닝 수행 결과로서 추출된 규칙에 기초하여 치아 이미지를 분할하고, 상기 분할된 치아 이미지에 기초하여 상기 3차원 가상 모델의 치아 영역을 추출하는 영상 분석부를 더 포함하는 것을 특징으로 하는 가상 모델 생성 장치.
  13. 청구항 12에 있어서,
    상기 모델 생성부는,
    상기 3차원 가상 모델의 치아 영역에 대해 락(lock)을 설정하고, 상기 삭제 대상 영역으로부터 상기 락이 설정된 영역을 제외시키는 것을 특징으로 하는 가상 모델 생성 장치.
  14. 청구항 7에 있어서,
    상기 모델 생성부는,
    영역 잠금 툴이 실행되면, 상기 툴 조작에 의해 선택된 영역에 대해 락(lock)을 설정하고, 상기 삭제 대상 영역으로부터 상기 락이 설정된 영역을 제외시키는 것을 특징으로 하는 가상 모델 생성 장치.
  15. 청구항 1에 있어서,
    상기 모델 생성부는,
    지정 영역 선택 툴에 의해 상기 3차원 가상 모델 중 지정 영역을 자동으로 선택하고, 상기 선택된 지정 영역을 기반으로 상기 최종 모델을 생성하는 것을 특징으로 하는 가상 모델 생성 장치.
  16. 청구항 15에 있어서,
    상기 지정 영역 선택 툴은,
    상기 3차원 가상 모델의 전체 대상 영역에 대응되는 제1 아이콘, 치은과 치아 영역에 대응되는 제2 아이콘, 및 치아 영역에 대응되는 제3 아이콘을 포함하는 것을 특징으로 하는 가상 모델 생성 장치.
  17. 청구항 16에 있어서,
    상기 모델 생성부는,
    상기 제1 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 및 치은을 포함하는 전체 대상 영역을 지정 영역으로 선택하고 상기 전체 대상 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 것을 특징으로 하는 가상 모델 생성 장치.
  18. 청구항 16에 있어서,
    상기 모델 생성부는,
    상기 제2 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 영역 및 상기 치아 영역 주변의 일부 치은 영역을 지정 영역으로 선택하고 상기 치아 영역 및 상기 치아 영역 주변의 일부 치은 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 것을 특징으로 하는 가상 모델 생성 장치.
  19. 청구항 18에 있어서,
    상기 모델 생성부는,
    상기 3차원 가상 모델의 치은 영역 중 데이터의 신뢰도가 기준치 미만인 영역을 제거하는 것을 특징으로 하는 가상 모델 생성 장치.
  20. 청구항 16에 있어서,
    상기 모델 생성부는,
    상기 제3 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 영역을 지정 영역으로 선택하고 상기 치아 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 것을 특징으로 하는 가상 모델 생성 장치.
  21. 스캐너로 측정 공간 내에서 연속된 이미지를 획득하는 단계;
    상기 스캐너로부터 획득된 이미지를 변환하여 3차원 가상 모델을 생성하는 단계; 및
    상기 3차원 가상 모델 중 데이터의 신뢰도에 따라 일 영역을 제거하고 남은 영역을 기반으로 최종 모델을 생성하는 단계
    를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  22. 청구항 21에 있어서,
    상기 최종 모델을 생성하는 단계는,
    상기 3차원 가상 모델에서 데이터의 신뢰도가 기 설정된 기준치 미만인 영역을 계산하고, 상기 계산된 영역을 제거하여 상기 최종 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  23. 청구항 22에 있어서,
    상기 생성된 3차원 가상 모델을 디스플레이 하는 단계를 더 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  24. 청구항 22에 있어서,
    상기 3차원 가상 모델 중 상기 계산된 영역을 삭제 대상 영역으로 선택하여 상기 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  25. 청구항 24에 있어서,
    상기 삭제 대상 영역은,
    상기 3차원 가상 모델 중 데이터의 밀도가 기 설정된 기준치 미만인 영역인 것을 특징으로 하는 가상 모델 생성 방법.
  26. 청구항 25에 있어서,
    상기 기준치는,
    조정 가능한 것을 특징으로 하는 가상 모델 생성 방법.
  27. 청구항 26에 있어서,
    상기 기준치는,
    상기 디스플레이 화면의 조작부에 구비된 선택 바 또는 버튼 조작에 의해 조정되는 것을 특징으로 하는 가상 모델 생성 방법.
  28. 청구항 24에 있어서,
    상기 삭제 대상 영역을 정정하는 단계를 더 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  29. 청구항 28에 있어서,
    상기 삭제 대상 영역을 정정하는 단계는,
    선택 해제 툴을 실행하는 단계; 및
    상기 선택 해제 툴의 조작에 따라 상기 삭제 대상 영역으로부터 필요 영역을 제외시키는 단계를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  30. 청구항 29에 있어서,
    상기 필요 영역은,
    치아 영역을 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  31. 청구항 29에 있어서,
    상기 필요 영역은,
    치아 영역 및 상기 치아 영역의 주변 영역을 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  32. 청구항 28에 있어서,
    상기 삭제 대상 영역을 정정하는 단계는,
    머신 러닝 기반으로 상기 이미지를 분할하는 단계;
    상기 분할된 이미지 중 치아 이미지에 기초하여 상기 3차원 가상 모델의 치아 영역을 추출하는 단계;
    상기 3차원 가상 모델의 치아 영역에 대해 락을 설정하는 단계; 및
    상기 삭제 대상 영역 중 상기 락 설정된 치아 영역을 제외시키는 단계를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  33. 청구항 28에 있어서,
    상기 삭제 대상 영역을 정정하는 단계는,
    영역 잠금 툴 조작에 의해 선택된 영역에 대해 락(lock)을 설정하는 단계; 및
    상기 삭제 대상 영역으로부터 상기 락이 설정된 영역을 제외시키는 단계를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  34. 청구항 21에 있어서,
    상기 최종 모델을 생성하는 단계는,
    지정 영역 선택 툴에 의해 상기 3차원 가상 모델 중 지정 영역을 자동으로 선택하고, 상기 선택된 지정 영역을 기반으로 상기 최종 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  35. 청구항 34에 있어서,
    상기 지정 영역 선택 툴은,
    상기 3차원 가상 모델의 치아 및 치은을 포함하는 전체 대상 영역에 대응되는 제1 아이콘, 치은과 치아 영역에 대응되는 제2 아이콘, 및 치아 영역에 대응되는 제3 아이콘을 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  36. 청구항 35에 있어서,
    상기 지정 영역을 기반으로 최종 모델을 생성하는 단계는,
    상기 제1 아이콘이 선택되면, 상기 3차원 가상 모델의 전체 대상 영역을 지정 영역으로 선택하고 상기 전체 대상 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  37. 청구항 35에 있어서,
    상기 지정 영역을 기반으로 최종 모델을 생성하는 단계는,
    상기 제2 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 영역 및 상기 치아 영역 주변의 일부 치은 영역을 지정 영역으로 선택하고 상기 치아 영역 및 상기 치아 영역 주변의 일부 치은 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  38. 청구항 37에 있어서,
    상기 지정 영역을 기반으로 최종 모델을 생성하는 단계는,
    상기 3차원 가상 모델의 치은 영역 중 데이터의 신뢰도가 기준치 미만인 영역을 제거하는 단계를 더 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
  39. 청구항 35에 있어서,
    상기 지정 영역을 기반으로 최종 모델을 생성하는 단계는,
    상기 제3 아이콘이 선택되면, 상기 3차원 가상 모델의 치아 영역을 지정 영역으로 선택하고 상기 치아 영역의 측정 데이터를 기반으로 상기 최종 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 가상 모델 생성 방법.
PCT/KR2021/000576 2020-01-15 2021-01-15 가상 모델 생성 장치 및 방법 WO2021145713A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21741804.5A EP4075391A4 (en) 2020-01-15 2021-01-15 APPARATUS AND METHOD FOR GENERATING A VIRTUAL MODEL
US17/864,366 US20220346913A1 (en) 2020-01-15 2022-07-13 Apparatus and method for generating virtual model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200005505A KR20210092371A (ko) 2020-01-15 2020-01-15 가상 모델 생성 장치 및 방법
KR10-2020-0005505 2020-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/864,366 Continuation US20220346913A1 (en) 2020-01-15 2022-07-13 Apparatus and method for generating virtual model

Publications (1)

Publication Number Publication Date
WO2021145713A1 true WO2021145713A1 (ko) 2021-07-22

Family

ID=76864537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000576 WO2021145713A1 (ko) 2020-01-15 2021-01-15 가상 모델 생성 장치 및 방법

Country Status (4)

Country Link
US (1) US20220346913A1 (ko)
EP (1) EP4075391A4 (ko)
KR (1) KR20210092371A (ko)
WO (1) WO2021145713A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023143839A1 (de) * 2022-01-28 2023-08-03 epitome GmbH Vorrichtung und verfahren zur erfassung von biofilm im mundraum

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532535B1 (ko) * 2021-08-04 2023-05-17 주식회사 메디트 3차원 스캐너의 스캔 이미지 처리에 있어서의 노이즈 필터링을 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204826A (ja) * 2005-01-31 2006-08-10 Toin Gakuen Ｃｔ画像のハレーション領域除去方法
US20170273763A1 (en) * 2014-09-24 2017-09-28 3Shape A/S Creating a digital restoration design
KR20170125924A (ko) * 2015-03-06 2017-11-15 얼라인 테크널러지, 인크. 구강 이미지의 자동 선택 및 잠금
US20180360567A1 (en) * 2017-06-16 2018-12-20 Align Technology, Inc. Automatic detection of tooth type and eruption status
KR101954845B1 (ko) * 2017-10-30 2019-03-06 오스템임플란트 주식회사 치아의 악궁 라인 추출 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613539B2 (en) * 2006-05-09 2009-11-03 Inus Technology, Inc. System and method for mesh and body hybrid modeling using 3D scan data
ES2848157T3 (es) * 2010-07-19 2021-08-05 Align Technology Inc Procedimientos y sistemas para crear e interactuar con modelos virtuales tridimensionales
US10339649B2 (en) * 2015-09-11 2019-07-02 Carestream Dental Technology Topco Limited Method and system for hybrid mesh segmentation
KR102091897B1 (ko) 2015-12-28 2020-03-20 전자부품연구원 3d 구강 스캐너 및 이를 이용한 3d 구강 스캐닝 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204826A (ja) * 2005-01-31 2006-08-10 Toin Gakuen Ｃｔ画像のハレーション領域除去方法
US20170273763A1 (en) * 2014-09-24 2017-09-28 3Shape A/S Creating a digital restoration design
KR20170125924A (ko) * 2015-03-06 2017-11-15 얼라인 테크널러지, 인크. 구강 이미지의 자동 선택 및 잠금
US20180360567A1 (en) * 2017-06-16 2018-12-20 Align Technology, Inc. Automatic detection of tooth type and eruption status
KR101954845B1 (ko) * 2017-10-30 2019-03-06 오스템임플란트 주식회사 치아의 악궁 라인 추출 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4075391A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023143839A1 (de) * 2022-01-28 2023-08-03 epitome GmbH Vorrichtung und verfahren zur erfassung von biofilm im mundraum

Also Published As

Publication number Publication date
EP4075391A1 (en) 2022-10-19
KR20210092371A (ko) 2021-07-26
US20220346913A1 (en) 2022-11-03
EP4075391A4 (en) 2024-01-31

Similar Documents

Publication Publication Date Title
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
WO2015160207A1 (en) System and method for detecting region of interest
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2016006946A1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2013105720A1 (ko) 3차원 입체영상의 품질 분석 장치 및 방법
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2024063197A1 (ko) 영상 인페인팅 장치 및 방법
WO2019189993A1 (ko) 스마트 칫솔 및 이동 단말기
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
EP4049235A1 (en) Electronic device and controlling method of electronic device
WO2013042889A1 (ko) 의료영상에서의 세그멘테이션 방법 및 그 장치
WO2015080498A1 (en) Method for detecting human body through depth information analysis and apparatus for analyzing depth information for user body detection
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
WO2022092627A1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
WO2020224089A1 (zh) 图案码位置调整方法、装置及计算机可读存储介质
WO2021242053A1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2018105830A1 (ko) 동공 중심 검출 방법
WO2015147485A1 (ko) 글린트 제거방법과 이를 이용한 홍채 인식 제어장치
WO2020141745A1 (ko) 집단 지성 기반의 상호 검증을 이용한 인공지능 기반 객체인식 신뢰도 향상 방법
WO2019164276A1 (ko) 수술동작 인식 방법 및 장치
WO2023063607A1 (ko) 데이터 처리 장치 및 데이터 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21741804

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021741804

Country of ref document: EP

Effective date: 20220714

NENP Non-entry into the national phase

Ref country code: DE