WO2023038313A1 - 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법 - Google Patents

전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법 Download PDF

Info

Publication number
WO2023038313A1
WO2023038313A1 PCT/KR2022/012175 KR2022012175W WO2023038313A1 WO 2023038313 A1 WO2023038313 A1 WO 2023038313A1 KR 2022012175 W KR2022012175 W KR 2022012175W WO 2023038313 A1 WO2023038313 A1 WO 2023038313A1
Authority
WO
WIPO (PCT)
Prior art keywords
clusters
electronic device
cluster
scan data
data values
Prior art date
Application number
PCT/KR2022/012175
Other languages
English (en)
French (fr)
Inventor
이동훈
강동화
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Publication of WO2023038313A1 publication Critical patent/WO2023038313A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present disclosure relates to an electronic device and a method of processing a scanned image of a 3D scanner thereof. Specifically, the present disclosure relates to a method and an electronic device for locally filtering noise present in a 3D image model generated based on an image scanned through a 3D scanner.
  • a 3D intraoral scanner is an optical device that is inserted into a patient's oral cavity and scans teeth to obtain a 3D image of the oral cavity.
  • a 3D scanner By scanning the patient's oral cavity using a 3D scanner, a plurality of two-dimensional images of the patient's oral cavity may be acquired, and a three-dimensional image of the patient's oral cavity may be constructed using the obtained plurality of two-dimensional images.
  • a doctor may obtain a plurality of two-dimensional images of the patient's oral cavity by inserting a 3D scanner into the oral cavity of the patient and scanning the patient's teeth, gingiva, and/or soft tissues. Thereafter, by applying a 3D modeling technique, a 3D image of the patient's oral cavity may be constructed using the 2D image of the patient's oral cavity.
  • noise may occur in the process of editing (eg, deleting) a part of the scan data, and in this case, an accurate 3D image model cannot be obtained. Therefore, it is necessary to effectively remove such noise.
  • noise that may exist in a 3D image model generated using a 3D scanner can be effectively removed.
  • An electronic device may include a communication circuit that is communicatively connected to a 3D scanner; display; and one or more processors.
  • the one or more processors may obtain scan data values of the surface of the object by scanning the 3D scanner, the scan data values including 3D coordinate values, and the acquired scan data values.
  • a 3D image model of the object is generated based on data values, the 3D image model is divided into a plurality of clusters, at least one cluster having a predetermined size or less is determined among the plurality of clusters, and the at least one cluster is determined. It can be configured to delete scan data values associated with a cluster.
  • a method of processing a scan image of a 3D scanner performed in an electronic device includes an operation of acquiring scan data values of a surface of an object by scanning the 3D scanner - the scan data values are Includes 3D coordinates -; generating a 3D image model of the object based on the acquired scan data values; classifying the 3D image model into a plurality of clusters; determining at least one cluster having a predetermined size or less among the plurality of clusters; and deleting scan data values associated with the at least one cluster.
  • accuracy of a 3D image model of a desired object may be improved by removing noise present in scan data values.
  • noise included in the 3D image model may be effectively removed by dividing the 3D image model into a plurality of clusters and removing at least one cluster determined to be noise.
  • FIG. 1 is a view illustrating obtaining an image of a patient's mouth using an oral scanner according to various embodiments of the present disclosure.
  • 2A is a block diagram of an electronic device and an intraoral scanner according to various embodiments of the present disclosure.
  • 2B is a perspective view of an intraoral scanner according to various embodiments of the present disclosure.
  • FIG. 3 is a diagram illustrating a method of generating a 3D image 320 of an oral cavity according to various embodiments.
  • 4A and 4B are diagrams for explaining a process of performing noise filtering according to various embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 illustrates an interface for generating a 3D image model of an object according to various embodiments of the present disclosure.
  • FIG. 7 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • Embodiments of the present disclosure are illustrated for the purpose of explaining the technical idea of the present disclosure.
  • the scope of rights according to the present disclosure is not limited to the specific description of the embodiments or these embodiments presented below.
  • unit used in the present disclosure means software or a hardware component such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC).
  • FPGA field-programmable gate array
  • ASIC application specific integrated circuit
  • unit is not limited to hardware and software.
  • a “unit” may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors.
  • “unit” refers to components such as software components, object-oriented software components, class components and task components, processors, functions, properties, procedures, subroutines, It includes segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Functions provided within components and “units” may be combined into fewer components and “units” or further separated into additional components and “units”.
  • the expression "based on” is used to describe one or more factors that affect the act or operation of a decision, judgment, described in a phrase or sentence in which the expression is included, which expression It does not preclude additional factors that may affect the decision, the act of judgment, or the action.
  • FIG. 1 is a diagram illustrating how an image of a patient's oral cavity is acquired using a 3D scanner 200 according to various embodiments of the present disclosure.
  • the 3D scanner 200 may be a dental medical device for obtaining an image of the oral cavity of the object 20 .
  • the 3D scanner 200 may be an intraoral scanner.
  • a user 10 eg, a dentist or a dental hygienist
  • acquires an image of an oral cavity of an object 20 eg, a patient
  • a 3D scanner 200 can do.
  • the user 10 may obtain an image of the mouth of the object 20 from a diagnosis model (eg, a plaster model or an impression model) imitating the shape of the mouth of the object 20 .
  • a diagnosis model eg, a plaster model or an impression model
  • an image of the oral cavity of the object 20 is acquired by scanning the oral cavity of the object 20, but is not limited thereto, and other parts of the object 20 (eg, the object It is also possible to obtain an image for the ear of (20).
  • the 3D scanner 200 may have a shape capable of being drawn in and out of the oral cavity, and may be a handheld scanner in which the user 10 can freely adjust a scanning distance and a scanning angle.
  • the 3D scanner 200 may acquire an image of the oral cavity by being inserted into the oral cavity of the object 20 and scanning the oral cavity in a non-contact manner.
  • the image of the oral cavity may include at least one tooth, a gingiva, and an artificial structure insertable into the oral cavity (eg, an orthodontic device including a bracket and a wire, an implant, a denture, and an orthodontic aid inserted into the oral cavity).
  • the 3D scanner 200 may irradiate light to the oral cavity of the object 20 (eg, at least one tooth or gingiva of the object 20) using a light source (or projector), and may irradiate light to the oral cavity of the object 20. Light reflected from the camera may be received through a camera (or at least one image sensor).
  • the 3D scanner 200 may obtain an image of the oral cavity diagnostic model by scanning the oral cavity diagnostic model.
  • the diagnostic model of the oral cavity is a diagnostic model that imitates the shape of the oral cavity of the object 20
  • the image of the oral diagnostic model may be an image of the oral cavity of the object.
  • an image of the oral cavity is obtained by scanning the inside of the oral cavity of the object 20 is assumed, but is not limited thereto.
  • the 3D scanner 200 may obtain a surface image of the oral cavity of the object 20 as a 2D image based on information received through a camera.
  • the surface image of the oral cavity of the object 20 may include at least one of at least one tooth, gingiva, artificial structure, cheek, tongue, or lip of the object 20 .
  • the surface image of the oral cavity of the object 20 may be a two-dimensional image.
  • the 2D image of the oral cavity obtained by the 3D scanner 200 may be transmitted to the electronic device 100 connected through a wired or wireless communication network.
  • the electronic device 100 may be a computer device or a portable communication device.
  • the electronic device 100 generates a 3D image of the oral cavity (or a 3D oral image or a 3D oral model) representing the oral cavity in 3D based on the 2D image of the oral cavity received from the 3D scanner 200. can create
  • the electronic device 100 may generate a 3D image of the oral cavity by 3D modeling the internal structure of the oral cavity based on the received 2D image of the oral cavity.
  • the 3D scanner 200 scans the oral cavity of the object 20 to acquire a 2D image of the oral cavity, and generates a 3D image of the oral cavity based on the acquired 2D image of the oral cavity. and may transmit the generated 3D image of the oral cavity to the electronic device 100 .
  • the electronic device 100 may be communicatively connected to a cloud server (not shown).
  • the electronic device 100 may transmit a 2D image or a 3D image of the oral cavity of the object 20 to the cloud server, and the cloud server may transmit the object 20 image received from the electronic device 100 to the cloud server.
  • the cloud server may transmit the object 20 image received from the electronic device 100 to the cloud server.
  • a table scanner (not shown) fixed to a specific position may be used as the 3D scanner in addition to a handheld scanner inserted into the oral cavity of the object 20 for use.
  • the table scanner may generate a three-dimensional image of the oral cavity diagnostic model by scanning the oral cavity diagnostic model.
  • the diagnostic model of the oral cavity may be scanned while moving at least one of a light source (or projector) of the table scanner, a camera, or a jig to which the diagnostic model is fixed.
  • FIG. 2A is a block diagram of an electronic device 100 and a 3D scanner 200 according to various embodiments of the present disclosure.
  • the electronic device 100 and the 3D scanner 200 may be communicatively connected to each other through a wired or wireless communication network, and may transmit and receive various data to each other.
  • the 3D scanner 200 includes a processor 201, a memory 202, a communication circuit 203, a light source 204, a camera 205, an input device 206, and/or a sensor module ( 207) may be included. At least one of the components included in the 3D scanner 200 may be omitted or another component may be added to the 3D scanner 200 . Additionally or alternatively, some of the components may be integrated and implemented, or implemented as a singular or plural entity. At least some of the components in the 3D scanner 200 are connected to each other through a bus, general purpose input/output (GPIO), serial peripheral interface (SPI) or mobile industry processor interface (MIPI), and data and /or send and receive signals.
  • GPIO general purpose input/output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the processor 201 of the 3D scanner 200 is a component capable of performing calculations or data processing related to control and/or communication of each component of the 3D scanner 200, and is a 3D scanner. It can be operatively connected with the components of 200.
  • the processor 201 may load commands or data received from other components of the 3D scanner 200 into the memory 202, process the commands or data stored in the memory 202, and store resultant data.
  • the memory 202 of the 3D scanner 200 may store instructions for the operation of the processor 201 described above.
  • the communication circuit 203 of the 3D scanner 200 may establish a wired or wireless communication channel with an external device (eg, the electronic device 100) and transmit/receive various data with the external device.
  • the communication circuit 203 may include at least one port connected to the external device through a wired cable in order to communicate with the external device by wire.
  • the communication circuit 203 may perform communication with an external device connected by wire through at least one port.
  • the communication circuit 203 may be configured to be connected to a cellular network (eg, 3G, LTE, 5G, Wibro or Wimax) by including a cellular communication module.
  • a cellular network eg, 3G, LTE, 5G, Wibro or Wimax
  • the communication circuit 203 may include a short-range communication module to transmit/receive data with an external device using short-range communication (eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB). However, it is not limited thereto.
  • the communication circuit 203 may include a non-contact communication module for non-contact communication.
  • Non-contact communication may include, for example, at least one non-contact type proximity communication technology such as near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the light source 204 of the 3D scanner 200 may radiate light toward the oral cavity of the object 20 .
  • the light emitted from the light source 204 may be structured light having a predetermined pattern (eg, a stripe pattern in which straight lines of different colors are continuously appearing).
  • the structured light pattern may be generated using, for example, a pattern mask or a digital micro-mirror device (DMD), but is not limited thereto.
  • the camera 205 of the 3D scanner 200 may obtain an image of the oral cavity of the object 20 by receiving reflected light reflected by the oral cavity of the object 20 .
  • the camera 205 may include, for example, a left camera corresponding to the left eye field of view and a right camera corresponding to the right eye field of view in order to build a 3D image according to the optical triangulation method.
  • the camera 205 may include at least one image sensor such as a CCD sensor or a CMOS sensor.
  • the input device 206 of the 3D scanner 200 may receive a user input for controlling the 3D scanner 200 .
  • the input device 206 may include a button for receiving a push manipulation of the user 10, a touch panel for detecting a touch of the user 10, and a voice recognition device including a microphone.
  • the user 10 may control starting or stopping scanning using the input device 206 .
  • the sensor module 207 of the 3D scanner 200 detects an operating state of the 3D scanner 200 or an external environmental state (eg, a user's motion), and electrical response corresponding to the detected state. signal can be generated.
  • the sensor module 207 may include, for example, at least one of a gyro sensor, an acceleration sensor, a gesture sensor, a proximity sensor, or an infrared sensor.
  • the user 10 may control starting or stopping scanning using the sensor module 207 . For example, when the user 10 holds the 3D scanner 200 in his hand and moves it, the 3D scanner 200, when the angular velocity measured through the sensor module 207 exceeds a predetermined threshold value, the processor (201) Control to start a scanning operation.
  • the 3D scanner 200 receives a user input for starting a scan through the input device 206 of the 3D scanner 200 or the input device 206 of the electronic device 100, or , according to the processing of the processor 201 of the 3D scanner 200 or the processor 201 of the electronic device 100, scanning may be started.
  • the 3D scanner 200 may generate a 2D image of the oral cavity of the object 20, and in real time As a result, a 2D image of the oral cavity of the object 20 may be transmitted to the electronic device 100 .
  • the electronic device 100 may display the received 2D image of the oral cavity of the object 20 through the display.
  • the electronic device 100 may generate (construct) a 3D image of the oral cavity of the object 20 based on the 2D image of the oral cavity of the object 20, and generate (construct) a 3D image of the oral cavity. can be displayed on the display.
  • the electronic device 100 may display the 3D image being created through the display in real time.
  • An electronic device 100 may include one or more processors 101 , one or more memories 103 , a communication circuit 105 , a display 107 , and/or an input device 109 . At least one of the components included in the electronic device 100 may be omitted or another component may be added to the electronic device 100 . Additionally or alternatively, some of the components may be integrated and implemented, or implemented as a singular or plural entity. At least some of the components in the electronic device 100 are connected to each other through a bus, general purpose input/output (GPIO), serial peripheral interface (SPI) or mobile industry processor interface (MIPI), etc., and data and/or Or you can send and receive signals.
  • GPIO general purpose input/output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • one or more processors 101 of the electronic device 100 perform operations or data processing related to control and/or communication of each component (eg, memory 103) of the electronic device 100. It may be a configuration that can be performed.
  • One or more processors 101 may be operatively connected to components of the electronic device 100 , for example.
  • the one or more processors 101 load commands or data received from other components of the electronic device 100 into one or more memories 103, process the commands or data stored in the one or more memories 103, and , the resulting data can be stored.
  • one or more memories 103 of the electronic device 100 may store instructions for the operation of one or more processors 101 .
  • One or more memories 103 may store correlation models built according to machine learning algorithms.
  • the one or more memories 103 may store data received from the 3D scanner 200 (eg, a 2D image of the oral cavity acquired through an oral cavity scan).
  • the communication circuit 105 of the electronic device 100 establishes a wired or wireless communication channel with an external device (eg, the 3D scanner 200, a cloud server), and transmits and receives various data with the external device. can do.
  • the communication circuit 105 may include at least one port connected to the external device through a wired cable in order to communicate with the external device through a wired connection.
  • the communication circuit 105 may perform communication with an external device connected by wire through at least one port.
  • the communication circuit 105 may be configured to be connected to a cellular network (eg, 3G, LTE, 5G, Wibro or Wimax) by including a cellular communication module.
  • a cellular network eg, 3G, LTE, 5G, Wibro or Wimax
  • the communication circuit 105 may include a short-range communication module to transmit/receive data with an external device using short-range communication (eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB). However, it is not limited thereto.
  • the communication circuitry 105 may include a contactless communication module for contactless communication.
  • Non-contact communication may include, for example, at least one non-contact type proximity communication technology such as near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the display 107 of the electronic device 100 may display various screens based on the control of the processor 101 .
  • the processor 101 displays a 2-dimensional image of the oral cavity of the object 20 received from the 3-dimensional scanner 200 and/or a 3-dimensional image of the oral cavity in which the internal structure of the oral cavity is 3-dimensionally modeled (107). can be displayed through For example, a 2D image and/or a 3D image of the oral cavity may be displayed through a specific application. In this case, the user 10 can edit, save and delete the 2D image and/or the 3D image of the oral cavity.
  • the input device 109 of the electronic device 100 transmits a command or data to be used to components (eg, one or more processors 101) of the electronic device 100 to the outside of the electronic device 100 ( Example: user).
  • the input device 109 may include, for example, a microphone, mouse or keyboard.
  • the input device 109 may be implemented in the form of a touch sensor panel capable of recognizing contact or proximity of various external objects by being combined with the display 107 .
  • the 3D scanner 200 may include a main body 210 and a probe tip 220 .
  • the body 210 of the 3D scanner 200 may be formed in a shape that is easy for the user 10 to grip and use.
  • the probe tip 220 may be formed in a shape that facilitates insertion into and withdrawal from the oral cavity of the object 20 .
  • the main body 210 may be combined with and separated from the probe tip 220 .
  • components of the 3D scanner 200 described in FIG. 2A may be disposed inside the main body 210.
  • An opening may be formed at one end of the main body 210 so that light output from the light source 204 may be irradiated to the object 20 .
  • Light irradiated through the opening may be reflected by the target object 20 and introduced again through the opening. Reflected light introduced through the opening may be captured by a camera to generate an image of the object 20 .
  • the user 10 may start scanning using the input device 206 (eg, a button) of the 3D scanner 200 . For example, when the user 10 touches or presses the input device 206 , light from the light source 204 may be radiated to the object 20 .
  • 3 is a diagram illustrating a method of generating a 3D image 320 of an oral cavity according to various embodiments.
  • the user 10 may scan the inside of the mouth of the object 20 while moving the 3D scanner 200.
  • the 3D scanner 200 may scan a plurality of 2D images of the mouth of the object 20. (310) can be obtained.
  • the 3D scanner 200 may obtain a 2D image of a region including the front teeth of the object 20 and a 2D image of a region including the molar teeth of the object 20 .
  • the 3D scanner 200 may transmit the acquired plurality of 2D images 310 to the electronic device 100 .
  • the user 10 may scan a diagnostic model of the oral cavity while moving the 3D scanner 200, or acquire a plurality of 2D images of the diagnostic model of the oral cavity.
  • a diagnostic model of the oral cavity while moving the 3D scanner 200, or acquire a plurality of 2D images of the diagnostic model of the oral cavity.
  • the electronic device 100 may transform each of the plurality of 2D images 310 of the oral cavity of the object 20 into a set of a plurality of points having 3D coordinate values.
  • the electronic device 100 may convert each of the plurality of 2D images 310 into a point cloud, which is a set of data points having 3D coordinate values.
  • a point cloud set that is a 3D coordinate value based on a plurality of 2D images 310 may be stored as raw data for the oral cavity of the object 20 .
  • the electronic device 100 may complete the entire tooth model by aligning a point cloud, which is a set of data points having 3D coordinate values.
  • the electronic device 100 may reconstruct (reconstruct) a 3D image of the oral cavity.
  • the electronic device 100 reconstructs a plurality of points by merging point cloud sets stored as raw data using a Poisson algorithm, transforms a plurality of points into a closed 3D surface, and places the object 20 in the oral cavity. It is possible to reconstruct a 3D image 320 for
  • FIGS. 4A and 4B are diagrams for explaining a process of performing noise filtering according to various embodiments of the present disclosure.
  • 4A is a diagram illustrating a 3D image model 410 of an object including noise 403
  • FIG. 4B is a diagram illustrating a 3D image model 420 of an object from which noise is removed through noise filtering disclosed in this document. It is an illustrated drawing.
  • the electronic device 100 may obtain scan data values of the surface of the object by scanning the 3D scanner 200, and model a 3D image of the object based on the acquired scan data values. (410) can be created.
  • An object described in this document may mean, for example, a patient's oral cavity or a diagnostic model imitating the shape of the oral cavity (eg, a plaster model, an impression model).
  • Scan data values may include 3D coordinate values.
  • the 3D image model 410 of the object may include noise 403 unrelated to the teeth and gingiva 401 of the object. Exemplary causes of the noise 403 of FIG. 4A are as follows.
  • some noise may remain without being removed even though primary noise filtering is performed on noise included in the 3D image model of the object.
  • the electronic device 100 may scan the surface of the object twice to perform a primary noise filtering operation. For example, when an object is scanned at the first scan point (first scan) and an obstacle (eg, a finger) is also scanned, the first scan data values obtained through the first scan correspond to the obstacle. noise is included.
  • second scan data may be acquired by scanning the object again (second scan) in a situation where the obstacle disappears.
  • primary noise filtering may be performed by deleting a data value associated with at least one vector intersected with a second scan data value among first scan data values. In this case, some noise may still remain in the 3D image model without being removed through the above-described primary noise filtering.
  • the above-described noise filtering only when a vector connecting the virtual focal point and the first scan data values intersects the second scan data value, only the scan data value crossing the vector among the first scan data values is treated as noise. Since it is considered and removed, scan data values that do not intersect with the vector may remain without being removed. Noise filtering disclosed in this document can be used to remove these residual scan data values.
  • a tooth area or a gingival area when scanning an object through the 3D scanner 200, a tooth area or a gingival area may be identified and a 3D image model corresponding to the identified areas may be generated.
  • three The dimensional image model may include regions other than the tooth region or the gingival region (eg, soft tissue region, tongue region) as noise.
  • the electronic device 100 may perform machine learning on images labeled with the tooth region, the gingival region, and other regions, respectively, according to a machine learning algorithm in order to identify the tooth region or the gingival region in the image of the object.
  • a correlation model may be constructed by modeling a correlation between a 2D image set of the oral cavity of the objects and a data set in which a tooth region and a gingival region are identified in each image of the 2D image set according to a machine learning algorithm.
  • the electronic device 100 may identify a tooth region or gingival region from a plurality of 2D images of the object using the constructed correlation model, and generate a 3D image model corresponding to the identified tooth region or gingival region.
  • a filtering operation may be performed to remove areas other than the identified tooth and gingival areas. Even if the above-described filtering operation is performed, the remaining area may remain without being completely removed. For example, when a tongue region to be filtered is mistaken for a gingival region not to be filtered, the region may remain without being removed by the above-described filtering operation.
  • the noise filtering described in this document can be used to remove these remaining regions.
  • external light eg, natural light
  • a specific material eg, artificial structure
  • the 3D scanner 200 may receive external light reflected by the metal, and a part of the 3D image model of the object is received by the light. Noise may occur in the area.
  • the noise filtering disclosed in this document may be used to remove noise generated in such a partial region.
  • a user may edit (eg, delete) a 3D image model of an object through the input device 109, and noise may occur during the editing process.
  • a user may select a region to be deleted from the generated 3D image model through the input device 109 (eg, a mouse).
  • a user may select an area to be deleted using the input device 109 in various forms such as a polygon, a line, and a dot.
  • the electronic device 100 may separate the selected region from the remaining regions (or the main cluster), and the separated region may be determined as noise.
  • the user may select a border of the specific region through the input device 109 .
  • the border of the selected specific region may be deleted from the 3D image model. Accordingly, a specific area may be separated into a separate cluster from the rest of the area. In this case, a cluster corresponding to a specific region separated from the main cluster may be determined as noise. Noise filtering disclosed in this document can be used to remove such noise.
  • noise filtering technique may be used to remove noise generated in a 3D image model.
  • the electronic device 100 may perform noise filtering to remove the noise 403 included in the 3D image model 410 of the object of FIG. 4A .
  • a specific noise filtering method will be described later.
  • the electronic device 100 may generate a noise-removed 3D image model 420 as shown in FIG. 4B by performing noise filtering.
  • FIG. 5 is an operational flowchart of the electronic device 100 according to various embodiments of the present disclosure. Specifically, FIG. 5 is an operation flowchart illustrating a noise filtering method of the electronic device 100 .
  • the electronic device 100 may, in operation 510, obtain scan data values of the surface of the object by scanning the 3D scanner 200.
  • Values of the scan data may include 3D coordinate values.
  • the 3D coordinate values may be generated based on 2D image data acquired by the 3D scanner 200 .
  • the scan data values may include 3D volume data in the form of a plurality of voxels, and a case in which the scan data values are voxels will be described later with reference to FIG. 7 .
  • the electronic device 100 may generate a 3D image model of the object based on the acquired scan data values.
  • the generated 3D image model may be displayed on the display 107 of the electronic device 100 .
  • an align step for connecting and aligning the generated 3D volume data may be additionally performed.
  • the generated 3D image model may include noise not intended by the user. To remove the noise, the electronic device 100 may perform noise filtering.
  • the electronic device 100 may classify the 3D image model into a plurality of clusters.
  • the electronic device 100 may classify a 3D image model into a plurality of clusters through a method of determining scan data values having consecutive 3D coordinate values among acquired scan data values as one cluster. there is.
  • the electronic device 100 may classify the 3D image model into a plurality of clusters by determining a plurality of closed surfaces included in the 3D image model as a plurality of clusters.
  • the aforementioned closed curved surface may refer to a single surface defined by a plurality of consecutive 3D coordinate values. For example, closed surfaces included in the 3D image model may be determined as one cluster.
  • the electronic device 100 may determine at least one cluster having a preset size or less among a plurality of clusters.
  • the determined at least one cluster may be regarded as noise to be removed.
  • the electronic device 100 may determine whether each of the plurality of clusters corresponds to noise based on the size of each of the plurality of clusters.
  • the electronic device 100 may check the number of voxels included in each of a plurality of clusters, and determine at least one cluster having a predetermined number or less of voxels among the plurality of clusters. A method of determining a cluster to be removed based on the number of voxels will be described with reference to FIG. 7 . Additionally, the electronic device 100 may determine a cluster to be finally removed from among the determined at least one cluster based on a user input. The electronic device 100 may determine at least one cluster having a predetermined number or less of voxels among a plurality of clusters, and display the at least one cluster to be distinguished from other clusters through the display 107 .
  • the determined at least one cluster may be displayed in a different color from other clusters.
  • a user may directly select a cluster to be removed (or a cluster to be excluded from the removal target) among at least one cluster through the input device 109 .
  • the electronic device 100 receives a user input for selecting a cluster to be removed (or a cluster to be excluded from the removal target) from among at least one cluster, and finally selects a cluster to be removed based on the received user input. can decide
  • the electronic device 100 may determine the remaining clusters as at least one cluster to be removed, excluding a preset number of clusters in order of size among a plurality of clusters. For example, the electronic device 100 may determine at least one cluster to be removed, except for a cluster having the largest size among a plurality of clusters. For example, the electronic device 100 may determine the remaining clusters as at least one cluster to be removed, excluding three clusters in order of largest size among the plurality of clusters. The number of remaining clusters after noise filtering may be set by user input.
  • the electronic device 100 determines whether each of the plurality of clusters corresponds to the tooth region or the gingival region, and has at least a size smaller than a preset size among the plurality of clusters and does not correspond to the tooth region or the gingival region.
  • One cluster can be determined. For example, when scanning an object through the 3D scanner 200, the electronic device 100 may identify a tooth region and a gingival region from a plurality of 2D images of the object, and identify the identified tooth region or gingiva. An area may be masked to distinguish it from other areas. The electronic device 100 may identify a tooth region or a gingival region in a 3D image model of an object created using a plurality of 2D images of the object.
  • the electronic device 100 may determine at least one cluster that does not correspond to the tooth region or the gingival region among the clusters having a preset size or less among the plurality of clusters.
  • the tooth area or the gingival area is masked, this is only exemplary, and soft tissue areas (eg, cheek area, tongue area, lip area, etc.) or artificial structures (eg, correction including brackets and wires) Devices, implants, dentures, orthodontic aids inserted into the oral cavity, prostheses, and abutments for supporting prostheses) may be masked, respectively.
  • the electronic device 100 may delete scan data values associated with at least one cluster.
  • the electronic device 100 may update the generated 3D image model after deleting scan data values associated with at least one cluster. Through these processes, noise included in the 3D image model can be effectively removed.
  • the electronic device 100 may display the updated 3D image model through the display 107 .
  • FIG. 6 illustrates an interface 600 for generating a 3D image model of an object according to various embodiments of the present disclosure.
  • the electronic device 100 when a user scans an object through the 3D scanner 200, the electronic device 100 receives images of the object from the 3D scanner 200 in real time, and displays the received images. Based on this, a 3D image model of the object may be created (constructed), and the 3D image model of the object may be displayed through the display 107 .
  • the electronic device 100 may display the 3D image model being generated on the display 107 in real time as shown in FIG. 6 .
  • the electronic device 100 may receive a user input for ending scanning of the 3D scanner 200 through the input device 109 .
  • the user may select the scan end icon 610 displayed in the interface through the input device 109 .
  • the electronic device 100 may perform a noise filtering operation in response to receiving a user input for ending scanning of the 3D scanner 200 .
  • the electronic device 100 divides the 3D image model into a plurality of clusters, and selects a preset one of the plurality of clusters. At least one cluster smaller than the size may be determined, and scan data values associated with the determined at least one cluster may be deleted.
  • the electronic device 100 may generate a 3D image model of the object from which noise is removed, as shown in FIG. 4B .
  • the electronic device 100 may acquire a plurality of voxels of the surface of the object by scanning the 3D scanner 200 .
  • a voxel is graphic information defining a point in a 3D space and may include a 3D coordinate value.
  • the electronic device 100 may generate a 3D image model of the object based on the acquired plurality of voxels.
  • an aligning step of connecting and aligning the generated voxels may be additionally performed.
  • the generated 3D image model may include noise not intended by the user.
  • the electronic device 100 may perform noise filtering.
  • the electronic device 100 may classify the 3D image model into a plurality of clusters.
  • the electronic device 100 may determine at least one cluster having a predetermined size or less among a plurality of clusters.
  • the electronic device 100 may check the number of voxels included in each of the plurality of clusters, and determine at least one cluster having a predetermined number or less of voxels among the plurality of clusters. In this case, the electronic device 100 can determine how many voxels each cluster has. Based on the number of voxels included in each of the plurality of clusters, the electronic device 100 may determine a cluster having a predetermined number or less of voxels as at least one cluster to be regarded as noise.
  • the electronic device 100 removes, in operation 750, a 3D image associated with at least one voxel included in at least one cluster determined in the generated 3D image model, and the generated 3D image model. can be updated.
  • the electronic device 100 may update the 3D image model by removing a 3D image associated with at least one voxel included in at least one cluster from the generated 3D image model.
  • the electronic device 100 may display the updated 3D image model through the display 107 in operation 760 .
  • Various embodiments of the present disclosure may be implemented as software recorded on a machine-readable recording medium.
  • Software may be software for implementing various embodiments of the present disclosure described above.
  • Software can be inferred from various embodiments of this disclosure by programmers skilled in the art.
  • software can be machine-readable instructions (eg, code or code segments) or programs.
  • a device is a device capable of operating according to a command called from a recording medium, and may be, for example, a computer.
  • the device may be device 100 according to embodiments of the present disclosure.
  • the processor of the device may execute the invoked command so that components of the device perform functions corresponding to the command.
  • the processor may be one or more processors 101 according to embodiments of the present disclosure.
  • the recording medium may refer to any type of recording medium that can be read by a device and stores data.
  • the recording medium may include, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the recording medium may be one or more memories 103 .
  • the recording medium may be implemented in a distributed form such as a computer system connected by a network.
  • the software may be distributed, stored, and executed on a computer system or the like.
  • the recording medium may be a non-transitory recording medium.
  • a non-transitory recording medium refers to a tangible medium regardless of whether data is semi-permanently or temporarily stored, and does not include a transitory signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 개시의 다양한 실시예에 따른 전자 장치는 3차원 스캐너의 스캔에 의해, 대상체의 표면에 대한 스캔 데이터 값들을 획득하고 - 상기 스캔 데이터 값들은 3차원 좌표값을 포함함 -, 획득된 스캔 데이터 값들을 기초로 대상체의 3차원 이미지 모델을 생성하고, 3차원 이미지 모델을 복수의 클러스터로 구분하고, 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정하고, 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제하도록 구성될 수 있다.

Description

전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법
본 개시는 전자 장치 및 그의 3차원 스캐너의 스캔 이미지를 처리하는 방법에 관한 것이다. 구체적으로, 본 개시는 3차원 스캐너를 통해 스캔된 이미지를 기초로 생성된 3차원 이미지 모델에 존재하는 노이즈를 국소적으로 필터링하기 위한 방법 및 전자 장치에 관한 것이다.
3차원 구강 스캐너는 환자의 구강 내에 삽입되어 치아를 스캐닝함으로써 구강의 3차원 이미지를 획득하기 위한 광학 기기이다. 3차원 스캐너를 이용하여 환자의 구강을 스캔함으로써, 환자의 구강에 대한 복수의 2차원 이미지를 획득할 수 있고, 획득한 복수의 2차원 이미지를 이용하여 환자의 구강에 대한 3차원 이미지를 구축할 수 있다. 예를 들어, 의사는 3차원 스캐너를 환자의 구강 내부에 삽입하여, 환자의 치아, 치은 및/또는 연조직을 스캔함으로써, 환자의 구강에 대한 복수의 2차원 이미지를 획득할 수 있다. 이후, 3차원 모델링 기술을 적용함으로써, 환자의 구강에 대한 2차원 이미지를 이용하여, 환자의 구강에 대한 3차원 이미지를 구축할 수 있다.
상술한 스캐닝 동작 중에 스캐닝 대상체가 아닌 다른 물체가 개입되는 경우, 예를 들어, 치아의 스캐닝 동작 중 사용자의 손가락 또는 다른 치료 기구가 3차원 스캐너와 치아 사이에 개입되는 경우, 개입된 물체에 의해 가려진 치아 부분은 스캐닝되지 않고 대신 개입된 물체가 스캐닝될 수 있다. 상기의 경우, 구축된 3차원 이미지 모델에는 개입된 물체에 의한 노이즈 이미지가 발생할 수 있다. 노이즈가 발생하면 원하는 대상체의 정확한 3차원 이미지 모델을 얻을 수 없게 되므로, 3차원 이미지 모델을 구축함에 있어 이러한 노이즈를 효과적으로 제거할 필요가 있다.
나아가, 다양한 필터링 방법을 이용하여 상술한 노이즈를 제거하더라도, 일부 노이즈들은 깔끔하게 제거되지 않을 수 있으며, 이 경우, 정확한 3차원 이미지 모델을 얻을 수 없게 된다. 따라서, 노이즈 전부를 깔끔하게 제거할 필요가 있다.
또한, 스캔 데이터의 일부를 편집(예: 삭제)하는 과정에서 노이즈가 발생할 수 있으며, 이 경우, 정확한 3차원 이미지 모델을 얻을 수 없게 된다. 따라서, 이러한 노이즈를 효과적으로 제거할 필요가 있다.
본 개시의 다양한 실시예에 따르면, 3차원 스캐너를 이용하여 생성된 3차원 이미지 모델에 존재할 수 있는 노이즈를 효과적으로 제거할 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치는, 3차원 스캐너와 통신 연결되는 통신 회로; 디스플레이; 및 하나 이상의 프로세서를 포함할 수 있다. 다양한 실시예에 따른 상기 하나 이상의 프로세서는, 상기 3차원 스캐너의 스캔에 의해, 대상체의 표면에 대한 스캔 데이터 값들을 획득하고 - 상기 스캔 데이터 값들은 3차원 좌표값을 포함함 -, 상기 획득된 스캔 데이터 값들을 기초로 상기 대상체의 3차원 이미지 모델을 생성하고, 상기 3차원 이미지 모델을 복수의 클러스터로 구분하고, 상기 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정하고, 상기 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제하도록 구성될 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치에서 수행되는 3차원 스캐너의 스캔 이미지 처리 방법은, 상기 3차원 스캐너의 스캔에 의해, 대상체의 표면에 대한 스캔 데이터 값들을 획득하는 동작 - 상기 스캔 데이터 값들은 3차원 좌표값을 포함함 -; 상기 획득된 스캔 데이터 값들을 기초로 상기 대상체의 3차원 이미지 모델을 생성하는 동작; 상기 3차원 이미지 모델을 복수의 클러스터로 구분하는 동작; 상기 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정하는 동작; 및 상기 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예에 따르면, 스캔 데이터 값들에 존재하는 노이즈를 제거함으로써, 원하는 대상체의 3차원 이미지 모델의 정확도를 향상시킬 수 있다.
본 개시의 다양한 실시예에 따르면, 3차원 이미지 모델을 복수의 클러스터로 구분하고, 노이즈로 판단된 적어도 하나의 클러스트를 제거함으로써, 3차원 이미지 모델에 포함된 노이즈를 효과적으로 제거할 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 구강 스캐너를 이용하여 환자의 구강에 대한 이미지를 획득하는 모습을 도시한 도면이다.
도 2a는 본 개시의 다양한 실시예에 따른 전자 장치 및 구강 스캐너의 블록도이다. 도 2b는 본 개시의 다양한 실시예에 따른 구강 스캐너의 사시도이다.
도 3은 다양한 실시예에 따른 구강에 대한 3차원 이미지(320)를 생성하는 방법을 도시한 도면이다.
도 4a 및 4b는 본 개시의 다양한 실시예에 따른 노이즈 필터링을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 6은 본 개시의 다양한 실시예에 따른 대상체의 3차원 이미지 모델을 생성하기 위한 인터페이스를 도시한다.
도 7은 본 개시의 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다. 본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 본 개시의 다양한 실시예에 따른 3차원 스캐너(200)를 이용하여 환자의 구강에 대한 이미지를 획득하는 모습을 도시한 도면이다. 다양한 실시예에 따르면, 3차원 스캐너(200)는 대상체(20)의 구강 내의 이미지를 획득하기 위한 치과용 의료 기기일 수 있다. 예를 들어, 3차원 스캐너(200)는 구강 스캐너(intraoral scanner)일 수 있다. 도 1에 도시된 것처럼 사용자(10)(예: 치과 의사, 치과위생사)가 3차원 스캐너(200)를 이용하여 대상체(20)(예: 환자)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 다른 예로는, 사용자(10)가 대상체(20)의 구강의 모양을 본뜬 진단 모델(예: 석고 모델, 인상(impression) 모델)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수도 있다. 이하에서는 설명의 편의를 위하여, 대상체(20)의 구강을 스캐닝하여, 대상체(20)의 구강에 대한 이미지를 획득하는 것으로 설명하지만, 이에 제한되지 않으며, 대상체(20)의 다른 부위(예: 대상체(20)의 귀)에 대한 이미지를 획득하는 것도 가능하다. 3차원 스캐너(200)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 스캔 거리와 스캔 각도를 사용자(10)가 자유롭게 조절할 수 있는 핸드헬드형 스캐너(handheld scanner)일 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)는 대상체(20)의 구강 내에 삽입되어 비 접촉식으로 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득할 수 있다. 구강에 대한 이미지는 적어도 하나의 치아, 치은, 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 의치(denture), 구강 내 삽입되는 교정 보조 도구)을 포함할 수 있다. 3차원 스캐너(200)는 광원(또는 프로젝터)을 이용하여 대상체(20)의 구강(예: 대상체(20)의 적어도 하나의 치아, 치은)에 광을 조사할 수 있고, 대상체(20)의 구강으로부터 반사된 광을 카메라(또는, 적어도 하나의 이미지 센서)를 통해 수신할 수 있다. 다른 실시예에 따르면, 3차원 스캐너(200)는 구강의 진단 모델을 스캐닝함으로써, 구강의 진단 모델에 대한 이미지를 획득할 수도 있다. 구강의 진단 모델이 대상체(20)의 구강의 모양을 본뜬 진단 모델인 경우, 구강의 진단 모델에 대한 이미지는 대상체의 구강에 대한 이미지가 될 수 있다. 이하에서는, 설명의 편의를 위하여, 대상체(20)의 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득하는 경우를 가정하여 설명하도록 하지만, 이에 제한되는 것은 아니다.
다양한 실시예에 따른 3차원 스캐너(200)는 카메라를 통해 수신한 정보에 기초하여, 대상체(20)의 구강에 대한 표면 이미지를 2차원 이미지로서 획득할 수 있다. 대상체(20)의 구강에 대한 표면 이미지는 대상체(20)의 적어도 하나의 치아, 치은, 인공 구조물, 대상체(20)의 볼, 혀 또는 입술 중 적어도 하나를 포함할 수 있다. 대상체(20)의 구강에 대한 표면 이미지는 2차원 이미지일 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)에서 획득된 구강에 대한 2차원 이미지는 유선 또는 무선 통신 네트워크를 통해 연결되는 전자 장치(100)로 전송될 수 있다. 전자 장치(100)는, 컴퓨터 장치 또는 휴대용 통신 장치일 수 있다. 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 구강에 대한 2차원 이미지에 기초하여 구강을 3차원적으로 나타내는 구강에 대한 3차원 이미지(또는, 3차원 구강 이미지, 3차원 구강 모델)를 생성할 수 있다. 전자 장치(100)는 수신한 구강에 대한 2차원 이미지에 기초하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 구강에 대한 3차원 이미지를 생성할 수 있다.
또 다른 실시예에 따른 3차원 스캐너(200)는 대상체(20)의 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강에 대한 3차원 이미지를 생성하며, 생성한 구강의 3차원 이미지를 전자 장치(100)로 전송할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 클라우드 서버(미도시)와 통신 연결될 수 있다. 상기의 경우, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 클라우드 서버에 전송할 수 있고, 클라우드 서버는 전자 장치(100)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 저장할 수 있다.
또 다른 실시예에 따르면, 3차원 스캐너는 대상체(20)의 구강에 삽입하여 사용하는 핸드헬드형 스캐너 이외에도, 특정 위치에 고정시켜 사용하는 테이블 스캐너(미도시)가 사용될 수도 있다. 테이블 스캐너는 구강의 진단 모델을 스캐닝함으로써 구강의 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 상기의 경우, 테이블 스캐너의 광원(또는 프로젝터), 카메라 또는 진단 모델이 고정되는 지그(jig) 중 적어도 하나를 움직이면서 구강의 진단 모델을 스캐닝할 수 있다.
도 2a는 본 개시의 다양한 실시예에 따른 전자 장치(100) 및 3차원 스캐너(200)의 블록도이다. 전자 장치(100) 및 3차원 스캐너(200)는 유선 또는 무선 통신 네트워크를 통해 서로 통신 연결될 수 있으며, 다양한 데이터를 서로 송수신할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)는, 프로세서(201), 메모리(202), 통신 회로(203), 광원(204), 카메라(205), 입력 장치(206) 및/또는 센서 모듈(207)을 포함할 수 있다. 3차원 스캐너(200)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 3차원 스캐너(200)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 3차원 스캐너(200) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 프로세서(201)는 3차원 스캐너(200)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로서, 3차원 스캐너(200)의 구성요소들과 작동적으로 연결될 수 있다. 프로세서(201)는 3차원 스캐너(200)의 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(202)에 로드하고, 메모리(202)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다. 다양한 실시예에 따른 3차원 스캐너(200)의 메모리(202)는, 상기에 기재된 프로세서(201)의 동작에 대한 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 3차원 스캐너(200)의 통신 회로(203)는 외부 장치(예: 전자 장치(100))와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에 따르면, 통신 회로(203)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 상기의 경우, 통신 회로(203)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 일 실시예에 따르면, 통신 회로(203)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(203)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 통신 회로(203)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 광원(204)은 대상체(20)의 구강을 향해 광을 조사할 수 있다. 예를 들어, 광원(204)으로부터 조사되는 광은 소정 패턴(예: 서로 다른 색상의 직선 무늬가 연속적으로 나타나는 스트라이프 패턴)을 갖는 구조광일 수 있다. 구조광의 패턴은, 예를 들어, 패턴 마스크 또는 DMD(digital micro-mirror device)를 이용하여 생성될 수 있지만, 이에 제한되는 것은 아니다. 다양한 실시예에 따른 3차원 스캐너(200)의 카메라(205)는 대상체(20)의 구강에 의해 반사된 반사광을 수신함으로써, 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 카메라(205)는, 예를 들어, 광 삼각 측량 방식에 따라서 3차원 이미지를 구축하기 위하여, 좌안 시야에 대응되는 좌측 카메라 및 우안 시야에 대응되는 우측 카메라를 포함할 수 있다. 카메라(205)는, CCD 센서 또는 CMOS 센서와 같은 적어도 하나의 이미지 센서를 포함할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 입력 장치(206)는 3차원 스캐너(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 입력 장치(206)는 사용자(10)의 푸시 조작을 수신하는 버튼, 사용자(10)의 터치를 감지하는 터치 패널, 마이크를 포함하는 음성 인식 장치를 포함할 수 있다. 예를 들어, 사용자(10)는 입력 장치(206)를 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 센서 모듈(207)은 3차원 스캐너(200)의 작동 상태 또는 외부의 환경 상태(예: 사용자의 동작)을 감지하고, 감지된 상태에 대응하는 전기 신호를 생성할 수 있다. 센서 모듈(207)은, 예를 들어, 자이로 센서, 가속도 센서, 제스처 센서, 근접 센서 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 사용자(10)는 센서 모듈(207)을 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다. 예를 들어, 사용자(10)가 3차원 스캐너(200)를 손에 쥐고 움직이는 경우, 3차원 스캐너(200)는 센서 모듈(207)을 통해 측정된 각속도가 기 설정된 임계 값을 초과할 때, 프로세서(201) 스캐닝 동작을 시작하도록 제어할 수 있다.
일 실시예에 따르면, 3차원 스캐너(200)는, 3차원 스캐너(200)의 입력 장치(206) 또는 전자 장치(100)의 입력 장치(206)를 통해 스캔을 시작하기 위한 사용자 입력을 수신하거나, 3차원 스캐너(200)의 프로세서(201) 또는 전자 장치(100)의 프로세서(201)에서의 처리에 따라, 스캔을 시작할 수 있다. 사용자(10)가 3차원 스캐너(200)를 통해 대상체(20)의 구강 내부를 스캔하는 경우, 3차원 스캐너(200)는 대상체(20)의 구강에 대한 2차원 이미지를 생성할 수 있고, 실시간으로 대상체(20)의 구강에 대한 2차원 이미지를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 수신한 대상체(20)의 구강에 대한 2차원 이미지를 디스플레이를 통해 표시할 수 있다. 또한, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지에 기초하여, 대상체(20)의 구강에 대한 3차원 이미지를 생성(구축)할 수 있으며, 구강에 대한 3차원 이미지를 디스플레이를 통해 표시할 수 있다. 전자 장치(100)는 생성되고 있는 3차원 이미지를 실시간으로 디스플레이를 통해 표시할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 하나 이상의 프로세서(101), 하나 이상의 메모리(103), 통신 회로(105), 디스플레이(107) 및/또는 입력 장치(109)를 포함할 수 있다. 전자 장치(100)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 전자 장치(100)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 전자 장치(100) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 하나 이상의 프로세서(101)는 전자 장치(100)의 각 구성요소들(예: 메모리(103))의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 하나 이상의 프로세서(101)는, 예를 들어, 전자 장치(100)의 구성요소들과 작동적으로 연결될 수 있다. 하나 이상의 프로세서(101)는 전자 장치(100)의 다른 구성요소로부터 수신된 명령 또는 데이터를 하나 이상의 메모리(103)에 로드(load)하고, 하나 이상의 메모리(103)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 하나 이상의 메모리(103)는 하나 이상의 프로세서(101)의 동작에 대한 인스트럭션들을 저장할 수 있다. 하나 이상의 메모리(103)는 기계 학습 알고리즘에 따라 구축된 상관 모델들을 저장할 수 있다. 하나 이상의 메모리(103)는 3차원 스캐너(200)로부터 수신되는 데이터(예를 들어, 구강 스캔을 통하여 획득된 구강에 대한 2차원 이미지)를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 통신 회로(105)는 외부 장치(예: 3차원 스캐너(200), 클라우드 서버)와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에 따르면, 통신 회로(105)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 상기의 경우, 통신 회로(105)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 일 실시예에 따르면, 통신 회로(105)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(105)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 통신 회로(105)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 전자 장치(100)의 디스플레이(107)는 프로세서(101)의 제어에 기반하여 다양한 화면을 표시할 수 있다. 프로세서(101)는 3차원 스캐너(200)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 및/또는 구강의 내부 구조를 3차원적으로 모델링한 구강에 대한 3차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 예를 들어, 특정 응용 프로그램을 통해 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 표시할 수 있다. 상기의 경우, 사용자(10)는 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 편집, 저장 및 삭제할 수 있다.
다양한 실시예에 따른 전자 장치(100)의 입력 장치(109)는, 전자 장치(100)의 구성요소(예: 하나 이상의 프로세서(101))에 사용될 명령 또는 데이터를 전자 장치(100)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(109)는, 예를 들면, 마이크, 마우스 또는 키보드를 포함할 수 있다. 일 실시예에 따르면, 입력 장치(109)는 디스플레이(107)와 결합되어 다양한 외부 객체의 접촉 또는 근접을 인식할 수 있는 터치 센서 패널의 형태로 구현될 수도 있다.
도 2b는 다양한 실시예에 따른 3차원 스캐너(200)의 사시도이다. 다양한 실시예에 따른 3차원 스캐너(200)는 본체(210) 및 프로브 팁(220)을 포함할 수 있다. 3차원 스캐너(200)의 본체(210)는 사용자(10)가 손으로 그립하여 사용하기 용이한 모양으로 형성될 수 있다. 프로브 팁(220)은 대상체(20)의 구강으로 인입 및 인출이 용이한 모양으로 형성될 수 있다. 또한, 본체(210)는 프로브 팁(220)과 결합 및 분리될 수 있다. 본체(210) 내부에는, 도 2a에서 설명한 3차원 스캐너(200)의 구성요소들이 배치될 수 있다. 본체(210)의 일측 단부에는 광원(204)로부터 출력된 광이 대상체(20)에 조사될 수 있도록 개구된 개구부가 형성될 수 있다. 개구부를 통해 조사된 광은, 대상체(20)에 의해 반사되어 다시 개구부를 통해 유입될 수 있다. 개구부를 통해 유입된 반사광은 카메라에 의해 캡쳐되어 대상체(20)에 대한 이미지를 생성할 수 있다. 사용자(10)는 3차원 스캐너(200)의 입력 장치(206)(예: 버튼)를 이용하여 스캔을 시작할 수 있다. 예를 들어, 사용자(10)가 입력 장치(206)를 터치하거나 가압하는 경우, 광원(204)으로부터 광이 대상체(20)에 조사될 수 있다.
도 3은 다양한 실시예에 따른 구강에 대한 3차원 이미지(320)를 생성하는 방법을 도시한 도면이다. 사용자(10)는 3차원 스캐너(200)를 움직여가면서 대상체(20)의 구강 내부를 스캔할 수 있고, 이 경우, 3차원 스캐너(200)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310)를 획득할 수 있다. 예를 들어, 3차원 스캐너(200)는 대상체(20)의 앞니가 포함된 영역에 대한 2차원 이미지, 대상체(20)의 어금니가 포함된 영역에 대한 2차원 이미지 등을 획득할 수 있다. 3차원 스캐너(200)는 획득한 복수의 2차원 이미지(310)를 전자 장치(100)로 전송할 수 있다. 다른 실시예에 따르면, 사용자(10)는 3차원 스캐너(200)를 움직여가면서, 구강의 진단 모델을 스캔할 수도 있고, 구강의 진단 모델에 대한 복수의 2차원 이미지를 획득할 수도 있다. 이하에서는, 설명의 편의를 위하여, 대상체(20)의 구강 내부를 스캐닝함으로써, 대상체(20)의 구강에 대한 이미지를 획득하는 경우를 가정하여 설명하도록 하지만, 이에 제한되는 것은 아니다.
다양한 실시예에 따른 전자 장치(100)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310) 각각을 3차원 좌표값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 복수의 2차원 이미지(310) 각각을, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드(point cloud)로 변환할 수 있다. 예를 들어, 복수의 2차원 이미지(310)를 기초로 하는 3차원 좌표값인 포인트 클라우드 세트는, 대상체(20)의 구강에 대한 로우 데이터(raw data)로서 저장될 수 있다. 전자 장치(100)는, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드를 정렬(align)함으로써, 전체 치아 모형을 완성할 수 있다.
다양한 실시예에 따른 전자 장치(100)는 구강에 대한 3차원 이미지를 재구성(재구축)할 수 있다. 예를 들어, 전자 장치(100)는 푸아송 알고리즘을 사용하여, 로우 데이터로서 저장된 포인트 클라우드 세트를 병합함으로써, 복수의 포인트들을 재구성하고, 폐쇄된 3차원 표면으로 변환하여 대상체(20)의 구강에 대한 3차원 이미지(320)를 재구성할 수 있다.
도 4a 및 4b는 본 개시의 다양한 실시예에 따른 노이즈 필터링을 수행하는 과정을 설명하기 위한 도면이다. 도 4a는 노이즈(403)가 포함된 대상체의 3차원 이미지 모델(410)을 도시한 도면이고, 도 4b는 본 문서에 개시된 노이즈 필터링을 통해 노이즈가 제거된 대상체의 3차원 이미지 모델(420)을 도시한 도면이다.
다양한 실시예에 따른 전자 장치(100)는, 3차원 스캐너(200)의 스캔에 의해 대상체의 표면에 대한 스캔 데이터 값들을 획득할 수 있고, 획득된 스캔 데이터 값들을 기초로 대상체의 3차원 이미지 모델(410)을 생성할 수 있다. 본 문서에서 설명하는 대상체는, 예를 들어, 환자의 구강 또는 구강의 모양을 본뜬 진단 모델(예: 석고 모델, 인상 모델)을 의미할 수 있다. 스캔 데이터 값들은 3차원 좌표값을 포함할 수 있다. 다양한 원인에 의해 대상체의 3차원 이미지 모델(410)에는 대상체의 치아 및 치은(401)과 무관한 노이즈(403)가 포함될 수 있다. 도 4a의 노이즈(403)가 발생하는 예시적인 원인들은 아래와 같다.
일 실시예에 따르면, 대상체의 3차원 이미지 모델에 포함된 노이즈에 대하여, 1차적인 노이즈 필터링을 수행하였음에도 일부 노이즈는 제거되지 않고 남아 있을 수 있다. 구체적으로, 전자 장치(100)는 3차원 이미지 모델에 노이즈가 발생한 경우, 1차적인 노이즈 필터링 동작을 수행하기 위하여, 대상체의 표면을 2회 스캔할 수 있다. 예를 들어, 제1 스캔 시점에서 대상체를 스캔할 때(제1 스캔), 장애물(예: 손가락)도 같이 스캔된 경우, 상술한 제1 스캔에 의해 획득된 제1 스캔 데이터 값들에는 장애물에 대응되는 노이즈가 포함된다. 상술한 노이즈를 제거하기 위하여, 장애물이 사라진 상황에서 대상체를 다시 스캔하여(제2 스캔), 제2 스캔 데이터를 획득할 수 있다. 이후, 3차원 스캐너(200)의 가상 초점으로부터 제1 스캔 데이터 값들을 연결하는 벡터들을 결정하고, 상기 벡터들이 제2 스캔 데이터 값들과 교차하는지 여부를 결정하고, 상기 벡터들이 제2 스캔 데이터 값들과 교차하는 경우 제1 스캔 데이터 값들 중 제2 스캔 데이터 값과 교차된 적어도 하나의 벡터와 연관된 데이터 값을 삭제함으로써, 1차적인 노이즈 필터링을 수행할 수 있다. 이 경우, 일부 노이즈는, 상술한 1차적인 노이즈 필터링을 통해서 제거되지 않고 여전히 3차원 이미지 모델에 남아 있을 수 있다. 구체적으로, 상술한 노이즈 필터링은, 가상 초점과 제1 스캔 데이터 값들을 연결하는 벡터가 제2 스캔 데이터 값과 교차되는 경우에만, 제1 스캔 데이터 값들 중 상기 벡터와 교차된 스캔 데이터 값만을 노이즈로 간주하여 제거하기 때문에, 상기 벡터와 교차되지 않은 스캔 데이터 값들은 제거되지 않고 남아 있을 수 있다. 본 문서에 개시된 노이즈 필터링은 이러한 잔여 스캔 데이터 값들의 제거에 이용될 수 있다.
일 실시예에 따르면, 3차원 스캐너(200)를 통해 대상체를 스캔하는 경우, 치아 영역 또는 치은 영역을 식별하여, 식별된 영역들에 대응되는 3차원 이미지 모델을 생성할 수 있는데, 이 경우, 3차원 이미지 모델에는 치아 영역 또는 치은 영역이 아닌 다른 영역(예: 연조직 영역, 혀 영역)이 노이즈로써 포함될 수 있다. 구체적으로, 전자 장치(100)는 대상체의 이미지에서 치아 영역 또는 치은 영역을 식별하기 위하여, 치아 영역, 치은 영역 및 다른 영역을 각각 라벨링한 이미지들을 기계 학습 알고리즘에 따라 기계 학습시킬 수 있다. 예를 들어, 기계 학습 알고리즘에 따라 대상체들의 구강에 대한 2차원 이미지 세트 및 2차원 이미지 세트의 각 이미지에서 치아 영역 및 치은 영역이 식별된 데이터 세트 사이의 상관 관계를 모델링하여 상관 모델을 구축할 수 있다. 전자 장치(100)는 구축된 상관 모델을 이용하여 대상체에 대한 복수의 2차원 이미지로부터 치아 영역 또는 치은 영역을 식별할 수 있고, 식별한 치아 영역 또는 치은 영역에 대응하는 3차원 이미지 모델을 생성할 수 있다. 이 경우, 식별한 치아 영역 및 치은 영역을 제외한 나머지 영역을 제거하기 위한 필터링 동작을 수행할 수 있다. 상술한 필터링 동작을 수행하더라도, 나머지 영역이 완전히 제거되지 않고, 남아있을 수 있다. 예를 들어, 필터링 대상인 혀 영역을 필터링 대상이 아닌 치은 영역으로 오인하는 경우, 상기 영역은 상술한 필터링 동작에 의해 제거되지 않고 남아 있을 수 있다. 본 문서에 개시된 노이즈 필터링은 이러한 나머지 영역의 제거에 이용될 수 있다.
일 실시예에 따르면, 3차원 스캐너(200)를 통해 대상체를 스캔하는 경우, 대상체에 포함된 특정 물질(예: 인공 구조물)에 의해 외부의 광(예: 자연광)이 반사됨으로써, 노이즈가 발생할 수 있다. 예를 들어, 금 또는 아말감과 같은 금속이 대상체에 포함되어 있는 경우, 3차원 스캐너(200) 금속에 의해 반사된 외부의 광을 수신할 수 있고, 상기 광에 의해 대상체의 3차원 이미지 모델의 일부 영역에 노이즈가 발생할 수 있다. 본 문서에 개시된 노이즈 필터링은 이러한 일부 영역에 발생한 노이즈의 제거에 이용될 수 있다.
일 실시예에 따르면, 사용자는 입력 장치(109)를 통해 대상체의 3차원 이미지 모델을 편집(예: 삭제)할 수 있고, 이러한 편집 과정에서 노이즈가 발생할 수 있다. 사용자는 입력 장치(109)(예: 마우스)를 통해 생성된 3차원 이미지 모델에서 삭제하고 싶은 영역을 선택할 수 있다. 예를 들어, 사용자는 입력 장치(109)를 이용하여 삭제하고 싶은 영역을 다각형, 선, 점 등 다양한 형태로 선택할 수 있다. 이 경우, 전자 장치(100)는 선택된 영역을 나머지 영역(또는, 메인 클러스터)으로부터 분리할 수 있고, 분리된 영역은 노이즈로 결정될 수 있다. 예를 들어, 3차원 이미지 모델에서 특정 영역을 삭제하고 싶은 경우, 사용자는 특정 영역의 테두리를 입력 장치(109)를 통해 선택할 수 있다. 이 경우, 선택된 특정 영역의 테두리는 3차원 이미지 모델에서 삭제될 수 있다. 이에 따라, 특정 영역은 나머지 영역과 별도의 클러스터로 분리될 수 있다. 이 경우, 메인 클러스터로부터 분리된 특정 영역에 대응하는 클러스터는 노이즈로 결정될 수 있다. 본 문서에서 개시된 노이즈 필터링은 이러한 노이즈의 제거에 이용될 수 있다.
상술한 노이즈가 발생할 수 있는 실시예들은 예시적인 것이며, 이외에 다양한 원인에 의하여, 생성된 3차원 이미지 모델에 노이즈가 발생할 수 있다. 본 문서에 개시된 노이즈 필터링 기술은 3차원 이미지 모델에 발생한 노이즈를 제거하기 위하여 사용될 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 도 4a의 대상체의 3차원 이미지 모델(410)에 포함된 노이즈(403)를 제거하기 위하여 노이즈 필터링을 수행할 수 있다. 구체적인 노이즈 필터링 방법은 후술하기로 한다. 전자 장치(100)는, 노이즈 필터링을 수행하여, 도 4b와 같은 노이즈가 제거된 3차원 이미지 모델(420)을 생성할 수 있다.
도 5는 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 구체적으로, 도 5는 전자 장치(100)의 노이즈 필터링 방법을 설명하는 동작 흐름도이다.
동작 흐름도 500을 참조하면, 다양한 실시예에 따른 전자 장치(100)는, 동작 510에서, 3차원 스캐너(200)의 스캔에 의해, 대상체의 표면에 대한 스캔 데이터 값들을 획득할 수 있다. 스캔 데이터의 값들은 3차원 좌표값을 포함할 수 있다. 3차원 좌표값은 3차원 스캐너(200)에 의해 획득된 2차원 이미지 데이터에 기초하여 생성될 수 있다. 스캔 데이터 값들은 복수의 복셀(voxel) 형태의 3차원 볼륨 데이터를 포함할 수 있으며, 스캔 데이터 값이 복셀인 경우는 도 7에서 후술하도록 한다.
다양한 실시예에 따른 전자 장치(100)는, 동작 520에서, 획득된 스캔 데이터 값들을 기초로 대상체의 3차원 이미지 모델을 생성할 수 있다. 생성된 3차원 이미지 모델은 전자 장치(100)의 디스플레이(107)에 표시될 수 있다. 일 실시예에 따르면, 생성된 3차원 볼륨 데이터가 서로 연결 및 정렬되도록 하는 얼라인 단계가 추가로 수행될 수 있다. 생성된 3차원 이미지 모델에는 사용자가 의도하지 않은 노이즈가 포함될 수 있다. 상기 노이즈를 제거하기 위하여 전자 장치(100)는 노이즈 필터링을 수행할 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 동작 530에서, 3차원 이미지 모델을 복수의 클러스터로 구분할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 획득된 스캔 데이터 값들 중 연속하는 3차원 좌표값을 갖는 스캔 데이터 값들을 하나의 클러스터로 결정하는 방법을 통해 3차원 이미지 모델을 복수의 클러스터로 구분할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 3차원 이미지 모델에 포함된 복수의 폐곡면을 복수의 클러스터로 결정함으로써, 3차원 이미지 모델을 복수의 클러스터로 구분할 수 있다. 상술한 폐곡면은 연속하는 복수의 3차원 좌표값에 의해 정의되는 단일 표면을 의미할 수 있다. 예를 들어, 3차원 이미지 모델에 포함된 폐곡면을 하나의 클러스터로 결정할 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 동작 540에서, 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정할 수 있다. 결정된 적어도 하나의 클러스터는 제거 대상인 노이즈로 간주될 수 있다. 전자 장치(100)는 복수의 클러스터 각각의 크기에 기초하여, 복수의 클러스터 각각이 노이즈에 해당하는지 여부를 판단할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 복수의 클러스터 각각에 포함된 복셀의 수를 확인하고, 복수의 클러스터 중 미리 설정된 개수 이하의 복셀을 갖는 적어도 하나의 클러스터를 결정할 수 있다. 복셀의 수에 기초하여 제거 대상이 되는 클러스터를 결정하는 방법은 도 7에서 설명하기로 한다. 추가적으로, 전자 장치(100)는 사용자 입력에 기초하여 상기 결정된 적어도 하나의 클러스터 중 최종적으로 제거 대상이 되는 클러스터를 결정할 수도 있다. 전자 장치(100)는 복수의 클러스터 중 미리 설정된 개수 이하의 복셀을 갖는 적어도 하나의 클러스터를 결정하고, 디스플레이(107)를 통해 상기 적어도 하나의 클러스터를 다른 클러스터들과 구별되도록 표시할 수 있다. 예를 들어, 상기 결정된 적어도 하나의 클러스터를 다른 클러스터들과 다른 색상으로 표시할 수 있다. 사용자는 입력 장치(109)를 통해 적어도 하나의 클러스터 중 제거 대상이 되는 클러스터(또는 제거 대상에서 제외할 클러스터)를 직접 선택할 수 있다. 전자 장치(100)는 적어도 하나의 클러스터 중 제거 대상이 되는 클러스터(또는 제거 대상에서 제외할 클러스터)를 선택하기 위한 사용자 입력을 수신하고, 수신한 사용자 입력에 기초하여 최종적으로 제거 대상이 되는 클러스터를 결정할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 복수의 클러스터 중 크기가 큰 순서대로 미리 설정된 개수의 클러스터를 제외하고 나머지 클러스터를 제거하기 위한 적어도 하나의 클러스터로 결정할 수 있다. 예를 들어, 전자 장치(100)는 복수의 클러스터 중 크기가 가장 큰 클러스터를 제외하고 나머지 클러스터를 제거하기 위한 적어도 하나의 클러스터로 결정할 수 있다. 예를 들어, 전자 장치(100)는 복수의 클러스터 중 크기가 큰 순서대로 3개의 클러스터들을 제외하고 나머지 클러스터를 제거하기 위한 적어도 하나의 클러스터로 결정할 수 있다. 노이즈 필터링 수행 후 남아있는 클러스터의 개수는 사용자의 입력에 의해 설정될 수 있다.
일 실시예에 따르면, 전자 장치(100)는 복수의 클러스터 각각이 치아 영역 또는 치은 영역에 해당하는지 여부를 판단하고, 복수의 클러스터 중 미리 설정된 크기 이하이고, 치아 영역 또는 치은 영역에 해당하지 않는 적어도 하나의 클러스터를 결정할 수 있다. 예를 들어, 3차원 스캐너(200)를 통해 대상체를 스캔하는 경우, 전자 장치(100)는 대상체에 대한 복수의 2차원 이미지로부터 치아 영역 및 치은 영역을 식별할 수 있고, 식별된 치아 영역 또는 치은 영역을 다른 영역과 구분될 수 있도록 마스킹할 수 있다. 전자 장치(100)는 대상체의 복수의 2차원 이미지를 이용하여 생성한 대상체의 3차원 이미지 모델에서, 치아 영역 또는 치은 영역을 식별할 수 있다. 전자 장치(100)는 복수의 클러스터 중 미리 설정된 크기 이하인 클러스터들 중에서, 치아 영역 또는 치은 영역에 해당하지 않는 적어도 하나의 클러스터를 결정할 수 있다. 본 실시예에서는 치아 영역 또는 치은 영역을 마스킹하는 것으로 기재하였으나 이는 예시적인 것에 불과하며, 연조직 영역(예: 볼 영역, 혀 영역, 입술 영역 등) 또는 인공 구조물(예: 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 의치(denture), 구강 내 삽입되는 교정 보조 도구, 보철물, 보철물을 지지하기 위한 어버트먼트(abutment))에 대해서도 각각 마스킹할 수 있음은 물론이다.
다양한 실시예에 따른 전자 장치(100)는 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제할 수 있다. 전자 장치(100)는 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제한 후 생성된 3차원 이미지 모델을 업데이트할 수 있다. 이러한 과정들을 통해 3차원 이미지 모델에 포함된 노이즈를 효과적으로 제거할 수 있다. 전자 장치(100)는 업데이트된 3차원 이미지 모델을 디스플레이(107)를 통해 표시할 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 대상체의 3차원 이미지 모델을 생성하기 위한 인터페이스(600)를 도시한다.
다양한 실시예에 따르면, 사용자가 3차원 스캐너(200)를 통해 대상체를 스캔하는 경우, 전자 장치(100)는 실시간으로 3차원 스캐너(200)로부터 대상체에 대한 이미지들을 수신하고, 수신한 이미지들에 기초하여, 대상체의 3차원 이미지 모델을 생성(구축)할 수 있으며, 대상체의 3차원 이미지 모델을 디스플레이(107)를 통해 표시할 수 있다. 전자 장치(100)는 도 6과 같이 생성되고 있는 3차원 이미지 모델을 실시간으로 디스플레이(107)에 표시할 수 있다.
다양한 실시예에 따른 전자 장치(100)는 입력 장치(109)를 통해 3차원 스캐너(200)의 스캔을 종료하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 인터페이스 내에 표시된 스캔 종료 아이콘(610)을 입력 장치(109)를 통해 선택할 수 있다. 전자 장치(100)는 3차원 스캐너(200)의 스캔을 종료하기 위한 사용자 입력을 수신한 것에 응답하여, 노이즈 필터링 동작을 수행할 수 있다. 예를 들어, 전자 장치(100)는 3차원 스캐너(200)의 스캔을 종료하기 위한 사용자 입력을 수신한 것에 응답하여, 3차원 이미지 모델을 상기 복수의 클러스터를 구분하고, 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정하며, 결정된 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제할 수 있다. 이 경우, 전자 장치(100)는, 도 4b와 같이, 노이즈가 제거된 대상체의 3차원 이미지 모델을 생성할 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 전자 장치(100)의 동작 흐름도이다. 도 5에서 설명한 내용과 중복되는 내용은 생략한다. 동작 흐름도 700을 참조하면, 다양한 실시예에 따른 전자 장치(100)는, 동작 710에서, 3차원 스캐너(200)의 스캔에 의해, 대상체의 표면에 대한 복수의 복셀을 획득할 수 있다. 복셀은 3차원 공간 상의 한 점을 정의한 그래픽 정보로서 3차원 좌표값을 포함할 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 동작 720에서, 획득된 복수의 복셀을 기초로 대상체의 3차원 이미지 모델을 생성할 수 있다. 일 실시예에 따르면, 생성된 복셀들이 서로 연결 및 정렬되도록 하는 얼라인 단계가 추가로 수행될 수 있다. 생성된 3차원 이미지 모델에는 사용자가 의도하지 않은 노이즈가 포함될 수 있다. 상기 노이즈를 제거하기 위하여 전자 장치(100)는 노이즈 필터링을 수행할 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 동작 730에서, 3차원 이미지 모델을 복수의 클러스터로 구분할 수 있다. 다양한 실시예에 따른 전자 장치(100)는, 동작 740에서, 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정할 수 있다. 전자 장치(100)는 복수의 클러스터 각각에 포함된 복셀의 수를 확인하고, 복수의 클러스터 중 미리 설정된 개수 이하의 복셀을 갖는 적어도 하나의 클러스터를 결정할 수 있다. 이 경우, 전자 장치(100)는 각각의 클러스터가 몇 개의 복셀을 갖는지 확인할 수 있다. 전자 장치(100)는 복수의 클러스터 각각에 포함된 복셀의 수에 기초하여, 미리 설정된 개수 이하의 복셀을 갖는 클러스터를 노이즈로 간주될 적어도 하나의 클러스터로 결정할 수 있다.
다양한 실시예에 따른 전자 장치(100)는, 동작 750에서, 생성된 3차원 이미지 모델에서 결정된 적어도 하나의 클러스터에 포함된 적어도 하나의 복셀과 연관된 3차원 이미지를 제거하여, 생성된 3차원 이미지 모델을 업데이트할 수 있다. 예를 들어, 전자 장치(100)는 생성된 3차원 이미지 모델에서 적어도 하나의 클러스터에 포함된 적어도 하나의 복셀과 연관된 3차원 이미지를 제거하여, 3차원 이미지 모델을 업데이트할 수 있다. 다양한 실시예에 따른 전자 장치(100)는, 동작 760에서, 업데이트된 3차원 이미지 모델을 디스플레이(107)를 통해 표시할 수 있다.
본 개시의 다양한 실시예들은 기기(machine)가 읽을 수 있는 기록 매체(machine-readable recording medium)에 기록된 소프트웨어로 구현될 수 있다. 소프트웨어는 상술한 본 개시의 다양한 실시예들을 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 개시가 속하는 기술분야의 프로그래머들에 의해 본 개시의 다양한 실시예들로부터 추론될 수 있다. 예를 들어 소프트웨어는 기기가 읽을 수 있는 명령(예: 코드 또는 코드 세그먼트) 또는 프로그램일 수 있다. 기기는 기록 매체로부터 호출된 명령어에 따라 동작이 가능한 장치로서, 예를 들어 컴퓨터일 수 있다. 일 실시예에서, 기기는 본 개시의 실시예들에 따른 장치(100)일 수 있다. 일 실시예에서, 기기의 프로세서는 호출된 명령을 실행하여, 기기의 구성요소들이 해당 명령에 해당하는 기능을 수행하게 할 수 있다. 일 실시예에서, 프로세서는 본 개시의 실시예들에 따른 하나 이상의 프로세서(101)일 수 있다. 기록 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체(recording medium)를 의미할 수 있다. 기록 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다. 일 실시예에서, 기록 매체는 하나 이상의 메모리(103)일 수 있다. 일 실시예에서, 기록 매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수도 있다. 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 기록 매체는 비 일시적(non-transitory) 기록 매체일 수 있다. 비일시적 기록 매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(tangible medium)를 의미하며, 일시적(transitory)으로 전파되는 신호(signal)를 포함하지 않는다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 특징이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    3차원 스캐너와 통신 연결되는 통신 회로;
    디스플레이; 및
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 3차원 스캐너의 스캔에 의해, 대상체의 표면에 대한 스캔 데이터 값들을 획득하고 - 상기 스캔 데이터 값들은 3차원 좌표값을 포함함 -,
    상기 획득된 스캔 데이터 값들을 기초로 상기 대상체의 3차원 이미지 모델을 생성하고,
    상기 3차원 이미지 모델을 복수의 클러스터로 구분하고,
    상기 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정하고,
    상기 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제하도록 구성된, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 스캔 데이터 값들을 삭제한 이후, 상기 생성된 3차원 이미지 모델을 업데이트하도록 구성된, 전자 장치.
  3. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 업데이트된 3차원 이미지 모델을 상기 디스플레이를 통해 표시하도록 구성된, 전자 장치.
  4. 제2항에 있어서,
    상기 스캔 데이터 값들은 복수의 복셀을 포함하고,
    상기 하나 이상의 프로세서는,
    상기 생성된 3차원 이미지 모델에서 상기 적어도 하나의 클러스터에 포함된 적어도 하나의 복셀과 연관된 3차원 이미지를 제거하여 상기 3차원 이미지 모델을 업데이트하도록 구성된, 전자 장치.
  5. 제1항에 있어서,
    상기 스캔 데이터 값들은 복수의 복셀을 포함하고,
    상기 하나 이상의 프로세서는,
    상기 복수의 클러스터 중 미리 설정된 개수 이하의 복셀을 갖는 적어도 하나의 클러스터를 결정하도록 구성된, 전자 장치.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 클러스터 중, 크기가 큰 순서대로 미리 설정된 개수의 클러스터를 제외하고 나머지 클러스터를 상기 적어도 하나의 클러스터로 결정하도록 구성된, 전자 장치.
  7. 제1항에 있어서,
    입력 장치를 더 포함하고,
    상기 하나 이상의 프로세서는,
    상기 입력 장치를 통해, 상기 3차원 스캐너의 스캔을 종료하기 위한 사용자 입력을 수신한 것에 응답하여, 상기 3차원 이미지 모델을 상기 복수의 클러스터로 구분하도록 구성된, 전자 장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 획득된 스캔 데이터 값들 중 연속하는 3차원 좌표값을 갖는 스캔 데이터 값들을 하나의 클러스터로 결정하도록 구성된, 전자 장치.
  9. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 3차원 이미지 모델에 포함된 복수의 폐곡면을 상기 복수의 클러스터로 결정하도록 구성된, 전자 장치.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 클러스터 각각이 치아 영역 또는 치은 영역에 해당하는지 여부를 판단하고,
    상기 복수의 클러스터 중 미리 설정된 크기 이하이고, 상기 치아 영역 또는 치은 영역에 해당하지 않는 적어도 하나의 클러스터를 결정하도록 구성된, 전자 장치.
  11. 전자 장치에서 수행되는 3차원 스캐너의 스캔 이미지 처리 방법에 있어서,
    상기 3차원 스캐너의 스캔에 의해, 대상체의 표면에 대한 스캔 데이터 값들을 획득하는 동작 - 상기 스캔 데이터 값들은 3차원 좌표값을 포함함 -;
    상기 획득된 스캔 데이터 값들을 기초로 상기 대상체의 3차원 이미지 모델을 생성하는 동작;
    상기 3차원 이미지 모델을 복수의 클러스터로 구분하는 동작;
    상기 복수의 클러스터 중 미리 설정된 크기 이하인 적어도 하나의 클러스터를 결정하는 동작; 및
    상기 적어도 하나의 클러스터와 연관된 스캔 데이터 값들을 삭제하는 동작을 포함하는, 스캔 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 삭제하는 동작 이후, 상기 생성된 3차원 이미지 모델을 업데이트하는 동작을 더 포함하는, 스캔 이미지 처리 방법.
  13. 제12항에 있어서,
    상기 업데이트된 3차원 이미지 모델을 디스플레이를 통해 표시하는 동작을 더 포함하는, 스캔 이미지 처리 방법.
  14. 제12항에 있어서,
    상기 스캔 데이터 값들은 복수의 복셀을 포함하고,
    상기 업데이트하는 동작은, 상기 생성된 3차원 이미지 모델에서 상기 적어도 하나의 클러스터에 포함된 적어도 하나의 복셀과 연관된 3차원 이미지를 제거하여 상기 3차원 이미지 모델을 업데이트하는 동작을 포함하는, 스캔 이미지 처리 방법.
  15. 제11항에 있어서,
    상기 스캔 데이터 값들은 복수의 복셀을 포함하고,
    상기 적어도 하나의 클러스터를 결정하는 동작은,
    상기 복수의 클러스터 중 미리 설정된 개수 이하의 복셀을 갖는 적어도 하나의 클러스터를 결정하는 동작을 포함하는, 스캔 이미지 처리 방법.
  16. 제11항에 있어서,
    상기 적어도 하나의 클러스터를 결정하는 동작은,
    상기 복수의 클러스터 중, 크기가 큰 순서대로 미리 설정된 개수의 클러스터를 제외하고 나머지 클러스터를 상기 적어도 하나의 클러스터로 결정하는 동작을 포함하는, 스캔 이미지 처리 방법.
  17. 제11항에 있어서,
    상기 복수의 클러스터로 구분하는 동작은,
    입력 장치를 통해 상기 3차원 스캐너의 스캔을 종료하기 위한 사용자 입력을 수신한 것에 응답하여, 상기 3차원 이미지 모델을 상기 복수의 클러스터로 구분하는 동작을 포함하는, 스캔 이미지 처리 방법.
  18. 제11항에 있어서,
    상기 복수의 클러스터로 구분하는 동작은,
    상기 획득된 스캔 데이터 값들 중 연속하는 3차원 좌표값을 갖는 스캔 데이터 값들을 하나의 클러스터로 결정하는 동작을 포함하는, 스캔 이미지 처리 방법.
  19. 제11항에 있어서,
    상기 복수의 클러스터로 구분하는 동작은,
    상기 3차원 이미지 모델에 포함된 복수의 폐곡면을 상기 복수의 클러스터로 결정하는 동작을 포함하는, 스캔 이미지 처리 방법.
  20. 제11항에 있어서,
    상기 적어도 하나의 클러스터를 결정하는 동작은,
    상기 복수의 클러스터 각각이 치아 영역 또는 치은 영역에 해당하는지 여부를 판단하는 동작; 및
    상기 복수의 클러스터 중 미리 설정된 크기 이하이고, 상기 치아 영역 또는 치은 영역에 해당하지 않는 적어도 하나의 클러스터를 결정하는 동작을 포함하는, 스캔 이미지 처리 방법.
PCT/KR2022/012175 2021-09-10 2022-08-16 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법 WO2023038313A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210120791A KR102509772B1 (ko) 2021-09-10 2021-09-10 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법
KR10-2021-0120791 2021-09-10

Publications (1)

Publication Number Publication Date
WO2023038313A1 true WO2023038313A1 (ko) 2023-03-16

Family

ID=85506719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/012175 WO2023038313A1 (ko) 2021-09-10 2022-08-16 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법

Country Status (2)

Country Link
KR (1) KR102509772B1 (ko)
WO (1) WO2023038313A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526495A (ja) * 2014-07-01 2017-09-14 スリーエム イノベイティブ プロパティズ カンパニー 口腔内三次元スキャンを用いた歯牙摩耗の検出
KR20180082218A (ko) * 2017-01-10 2018-07-18 한국광기술원 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법
KR20190084344A (ko) * 2015-03-06 2019-07-16 얼라인 테크널러지, 인크. 구강 내 이미지의 선택 및 잠금
WO2020161121A1 (fr) * 2019-02-04 2020-08-13 Borea Procédé de segmentation automatique de dents
KR20210036697A (ko) * 2019-09-26 2021-04-05 주식회사 메디트 3차원 데이터 정렬 장치 및 3차원 데이터 정렬 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526495A (ja) * 2014-07-01 2017-09-14 スリーエム イノベイティブ プロパティズ カンパニー 口腔内三次元スキャンを用いた歯牙摩耗の検出
KR20190084344A (ko) * 2015-03-06 2019-07-16 얼라인 테크널러지, 인크. 구강 내 이미지의 선택 및 잠금
KR20180082218A (ko) * 2017-01-10 2018-07-18 한국광기술원 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법
WO2020161121A1 (fr) * 2019-02-04 2020-08-13 Borea Procédé de segmentation automatique de dents
KR20210036697A (ko) * 2019-09-26 2021-04-05 주식회사 메디트 3차원 데이터 정렬 장치 및 3차원 데이터 정렬 방법

Also Published As

Publication number Publication date
KR102509772B1 (ko) 2023-03-15

Similar Documents

Publication Publication Date Title
WO2023038313A1 (ko) 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법
WO2022250403A1 (ko) 전자 장치 및 그의 이미지 처리 방법
KR102460621B1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2023063671A1 (ko) 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체
WO2023014107A1 (ko) 3차원 스캐너의 스캔 이미지 처리에 있어서의 노이즈 필터링을 위한 방법 및 장치
WO2022255720A1 (ko) 3차원 스캐너의 스캔 이미지 처리 방법 및 장치
KR102612682B1 (ko) 전자 장치 및 3차원 스캐너의 스캔 이미지 처리 방법
WO2023003383A1 (ko) 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
WO2023204509A1 (ko) 3차원 스캐너의 3차원 이미지 모델의 생성과 정렬을 위한 전자 장치, 방법 및 기록 매체
US20230386141A1 (en) Method, apparatus and recording medium storing commands for processing scanned images of 3d scanner
WO2022060183A1 (ko) 3차원 스캔 데이터 처리 시스템 및 3차원 스캔 데이터 처리 방법
WO2023200128A1 (ko) 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
WO2023003399A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
EP4383187A1 (en) Method and device for noise filtering in scan image processing of three-dimensional scanner
KR20230014621A (ko) 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
WO2023177213A1 (ko) 객체의 색상을 결정하는 방법, 그 장치 및 그 명령을 기록한 기록 매체
KR102613531B1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
EP4299033A1 (en) Data processing device and data processing method
WO2023277391A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
KR20220122486A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR20230014604A (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
KR20230015258A (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
KR20220166204A (ko) 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법
KR20230014628A (ko) 이미지 처리 장치, 및 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867582

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022867582

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022867582

Country of ref document: EP

Effective date: 20240410