WO2023003383A1 - 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치 - Google Patents

3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치 Download PDF

Info

Publication number
WO2023003383A1
WO2023003383A1 PCT/KR2022/010687 KR2022010687W WO2023003383A1 WO 2023003383 A1 WO2023003383 A1 WO 2023003383A1 KR 2022010687 W KR2022010687 W KR 2022010687W WO 2023003383 A1 WO2023003383 A1 WO 2023003383A1
Authority
WO
WIPO (PCT)
Prior art keywords
scan
scanner
data
scan depth
depth value
Prior art date
Application number
PCT/KR2022/010687
Other languages
English (en)
French (fr)
Inventor
이동훈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220061439A external-priority patent/KR20230014621A/ko
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to CN202280049502.6A priority Critical patent/CN117677337A/zh
Priority to US18/571,838 priority patent/US20240289954A1/en
Priority to EP22846253.7A priority patent/EP4374769A1/en
Publication of WO2023003383A1 publication Critical patent/WO2023003383A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present disclosure relates to a method and apparatus for adjusting a scan depth of a 3D scanner. Specifically, the present disclosure relates to a method and apparatus for automatically adjusting a scan depth of a scanner by analyzing data scanned through a 3D scanner.
  • the 3D scanner may scan an object existing within a certain distance from a part (eg, a probe tip of the scanner) that scans the object. In the present disclosure, this scannable distance is referred to as “scan depth”.
  • a user of the 3D scanner eg, a dentist
  • the scannable area becomes larger, so more data can be obtained through scanning, but the possibility of generating noise data may increase.
  • an area eg, the inside of the oral cavity
  • the possibility that an object other than the object eg, a user's finger, a treatment tool, etc.
  • the scan depth is set shallow, that is, if the scan depth value is set small, the possibility of noise data is reduced, but the acquired data is reduced, making it difficult to create a perfect 3D image, and the scanner must be brought closer to the object. There is an inconvenience. Therefore, it was necessary to determine an appropriate depth according to the situation.
  • a user in order to change the scan depth of a scanner, a user must manually adjust the scan depth through a user interface displayed on a display using a mouse or a touch screen.
  • a user directly touches a mouse or a display to adjust a scan depth during a dental procedure, for example, there is a possibility of contamination of the user's hand that may enter the patient's oral cavity.
  • the present disclosure is to solve the above problems of the prior art, by adjusting the scan depth of the intraoral scanner according to predetermined conditions, preventing contamination that may occur when the user directly manipulates the input device, and at the same time, convenient and rapid scanning. make it possible.
  • the distance between the scanner and the object can be naturally adjusted, while parts not to be scanned (eg, oral soft tissue, etc.) can be automatically filtered.
  • a method and apparatus for adjusting a scan depth of a 3D scanner may be proposed.
  • a method is performed by the one or more processors to scan images of a 3D scanner.
  • a processing method comprising: acquiring scan data for a measurement object within a preset scan depth of the 3D scanner through the 3D scanner; determining whether or not the scan data is abnormal based on a scan image obtained from the 3D scanner; and adjusting a scan depth of the 3D scanner when it is determined that there is an abnormality in the scan data.
  • An electronic device for adjusting a scan depth of a 3D scanner includes a communication circuit connected to a 3D scanner in communication; display; and one or more processors, wherein the one or more processors obtain scan data for a measurement object within a preset scan depth of the 3D scanner through the 3D scanner; determining whether the scan data is abnormal based on a scan image obtained from the 3D scanner; When it is determined that there is an abnormality in the scan data, it may be configured to adjust the scan depth of the 3D scanner.
  • a non-transitory computer readable recording medium recording instructions for controlling a scan depth of a 3D scanner may be proposed.
  • a non-transitory computer-readable recording medium according to one aspect of the present disclosure is a non-transitory computer-readable recording medium recording instructions that, when executed by one or more processors, cause the one or more processors to perform an operation, wherein the instructions are , causing the one or more processors to obtain, through the 3D scanner, scan data for a measurement object within a preset scan depth of the 3D scanner; determining whether the scan data is abnormal based on a scan image obtained from the 3D scanner; When it is determined that there is an abnormality in the scan data, the scan depth of the 3D scanner may be adjusted.
  • the method and apparatus for adjusting the scan depth of the present disclosure contamination that may occur when a user directly manipulates an input device is prevented by automatically adjusting the scan depth of a 3D scanner based on scan data. At the same time, it enables convenient and quick scanning.
  • the method and apparatus for adjusting the scan depth of the present disclosure when scanning of a non-target part is being performed, the user is notified of this and the scan depth is reduced to prevent unnecessary scanning and data processing.
  • FIG. 1 is a diagram illustrating how to obtain an image of a patient's oral cavity using a 3D scanner according to various embodiments of the present disclosure.
  • 2A is a block diagram of an electronic device and a 3D scanner according to various embodiments of the present disclosure.
  • 2B is a perspective view of a 3D scanner according to various embodiments of the present disclosure.
  • FIG. 3 is a diagram illustrating a method of generating a 3D image of an oral cavity according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating a scan depth of a 3D scanner according to various embodiments of the present disclosure.
  • FIG. 5 is a diagram illustrating a screen of a data acquisition program displayed on a display of an electronic device according to various embodiments of the present disclosure.
  • 6A to 6C are diagrams illustrating cases in which a scan depth value is increased or decreased.
  • FIG. 7 is a flowchart of a method for automatically adjusting a scan depth value of a 3D scanner according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram showing that a portion used for generating 3D data and a portion not used for generating 3D data among images acquired by a 3D scanner are separately displayed according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart of a method for automatically adjusting a scan depth in a specific scan mode according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram illustrating an image in which a target object and a non-target object are separated and masked in an obtained 2D image according to various embodiments of the present disclosure.
  • Embodiments of the present disclosure are illustrated for the purpose of explaining the technical idea of the present disclosure.
  • the scope of rights according to the present disclosure is not limited to the specific description of the embodiments or these embodiments presented below.
  • unit used in the present disclosure means software or a hardware component such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC).
  • FPGA field-programmable gate array
  • ASIC application specific integrated circuit
  • unit is not limited to hardware and software.
  • a “unit” may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors.
  • “unit” refers to components such as software components, object-oriented software components, class components and task components, processors, functions, properties, procedures, subroutines, It includes segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Functions provided within components and “units” may be combined into fewer components and “units” or further separated into additional components and “units”.
  • the expression "based on” is used to describe one or more factors that affect the act or operation of a decision, judgment, described in a phrase or sentence in which the expression is included, which expression It does not preclude additional factors that may affect the decision, the act of judgment, or the action.
  • artificial intelligence means a technology that imitates human learning ability, reasoning ability, and perception ability, and implements them with a computer, and may include concepts of machine learning and symbolic logic.
  • Machine learning may be an algorithm technology that classifies or learns features of input data by itself.
  • Artificial intelligence technology is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make judgments or predictions based on the result of the learning.
  • technologies that use machine learning algorithms to mimic the cognitive and judgmental functions of the human brain can also be understood as the category of artificial intelligence. For example, technical fields of linguistic understanding, visual understanding, inference/prediction, knowledge expression, and motion control may be included.
  • machine learning may refer to a process of training a neural network model using experience of processing data.
  • computer software could mean improving its own data processing capabilities.
  • a neural network model is constructed by modeling a correlation between data, and the correlation may be expressed by a plurality of parameters.
  • the neural network model derives a correlation between data by extracting and analyzing features from given data, and optimizing the parameters of the neural network model by repeating this process can be referred to as machine learning.
  • a neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair.
  • the neural network model may learn the relationship by deriving a regularity between given data.
  • an artificial intelligence learning model, a machine learning model, or a neural network model may be designed to implement a human brain structure on a computer, and include a plurality of network nodes that simulate neurons of a human neural network and have weights. can do.
  • a plurality of network nodes may have a connection relationship between them by simulating synaptic activities of neurons that transmit and receive signals through synapses.
  • a plurality of network nodes can send and receive data according to a convolutional connection relationship while being located in layers of different depths.
  • the artificial intelligence learning model may be, for example, an artificial neural network model, a convolution neural network model, and the like.
  • FIG. 1 is a diagram illustrating how an image of a patient's oral cavity is acquired using a 3D scanner 200 according to various embodiments of the present disclosure.
  • the 3D scanner 200 may be a dental medical device for obtaining an image of the oral cavity of the object 20 .
  • the 3D scanner 200 may be an intraoral scanner.
  • a user 10 eg, a dentist or a dental hygienist
  • acquires an image of an oral cavity of an object 20 eg, a patient
  • a 3D scanner 200 can do.
  • the user 10 may obtain an image of the mouth of the object 20 from a diagnosis model (eg, a plaster model or an impression model) imitating the shape of the mouth of the object 20 .
  • a diagnosis model eg, a plaster model or an impression model
  • an image of the oral cavity of the object 20 is acquired by scanning the oral cavity of the object 20, but is not limited thereto, and other parts of the object 20 (eg, the object It is also possible to obtain an image for the ear of (20).
  • the 3D scanner 200 may have a shape capable of being drawn in and out of the oral cavity, and may be a handheld scanner in which the user 10 can freely adjust a scanning distance and a scanning angle.
  • the 3D scanner 200 may acquire an image of the oral cavity by being inserted into the oral cavity of the object 20 and scanning the oral cavity in a non-contact manner.
  • the image of the oral cavity may include at least one tooth, a gingiva, and an artificial structure insertable into the oral cavity (eg, an orthodontic device including a bracket and a wire, an implant, a denture, and an orthodontic aid inserted into the oral cavity).
  • the 3D scanner 200 may irradiate light to the oral cavity of the object 20 (eg, at least one tooth or gingiva of the object 20) using a light source (or projector), and may irradiate light to the oral cavity of the object 20. Light reflected from the camera may be received through a camera (or at least one image sensor).
  • the 3D scanner 200 may obtain an image of the oral cavity diagnostic model by scanning the oral cavity diagnostic model.
  • the diagnostic model of the oral cavity is a diagnostic model that imitates the shape of the oral cavity of the object 20
  • the image of the oral diagnostic model may be an image of the oral cavity of the object.
  • an image of the oral cavity is obtained by scanning the inside of the oral cavity of the object 20 is assumed, but is not limited thereto.
  • the 3D scanner 200 may obtain a surface image of the oral cavity of the object 20 as a 2D image based on information received through a camera.
  • the surface image of the oral cavity of the object 20 may include at least one of at least one tooth, gingiva, artificial structure, cheek, tongue, or lip of the object 20 .
  • the surface image of the oral cavity of the object 20 may be a two-dimensional image.
  • the 2D image of the oral cavity obtained by the 3D scanner 200 may be transmitted to the electronic device 100 connected through a wired or wireless communication network.
  • the electronic device 100 may be a computer device or a portable communication device.
  • the electronic device 100 generates a 3D image of the oral cavity (or a 3D oral image or a 3D oral model) representing the oral cavity in 3D based on the 2D image of the oral cavity received from the 3D scanner 200. can create
  • the electronic device 100 may generate a 3D image of the oral cavity by 3D modeling the internal structure of the oral cavity based on the received 2D image of the oral cavity.
  • the 3D scanner 200 scans the oral cavity of the object 20 to acquire a 2D image of the oral cavity, and generates a 3D image of the oral cavity based on the acquired 2D image of the oral cavity. and may transmit the generated 3D image of the oral cavity to the electronic device 100 .
  • the electronic device 100 may be communicatively connected to a cloud server (not shown).
  • the electronic device 100 may transmit a 2D image or a 3D image of the oral cavity of the object 20 to the cloud server, and the cloud server may transmit the object 20 image received from the electronic device 100 to the cloud server.
  • the cloud server may transmit the object 20 image received from the electronic device 100 to the cloud server.
  • a table scanner (not shown) fixed to a specific position may be used as the 3D scanner in addition to a handheld scanner inserted into the oral cavity of the object 20 for use.
  • the table scanner may generate a three-dimensional image of the oral cavity diagnostic model by scanning the oral cavity diagnostic model.
  • the light source (or projector) and camera of the table scanner are fixed, the user can scan the oral cavity diagnostic model while moving the arm fixing the oral cavity diagnostic model.
  • table scanners are less likely to cause noise due to other objects being intervened between the camera and the diagnostic model during the scanning operation, but the embodiments of the present disclosure are not only handheld scanners, but table scanners and other It can also be applied to 3D scanners.
  • FIG. 2A is a block diagram of an electronic device 100 and a 3D scanner 200 according to various embodiments of the present disclosure.
  • the electronic device 100 and the 3D scanner 200 may be communicatively connected to each other through a wired or wireless communication network, and may transmit and receive various data to each other.
  • the 3D scanner 200 includes a processor 201, a memory 202, a communication circuit 203, a light source 204, a camera 205, an input device 206, and/or a sensor module ( 207) may be included. At least one of the components included in the 3D scanner 200 may be omitted or another component may be added to the 3D scanner 200 . Additionally or alternatively, some of the components may be integrated and implemented, or implemented as a singular or plural entity. At least some of the components in the 3D scanner 200 are connected to each other through a bus, general purpose input/output (GPIO), serial peripheral interface (SPI) or mobile industry processor interface (MIPI), and data and /or send and receive signals.
  • GPIO general purpose input/output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the processor 201 of the 3D scanner 200 is a component capable of performing calculations or data processing related to control and/or communication of each component of the 3D scanner 200, and is a 3D scanner. It can be operatively connected with the components of 200.
  • the processor 201 may load commands or data received from other components of the 3D scanner 200 into the memory 202, process the commands or data stored in the memory 202, and store resultant data.
  • the memory 202 of the 3D scanner 200 may store instructions for the operation of the processor 201 described above.
  • the communication circuit 203 of the 3D scanner 200 may establish a wired or wireless communication channel with an external device (eg, the electronic device 100) and transmit/receive various data with the external device.
  • the communication circuit 203 may include at least one port connected to the external device through a wired cable in order to communicate with the external device by wire.
  • the communication circuit 203 may perform communication with an external device connected by wire through at least one port.
  • the communication circuit 203 may be configured to be connected to a cellular network (eg, 3G, LTE, 5G, Wibro or Wimax) by including a cellular communication module.
  • a cellular network eg, 3G, LTE, 5G, Wibro or Wimax
  • the communication circuit 203 may communicate with an external device using a millimeter wave frequency band, for example, a communication band of 30 GHz to 300 GHz.
  • the communication circuit 203 may communicate with an external device through a wireless network using a frequency band of 60 GHz.
  • the communication circuit 203 includes a short-range communication module to transmit/receive data with an external device using short-range communication (eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB). It can, but is not limited thereto.
  • the communication circuit 203 may include a non-contact communication module for non-contact communication.
  • Non-contact communication may include, for example, at least one non-contact type proximity communication technology such as near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the light source 204 of the 3D scanner 200 may radiate light toward the oral cavity of the object 20 .
  • the light emitted from the light source 204 may be structured light having a predetermined pattern (eg, a stripe pattern in which straight lines of different colors are continuously appearing).
  • the structured light pattern may be generated using, for example, a pattern mask or a digital micro-mirror device (DMD), but is not limited thereto.
  • the camera 205 of the 3D scanner 200 may obtain an image of the oral cavity of the object 20 by receiving reflected light reflected by the oral cavity of the object 20 .
  • the camera 205 may include, for example, a left camera corresponding to the left eye field of view and a right camera corresponding to the right eye field of view in order to build a 3D image according to the optical triangulation method.
  • the camera 205 may include at least one image sensor such as a CCD sensor or a CMOS sensor.
  • the input device 206 of the 3D scanner 200 may receive a user input for controlling the 3D scanner 200 .
  • the input device 206 may include a button for receiving a push manipulation of the user 10, a touch panel for detecting a touch of the user 10, and a voice recognition device including a microphone.
  • the user 10 may control starting or stopping scanning using the input device 206 .
  • the sensor module 207 of the 3D scanner 200 detects an operating state of the 3D scanner 200 or an external environmental state (eg, a user's motion), and electrical response corresponding to the detected state. signal can be generated.
  • the sensor module 207 may include, for example, at least one of a gyro sensor, an acceleration sensor, a gesture sensor, a proximity sensor, or an infrared sensor.
  • the user 10 may control starting or stopping scanning using the sensor module 207 . For example, when the user 10 holds the 3D scanner 200 in his hand and moves it, the 3D scanner 200, when the angular velocity measured through the sensor module 207 exceeds a predetermined threshold value, the processor (201) Control to start a scanning operation.
  • the 3D scanner 200 receives a user input for starting a scan through the input device 206 of the 3D scanner 200 or the input device 206 of the electronic device 100, or , according to the processing of the processor 201 of the 3D scanner 200 or the processor 201 of the electronic device 100, scanning may be started.
  • the 3D scanner 200 may generate a 2D image of the oral cavity of the object 20, and in real time As a result, a 2D image of the oral cavity of the object 20 may be transmitted to the electronic device 100 .
  • the electronic device 100 may display the received 2D image of the oral cavity of the object 20 through the display.
  • the electronic device 100 may generate (construct) a 3D image of the oral cavity of the object 20 based on the 2D image of the oral cavity of the object 20, and generate (construct) a 3D image of the oral cavity. can be displayed on the display.
  • the electronic device 100 may display the 3D image being created through the display in real time.
  • An electronic device 100 may include one or more processors 101 , one or more memories 103 , a communication circuit 105 , a display 107 , and/or an input device 109 . At least one of the components included in the electronic device 100 may be omitted or another component may be added to the electronic device 100 . Additionally or alternatively, some of the components may be integrated and implemented, or implemented as a singular or plural entity. At least some of the components in the electronic device 100 are connected to each other through a bus, general purpose input/output (GPIO), serial peripheral interface (SPI) or mobile industry processor interface (MIPI), etc., and data and/or Or you can send and receive signals.
  • GPIO general purpose input/output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • one or more processors 101 of the electronic device 100 perform operations or data processing related to control and/or communication of each component (eg, memory 103) of the electronic device 100. It may be a configuration that can be performed.
  • One or more processors 101 may be operatively connected to components of the electronic device 100 , for example.
  • the one or more processors 101 load commands or data received from other components of the electronic device 100 into one or more memories 103, process the commands or data stored in the one or more memories 103, and , the resulting data can be stored.
  • one or more memories 103 of the electronic device 100 may store instructions for the operation of one or more processors 101 .
  • One or more memories 103 may store correlation models built according to machine learning algorithms.
  • the one or more memories 103 may store data received from the 3D scanner 200 (eg, a 2D image of the oral cavity acquired through an oral cavity scan).
  • the communication circuit 105 of the electronic device 100 establishes a wired or wireless communication channel with an external device (eg, the 3D scanner 200, a cloud server), and transmits and receives various data with the external device. can do.
  • the communication circuit 105 may include at least one port connected to the external device through a wired cable in order to communicate with the external device through a wired connection.
  • the communication circuit 105 may perform communication with an external device connected by wire through at least one port.
  • the communication circuit 105 may be configured to be connected to a cellular network (eg, 3G, LTE, 5G, Wibro or Wimax) by including a cellular communication module.
  • a cellular network eg, 3G, LTE, 5G, Wibro or Wimax
  • the communication circuit 105 may include a short-range communication module to transmit/receive data with an external device using short-range communication (eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), UWB). However, it is not limited thereto.
  • the communication circuitry 105 may include a contactless communication module for contactless communication.
  • Non-contact communication may include, for example, at least one non-contact type proximity communication technology such as near field communication (NFC) communication, radio frequency identification (RFID) communication, or magnetic secure transmission (MST) communication.
  • NFC near field communication
  • RFID radio frequency identification
  • MST magnetic secure transmission
  • the display 107 of the electronic device 100 may display various screens based on the control of the processor 101 .
  • the processor 101 displays a 2-dimensional image of the oral cavity of the object 20 received from the 3-dimensional scanner 200 and/or a 3-dimensional image of the oral cavity in which the internal structure of the oral cavity is 3-dimensionally modeled (107). can be displayed through For example, a 2D image and/or a 3D image of the oral cavity may be displayed through a specific application. In this case, the user 10 can edit, save and delete the 2D image and/or the 3D image of the oral cavity.
  • the input device 109 of the electronic device 100 transmits a command or data to be used to components (eg, one or more processors 101) of the electronic device 100 to the outside of the electronic device 100 ( Example: user).
  • the input device 109 may include, for example, a microphone, mouse or keyboard.
  • the input device 109 may be implemented in the form of a touch sensor panel capable of recognizing contact or proximity of various external objects by being combined with the display 107 .
  • the 3D scanner 200 may include a main body 210 and a probe tip 220 .
  • the body 210 of the 3D scanner 200 may be formed in a shape that is easy for the user 10 to grip and use.
  • the probe tip 220 may be formed in a shape that facilitates insertion into and withdrawal from the oral cavity of the object 20 .
  • the main body 210 may be combined with and separated from the probe tip 220 .
  • components of the 3D scanner 200 described in FIG. 2A may be disposed inside the main body 210.
  • An opening may be formed at one end of the main body 210 so that light output from the light source 204 may be irradiated to the object 20 .
  • Light irradiated through the opening may be reflected by the target object 20 and introduced again through the opening. Reflected light introduced through the opening may be captured by a camera to generate an image of the object 20 .
  • the user 10 may start scanning using the input device 206 (eg, a button) of the 3D scanner 200 . For example, when the user 10 touches or presses the input device 206 , light from the light source 204 may be radiated to the object 20 .
  • 3 is a diagram illustrating a method of generating a 3D image 320 of an oral cavity according to various embodiments.
  • the user 10 may scan the inside of the mouth of the object 20 while moving the 3D scanner 200.
  • the 3D scanner 200 may scan a plurality of 2D images of the mouth of the object 20. (310) can be obtained.
  • the 3D scanner 200 may obtain a 2D image of a region including the front teeth of the object 20 and a 2D image of a region including the molar teeth of the object 20 .
  • the 3D scanner 200 may transmit the acquired plurality of 2D images 310 to the electronic device 100 .
  • the user 10 may scan a diagnostic model of the oral cavity while moving the 3D scanner 200, or acquire a plurality of 2D images of the diagnostic model of the oral cavity.
  • a diagnostic model of the oral cavity while moving the 3D scanner 200, or acquire a plurality of 2D images of the diagnostic model of the oral cavity.
  • the electronic device 100 may transform each of the plurality of 2D images 310 of the oral cavity of the object 20 into a set of a plurality of points having 3D coordinate values.
  • the electronic device 100 may convert each of the plurality of 2D images 310 into a point cloud, which is a set of data points having 3D coordinate values.
  • a point cloud set that is a 3D coordinate value based on a plurality of 2D images 310 may be stored as raw data for the oral cavity of the object 20 .
  • the electronic device 100 may complete the entire tooth model by aligning a point cloud, which is a set of data points having 3D coordinate values.
  • the electronic device 100 may reconstruct (reconstruct) a 3D image of the oral cavity.
  • the electronic device 100 reconstructs a plurality of points by merging point cloud sets stored as raw data using a Poisson algorithm, transforms a plurality of points into a closed 3D surface, and places the object 20 in the oral cavity. It is possible to reconstruct a 3D image 320 for
  • the 3D scanner 200 may acquire an image of the oral cavity by being inserted into the oral cavity of the object 20 and scanning the oral cavity in a non-contact manner. At this time, a scannable distance by the 3D scanner 200, that is, a distance at which data can be obtained by scanning is referred to as “scan depth”.
  • FIG. 4 illustrates a scan depth of the 3D scanner 200 according to various embodiments of the present disclosure.
  • a scan area 410 when the 3D scanner 200 having a scan depth of d scans the object 20 is shown.
  • a scannable distance d from the camera portion of the 3D scanner 200, for example, the probe tip 220 corresponds to the scan depth.
  • a part 420 of the object 20 belongs to the scan area 410, and the surface 422 of the object belonging to the scan area 410 may be obtained as a 2D image.
  • the scan depth refers to a distance set by software so that the camera 205 of the 3D scanner 200 acquires data within the maximum possible distance. In this case, among the data acquired by the actual camera, only data falling within the scan depth is used for subsequent data processing, and adjusting the scan depth may include adjusting the distance to data used for subsequent data processing with software. there is.
  • the scan depth refers to a distance that the camera 205 of the 3D scanner 200 can capture. In this case, all of the data acquired by the actual camera is used for subsequent data processing, and adjusting the scan depth adjusts the distance that the camera 205 can capture by adjusting the hardware of the camera 205 of the 3D scanner 200.
  • the term scan depth means a distance at which a 3D scanner can obtain data, and may include both of the above cases. For example, when the scan depth value is 18.5 mm, data up to a distance of 18.5 mm from the scan portion (probe tip) of the 3D scanner is acquired for subsequent processing.
  • the electronic device 100 may execute a data acquisition program by the processor 101 .
  • the data acquisition program may be stored in the memory 103 as an application program.
  • the electronic device 100 displays the 2D image 310 received from the intraoral scanner 200 and the 3D image generated based thereon on the display 107.
  • the electronic device 100 may display images scanned by the intraoral scanner 100 and provide a user interface for processing and processing them.
  • the screen 500 of the data acquisition program includes a data display area 510, a live view area 520, a model view area 530, a function box area 540, a function options area 550, and icons. It includes user interfaces including the display area 560 .
  • the above user interfaces are exemplary, and any additional user interfaces may be included in the screen 500 of the data acquisition program as needed.
  • the data display area 510 is an area for displaying an image received from the intraoral scanner and a 3D image generated based thereon.
  • the data display area 510 includes a live view area 520 and a model view area 530 .
  • the data display area 510 includes a function options area 550 .
  • the live view area 520 displays an image received from the intraoral scanner 100 .
  • the electronic device 100 may display a 2D image of the oral cavity currently being scanned by the intraoral scanner 200 in the live view area 520 in real time.
  • the live view area 520 can be moved and resized by a user, and can be separated from the screen 500 of the data acquisition program.
  • the user may set the live view area 520 not to be displayed.
  • the electronic device 100 may display a 3D image model generated from a 2D image obtained from the intraoral scanner 100 on the model view area 530 .
  • the function box area 540 includes a user interface for providing a function for modifying/editing or analyzing a displayed 3D image model and a user interface for displaying a device state.
  • the function box area 540 includes a trimming function interface 542 for selecting and deleting unnecessary data obtained during the scanning process, and a function tool interface for editing or saving the generated 3D image. 544, a treatment information interface 546 for displaying an image of treatment information for each tooth, and a device status display interface 548 for displaying the device status of the intraoral scanner 200.
  • the electronic device 100 may display detailed options in the function option area 550 in response to a user input for selecting one function interface from the function box area 540 .
  • the electronic device 100 displays an option for playing a recorded screen in the function option area 550; For example, a play/pause button, an interface for controlling play position/speed, and the like may be displayed.
  • the function options area 550 may include a scan filtering function option 552 .
  • the scan filtering function includes a function of generating a scanned image by automatically removing unnecessary parts (eg, oral soft tissue) during scanning.
  • the no-filtering mode 552-1 of the scan filtering function option 552 when the no-filtering mode 552-1 of the scan filtering function option 552 is selected, unnecessary parts such as soft tissues are not removed from the data obtained by scanning, and all images are created.
  • the tooth and gingiva mode 552-2 of the scan filtering function option 552 when the tooth and gingiva mode 552-2 of the scan filtering function option 552 is selected, only the data corresponding to the tooth and the gingival portion adjacent to the tooth are retained while data corresponding to the soft tissue portion is removed.
  • the tooth mode 552-3 of the scan filtering function option 552 When the tooth mode 552-3 of the scan filtering function option 552 is selected, only the data corresponding to the tooth is left and the remaining data is removed.
  • the acquired data corresponds to teeth, gingiva, or soft tissues may be automatically determined using an AI learning model trained using intraoral images as learning data.
  • the function option area 550 When a function that does not require detailed options is selected in the function box area 540, the function option area 550 may
  • the icon display area 560 is an area that provides functions for screen recording and capture, and may include a recording area setting icon 562 and a recording start/end icon 564 .
  • a recording area setting icon 562 provides an interface for setting a screen area to be recorded.
  • the recording start/stop icon 564 provides an interface for starting or ending recording of the screen 400 of the data acquisition program.
  • the scan depth control bar 570 provides an interface for adjusting the scan depth of the 3D scanner 200 .
  • the user can increase or decrease the scan depth of the 3D scanner.
  • Upper and lower ends of the scan depth control bar 570 indicate the maximum and minimum values of the current depth range, and the position of the scan depth control button 571 may indicate the current scan depth value.
  • a numerical value (eg, 0 mm) or a percentage (eg, 0%) corresponding to the minimum value of the scan depth is displayed on the lower part of the scan depth control bar 570, and a numerical value corresponding to the maximum value of the scan depth is displayed on the upper part. (eg 24 mm) or percentage (100%) may be displayed.
  • the user may increase the scan depth value by moving the scan depth adjustment button 571 upward through the input device 206, and may increase the scan depth value by moving the scan depth adjustment button 571 downward. can reduce
  • the scan depth adjustment bar 570 when the scan depth value of the 3D scanner 200 is automatically adjusted, the scan depth adjustment bar 570 reflects the automatically adjusted scan depth value. can be adjusted to For example, the scan depth control button 571 of the scan depth control bar 570 may move to a position corresponding to the automatically adjusted scan depth value in real time.
  • the data acquisition program 500 provides a user interface capable of turning on/off a function for automatically adjusting the scan depth value of the 3D scanner 200 as described below. can include more.
  • a function of automatically adjusting the scan depth value of the 3D scanner 200 as described below may be turned off, that is, released.
  • a user interface capable of turning on/off a function of automatically adjusting the above scan depth value may be turned off.
  • the user interface of the data acquisition program 500 described above is just an example, and additional user interfaces and/or other types of user interfaces may be included in the data acquisition program.
  • the user of the 3D scanner 200 may adjust the basic value of the scan depth or the scan depth range by changing the settings of the scanner as needed.
  • the basic scan depth value of the 3D scanner is 18.5 mm, and the range of the scan depth value may be set from a minimum of 0 mm to a maximum of 12 to 24 mm, but is not limited thereto.
  • a user may set an adjustable scan depth value range within a scan depth value range allowed by the 3D scanner 200 .
  • the user sets the range of scan depth values adjustable through the user interface of the data acquisition program 500 to a smaller range, For example, it can be set to 0 to 12 mm, 5 to 12 mm, 8.5 to 15 mm, or other various ranges. Numerical values or percentages corresponding to the maximum and minimum values of the set scan depth value range may be displayed on the scan depth control bar 570 as described above.
  • the scan depth value can be adjusted through the user interface of the data acquisition program 500 .
  • the user may adjust the scan depth value of the 3D scanner 200 by adjusting the scan depth adjustment button 571 through the input device 206, for example, a mouse or a touch panel.
  • the scan depth value may be increased by moving the scan depth adjustment button 571 upward, and the scan depth value may be decreased by moving the scan depth adjustment button 571 downward.
  • the scan depth value d1 may be a basic scan depth value basically used when the 3D scanner 200 operates.
  • the basic scan depth value may be a predetermined setting value or may be a scan depth value last used in a previous scan of the 3D scanner 200 .
  • the surface of the part 610 of the object 20 belonging to the scan depth d1 may be acquired as a 2D image.
  • the scan depth value may be decreased by moving the scan depth adjustment button 571 of the data acquisition program 500 downward.
  • the surface of the part 620 of the object 20 belonging to the scan depth d2 may be obtained as a 2D image. Due to the reduced scan depth value d2, the part 620 of the object belonging to the scan depth d2 may be smaller than the part 610 of the object belonging to the scan depth d1 of FIG. 6A.
  • the scan depth value may be increased by moving the scan depth control button 571 of the data acquisition program 500 upward.
  • the surface of the part 630 of the object 20 belonging to the scan depth d3 may be obtained as a 2D image. Due to the increased scan depth value d3, the part 630 of the object belonging to the scan depth d3 may be larger than the part 610 of the object belonging to the scan depth d1 of FIG. 6A.
  • FIG. 7 is a flowchart of a method 700 for automatically adjusting a scan depth value of a 3D scanner 200 according to various embodiments of the present disclosure.
  • At least part of the filtering method according to the present disclosure may be a method implemented by a computer, for example, the electronic device 100 .
  • the filtering method according to the present disclosure is not limited thereto and may be implemented by other devices, for example, the 3D scanner 200 .
  • each step of the method according to the present disclosure is described in a sequential order in the illustrated flowchart, each step may be performed in an order that may be arbitrarily combined in accordance with the present disclosure, in addition to being performed sequentially.
  • the description according to this flowchart does not exclude changes or modifications to the method or algorithm, and does not imply that any step is necessary or desirable.
  • at least some of the steps may be performed in parallel, iteratively or heuristically.
  • at least some steps may be omitted or other steps may be added.
  • step 710 the scanning operation of the 3D scanner 200 is initiated. Initiating the scan operation may include initiating the operation of software associated with the 3D scanner 200 .
  • the 3D scanner 200 may perform a scan with a basic scan depth value.
  • the basic scan depth value may be a predetermined setting value or may be a scan depth value last used in a previous scan of the 3D scanner 200 .
  • the object 20 is scanned using the 3D scanner 200.
  • the object may include an oral cavity or a diagnostic model (eg, plaster, impression, etc.).
  • a scan image of the object is obtained from a measuring unit of the 3D scanner, for example, the probe tip 220 of the 3D scanner 200.
  • the obtained scan image is a 2D image of the surface of the object existing within the scan depth
  • obtaining the scan image of the object includes image data about the object acquired by the camera that exists within the scan depth. It includes selecting and acquiring only image data.
  • the obtained 2D scan image may be transmitted to the electronic device 100 and displayed on the live view area 520 of the data acquisition program 500 .
  • a portion used for generating 3D data and a portion not used for generating 3D data may be separately displayed in the live view area 520.
  • FIG. 8 shows a part used for generating 3D data and a part not used for generating 3D data among images acquired by the 3D scanner 200 according to various embodiments, and displayed in the live view area 800.
  • the live view area 800 may correspond to the live view area 520 of the data acquisition program 500 .
  • a portion 802 not used for generating 3D data is masked.
  • a portion used for generating 3D data may be masked, or both a portion used for generating 3D data and a portion not used may be masked in a separate manner.
  • a portion used for generating 3D data and a portion not used for generating 3D data may be classified according to various criteria.
  • a portion used for generating 3D data corresponds to an area set as a target.
  • the target object may be a region corresponding to a tooth or a region corresponding to a tooth and gingiva.
  • the obtained scan image is a 2D image obtained by a 3D scanner regardless of the scan depth, and only scan images existing within the scan depth can be used as data obtained for generating a 3D image.
  • all 2D images acquired by the 3D scanner are displayed in the live view area 800, and only data within a scan depth set by software is used to generate a 3D image. It is used as the acquired data for , and the area outside the scan depth can be masked and displayed as data not used for 3D image generation.
  • 3D data (3D image) of the object is generated based on the acquired data.
  • an align step for connecting and aligning the generated 3D data is additionally performed.
  • the generated 3D data may be transmitted to the display 107 of the electronic device 100 and displayed on the model view area 530 of the data acquisition program 500 .
  • the density of data eg, 2D image data
  • N% a preset reference value
  • the acquired scan data is not applied to 3D data generation. Accordingly, it is possible to prevent occurrence of an “align issue” in which 3D data is not properly connected and aligned due to a scan area in which a small amount of data is obtained.
  • step 750 it is determined whether or not the obtained data is abnormal based on the generated 3D data.
  • the 3D data does not include information about the measurement object, that is, when the 3D data is not generated, it is determined that there is an abnormality in the data as no object exists within the current scan depth. do.
  • information about a measurement object is not included in the 3D data for a predetermined time or for a predetermined number of scan operations, it is determined that there is an abnormality in the data as no object exists within the current scan depth. .
  • the generated 3D data lacks information about the measurement object, for example, when discontinuous data exists, holes occur, or the density of data is less than a certain standard value, the current scan depth It can be determined that there is an abnormality in the data as the object is not sufficiently entered.
  • information on a measurement object is insufficient in 3D data generated over a predetermined period of time or a predetermined number of scan operations, it is determined that the object is not sufficiently within the current scan depth and that the data has an abnormality.
  • noise data refers to data generated by scanning an object that is not an object to be scanned, such as a tongue, soft tissue such as the inside of a cheek, a finger, a treatment/diagnostic instrument, and other external foreign substances. Whether the generated data is noise data may be automatically determined using an AI learning model trained using intraoral images as learning data.
  • step 750 all of these cases may be determined to have an error in the data.
  • the scan operation may continue to be performed by returning to step 720.
  • step 760 when it is determined that there is an abnormality in the data, the scan depth of the 3D scanner is automatically adjusted. Adjusting the scan depth may include adjusting the scan depth value in software or hardware. In an embodiment, when it is determined that no object exists within the current scan depth or that the object does not sufficiently enter the current scan depth, a scan depth value is increased to enable scanning of a longer distance. In one embodiment, increasing the scan depth value includes increasing the scan depth value by a preset amount. In another embodiment, increasing the scan depth value includes changing the scan depth value to a preset scan depth value, such as a maximum scan depth value.
  • the scan depth value when noise data is included in the generated 3D data, it is determined that an object that is not a measurement target exists between the 3D scanner and the object, and the scan depth value is automatically reduced.
  • decreasing the scan depth value includes reducing the scan depth value by a preset amount.
  • decreasing the scan depth includes changing the scan depth value to a preset scan depth value.
  • a distance between the 3D scanner and the object causing the noise may be determined based on the noise data, and the scan depth value may be changed to a value smaller than the distance.
  • the scan depth value is automatically reduced in this way, it is no longer possible to measure the object at the position of the existing 3D scanner due to the reduced scan depth. Accordingly, since the user moves the 3D scanner closer to the object in order to narrow the distance between the object and the 3D scanner, a situation in which noise occurs, for example, the user's hand or the patient's tongue or cheek, etc., is placed between the teeth and the scanner. intervention can be prevented.
  • the electronic device 100 or the 3D scanner 200 when the scan depth value is automatically increased or decreased, indicates that the scan depth value is automatically changed through various visual, auditory, and tactile methods. Notifications can be used to inform users. For example, the electronic device 100 may display, through the data acquisition program 500, the change of the scan depth value to the user through text or a picture/video on the screen, or a voice message or alarm (eg, a beep sound). etc. can be informed. Alternatively or additionally, vibration or an audible alarm may be provided to the user through the 3D scanner 200 . In an embodiment, a method of notifying the user that the scan depth value is automatically changed may be different between a case of automatically increasing the scan depth value and a case of automatically increasing the scan depth value.
  • the scan depth adjustment button 571 of the scan depth adjustment bar 570 of the data acquisition program 500 It moves in real time to the position corresponding to the automatically adjusted scan depth value.
  • the function of automatically adjusting the scan depth value of the 3D scanner 200 as described below is turned off, that is, released. It can be.
  • steps 720 to 760 may be performed at a predetermined time period or a predetermined scan (imaging) period. In one embodiment, steps 750 and 760 are not performed if the function to automatically adjust the scan depth value is turned off.
  • step 750 it is possible to determine whether the data is abnormal based on the 2D image data obtained in step 730.
  • the scan depth value is increased in step 760 accordingly.
  • noise data is included in the acquired 2D image data, it is determined that there is an abnormality in the data, and accordingly, the scan depth value is reduced in step 760 .
  • the determination of whether there is an abnormality in the data may be performed partly based on 2D image data and partly based on 3D data. For example, whether there is no or insufficient information about the measurement object in the obtained data may be determined based on 2D image data, and whether or not noise data is included may be determined based on 3D data, and vice versa. case is possible.
  • a scan depth value may be automatically adjusted according to a scan mode of a 3D scanner and/or software related to the 3D scanner (eg, the data acquisition program 500).
  • the scan mode is three modes of the scan filtering function option 552 described with respect to FIG. 5, that is, a mode 552-1 that does not remove unnecessary parts such as soft tissue from data obtained by scanning, a tooth and a mode (552-2) in which data corresponding to the soft tissue portion is removed while leaving only data corresponding to the gingival portion adjacent to the tooth (552-2), and a mode (552-3) in which only data corresponding to the tooth is left and remaining data is removed (552-3). ) may be included.
  • scan data of the target object is not obtained. It may be necessary to automatically adjust the scan depth.
  • FIG. 9 is a flow diagram of a method 900 for automatically adjusting scan depth in a particular scan mode, according to various embodiments of the present disclosure.
  • step 910 a scan operation of the 3D scanner 200 is started, and a mode for removing scan data other than the target object is selected.
  • step 920 the object 20 is scanned using the 3D scanner 200.
  • a scan image of an object existing within a scan depth is obtained from a measurement unit of the 3D scanner, for example, the probe tip 220 of the 3D scanner 200.
  • the obtained scan image is a 2D image of a surface of an object existing within a scan depth.
  • the obtained 2D scan image may be transmitted to the electronic device 100 and displayed on the live view area 520 of the data acquisition program 500 .
  • a target object and a non-target area are distinguished and masked. For example, when the mode 552-2 leaving the teeth and gingiva is selected, the teeth and gingiva parts and other parts are separated and masked. Alternatively, when the mode 552-3 for leaving only teeth is selected, the teeth and other parts are separated and masked. In one embodiment, only the target object may be masked or only a part other than the target object may be masked.
  • Whether the acquired data is a target object (teeth or gingiva) or other soft tissues may be automatically determined using an AI learning model trained using intraoral images as learning data.
  • FIG. 10 illustrates an image in which a target object and a non-target object are separated and masked in the obtained 2D image 1000 according to various embodiments of the present disclosure.
  • a portion 1010 that is not a target target, that is, a soft tissue portion corresponding to the inside of the lips is separated from portions corresponding to teeth 1020 and gingiva 1030 and is masked.
  • the embodiment of FIG. 10 shows a case where the mode leaving teeth and gingiva is selected, but the same method can be performed even when the mode leaving only teeth is selected.
  • the masked image may be displayed in the live view area 520 of the data acquisition program 500.
  • step 950 when it is determined that the target object does not exist in the acquired 2D image, the scan depth value is reduced.
  • a scan depth value may not be reduced when at least a part of a target object is scanned in a 2D image acquired for a predetermined period of time or for a predetermined number of scan operations.
  • reducing the scan depth value includes reducing the scan depth value to such an extent that scanning is substantially impossible.
  • the scan depth value may be changed to a minimum scan depth value (eg, 0.01 mm). Alternatively, you can change the scan depth value to 0 or less.
  • the user when scanning is substantially impossible by reducing the scan depth value, the user may be notified of this through various methods of visual, auditory, and tactile notifications as described above.
  • the user moves the scanner to a part where the target object exists and restarts the scan operation, or the 3D scanner (200 ) or the scan depth control bar 570 of the data acquisition program 500, etc., the scan depth value can be readjusted to a value capable of being scanned.
  • the scan depth value can be readjusted to a value capable of being scanned.
  • Various embodiments of the present disclosure may be implemented as software recorded on a machine-readable recording medium.
  • Software may be software for implementing various embodiments of the present disclosure described above.
  • Software can be inferred from various embodiments of this disclosure by programmers skilled in the art.
  • software can be machine-readable instructions (eg, code or code segments) or programs.
  • a device is a device capable of operating according to a command called from a recording medium, and may be, for example, a computer.
  • the device may be device 100 according to embodiments of the present disclosure.
  • the processor of the device may execute the invoked command so that components of the device perform functions corresponding to the command.
  • the processor may be one or more processors 101 according to embodiments of the present disclosure.
  • the recording medium may refer to any type of recording medium that can be read by a device and stores data.
  • the recording medium may include, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the recording medium may be one or more memories 103 .
  • the recording medium may be implemented in a distributed form such as a computer system connected by a network.
  • the software may be distributed, stored, and executed on a computer system or the like.
  • the recording medium may be a non-transitory recording medium.
  • a non-transitory recording medium refers to a tangible medium regardless of whether data is semi-permanently or temporarily stored, and does not include a transitory signal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)

Abstract

본 개시의 한 측면으로서, 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치가 제안될 수 있다. 본 개시의 한 측면에 따른 방법은, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서, 상기 하나 이상의 프로세서에 의해 수행되는 3차원 스캐너의 스캔 이미지 처리 방법으로서, 상기 3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하는 단계; 상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 단계; 및 상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하는 단계를 포함할 수 있다.

Description

3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
본 개시는 3차원 스캐너의 스캔 심도를 조절하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 개시는 3차원 스캐너를 통해 스캔된 데이터를 분석하여 그에 따라 스캐너의 스캔 심도를 자동으로 조절하기 위한 방법 및 장치에 관한 것이다.
3차원 스캐너는 대상체를 스캔하는 부분(예컨대, 스캐너의 프로브 팁)으로부터 일정 거리 내에 존재하는 물체를 스캔할 수 있다. 본 개시에서, 이와 같이 스캔 가능한 거리를 "스캔 심도"라고 지칭한다. 3차원 스캐너의 사용자(예컨대 치과의)는 필요에 따라 스캐너의 설정을 변경하여 심도를 조절할 수 있다.
스캔 심도를 깊게 설정할 경우, 즉 스캔 심도 값을 크게 설정할 경우, 스캔 가능한 영역이 커지므로 스캔을 통해 더 많은 데이터를 획득할 수 있으나, 노이즈 데이터 발생 가능성이 커질 수 있다. 예컨대, 대상체의 더 깊은 영역까지 스캔이 가능하므로, 3차원 스캐너의 사용자가 스캔을 의도하지 않은 영역(예컨대, 구강의 안쪽)의 데이터까지 획득될 수 있다. 또한, 스캐너를 대상체로부터 멀리 위치시킨 상태에서도 스캔이 가능하므로, 스캐너와 대상체 사이에 대상체가 아닌 물체(예컨대, 사용자의 손가락, 치료 도구 등)가 개입될 가능성이 커지게 된다.
반대로 스캔 심도를 얕게 설정할 경우, 즉 스캔 심도 값을 작게 설정할 경우, 노이즈 데이터가 발생할 가능성은 줄어드나, 획득되는 데이터가 줄어들어 온전한 3차원 이미지를 생성하기 어려워지며, 대상체에 스캐너를 더 가까이 근접시켜야 하는 불편이 있다. 따라서 상황에 따라 적절한 심도를 결정하는 것이 필요하였다.
일반적으로, 스캐너의 스캔 심도를 변경하기 위해서는 사용자가 마우스 또는 터치 스크린 등을 이용하여 디스플레이 상에 표시된 사용자 인터페이스를 통하여 스캔 심도를 수동으로 조절하여야 한다. 그러나, 예컨대 치과 시술을 진행하는 과정에서, 스캔 심도를 조절하기 위해 사용자가 마우스 또는 디스플레이를 직접 터치할 경우, 환자의 구강에 인입될 수 있는 사용자의 손이 오염될 가능성이 발생한다.
또한, 사용자가 스캔 심도를 변경하기 위해 디스플레이 또는 마우스 등을 직접 조작하여야 하므로, 특히 시술 위치와 입력장치 간의 거리가 멀 경우 사용자의 움직임이 증가한다는 번거로움이 생기며, 이에 따라 구강 스캐너의 측정 시간이 길어진다는 문제 및 이로 인한 환자의 시술 피로도가 증가한다는 문제가 함께 발생하였다.
본 개시는 위와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 기설정된 조건에 따라 구강 스캐너의 스캔 심도를 조절하여, 사용자가 입력 장치를 직접 조작함으로써 발생할 수 있는 오염을 방지하는 동시에 편리하고 신속한 스캔이 가능하도록 한다. 또한, 스캔 심도를 자동으로 조절함으로써 스캐너와 대상체 사이의 거리를 자연스럽게 조절할 수 있도록 하는 한편, 스캔 대상이 아닌 부분(예컨대, 구강 연조직 등)이 자동으로 필터링될 수 있도록 한다.
본 개시의 한 측면으로서, 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치가 제안될 수 있다.
본 개시의 한 측면에 따른 방법은, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서, 상기 하나 이상의 프로세서에 의해 수행되는 3차원 스캐너의 스캔 이미지 처리 방법으로서, 상기 3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하는 단계; 상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 단계; 및 상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하는 단계를 포함할 수 있다.
본 개시의 한 측면으로서, 3차원 스캐너의 스캔 심도 조절을 위한 전자 장치가 제안될 수 있다. 본 개시의 한 측면에 따른 전자 장치는, 3차원 스캐너와 통신 연결되는 통신 회로; 디스플레이; 및 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는, 상기 3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하고; 상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하고; 상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하도록 구성될 수 있다.
본 개시의 한 측면으로서, 3차원 스캐너의 스캔 심도 조절을 위한 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체가 제안될 수 있다. 본 개시의 한 측면에 따른 비일시적 컴퓨터 판독 가능 기록 매체는, 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 동작을 수행하도록 하는 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 명령들은, 상기 하나 이상의 프로세서로 하여금, 3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하고; 상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하고; 상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하도록 할 수 있다.
본 개시의 스캔 심도 조절을 위한 방법 및 장치의 적어도 일 실시예에 의해, 스캔 데이터를 기초로 3차원 스캐너의 스캔 심도를 자동으로 조절함으로써, 사용자가 입력 장치를 직접 조작함으로써 발생할 수 있는 오염을 방지하는 동시에 편리하고 신속한 스캔이 가능하도록 한다. 또한 본 개시의 스캔 심도 조절을 위한 방법 및 장치의 적어도 일 실시예에 의해, 타겟 대상이 아닌 부분의 스캔이 이루어지고 있는 경우 사용자에게 이를 통지하는 한편 스캔 심도를 줄여 불필요한 스캔 및 데이터 처리를 방지할 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 3차원 스캐너를 이용하여 환자의 구강에 대한 이미지를 획득하는 모습을 도시한 도면이다.
도 2a는 본 개시의 다양한 실시예에 따른 전자 장치 및 3차원 스캐너의 블록도이다. 도 2b는 본 개시의 다양한 실시예에 따른 3차원 스캐너의 사시도이다.
도 3은 본 개시의 다양한 실시예에 따른 구강에 대한 3차원 이미지를 생성하는 방법을 도시한 도면이다.
도 4는 본 개시의 다양한 실시예에 따른 3차원 스캐너의 스캔 심도를 도시한 도면이다.
도 5는 본 개시의 다양한 실시예에 따른, 전자 장치의 디스플레이에 표시되는 데이터 획득 프로그램의 화면을 도시한 도면이다.
도 6a 내지 도 6c는 스캔 심도 값이 증가 또는 감소된 경우를 도시한 도면이다.
도 7은 본 개시의 다양한 실시예에 따른, 3차원 스캐너의 스캔 심도 값을 자동으로 조절하기 위한 방법의 흐름도이다.
도 8은 본 개시의 다양한 실시예에 따른, 3차원 스캐너가 획득한 이미지 중 3차원 데이터 생성에 이용되는 부분과 3차원 데이터 생성에 이용되지 않는 부분이 구분되어 표시된 것을 도시한 도면이다.
도 9는 본 개시의 다양한 실시예에 따른, 특정 스캔 모드에서 스캔 심도를 자동으로 조절하기 위한 방법의 흐름도이다.
도 10은 본 개시의 다양한 실시예에 따른, 획득된 2차원 이미지에서 타겟 대상과 타겟 대상이 아닌 부분을 구분하여 마스킹한 이미지를 도시한 도면이다.
본 개시의 실시예들은 본 개시의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 개시에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.
본 개시에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 개시에 사용되는 모든 용어들은 본 개시를 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 개시에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.
본 개시에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다. 본 개시에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세서, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 더 분리될 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.
본 개시에서, 인공지능(artificial intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직의 개념을 포함할 수 있다. 기계 학습(machine learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술일 수 있다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터들 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 기반으로 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어의 기술 분야가 포함될 수 있다.
본 개시에서, 기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
본 개시에서, 인공지능 학습 모델, 기계 학습 모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습 모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 인공지능 학습 모델은, 예를 들어, 인공 신경망 모델(artificial neural network), 합성곱 신경망 모델(convolution neural network) 등일 수 있다.
이하, 첨부한 도면들을 참조하여, 본 개시의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
도 1은 본 개시의 다양한 실시예에 따른 3차원 스캐너(200)를 이용하여 환자의 구강에 대한 이미지를 획득하는 모습을 도시한 도면이다. 다양한 실시예에 따르면, 3차원 스캐너(200)는 대상체(20)의 구강 내의 이미지를 획득하기 위한 치과용 의료 기기일 수 있다. 예를 들어, 3차원 스캐너(200)는 구강 스캐너(intraoral scanner)일 수 있다. 도 1에 도시된 것처럼 사용자(10)(예: 치과 의사, 치과위생사)가 3차원 스캐너(200)를 이용하여 대상체(20)(예: 환자)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 다른 예로는, 사용자(10)가 대상체(20)의 구강의 모양을 본뜬 진단 모델(예: 석고 모델, 인상(impression) 모델)로부터 대상체(20)의 구강에 대한 이미지를 획득할 수도 있다. 이하에서는 설명의 편의를 위하여, 대상체(20)의 구강을 스캐닝하여, 대상체(20)의 구강에 대한 이미지를 획득하는 것으로 설명하지만, 이에 제한되지 않으며, 대상체(20)의 다른 부위(예: 대상체(20)의 귀)에 대한 이미지를 획득하는 것도 가능하다. 3차원 스캐너(200)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 스캔 거리와 스캔 각도를 사용자(10)가 자유롭게 조절할 수 있는 핸드헬드형 스캐너(handheld scanner)일 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)는 대상체(20)의 구강 내에 삽입되어 비 접촉식으로 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득할 수 있다. 구강에 대한 이미지는 적어도 하나의 치아, 치은, 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 의치(denture), 구강 내 삽입되는 교정 보조 도구)을 포함할 수 있다. 3차원 스캐너(200)는 광원(또는 프로젝터)을 이용하여 대상체(20)의 구강(예: 대상체(20)의 적어도 하나의 치아, 치은)에 광을 조사할 수 있고, 대상체(20)의 구강으로부터 반사된 광을 카메라(또는, 적어도 하나의 이미지 센서)를 통해 수신할 수 있다. 다른 실시예에 따르면, 3차원 스캐너(200)는 구강의 진단 모델을 스캐닝함으로써, 구강의 진단 모델에 대한 이미지를 획득할 수도 있다. 구강의 진단 모델이 대상체(20)의 구강의 모양을 본뜬 진단 모델인 경우, 구강의 진단 모델에 대한 이미지는 대상체의 구강에 대한 이미지가 될 수 있다. 이하에서는, 설명의 편의를 위하여, 대상체(20)의 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득하는 경우를 가정하여 설명하도록 하지만, 이에 제한되는 것은 아니다.
다양한 실시예에 따른 3차원 스캐너(200)는 카메라를 통해 수신한 정보에 기초하여, 대상체(20)의 구강에 대한 표면 이미지를 2차원 이미지로서 획득할 수 있다. 대상체(20)의 구강에 대한 표면 이미지는 대상체(20)의 적어도 하나의 치아, 치은, 인공 구조물, 대상체(20)의 볼, 혀 또는 입술 중 적어도 하나를 포함할 수 있다. 대상체(20)의 구강에 대한 표면 이미지는 2차원 이미지일 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)에서 획득된 구강에 대한 2차원 이미지는 유선 또는 무선 통신 네트워크를 통해 연결되는 전자 장치(100)로 전송될 수 있다. 전자 장치(100)는, 컴퓨터 장치 또는 휴대용 통신 장치일 수 있다. 전자 장치(100)는 3차원 스캐너(200)로부터 수신한 구강에 대한 2차원 이미지에 기초하여 구강을 3차원적으로 나타내는 구강에 대한 3차원 이미지(또는, 3차원 구강 이미지, 3차원 구강 모델)를 생성할 수 있다. 전자 장치(100)는 수신한 구강에 대한 2차원 이미지에 기초하여 구강의 내부 구조를 3차원적으로 모델링(modeling)하여 구강에 대한 3차원 이미지를 생성할 수 있다.
또 다른 실시예에 따른 3차원 스캐너(200)는 대상체(20)의 구강을 스캔하여 구강에 대한 2차원 이미지를 획득하고, 획득한 구강에 대한 2차원 이미지에 기초하여 구강에 대한 3차원 이미지를 생성하며, 생성한 구강의 3차원 이미지를 전자 장치(100)로 전송할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 클라우드 서버(미도시)와 통신 연결될 수 있다. 상기의 경우, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 클라우드 서버에 전송할 수 있고, 클라우드 서버는 전자 장치(100)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 또는 구강에 대한 3차원 이미지를 저장할 수 있다.
또 다른 실시예에 따르면, 3차원 스캐너는 대상체(20)의 구강에 삽입하여 사용하는 핸드헬드형 스캐너 이외에도, 특정 위치에 고정시켜 사용하는 테이블 스캐너(미도시)가 사용될 수도 있다. 테이블 스캐너는 구강의 진단 모델을 스캐닝함으로써 구강의 진단 모델에 대한 3차원 이미지를 생성할 수 있다. 상기의 경우, 테이블 스캐너의 광원(또는 프로젝터) 및 카메라는 고정되어 있으므로, 사용자는 구강의 진단 모델을 고정하는 암을 움직이면서 구강의 진단 모델을 스캐닝할 수 있다. 테이블 스캐너는 핸드헬드형 스캐너에 비해 스캐닝 동작 중 카메라와 진단 모델 사이에 다른 물체가 개입되어 노이즈를 유발할 가능성은 상대적으로 적으나, 본 개시의 실시예들은 핸드헬드형 스캐너뿐만 아니라 테이블 스캐너 및 기타 다른 3차원 스캐너에도 적용 가능하다.
도 2a는 본 개시의 다양한 실시예에 따른 전자 장치(100) 및 3차원 스캐너(200)의 블록도이다. 전자 장치(100) 및 3차원 스캐너(200)는 유선 또는 무선 통신 네트워크를 통해 서로 통신 연결될 수 있으며, 다양한 데이터를 서로 송수신할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)는, 프로세서(201), 메모리(202), 통신 회로(203), 광원(204), 카메라(205), 입력 장치(206) 및/또는 센서 모듈(207)을 포함할 수 있다. 3차원 스캐너(200)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 3차원 스캐너(200)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 3차원 스캐너(200) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 프로세서(201)는 3차원 스캐너(200)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로서, 3차원 스캐너(200)의 구성요소들과 작동적으로 연결될 수 있다. 프로세서(201)는 3차원 스캐너(200)의 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(202)에 로드하고, 메모리(202)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다. 다양한 실시예에 따른 3차원 스캐너(200)의 메모리(202)는, 상기에 기재된 프로세서(201)의 동작에 대한 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 3차원 스캐너(200)의 통신 회로(203)는 외부 장치(예: 전자 장치(100))와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에 따르면, 통신 회로(203)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 상기의 경우, 통신 회로(203)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 일 실시예에 따르면, 통신 회로(203)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에서, 통신 회로(203)는 밀리미터파 주파수 대역, 예컨대 30 GHz 내지 300 GHz의 통신 대역을 이용하여 외부 장치와 통신할 수 있다. 예컨대, 통신 회로(203)는 60 GHz의 주파수 대역을 이용하는 무선 네트워크를 통해 외부 장치와 통신할 수 있다. 또한, 다양한 실시예에 따르면, 통신 회로(203)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 통신 회로(203)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 광원(204)은 대상체(20)의 구강을 향해 광을 조사할 수 있다. 예를 들어, 광원(204)으로부터 조사되는 광은 소정 패턴(예: 서로 다른 색상의 직선 무늬가 연속적으로 나타나는 스트라이프 패턴)을 갖는 구조광일 수 있다. 구조광의 패턴은, 예를 들어, 패턴 마스크 또는 DMD(digital micro-mirror device)를 이용하여 생성될 수 있지만, 이에 제한되는 것은 아니다. 다양한 실시예에 따른 3차원 스캐너(200)의 카메라(205)는 대상체(20)의 구강에 의해 반사된 반사광을 수신함으로써, 대상체(20)의 구강에 대한 이미지를 획득할 수 있다. 카메라(205)는, 예를 들어, 광 삼각 측량 방식에 따라서 3차원 이미지를 구축하기 위하여, 좌안 시야에 대응되는 좌측 카메라 및 우안 시야에 대응되는 우측 카메라를 포함할 수 있다. 카메라(205)는, CCD 센서 또는 CMOS 센서와 같은 적어도 하나의 이미지 센서를 포함할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 입력 장치(206)는 3차원 스캐너(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 입력 장치(206)는 사용자(10)의 푸시 조작을 수신하는 버튼, 사용자(10)의 터치를 감지하는 터치 패널, 마이크를 포함하는 음성 인식 장치를 포함할 수 있다. 예를 들어, 사용자(10)는 입력 장치(206)를 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다.
다양한 실시예에 따른 3차원 스캐너(200)의 센서 모듈(207)은 3차원 스캐너(200)의 작동 상태 또는 외부의 환경 상태(예: 사용자의 동작)을 감지하고, 감지된 상태에 대응하는 전기 신호를 생성할 수 있다. 센서 모듈(207)은, 예를 들어, 자이로 센서, 가속도 센서, 제스처 센서, 근접 센서 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 사용자(10)는 센서 모듈(207)을 이용하여 스캐닝 시작 또는 정지를 제어할 수 있다. 예를 들어, 사용자(10)가 3차원 스캐너(200)를 손에 쥐고 움직이는 경우, 3차원 스캐너(200)는 센서 모듈(207)을 통해 측정된 각속도가 기 설정된 임계 값을 초과할 때, 프로세서(201) 스캐닝 동작을 시작하도록 제어할 수 있다.
일 실시예에 따르면, 3차원 스캐너(200)는, 3차원 스캐너(200)의 입력 장치(206) 또는 전자 장치(100)의 입력 장치(206)를 통해 스캔을 시작하기 위한 사용자 입력을 수신하거나, 3차원 스캐너(200)의 프로세서(201) 또는 전자 장치(100)의 프로세서(201)에서의 처리에 따라, 스캔을 시작할 수 있다. 사용자(10)가 3차원 스캐너(200)를 통해 대상체(20)의 구강 내부를 스캔하는 경우, 3차원 스캐너(200)는 대상체(20)의 구강에 대한 2차원 이미지를 생성할 수 있고, 실시간으로 대상체(20)의 구강에 대한 2차원 이미지를 전자 장치(100)로 전송할 수 있다. 전자 장치(100)는 수신한 대상체(20)의 구강에 대한 2차원 이미지를 디스플레이를 통해 표시할 수 있다. 또한, 전자 장치(100)는 대상체(20)의 구강에 대한 2차원 이미지에 기초하여, 대상체(20)의 구강에 대한 3차원 이미지를 생성(구축)할 수 있으며, 구강에 대한 3차원 이미지를 디스플레이를 통해 표시할 수 있다. 전자 장치(100)는 생성되고 있는 3차원 이미지를 실시간으로 디스플레이를 통해 표시할 수도 있다.
다양한 실시예에 따른 전자 장치(100)는 하나 이상의 프로세서(101), 하나 이상의 메모리(103), 통신 회로(105), 디스플레이(107) 및/또는 입력 장치(109)를 포함할 수 있다. 전자 장치(100)에 포함된 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 전자 장치(100)에 추가될 수 있다. 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 전자 장치(100) 내의 적어도 일부의 구성요소들은 버스(bus), GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 하나 이상의 프로세서(101)는 전자 장치(100)의 각 구성요소들(예: 메모리(103))의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성일 수 있다. 하나 이상의 프로세서(101)는, 예를 들어, 전자 장치(100)의 구성요소들과 작동적으로 연결될 수 있다. 하나 이상의 프로세서(101)는 전자 장치(100)의 다른 구성요소로부터 수신된 명령 또는 데이터를 하나 이상의 메모리(103)에 로드(load)하고, 하나 이상의 메모리(103)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 하나 이상의 메모리(103)는 하나 이상의 프로세서(101)의 동작에 대한 인스트럭션들을 저장할 수 있다. 하나 이상의 메모리(103)는 기계 학습 알고리즘에 따라 구축된 상관 모델들을 저장할 수 있다. 하나 이상의 메모리(103)는 3차원 스캐너(200)로부터 수신되는 데이터(예를 들어, 구강 스캔을 통하여 획득된 구강에 대한 2차원 이미지)를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 통신 회로(105)는 외부 장치(예: 3차원 스캐너(200), 클라우드 서버)와 유선 또는 무선 통신 채널을 설립하고, 외부 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에 따르면, 통신 회로(105)는 외부 장치와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 상기의 경우, 통신 회로(105)는 적어도 하나의 포트를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다. 일 실시예에 따르면, 통신 회로(105)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성할 수 있다. 다양한 실시예에 따르면, 통신 회로(105)는 근거리 통신 모듈을 포함하여 근거리 통신(예를 들면, Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE), UWB)을 이용해 외부 장치와 데이터 송수신을 할 수 있으나, 이에 제한되지 않는다. 일 실시예에 따르면, 통신 회로(105)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(near field communication) 통신, RFID(radio frequency identification) 통신 또는 MST(magnetic secure transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다.
다양한 실시예에 따른 전자 장치(100)의 디스플레이(107)는 프로세서(101)의 제어에 기반하여 다양한 화면을 표시할 수 있다. 프로세서(101)는 3차원 스캐너(200)로부터 수신한 대상체(20)의 구강에 대한 2차원 이미지 및/또는 구강의 내부 구조를 3차원적으로 모델링한 구강에 대한 3차원 이미지를 디스플레이(107)를 통해 표시할 수 있다. 예를 들어, 특정 응용 프로그램을 통해 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 표시할 수 있다. 상기의 경우, 사용자(10)는 구강에 대한 2차원 이미지 및/또는 3차원 이미지를 편집, 저장 및 삭제할 수 있다.
다양한 실시예에 따른 전자 장치(100)의 입력 장치(109)는, 전자 장치(100)의 구성요소(예: 하나 이상의 프로세서(101))에 사용될 명령 또는 데이터를 전자 장치(100)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(109)는, 예를 들면, 마이크, 마우스 또는 키보드를 포함할 수 있다. 일 실시예에 따르면, 입력 장치(109)는 디스플레이(107)와 결합되어 다양한 외부 객체의 접촉 또는 근접을 인식할 수 있는 터치 센서 패널의 형태로 구현될 수도 있다.
도 2b는 다양한 실시예에 따른 3차원 스캐너(200)의 사시도이다. 다양한 실시예에 따른 3차원 스캐너(200)는 본체(210) 및 프로브 팁(220)을 포함할 수 있다. 3차원 스캐너(200)의 본체(210)는 사용자(10)가 손으로 그립하여 사용하기 용이한 모양으로 형성될 수 있다. 프로브 팁(220)은 대상체(20)의 구강으로 인입 및 인출이 용이한 모양으로 형성될 수 있다. 또한, 본체(210)는 프로브 팁(220)과 결합 및 분리될 수 있다. 본체(210) 내부에는, 도 2a에서 설명한 3차원 스캐너(200)의 구성요소들이 배치될 수 있다. 본체(210)의 일측 단부에는 광원(204)로부터 출력된 광이 대상체(20)에 조사될 수 있도록 개구된 개구부가 형성될 수 있다. 개구부를 통해 조사된 광은, 대상체(20)에 의해 반사되어 다시 개구부를 통해 유입될 수 있다. 개구부를 통해 유입된 반사광은 카메라에 의해 캡쳐되어 대상체(20)에 대한 이미지를 생성할 수 있다. 사용자(10)는 3차원 스캐너(200)의 입력 장치(206)(예: 버튼)를 이용하여 스캔을 시작할 수 있다. 예를 들어, 사용자(10)가 입력 장치(206)를 터치하거나 가압하는 경우, 광원(204)으로부터 광이 대상체(20)에 조사될 수 있다.
도 3은 다양한 실시예에 따른 구강에 대한 3차원 이미지(320)를 생성하는 방법을 도시한 도면이다. 사용자(10)는 3차원 스캐너(200)를 움직여가면서 대상체(20)의 구강 내부를 스캔할 수 있고, 이 경우, 3차원 스캐너(200)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310)를 획득할 수 있다. 예를 들어, 3차원 스캐너(200)는 대상체(20)의 앞니가 포함된 영역에 대한 2차원 이미지, 대상체(20)의 어금니가 포함된 영역에 대한 2차원 이미지 등을 획득할 수 있다. 3차원 스캐너(200)는 획득한 복수의 2차원 이미지(310)를 전자 장치(100)로 전송할 수 있다. 다른 실시예에 따르면, 사용자(10)는 3차원 스캐너(200)를 움직여가면서, 구강의 진단 모델을 스캔할 수도 있고, 구강의 진단 모델에 대한 복수의 2차원 이미지를 획득할 수도 있다. 이하에서는, 설명의 편의를 위하여, 대상체(20)의 구강 내부를 스캐닝함으로써, 대상체(20)의 구강에 대한 이미지를 획득하는 경우를 가정하여 설명하도록 하지만, 이에 제한되는 것은 아니다.
다양한 실시예에 따른 전자 장치(100)는 대상체(20)의 구강에 대한 복수의 2차원 이미지(310) 각각을 3차원 좌표값을 갖는 복수의 포인트들의 집합으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 복수의 2차원 이미지(310) 각각을, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드(point cloud)로 변환할 수 있다. 예를 들어, 복수의 2차원 이미지(310)를 기초로 하는 3차원 좌표값인 포인트 클라우드 세트는, 대상체(20)의 구강에 대한 로우 데이터(raw data)로서 저장될 수 있다. 전자 장치(100)는, 3차원 좌표값을 갖는 데이터 포인트의 집합인 포인트 클라우드를 정렬(align)함으로써, 전체 치아 모형을 완성할 수 있다.
다양한 실시예에 따른 전자 장치(100)는 구강에 대한 3차원 이미지를 재구성(재구축)할 수 있다. 예를 들어, 전자 장치(100)는 푸아송 알고리즘을 사용하여, 로우 데이터로서 저장된 포인트 클라우드 세트를 병합함으로써, 복수의 포인트들을 재구성하고, 폐쇄된 3차원 표면으로 변환하여 대상체(20)의 구강에 대한 3차원 이미지(320)를 재구성할 수 있다.
앞서 설명한 바와 같이, 3차원 스캐너(200)는 대상체(20)의 구강 내에 삽입되어 비 접촉식으로 구강 내부를 스캐닝함으로써, 구강에 대한 이미지를 획득할 수 있다. 이 때, 3차원 스캐너(200)가 스캔 가능한 거리, 즉 스캐닝에 의해 데이터가 획득될 수 있는 거리를 "스캔 심도"라고 지칭한다.
도 4는 본 개시의 다양한 실시예에 따른 3차원 스캐너(200)의 스캔 심도를 도시한다. 도 4를 참조하면, 스캔 심도가 d인 3차원 스캐너(200)가 대상체(20)를 스캐닝하는 경우의 스캔 영역(410)이 도시된다. 일 실시예에서, 3차원 스캐너(200)의 카메라 부분, 예컨대 프로브 팁(220)으로부터 스캔 가능한 거리 d가 스캔 심도에 해당한다. 도 4의 실시예에서, 대상체(20)의 일부(420)가 스캔 영역(410)에 속하고, 스캔 영역(410)에 속하는 대상체의 표면(422)가 2차원 이미지로 획득될 수 있다.
일 실시예에서, 스캔 심도는 3차원 스캐너(200)의 카메라(205)가 촬영 가능한 최대 거리 이내에서 데이터를 획득하도록 소프트웨어로 설정된 거리를 지칭한다. 이 경우, 실제 카메라가 획득한 데이터 중, 스캔 심도 내에 속하는 데이터만이 후속 데이터 처리에 사용되며, 스캔 심도를 조절하는 것은 후속 데이터 처리에 사용되는 데이터까지의 거리를 소프트웨어로 조절하는 것을 포함할 수 있다. 다른 실시예에서, 스캔 심도는 3차원 스캐너(200)의 카메라(205)가 촬영 가능한 거리를 지칭한다. 이 경우, 실제 카메라가 획득한 데이터 모두가 후속 데이터 처리에 사용되며, 스캔 심도를 조절하는 것은 3차원 스캐너(200)의 카메라(205)의 하드웨어를 조절하여 카메라(205)가 촬영 가능한 거리를 조절하는 것을 포함할 수 있다. 본 개시에서는, 달리 명시되지 않는 한, 스캔 심도라는 용어는 3차원 스캐너가 데이터를 획득할 수 있는 거리를 의미하는 것으로서 위 두 경우 모두를 포함할 수 있다. 예컨대, 스캔 심도 값이 18.5 mm인 경우, 3차원 스캐너의 스캔 부분(프로브 팁)으로부터 18.5 mm 떨어진 거리까지의 데이터가 후속 처리를 위해 획득된다.
도 5는 본 개시의 다양한 실시예에 따른, 전자 장치(100)의 디스플레이(107)에 표시되는 데이터 획득 프로그램의 화면(500)을 도시한다. 전자 장치(100)는 프로세서(101)에 의해 데이터 획득 프로그램을 실행할 수 있다. 데이터 획득 프로그램은 응용 프로그램으로서 메모리(103)에 저장될 수 있다. 프로세서(101)에 의해 데이터 획득 프로그램이 실행되면, 전자 장치(100)는 구강 스캐너(200)로부터 수신된 2차원 이미지(310) 및 그에 기초하여 생성된 3차원 이미지를 디스플레이(107)에 디스플레이할 수 있다.
데이터 획득 프로그램이 실행되면, 전자 장치(100)는 구강 스캐너(100)에 의해 스캔된 이미지들을 디스플레이하고 이를 가공 및 처리하기 위한 사용자 인터페이스를 제공할 수 있다. 일 실시예에서, 데이터 획득 프로그램의 화면(500)은 데이터 표시 영역(510), 라이브 뷰 영역(520), 모델 뷰 영역(530), 기능 상자 영역(540), 기능 옵션 영역(550) 및 아이콘 표시 영역(560)을 포함하는 사용자 인터페이스들을 포함한다. 위 사용자 인터페이스들은 예시적인 것이며, 데이터 획득 프로그램의 화면(500)에는 필요에 따라 임의의 추가적인 사용자 인터페이스들이 포함될 수 있다.
데이터 표시 영역(510)은 구강 스캐너로부터 수신된 이미지 및 그에 기초하여 생성된 3차원 이미지를 디스플레이하기 위한 영역이다. 일 실시예에서, 데이터 표시 영역(510)은 라이브 뷰 영역(520) 및 모델 뷰 영역(530)을 포함한다. 일 실시예에서, 데이터 표시 영역(510)은 기능 옵션 영역(550)을 포함한다.
라이브 뷰 영역(520)은 구강 스캐너(100)로부터 수신된 이미지를 디스플레이한다. 일 실시예에서, 전자 장치(100)는 라이브 뷰 영역(520)에 현재 구강 스캐너(200)가 스캐닝 중인 구강의 2차원 이미지를 실시간으로 디스플레이할 수 있다. 라이브 뷰 영역(520)은 사용자에 의해 이동 및 크기 조절이 가능하고, 데이터 획득 프로그램의 화면(500)으로부터 분리 가능하다. 일 실시예에서, 사용자는 라이브 뷰 영역(520)이 디스플레이되지 않도록 설정할 수 있다.
전자 장치(100)는 구강 스캐너(100)로부터 획득된 2차원 이미지로부터 생성된 3차원 이미지 모델을 모델 뷰 영역(530)에 디스플레이할 수 있다.
기능 상자 영역(540)은 디스플레이되는 3차원 이미지 모델을 수정/ 편집하거나 분석하기 위한 기능을 제공하는 사용자 인터페이스 및 장치 상태를 표시하기 위한 사용자 인터페이스를 포함한다. 일 실시예에서, 기능 상자 영역(540)은 스캐닝 과정 중 획득된 불필요한 데이터 부분을 선택하여 삭제하기 위한 트리밍(trimming) 기능 인터페이스(542), 생성된 3차원 이미지를 편집하거나 저장하기 위한 기능 툴 인터페이스(544), 각 치아의 치료 정보에 관한 이미지를 디스플레이하는 치료 정보 인터페이스(546), 구강 스캐너(200)의 장치 상태를 표시하는 장치 상태 표시 인터페이스(548)을 포함한다.
전자 장치(100)는 기능 상자 영역(540) 중 하나의 기능 인터페이스를 선택하는 사용자 입력에 응답하여, 기능 옵션 영역(550)에 그 세부 옵션을 표시할 수 있다. 일 실시예에서, 사용자가 기능 상자 영역(550)의 기능 툴 인터페이스(544)의 재생 제어 인터페이스를 선택한 경우, 전자 장치(100)는 기능 옵션 영역(550)에 녹화된 화면의 재생을 위한 옵션, 예컨대 재생/멈춤 버튼, 재생 위치/속도를 제어하기 위한 인터페이스 등을 표시할 수 있다. 기능 옵션 영역(550)은 스캔 필터링 기능 옵션(552)을 포함할 수 있다. 스캔 필터링 기능은, 스캔시 불필요한 부분(예컨대, 구강의 연조직)을 자동으로 제거하여 스캔 이미지를 생성하는 기능을 포함한다. 일 실시예에서, 스캔 필터링 기능 옵션(552)의 필터링 없음 모드(552-1)를 선택할 경우, 스캔으로 획득된 데이터에서 연조직과 같은 불필요한 부분을 제거하지 않고 모두 이미지로 생성한다. 스캔 필터링 기능 옵션(552)의 치아 및 치은 모드(552-2)를 선택할 경우, 치아 및 치아에 인접한 치은 부분에 해당하는 데이터만을 남기면서 연조직에 해당하는 부분의 데이터는 제거한다. 스캔 필터링 기능 옵션(552)의 치아 모드(552-3)를 선택할 경우, 치아에 해당하는 데이터만을 남기고 나머지 부분의 데이터는 제거한다. 획득된 데이터가 치아, 치은, 연조직 중 어느 것에 해당하는지는 구강 내 이미지들을 학습 데이터로 하여 학습된 AI 학습 모델을 이용하여 자동으로 결정될 수 있다. 기능 상자 영역(540)에서 세부 옵션이 필요하지 않은 기능을 선택한 경우, 기능 옵션 영역(550)은 표시되지 않을 수 있다.
아이콘 표시 영역(560)은 화면 녹화 및 캡처를 위한 기능을 제공하는 영역으로서, 녹화 영역 설정 아이콘(562), 녹화 개시/종료 아이콘(564)을 포함할 수 있다. 녹화 영역 설정 아이콘(562)은 녹화 대상 화면 영역을 설정하기 위한 인터페이스를 제공한다. 녹화 개시/종료 아이콘(564)은 데이터 획득 프로그램의 화면(400)의 녹화를 개시 또는 종료하기 위한 인터페이스를 제공한다.
스캔 심도 조절 바(570)는 3차원 스캐너(200)의 스캔 심도를 조절하기 위한 인터페이스를 제공한다. 스캔 심도 조절 바(570)의 스캔 심도 조절 버튼(571)을 조작함으로써, 사용자는 3차원 스캐너의 스캔 심도를 증가시키거나 감소시킬 수 있다. 스캔 심도 조절 바(570)의 상단 및 하단은 현재 심도 범위의 최대값 및 최소값을 나타내며, 스캔 심도 조절 버튼(571)의 위치는 현재의 스캔 심도 값을 나타낼 수 있다. 스캔 심도 조절 바(570)의 하단 부분에는 스캔 심도의 최소 값에 해당하는 수치(예컨대, 0 mm) 또는 백분율(예컨대, 0%)이 표시되고, 상단 부분에는 스캔 심도의 최대 값에 해당하는 수치(예컨대, 24 mm) 또는 백분율(100%)이 표시될 수 있다. 일 실시예에서, 사용자는 입력 장치(206)를 통해 스캔 심도 조절 버튼(571)을 상방으로 이동시킴으로써 스캔 심도 값을 증가시킬 수 있고, 스캔 심도 조절 버튼(571)을 하방으로 이동시킴으로써 스캔 심도 값을 감소시킬 수 있다.
일 실시예에서, 도 7 및 도 9와 관련하여 후술하는 바와 같이 3차원 스캐너(200)의 스캔 심도 값이 자동으로 조절되는 경우, 스캔 심도 조절 바(570)는 자동 조절된 스캔 심도 값을 반영하도록 조절될 수 있다. 예컨대, 스캔 심도 조절 바(570)의 스캔 심도 조절 버튼(571)이 자동 조절된 스캔 심도 값에 해당하는 위치로 실시간 이동할 수 있다.
일 실시예에서, 도 5에 도시되어 있지는 않으나, 데이터 획득 프로그램(500)은 후술하는 바와 같은 3차원 스캐너(200)의 스캔 심도 값을 자동으로 조절하는 기능을 온/오프할 수 있는 사용자 인터페이스를 더 포함할 수 있다. 추가적인 실시예에서, 사용자가 스캔 심도를 수동으로 조절하면, 후술하는 바와 같은 3차원 스캐너(200)의 스캔 심도 값을 자동으로 조절하는 기능이 오프, 즉 해제될 수 있다. 예컨대, 사용자가 스캔 심도 조절 버튼(571) 등을 이용하여 스캔 심도 값을 조절하면, 위 스캔 심도 값을 자동으로 조절하는 기능을 온/오프할 수 있는 사용자 인터페이스가 오프로 전환될 수 있다.
위 설명된 데이터 획득 프로그램(500)의 사용자 인터페이스는 예시일 뿐이며, 추가적인 사용자 인터페이스 및/또는 다른 형태의 사용자 인터페이스가 데이터 획득 프로그램에 포함될 수 있다.
3차원 스캐너(200)의 사용자는 필요에 따라 스캐너의 설정을 변경하여 스캔 심도의 기본 값 또는 스캔 심도 범위를 조절할 수 있다. 일 실시예에서, 3차원 스캐너의 기본 스캔 심도 값은 18.5 mm이며, 스캔 심도 값의 범위는 최소 0 mm에서 최대 12~24 mm로 설정될 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에서, 3차원 스캐너(200)가 허용하는 스캔 심도 값 범위 내에서 조절 가능한 스캔 심도 값의 범위를 사용자가 설정할 수 있다. 예컨대, 3차원 스캐너(200)가 허용하는 스캔 심도 값의 범위가 0~24 mm인 경우, 사용자는 데이터 획득 프로그램(500)의 사용자 인터페이스를 통해 조절 가능한 스캔 심도 값의 범위를 그보다 작은 범위로, 예컨대 0~12 mm, 또는 5~12 mm, 8.5~15 mm, 또는 그 밖의 다양한 범위로 설정할 수 있다. 설정된 스캔 심도 값 범위의 최대값 및 최소값에 해당하는 수치 또는 백분율은 앞서 설명한 바와 같이 스캔 심도 조절 바(570)에 표시될 수 있다.
스캔 심도 값은 데이터 획득 프로그램(500)의 사용자 인터페이스를 통해 조절할 수 있다. 예를 들면, 사용자는 입력 장치(206), 예컨대 마우스 또는 터치 패널 등을 통해 스캔 심도 조절 버튼(571)을 조절하여 3차원 스캐너(200)의 스캔 심도 값을 조절할 수 있다. 일 실시예에서, 스캔 심도 조절 버튼(571)을 상방으로 이동시킴으로써 스캔 심도 값을 증가시킬 수 있고, 스캔 심도 조절 버튼(571)을 하방으로 이동시킴으로써 스캔 심도 값을 감소시킬 수 있다.
도 6a 내지 도 6c는 스캔 심도 값이 증가 또는 감소된 경우를 도시한다. 도 6a에 도시된 실시예에서, 스캔 심도 값은 d1으로 설정되어 있다. 스캔 심도 값(d1)은 3차원 스캐너(200)를 동작시킬 때 기본적으로 사용되는 기본 스캔 심도 값일 수 있다. 기본 스캔 심도 값은 미리 결정된 세팅값일 수 있으며, 또는 3차원 스캐너(200)의 이전 스캔 시 마지막으로 사용하였던 스캔 심도 값일 수 있다. 도 6a에 도시된 실시예에서, 스캔 심도(d1)에 속하는 대상체(20)의 일부(610)의 표면이 2차원 이미지로 획득될 수 있다.
도 6b는 스캔 심도 값을 d2로 감소시킨 경우를 도시한다. 일 실시예에서, 데이터 획득 프로그램(500)의 스캔 심도 조절 버튼(571)을 하방으로 이동시킴으로써 스캔 심도 값을 감소시킬 수 있다. 도 6b에 도시된 실시예에서, 스캔 심도(d2)에 속하는 대상체(20)의 일부(620)의 표면이 2차원 이미지로 획득될 수 있다. 감소된 스캔 심도 값(d2)으로 인해, 스캔 심도(d2)에 속하는 대상체의 일부(620)는 도 6a의 스캔 심도(d1)에 속하는 대상체의 일부(610)보다 작을 수 있다.
도 6c는 스캔 심도 값을 d3로 증가시킨 경우를 도시한다. 일 실시예에서, 데이터 획득 프로그램(500)의 스캔 심도 조절 버튼(571)을 상방으로 이동시킴으로써 스캔 심도 값을 증가시킬 수 있다. 도 6c에 도시된 실시예에서, 스캔 심도(d3)에 속하는 대상체(20)의 일부(630)의 표면이 2차원 이미지로 획득될 수 있다. 증가된 스캔 심도 값(d3)으로 인해, 스캔 심도(d3)에 속하는 대상체의 일부(630)는 도 6a의 스캔 심도(d1)에 속하는 대상체의 일부(610)보다 클 수 있다.
이하, 본 개시의 다양한 실시예에 따른, 3차원 스캐너(200)의 스캔 심도 값을 자동으로 조절하기 위한 방법 및 장치가 설명된다.
도 7은 본 개시의 다양한 실시예에 따른, 3차원 스캐너(200)의 스캔 심도 값을 자동으로 조절하기 위한 방법(700)의 흐름도이다. 본 개시에 따른 필터링 방법의 적어도 일부는 컴퓨터, 예를 들어 전자 장치(100)에 의해 구현된 방법일 수 있다. 그러나, 본 개시에 따른 필터링 방법은 이에 제한되지 않고 기타의 장치, 예컨대 3차원 스캐너(200)에 의해 구현될 수도 있다.
도시된 흐름도에서 본 개시에 따른 방법의 각 단계들이 순차적인 순서로 설명되었지만, 각 단계들은 순차적으로 수행되는 것 외에, 본 개시에 의해 임의로 조합될 수 있는 순서에 따라 수행될 수도 있다. 본 흐름도에 따른 설명은, 방법 또는 알고리즘에 변화 또는 수정을 가하는 것을 제외하지 않으며, 임의의 단계가 필수적이거나 바람직하다는 것을 의미하지 않는다. 일 실시예에서, 적어도 일부의 단계가 병렬적, 반복적 또는 휴리스틱하게 수행될 수 있다. 일 실시예에서, 적어도 일부의 단계가 생략되거나, 다른 단계가 추가될 수 있다.
단계(710)에서, 3차원 스캐너(200)의 스캔 동작이 개시된다. 스캔 동작을 개시하는 것은 3차원 스캐너(200)와 연관된 소프트웨어의 동작을 개시하는 것을 포함할 수 있다. 스캔 동작이 개시되면, 3차원 스캐너(200)는 기본 스캔 심도 값으로 스캔을 수행할 수 있다. 일 실시예에서, 기본 스캔 심도 값은 미리 결정된 세팅값일 수 있으며, 또는 3차원 스캐너(200)의 이전 스캔 시 마지막으로 사용하였던 스캔 심도 값일 수 있다.
단계(720)에서, 3차원 스캐너(200)를 이용한 대상체(20)의 스캔이 수행된다. 대상체는 구강 또는 진단모델(예컨대, 석고, 임프레션 등)을 포함할 수 있다.
단계(730)에서, 3차원 스캐너의 측정부, 예컨대 3차원 스캐너(200)의 프로브 팁(220)으로부터 대상체에 대한 스캔 이미지가 획득된다. 일 실시예에서, 획득된 스캔 이미지는 스캔 심도 내에 존재하는 대상체의 표면에 대한 2차원 이미지이며, 대상체에 대한 스캔 이미지를 획득하는 것은 카메라에 의해 획득된 대상체에 관한 이미지 데이터 중 스캔 심도 내에 존재하는 이미지 데이터만을 선택하여 획득하는 것을 포함한다.
일 실시예에서, 획득된 2차원 스캔 이미지는 전자 장치(100)에 전송되어, 데이터 획득 프로그램(500)의 라이브 뷰 영역(520)에 표시될 수 있다. 이러한 실시예에서, 라이브 뷰 영역(520)에는 3차원 스캐너(200)가 획득한 이미지 중 3차원 데이터 생성에 이용되는 부분과 3차원 데이터 생성에 이용되지 않는 부분이 구분되어 표시될 수 있다.
도 8은 다양한 실시예에 따른, 3차원 스캐너(200)가 획득한 이미지 중 3차원 데이터 생성에 이용되는 부분과 3차원 데이터 생성에 이용되지 않는 부분이 구분되어 라이브 뷰 영역(800)에 표시된 것을 도시한다. 라이브 뷰 영역(800)은 데이터 획득 프로그램(500)의 라이브 뷰 영역(520)에 해당할 수 있다. 도 8에 도시된 실시예에서, 3차원 데이터 생성에 이용되지 않는 부분(802)이 마스킹된다. 다른 실시예에서, 3차원 데이터 생성에 이용되는 부분이 마스킹되거나, 3차원 데이터 생성에 이용되는 부분과 이용되지 않는 부분 모두가 별개의 방식으로 마스킹 될 수 있다.
3차원 데이터 생성에 이용되는 부분과 3차원 데이터 생성에 이용되지 않는 부분은 다양한 기준에 의해 구분될 수 있다. 일 실시예에서, 3차원 데이터 생성에 이용되는 부분은 타겟 대상으로 설정된 영역에 해당한다. 예컨대, 타겟 대상은 치아에 해당하는 영역, 또는 치아와 치은에 해당하는 영역일 수 있다.
일 실시예에서, 획득된 스캔 이미지는 스캔 심도와 무관하게 3차원 스캐너에 의해 획득된 2차원 이미지이며, 이 중 스캔 심도 내에 존재하는 스캔 이미지만을 3차원 이미지 생성을 위해 획득된 데이터로서 이용할 수 있다. 예를 들면, 도 8에 도시된 실시예에서, 라이브 뷰 영역(800)에 3차원 스캐너에 의해 획득된 모든 2차원 이미지가 디스플레이되며, 이 중 소프트웨어적으로 설정된 스캔 심도 내의 데이터 만을 3차원 이미지 생성을 위해 획득된 데이터로 이용하고, 스캔 심도 밖의 영역은 3차원 이미지 생성에 이용되지 않는 데이터로서 마스킹하여 표시할 수 있다.
단계(740)에서, 획득된 데이터를 기초로 대상체에 대한 3차원 데이터(3차원 이미지)가 생성된다. 일 실시예에서, 생성된 3차원 데이터(예컨대, 복셀)가 서로 연결 및 정렬되도록 하는 얼라인(align) 단계가 추가로 수행된다. 생성된 3차원 데이터는 전자 장치(100)의 디스플레이(107)에 전송되어, 데이터 획득 프로그램(500)의 모델 뷰 영역(530)에 표시될 수 있다.
일 실시예에서, 단계(730)을 통해 스캔 심도 내에서 획득된 데이터(예컨대 2차원 이미지 데이터)의 밀도가 미리 설정된 기준치(N%)보다 낮은 경우, 예컨대 2차원 스캔 데이터가 표시되는 라이브 뷰 영역(520)의 N% 이하인 경우, 획득한 스캔 데이터는 3차원 데이터 생성에 적용하지 않는다. 이에 따라, 데이터가 적게 획득된 스캔 영역으로 인하여 3차원 데이터가 제대로 연결 및 정렬되지 않는 "얼라인 이슈"가 발생하는 것을 방지할 수 있다.
단계(750)에서, 생성된 3차원 데이터를 기초로, 획득된 데이터의 이상 여부를 판단한다. 일 실시예에서, 3차원 데이터에 측정 물체에 관한 정보가 포함되어 있지 않은 경우, 즉, 3차원 데이터가 생성되지 않은 경우, 현재의 스캔 심도 내에 아무런 물체가 존재하지 않은 것으로서 데이터에 이상이 있다고 판단한다. 일 실시예에서, 소정 시간 동안 또는 소정 횟수의 스캔 동작 동안 3차원 데이터에 측정 물체에 관한 정보가 포함되어 있지 않은 경우, 현재의 스캔 심도 내에 아무런 물체가 존재하지 않은 것으로서 데이터에 이상이 있다고 판단한다.
이와 유사하게, 생성된 3차원 데이터에 측정 물체에 관한 정보가 부족한 경우, 예컨대 불연속적인 데이터가 존재하거나, 홀(hole)이 발생하였거나, 또는 데이터의 밀도가 일정 기준치보다 부족할 경우, 현재의 스캔 심도 내에 대상체가 충분히 들어와 있지 않은 것으로서 데이터에 이상이 있다고 판단할 수 있다. 일 실시예에서, 소정 시간 동안 또는 소정 횟수의 스캔 동작 동안에 걸쳐 생성된 3차원 데이터에 측정 물체에 관한 정보가 부족한 경우 현재의 스캔 심도 내에 대상체가 충분히 들어와 있지 않은 것으로서 데이터에 이상이 있다고 판단한다.
일 실시예에서, 생성된 3차원 데이터에 노이즈 데이터가 포함되어 있는 경우, 데이터에 이상이 있는 것으로 판단한다. 노이즈 데이터란, 스캔 대상이 되는 대상체가 아닌 물체, 예를 들어 혀, 볼 안쪽 등의 연조직(soft tissue), 손가락, 치료/진단 기구, 기타 외부 이물질 등이 스캔되어 생성된 데이터를 지칭한다. 생성된 데이터가 노이즈 데이터인지 여부는 구강 내 이미지들을 학습 데이터로 하여 학습된 AI 학습 모델을 이용하여 자동으로 결정될 수 있다.
데이터에 이상이 있는 것으로 판단되는 위 경우들 외에, 부정확한 3차원 데이터가 생성될 수 있는 추가적인 경우들을 더 포함될 수 있으며, 단계(750)에서 이러한 경우들 모두 데이터에 이상이 있다고 판단할 수 있다. 단계(750)에서 데이터에 이상이 없다고 판단될 경우, 단계(720)으로 돌아가 스캔 동작이 계속 수행될 수 있다.
단계(760)에서, 데이터에 이상이 있다고 판단되는 경우, 3차원 스캐너의 스캔 심도가 자동으로 조절된다. 스캔 심도를 조절하는 것은 스캔 심도 값을 소프트웨어적으로 조절하는 것 또는 하드웨어적으로 조절하는 것을 포함할 수 있다. 일 실시예에서, 현재의 스캔 심도 내에 아무런 물체가 존재하지 않거나 현재의 스캔 심도 내에 대상체가 충분히 들어와 있지 않은 것으로 판단된 경우, 더 먼 거리까지의 스캔이 가능하도록 스캔 심도 값을 증가시킨다. 일 실시예에서, 스캔 심도 값을 증가시키는 것은 스캔 심도 값을 미리 설정된 양만큼 증가시키는 것을 포함한다. 다른 실시예에서, 스캔 심도 값을 증가시키는 것은 스캔 심도 값을 미리 설정된 스캔 심도 값으로, 예컨대 최대 스캔 심도 값으로 변경하는 것을 포함한다.
이와 같이 스캔 심도 값을 자동으로 증가시키면, 증가된 스캔 심도로 인해 대상체가 스캔 심도 내에 충분히 들어오게 되어, 정상적인 데이터 획득이 가능해진다.
일 실시예에서, 생성된 3차원 데이터에 노이즈 데이터가 포함되어 있는 경우, 3차원 스캐너와 대상체 사이에 측정 대상이 아닌 물체가 존재하는 것으로 판단하여, 스캔 심도 값을 자동으로 감소시킨다. 일 실시예에서, 스캔 심도 값을 감소시키는 것은 스캔 심도 값을 미리 설정된 양만큼 감소시키는 것을 포함한다. 다른 실시예에서, 스캔 심도를 감소시키는 것은 스캔 심도 값을 미리 설정된 스캔 심도 값으로 변경하는 것을 포함한다. 대안적으로, 노이즈 데이터를 기초로 3차원 스캐너와 노이즈를 유발한 물체 사이의 거리를 판정하여, 그 거리보다 작은 값으로 스캔 심도 값을 변경할 수 있다.
이와 같이 자동으로 스캔 심도 값을 줄이게 되면, 줄어든 스캔 심도로 인하여 기존 3차원 스캐너 위치에서는 더 이상 대상체의 측정이 불가능하게 된다. 그에 따라, 사용자는 대상체와 3차원 스캐너의 거리를 좁히기 위하여 3차원 스캐너를 대상체에 더욱 가깝도록 움직이게 되므로, 노이즈가 발생하는 상황, 예컨대 사용자의 손 또는 환자의 혀, 볼 등이 치아와 스캐너 사이에 개입되는 상황을 방지할 수 있다.
일 실시예에서, 스캔 심도 값을 자동으로 증가시키거나 줄이는 경우, 전자 장치(100) 또는 3차원 스캐너(200)는 스캔 심도 값이 자동으로 변경된다는 점을 다양한 방식의 시각적, 청각적, 촉각적 알림을 통해 사용자에게 알려줄 수 있다. 예를 들면, 전자 장치(100)는 데이터 획득 프로그램(500)을 통해 사용자에게 스캔 심도 값이 변경된다는 점을 화면에 텍스트 또는 그림/동영상 등으로 표시하거나, 음성 메시지 또는 알람(예컨대, 비프 음) 등으로 알려줄 수 있다. 대안적으로 또는 추가적으로, 3차원 스캐너(200)를 통해 사용자에게 진동을 제공하거나 청각적 알람을 제공할 수 있다. 일 실시예에서, 사용자에게 스캔 심도 값이 자동으로 변경됨을 알리는 방식은 스캔 심도 값을 자동으로 증가시키는 경우와 자동으로 증가시키는 경우가 서로 상이할 수 있다.
일 실시예에서, 스캔 심도 값을 자동으로 증가시키거나 줄이는 경우, 도 5와 관련하여 상술한 바와 같이, 데이터 획득 프로그램(500)의 스캔 심도 조절 바(570)의 스캔 심도 조절 버튼(571)이 자동 조절된 스캔 심도 값에 해당하는 위치로 실시간 이동한다. 일 실시예에서, 도 5와 관련하여 상술한 바와 같이, 사용자가 스캔 심도를 수동으로 조절하면, 후술하는 바와 같은 3차원 스캐너(200)의 스캔 심도 값을 자동으로 조절하는 기능이 오프, 즉 해제될 수 있다.
위 단계(720) 내지 단계(760)의 일부 또는 전부는 일정 시간 주기 또는 일정 스캔(촬상) 주기마다 수행될 수 있다. 일 실시예에서, 단계(750) 및 단계(760)은 스캔 심도 값을 자동으로 조절하는 기능이 오프되어 있는 경우 수행되지 않는다.
이상의 실시예에서, 생성된 3차원 데이터를 기준으로 데이터의 이상 유무를 판단하는 것으로 설명하였으나, 단계(730)에서 획득된 2차원 이미지 데이터를 대상으로 데이터의 이상 여부에 관한 판단이 수행될 수도 있다. 예를 들면, 단계(750)에서, 단계(730)에서 획득된 2차원 이미지 데이터를 기초로 데이터의 이상 여부를 판단할 수 있다. 이러한 실시예에 따르면, 획득된 2차원 이미지 데이터에 측정 물체에 관한 정보가 포함되어 있지 않은 경우, 획득된 2차원 이미지 데이터에 측정 물체에 관한 정보가 부족한 경우, 획득된 데이터에 이상이 있는 것으로 판단하여, 이에 따라 단계(760)에서 스캔 심도 값을 증가시킨다. 또한, 획득된 2차원 이미지 데이터에 노이즈 데이터가 포함되어 있는 경우, 데이터에 이상이 있는 것으로 판단하여, 이에 따라 단계(760)에서 스캔 심도 값을 감소시킨다.
일 실시예에서, 데이터 이상 유무에 관한 판단은 일부는 2차원 이미지 데이터를 기초로, 일부는 3차원 데이터를 기초로 수행될 수 있다. 예를 들면, 획득된 데이터에 측정 물체에 관한 정보가 없거나 부족한지 여부는 2차원 이미지 데이터를 기초로 판단되고, 노이즈 데이터가 포함되었는지 여부는 3차원 데이터를 기초로 판단될 수 있으며, 그 반대의 경우도 가능하다.
본 개시의 다양한 실시예에 따르면, 3차원 스캐너 및/또는 3차원 스캐너와 관련된 소프트웨어(예컨대, 데이터 획득 프로그램(500))의 스캔 모드에 따라 스캔 심도 값을 자동으로 조절할 수 있다. 일 실시예에서, 스캔 모드는 도 5와 관련하여 설명한 스캔 필터링 기능 옵션(552)의 세 가지 모드, 즉 스캔으로 획득된 데이터에서 연조직과 같은 불필요한 부분을 제거하지 않는 모드(552-1), 치아 및 치아에 인접한 치은 부분에 해당하는 데이터만을 남기면서 연조직에 해당하는 부분의 데이터는 제거하는 모드(552-2), 및 치아에 해당하는 데이터만을 남기고 나머지 부분의 데이터는 제거하는 모드(552-3)를 포함할 수 있다.
위 스캔 모드들 중, 치아 및 치은을 남기는 모드(552-2)와 치아만을 남기는 모드(552-3)와 같이 타겟 대상 외의 스캔 데이터를 제거하는 모드에서는, 타겟 대상의 스캔 데이터가 획득되지 않는 경우 스캔 심도를 자동 조절하는 것이 필요할 수 있다.
도 9는 본 개시의 다양한 실시예에 따른, 특정 스캔 모드에서 스캔 심도를 자동으로 조절하기 위한 방법(900)의 흐름도이다.
단계(910)에서, 3차원 스캐너(200)의 스캔 동작이 개시되며, 타겟 대상 외의 스캔 데이터를 제거하는 모드가 선택된다.
단계(920)에서, 3차원 스캐너(200)를 이용한 대상체(20)의 스캔이 수행된다.
단계(930)에서, 3차원 스캐너의 측정부, 예컨대 3차원 스캐너(200)의 프로브 팁(220)으로부터 스캔 심도 내에 존재하는 대상체에 대한 스캔 이미지가 획득된다. 일 실시예에서, 획득된 스캔 이미지는 스캔 심도 내에 존재하는 대상체의 표면에 대한 2차원 이미지이다. 일 실시예에서, 획득된 2차원 스캔 이미지는 전자 장치(100)에 전송되어, 데이터 획득 프로그램(500)의 라이브 뷰 영역(520)에 표시될 수 있다.
단계(940)에서, 획득된 2차원 이미지에서, 타겟 대상과 타겟 대상이 아닌 영역을 구분하여 마스킹한다. 예를 들면, 치아 및 치은을 남기는 모드(552-2)를 선택한 경우, 치아 및 치은 부분과 그 외의 부분을 구분하여 마스킹한다. 또는 치아만을 남기는 모드(552-3)를 선택한 경우, 치아 부분과 그 외의 부분을 구분하여 마스킹한다. 일 실시예에서, 타겟 대상만을 마스킹하거나, 타겟 대상이 아닌 부분만을 마스킹할 수도 있다.
획득된 데이터가 타겟 대상(치아 또는 치은)인지 그 외의 연조직인지 여부는 구강 내 이미지들을 학습 데이터로 하여 학습된 AI 학습 모델을 이용하여 자동으로 결정될 수 있다.
도 10은 본 개시의 다양한 실시예에 따른, 획득된 2차원 이미지(1000)에서 타겟 대상과 타겟 대상이 아닌 부분을 구분하여 마스킹한 이미지를 도시한다. 도 10에 도시되어 있듯이, 타겟 대상이 아닌 부분(1010), 즉 입술 안쪽에 해당하는 연조직 부분은 치아(1020) 및 치은(1030)에 해당하는 부분과 구분되어 마스킹된다. 도 10의 실시예는 치아와 치은을 남기는 모드를 선택한 경우를 도시하나, 치아만을 남기는 모드를 선택한 경우에도 동일한 방식으로 실시될 수 있다. 일 실시예에서, 마스킹된 이미지는 데이터 획득 프로그램(500)의 라이브 뷰 영역(520)에 표시될 수 있다.
단계(950)에서, 획득된 2차원 이미지에 타겟 대상이 존재하지 않는 것으로 판단되는 경우, 스캔 심도 값을 감소시킨다.
일 실시예에서, 소정 시간 동안 또는 소정 횟수의 스캔 동작 동안 획득된 2차원 이미지에 타겟 대상이 존재하지 않는 경우 타겟 대상이 존재하지 않는 것으로 판단한다. 소정 시간 동안 또는 소정 횟수의 스캔 동작 동안 획득된 2차원 이미지에 타겟 대상이 일부라도 스캔되는 경우에는 스캔 심도 값을 감소시키지 않을 수 있다.
일 실시예에서, 스캔 심도 값을 감소시키는 것은 실질적으로 스캔이 불가능한 정도로 스캔 심도 값을 감소시키는 것을 포함한다. 예를 들면, 스캔 심도 값을 최소 스캔 심도 값(예컨대, 0.01 mm)으로 변경할 수 있다. 대안적으로, 스캔 심도 값을 0 또는 그 이하로 변경할 수 있다.
일 실시예에서, 스캔 심도 값을 감소시켜 실질적으로 스캔이 불가능하도록 하는 경우, 전술한 바와 같은 다양한 방식의 시각적, 청각적, 촉각적 알림을 통해 사용자에게 이를 알려줄 수 있다.
스캔 심도 값을 감소시킴으로써 스캔 심도가 좁아져 실질적으로 스캔이 이루어지지 않게 되었음을 알람을 통해 인지하면, 사용자는 타겟 대상이 존재하는 부분으로 스캐너를 이동한 뒤, 스캔 동작을 재시작하거나 3차원 스캐너(200)를 조작하거나 데이터 획득 프로그램(500)의 스캔 심도 조절 바(570)를 조작하는 방법 등을 통해 스캔 심도 값을 스캔이 가능한 값으로 재조정할 수 있다. 이와 같은 구성을 통하여, 타겟 대상이 없는 불필요한 부분의 스캔이 계속될 경우 사용자에게 이를 경고함으로써, 불필요한 스캔 동작 및 데이터 처리가 계속 이루어지는 것을 방지할 수 있다.
본 개시의 다양한 실시예들은 기기(machine)가 읽을 수 있는 기록 매체(machine-readable recording medium)에 기록된 소프트웨어로 구현될 수 있다. 소프트웨어는 상술한 본 개시의 다양한 실시예들을 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 개시가 속하는 기술분야의 프로그래머들에 의해 본 개시의 다양한 실시예들로부터 추론될 수 있다. 예를 들어 소프트웨어는 기기가 읽을 수 있는 명령(예: 코드 또는 코드 세그먼트) 또는 프로그램일 수 있다. 기기는 기록 매체로부터 호출된 명령어에 따라 동작이 가능한 장치로서, 예를 들어 컴퓨터일 수 있다. 일 실시예에서, 기기는 본 개시의 실시예들에 따른 장치(100)일 수 있다. 일 실시예에서, 기기의 프로세서는 호출된 명령을 실행하여, 기기의 구성요소들이 해당 명령에 해당하는 기능을 수행하게 할 수 있다. 일 실시예에서, 프로세서는 본 개시의 실시예들에 따른 하나 이상의 프로세서(101)일 수 있다. 기록 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체(recording medium)를 의미할 수 있다. 기록 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다. 일 실시예에서, 기록 매체는 하나 이상의 메모리(103)일 수 있다. 일 실시예에서, 기록 매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수도 있다. 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 기록 매체는 비 일시적(non-transitory) 기록 매체일 수 있다. 비일시적 기록 매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(tangible medium)를 의미하며, 일시적(transitory)으로 전파되는 신호(signal)를 포함하지 않는다.
이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 개시의 기술적 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되기 위한 명령들이 저장된 하나 이상의 메모리를 포함하는 전자 장치에서, 상기 하나 이상의 프로세서에 의해 수행되는 3차원 스캐너의 스캔 이미지 처리 방법으로서,
    상기 3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하는 단계;
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 단계; 및
    상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 단계는,
    상기 측정 물체가 상기 스캔 심도 내에 존재하지 않는 경우 또는 상기 획득된 스캔 이미지의 밀도가 미리 결정된 값 이하인 경우, 상기 스캔 데이터에 이상이 있는 것으로 판단하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 스캔 심도를 조절하는 단계는 상기 3차원 스캐너의 스캔 심도 값을 증가시키는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 스캔 심도 값을 증가시키는 단계는 상기 스캔 심도 값을 미리 설정된 스캔 심도 값으로 설정하는 단계 또는 상기 스캔 심도 값을 미리 결정된 값만큼 증가시키는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 단계는,
    상기 획득된 스캔 이미지에 노이즈 데이터가 포함되어 있는 경우, 상기 스캔 데이터에 이상이 있는 것으로 판단하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 스캔 심도를 조절하는 단계는 상기 3차원 스캐너의 스캔 심도 값을 감소시키는 단계를 포함하는, 방법.
  7. 제3항에 있어서,
    상기 스캔 심도 값을 감소시키는 단계는 상기 스캔 심도 값을 미리 설정된 스캔 심도 값으로 설정하는 단계 또는 상기 스캔 심도 값을 미리 결정된 값만큼 감소시키는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 단계는,
    상기 획득한 스캔 이미지에 타겟 영역이 포함되어 있지 않은 경우 상기 스캔 데이터에 이상이 있는 것으로 판단하는 단계를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 스캔 심도를 조절하는 단계는 상기 스캔 심도를 최소 스캔 심도 값으로 설정하는 단계를 포함하는, 방법.
  10. 제1항에 있어서,
    상기 스캔 심도를 조절하는 단계는 사용자에게 시각적, 촉각적, 또는 청각적 알림을 제공하는 단계를 포함하는, 방법.
  11. 전자 장치에 있어서,
    3차원 스캐너와 통신 연결되는 통신 회로;
    디스플레이; 및
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    상기 3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하고;
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하고; 및
    상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하도록 구성된, 전자 장치.
  12. 제11항에 있어서,
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 것은,
    상기 측정 물체가 상기 스캔 심도 내에 존재하지 않는 경우 또는 상기 획득된 스캔 이미지의 밀도가 미리 결정된 값 이하인 경우, 상기 스캔 데이터에 이상이 있는 것으로 판단하는 것을 포함하는, 전자 장치.
  13. 제12항에 있어서,
    상기 스캔 심도를 조절하는 것은 상기 3차원 스캐너의 스캔 심도 값을 증가시키는 것을 포함하는, 전자 장치.
  14. 제13항에 있어서,
    상기 스캔 심도 값을 증가시키는 것은 상기 스캔 심도 값을 미리 설정된 스캔 심도 값으로 설정하는 것 또는 상기 스캔 심도 값을 미리 결정된 값만큼 증가시키는 것을 포함하는, 전자 장치.
  15. 제11항에 있어서,
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 것은,
    상기 획득된 스캔 이미지에 노이즈 데이터가 포함되어 있는 경우, 상기 스캔 데이터에 이상이 있는 것으로 판단하는 것을 포함하는, 전자 장치.
  16. 제15항에 있어서,
    상기 스캔 심도를 조절하는 것은 상기 3차원 스캐너의 스캔 심도 값을 감소시키는 것을 포함하는, 전자 장치.
  17. 제13항에 있어서,
    상기 스캔 심도 값을 감소시키는 것은 상기 스캔 심도 값을 미리 설정된 스캔 심도 값으로 설정하는 것 또는 상기 스캔 심도 값을 미리 결정된 값만큼 감소시키는 것을 포함하는, 전자 장치.
  18. 제11항에 있어서,
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하는 것은,
    상기 획득한 스캔 이미지에 타겟 영역이 포함되어 있지 않은 경우 상기 스캔 데이터에 이상이 있는 것으로 판단하는 것을 포함하는, 전자 장치.
  19. 제18항에 있어서,
    상기 스캔 심도를 조절하는 것은 상기 스캔 심도를 최소 스캔 심도 값으로 설정하는 것을 포함하는, 전자 장치.
  20. 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 동작을 수행하도록 하는 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 명령들은, 상기 하나 이상의 프로세서로 하여금,
    3차원 스캐너를 통하여, 미리 설정된 상기 3차원 스캐너의 스캔 심도 내의 측정 물체에 대한 스캔 데이터를 획득하고;
    상기 3차원 스캐너로부터 획득한 스캔 이미지에 기초하여 상기 스캔 데이터의 이상 여부를 판단하고; 및
    상기 스캔 데이터에 이상이 있다고 판단된 경우, 상기 3차원 스캐너의 스캔 심도를 조절하도록 하는, 컴퓨터 판독 가능 기록 매체.
PCT/KR2022/010687 2021-07-21 2022-07-21 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치 WO2023003383A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280049502.6A CN117677337A (zh) 2021-07-21 2022-07-21 用于调节三维扫描仪的扫描深度的方法和装置
US18/571,838 US20240289954A1 (en) 2021-07-21 2022-07-21 Method and apparatus for adjusting scan depth of three-dimensional scanner
EP22846253.7A EP4374769A1 (en) 2021-07-21 2022-07-21 Method and apparatus for adjusting scan depth of three-dimensional scanner

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210095453 2021-07-21
KR10-2021-0095453 2021-07-21
KR1020220061439A KR20230014621A (ko) 2021-07-21 2022-05-19 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
KR10-2022-0061439 2022-05-19

Publications (1)

Publication Number Publication Date
WO2023003383A1 true WO2023003383A1 (ko) 2023-01-26

Family

ID=84979288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010687 WO2023003383A1 (ko) 2021-07-21 2022-07-21 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US20240289954A1 (ko)
EP (1) EP4374769A1 (ko)
WO (1) WO2023003383A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097607B1 (ko) * 2010-01-12 2011-12-22 삼성메디슨 주식회사 스캔 각도, 스캔 깊이 및 스캔 속도를 설정하는 초음파 시스템 및 방법
KR20170103713A (ko) * 2017-06-14 2017-09-13 이영종 출력비트 조정 고속 이미지센서를 이용한 공초점 3차원 구강스캐너
KR20180010252A (ko) * 2015-05-22 2018-01-30 시로나 덴탈 시스템스 게엠베하 치아 객체의 3차원 측정을 위한 카메라 및 방법
KR101903424B1 (ko) * 2017-01-10 2018-11-13 한국광기술원 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법
KR102091897B1 (ko) * 2015-12-28 2020-03-20 전자부품연구원 3d 구강 스캐너 및 이를 이용한 3d 구강 스캐닝 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101097607B1 (ko) * 2010-01-12 2011-12-22 삼성메디슨 주식회사 스캔 각도, 스캔 깊이 및 스캔 속도를 설정하는 초음파 시스템 및 방법
KR20180010252A (ko) * 2015-05-22 2018-01-30 시로나 덴탈 시스템스 게엠베하 치아 객체의 3차원 측정을 위한 카메라 및 방법
KR102091897B1 (ko) * 2015-12-28 2020-03-20 전자부품연구원 3d 구강 스캐너 및 이를 이용한 3d 구강 스캐닝 방법
KR101903424B1 (ko) * 2017-01-10 2018-11-13 한국광기술원 광단층영상시스템 기반 3d 구강 스캐너 및 이를 이용한 치아 상태 진단 방법
KR20170103713A (ko) * 2017-06-14 2017-09-13 이영종 출력비트 조정 고속 이미지센서를 이용한 공초점 3차원 구강스캐너

Also Published As

Publication number Publication date
US20240289954A1 (en) 2024-08-29
EP4374769A1 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
WO2020204366A2 (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
KR20230014621A (ko) 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
WO2023003383A1 (ko) 3차원 스캐너의 스캔 심도 조절을 위한 방법 및 장치
WO2022255720A1 (ko) 3차원 스캐너의 스캔 이미지 처리 방법 및 장치
WO2023014107A1 (ko) 3차원 스캐너의 스캔 이미지 처리에 있어서의 노이즈 필터링을 위한 방법 및 장치
WO2023277391A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2022250403A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법
WO2023204509A1 (ko) 3차원 스캐너의 3차원 이미지 모델의 생성과 정렬을 위한 전자 장치, 방법 및 기록 매체
WO2023200128A1 (ko) 구강 스캐너의 스캔 이미지 처리 방법, 그 장치 및 그 명령을 기록한 기록 매체
US20230386141A1 (en) Method, apparatus and recording medium storing commands for processing scanned images of 3d scanner
WO2023038313A1 (ko) 전자 장치 및 그의 3차원 스캐너의 스캔 이미지 처리 방법
WO2023063671A1 (ko) 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체
KR102472127B1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
CN117677337A (zh) 用于调节三维扫描仪的扫描深度的方法和装置
WO2023177213A1 (ko) 객체의 색상을 결정하는 방법, 그 장치 및 그 명령을 기록한 기록 매체
US20230096570A1 (en) Electronic device and method for processing scanned image of three dimensional scanner
WO2024144035A1 (ko) 홀로그램 디스플레이 시스템 및 그 제어방법
WO2023238987A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2022164203A1 (ko) 3차원 스캔 시스템, 및 그 동작 방법
EP4417161A1 (en) Data processing apparatus and data processing method
WO2022191665A1 (ko) 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치
WO2024096385A1 (ko) 복수의 초음파 변환기의 동작 제어를 통해 유방 내 종괴를 검출하는 휴대형 초음파 장치
WO2024096384A1 (ko) 초음파 변환기의 이동 속도를 감지하여 유방 내 종괴를 검출하는 휴대형 초음파 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22846253

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18571838

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280049502.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022846253

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022846253

Country of ref document: EP

Effective date: 20240221