WO2021242053A1 - 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 - Google Patents

3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
WO2021242053A1
WO2021242053A1 PCT/KR2021/006694 KR2021006694W WO2021242053A1 WO 2021242053 A1 WO2021242053 A1 WO 2021242053A1 KR 2021006694 W KR2021006694 W KR 2021006694W WO 2021242053 A1 WO2021242053 A1 WO 2021242053A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
data
reference data
dimensional
point
Prior art date
Application number
PCT/KR2021/006694
Other languages
English (en)
French (fr)
Inventor
이동훈
김한솔
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to EP21814563.9A priority Critical patent/EP4159160A4/en
Priority to US18/000,080 priority patent/US20230215122A1/en
Publication of WO2021242053A1 publication Critical patent/WO2021242053A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4078—Fan-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35012—Cad cam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Definitions

  • the present disclosure relates to a method and an apparatus for acquiring three-dimensional data, and more particularly, to a method and an apparatus for acquiring three-dimensional data for a tooth using an optical three-dimensional scanner.
  • Dental CAD/CAM Densicle Computer Aided Design/Computer Aided Manufacturing
  • 3D data 3D data on the shape of an object, such as a patient's teeth, gums, and jawbone.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • optical scanning may be used.
  • 3D data can be divided into volumetric data and surface data according to an expression format thereof.
  • Volume data may be acquired by X-ray computed tomography (CT) such as cone beam computed tomography (CBCT), magnetic resonance imaging (MRI), etc., and has an intensity value within a voxel structure.
  • CT X-ray computed tomography
  • CBCT cone beam computed tomography
  • MRI magnetic resonance imaging
  • intensity value within a voxel structure is expressed as
  • optical 3D scanners are widely used.
  • the optical 3D scanner may obtain 3D surface shape information from an object, for example, may obtain an impression of a tooth, a plaster model obtained with respect to the impression, or 3D data of a tooth surface.
  • the surface data is recorded in the form of a polygon mesh, and includes location information of vertices of the surface of the object and connection relationship information of each vertex.
  • An object of the disclosed embodiment is to provide a method and apparatus for obtaining 3D data accurately reflecting the shape of an object without distortion of the curvature of the arch, and a computer-readable storage medium in which a program for performing the method is stored.
  • a process of scanning the entire object is required. For example, in order to obtain 3D data on both molars for a prosthesis to be attached to both molars of the mandible, it is necessary to scan all the teeth of the mandible from one molar to the other through an optical 3D scanner. process is needed
  • An object of the disclosed embodiment is to provide a method, an apparatus, and a computer-readable storage medium storing a program for performing the method for obtaining 3D data for discontinuous regions of an object.
  • One aspect of the present disclosure provides a method for obtaining three-dimensional data, the method comprising: obtaining three-dimensional reference data for an object; aligning a first frame obtained by scanning a first area of the object to the 3D reference data; aligning a second frame obtained by scanning a second area of the object in which the first area and at least a partial area overlap with the 3D reference data; and acquiring the three-dimensional data by merging the first frame and the second frame based on the overlapping region.
  • the aligning the position of the first frame to the three-dimensional reference data includes: selecting a first point on the three-dimensional reference data; obtaining the first frame obtained by scanning the first area corresponding to the first point; and aligning the first frame in the three-dimensional reference data with respect to the first point.
  • the three-dimensional data acquisition method makes it possible to acquire three-dimensional data accurately reflecting the shape of an object by aligning frames scanned in real time based on previously acquired three-dimensional reference data. .
  • the 3D data acquisition method may provide 3D data including information on partial regions of an object by aligning frames scanned in real time based on previously acquired 3D reference data to obtain 3D data do.
  • 1A is a diagram for describing a method for a CT scanner to acquire volume data, according to an exemplary embodiment.
  • FIG. 1B illustrates an example of surface data extracted through segmentation of volume data according to an embodiment.
  • FIG. 2 is a view for explaining a method of obtaining surface data by an optical 3D scanner according to an exemplary embodiment.
  • FIG. 3 is a diagram for explaining a three-dimensional data acquisition system according to an embodiment.
  • 4A is a flowchart illustrating a method for obtaining 3D data by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • FIG. 4B is a diagram for describing a method of aligning a second frame in 3D reference data based on a 3D coordinate value of a first frame by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • 4C is a flowchart illustrating a method for obtaining 3D data by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • 5A illustrates an example of an object image displayed by an apparatus for obtaining 3D data according to an embodiment.
  • 5B illustrates an example of an object image displayed by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • 6A illustrates an example of a screen on which the 3D data acquisition apparatus displays an object image indicating a first point selected on 3D reference data, according to an embodiment.
  • 6B illustrates an example of a screen on which the 3D data acquisition apparatus displays an object image indicating a first point selected on 3D reference data, according to an exemplary embodiment.
  • FIG. 7 illustrates an example of a screen on which the 3D data acquisition apparatus displays 3D data acquired in real time according to an embodiment.
  • FIG. 8A illustrates an example of a screen on which the 3D data acquisition apparatus displays an object image indicating a second point selected on 3D reference data, according to an exemplary embodiment.
  • 8B illustrates an example of a screen on which the 3D data acquisition apparatus displays 3D data acquired in real time based on a second point according to an embodiment.
  • FIG. 9 is a flowchart of a 3D data acquisition method according to an embodiment.
  • FIG. 10 is a flowchart of a 3D data acquisition method according to an embodiment.
  • FIG. 11 is a block diagram of an apparatus for obtaining 3D data according to an exemplary embodiment.
  • One aspect of the present disclosure provides a method for obtaining three-dimensional data, the method comprising: obtaining three-dimensional reference data for an object; aligning a first frame obtained by scanning a first area of the object to the 3D reference data; aligning a second frame obtained by scanning a second area of the object in which the first area and at least a partial area overlap with the 3D reference data; and acquiring the three-dimensional data by merging the first frame and the second frame based on the overlapping region.
  • the aligning the position of the first frame to the three-dimensional reference data includes: selecting a first point on the three-dimensional reference data; obtaining the first frame obtained by scanning the first area corresponding to the first point; and aligning the first frame in the three-dimensional reference data with respect to the first point.
  • the step of aligning the position of the second frame to the three-dimensional reference data includes the second frame in the three-dimensional reference data based on the three-dimensional coordinate value of the first frame aligned with the position. It is possible to provide a method for obtaining three-dimensional data, comprising the step of aligning a position of a It is possible to provide a method for obtaining three-dimensional data, comprising the step of aligning the second frame to the three-dimensional reference data based on the three-dimensional coordinate values of the aligned first frame.
  • the 3D reference data may provide a 3D data acquisition method, characterized in that the 3D reference data is the surface data of the object extracted from the volume data acquired by the CT or MRI method.
  • a 3D data acquisition method further comprising displaying the 3D data on an object image generated from the 3D reference data.
  • the selecting of the first point on the three-dimensional reference data includes selecting the first point on the three-dimensional reference data based on a user input, three-dimensional data A method of obtaining can be provided.
  • the step of selecting the first point on the three-dimensional reference data includes automatically selecting the first point on the three-dimensional reference data according to a predetermined criterion, three-dimensional data A method of obtaining can be provided.
  • obtaining the three-dimensional reference data by performing a first segmentation on the volume data obtained by the CT or MRI method; and identifying regions corresponding to a plurality of teeth included in the object by performing second segmentation on the three-dimensional reference data.
  • the selecting of the first point on the three-dimensional reference data may include selecting a point corresponding to one tooth among a plurality of teeth included in the object as the third point on the three-dimensional reference data. It is possible to provide a three-dimensional data acquisition method, further comprising the step of selecting as one point.
  • the first frame or the second frame may be obtained by an optical three-dimensional scanner, and may provide a method for obtaining three-dimensional data, including shape information of the surface of the object.
  • the step of aligning the first frame to the three-dimensional reference data may include: extracting a plurality of apex on the three-dimensional reference data based on the first point; extracting a plurality of corresponding points respectively corresponding to the plurality of vertices from the first frame; and aligning the first frame to the three-dimensional reference data based on a difference in distance values between the plurality of vertices and the plurality of corresponding points.
  • Another aspect of the present disclosure is an apparatus for acquiring three-dimensional data, comprising: a display; a communication interface for communicating with the optical three-dimensional scanner; and at least one processor executing at least one instruction to control the three-dimensional data, wherein the at least one processor obtains three-dimensional reference data for an object, and uses the optical three-dimensional scanner to control the three-dimensional data.
  • Another aspect of the present disclosure may provide one or more computer-readable recording media in which a program for performing the above-described method of obtaining 3D data is stored.
  • an 'object' is an object to be photographed, and may include a person, an animal, or a part thereof.
  • the object may include a body part (eg, an organ or an organ), an artificial structure attachable to or insertable into the object, or a phantom.
  • a case in which 3D data is obtained for an oral cavity including at least one tooth as an object has been described as an example.
  • the object may include teeth, gingiva, at least a portion of the oral cavity, and/or an artificial structure insertable into the oral cavity (eg, an orthodontic device including a bracket and a wire, an implant, an artificial tooth, or an orthodontic aid inserted into the oral cavity tools, etc.).
  • the present disclosure is not limited to the case of obtaining 3D data for the oral cavity, and may be applied to obtain 3D data for various objects.
  • an 'image' may include a medical image obtained by a medical imaging device such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, an X-ray imaging device, or an optical 3D imaging device.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • ultrasound imaging device an ultrasound imaging device
  • X-ray imaging device an X-ray imaging device
  • optical 3D imaging device an optical 3D imaging device
  • an 'image' may be a two-dimensional image of an object or a three-dimensional model or three-dimensional image that three-dimensionally represents the object.
  • the image may be a 3D image generated by rendering volume data obtained by a CT or MRI method or surface data extracted from the volume data.
  • an image may include both a 2D frame and a 3D frame.
  • the image may include a 3D frame expressed in the form of a point cloud or a polygon mesh.
  • an image may refer to data necessary to represent an object in two or three dimensions, for example, raw data obtained from at least one image sensor.
  • the raw data may be a 2D image obtained to generate 3D data about the object.
  • the raw data may be data obtained from at least one image sensor included in the optical 3D scanner when an object is scanned using an optical 3D scanner (eg, an intraoral scanner).
  • Dental CAD/CAM technology is widely used in dental treatment, especially for treatment of prosthetics.
  • methods such as computed tomography (CT), magnetic resonance imaging (MRI), and optical scanning may be used.
  • 3D data can be divided into volume data and surface data according to the expression format.
  • 1A is a diagram for describing a method for a CT scanner to acquire volume data, according to an exemplary embodiment.
  • Computed tomography is a diagnostic method that uses a CT scanner to project X-rays or ultrasound from various angles on the human body, and then reconstructs the image with a computer to process the internal cross-section of the human body as an image.
  • a general CT scanner 110 irradiates a fan-shaped X-ray beam 113 from an X-ray source 111 , and uses a detector 115 to allow X-rays to pass through the object.
  • 3D data can be obtained by measuring the degree and reconstructing the measurement result.
  • the CBCT scanner 120 uses a cone-shaped X-ray beam 123 .
  • the CBCT scanner 120 irradiates a cone-shaped X-ray beam 123 from the X-ray source 121, measures the degree of penetration of the X-ray through the object using the detector 125, and reconstructs the measurement result.
  • 3D data can be obtained.
  • the CBCT scanner 120 is widely used in the dental treatment field because it has a characteristic that the radiation dose is less than that of the general CT scanner 110 .
  • the 3D data obtained by the CBCT scanner 120 is expressed in the form of volume data including a plurality of voxels having a brightness value.
  • FIG. 1B illustrates an example of surface data extracted through segmentation of volume data according to an embodiment.
  • the image 131 of FIG. 1B is an example of volume data obtained by the CT method.
  • the brightness value is different depending on the physical properties of the tissue. Therefore, since segmentation is performed in such a way that brightness information of the CT volume data is divided according to a specific threshold value, information on the surface of the object may be extracted from the CT volume data.
  • a threshold value for segmentation may be set based on a user input.
  • a UI of software for medical image processing may provide a function for adjusting a threshold value.
  • the user may check the surface data generated according to the threshold while adjusting the threshold through the UI.
  • Different types of surface data are generated according to the threshold value input by the user, and the user can set a threshold value deemed appropriate while checking the surface data with the naked eye. Based on the set threshold, surface data may be finally extracted from the volume data.
  • the image 133 of FIG. 1B is an example of surface data generated from volume data through a segmentation process.
  • the surface data generated by the segmentation of the volume data varies according to which value the threshold is set.
  • surface data extracted from CT volume data of a human head may be data on the surface of a skull or data on human skin according to a threshold value set by a user.
  • an active contour method such as a region growing method or a level-set method may be used for segmentation.
  • optical 3D scanners are widely used in addition to CT.
  • the optical 3D scanner may obtain 3D surface shape information from the object.
  • the optical three-dimensional scanner may acquire, for example, an impression body of a tooth, a plaster model obtained with respect to the impression body, or three-dimensional data of a surface of a tooth.
  • the 3D data on the surface of the object may be expressed in the form of a polygon mesh including location information of vertices of the surface of the object and connection relationship information of each vertex.
  • FIG. 2 is a view for explaining a method of obtaining surface data by an optical 3D scanner according to an exemplary embodiment.
  • a structured lignt with stereo vision method may be used.
  • the optical 3D scanner according to an embodiment may include two or more cameras 207 and 209 and one projector 211 capable of projecting structured light 213 .
  • An optical 3D scanner according to an embodiment projects a structured light 213 to an object 201, and an L camera 207 corresponding to a left field of view and a right field of view.
  • L image data 203 corresponding to the left eye field of view and R image data 205 corresponding to the right eye field of view may be obtained from each of the R cameras 209 corresponding to .
  • the L image data 203 and the R image data 205 may be reconstructed into a 3D frame representing the surface of the object.
  • the optical three-dimensional scanner acquires a plurality of three-dimensional frames by scanning the object at regular time intervals (eg, 10 to 30 frames per second) while moving around the object, and combining or aligning the plurality of three-dimensional frames. 3D data for the entire object may be reconstructed.
  • FIG. 3 is a diagram for explaining a three-dimensional data acquisition system according to an embodiment.
  • the 3D data acquisition system may include an optical 3D scanner 100 and a 3D data acquisition apparatus 300 .
  • the optical 3D scanner 100 may transmit raw data including L image data and R image data obtained from an object according to the binocular structured light method to the 3D data obtaining apparatus 300 .
  • the 3D data acquisition apparatus 300 may generate 3D data representing the shape of the surface of the object in 3D based on the received raw data.
  • the optical 3D scanner 100 according to another embodiment generates a 3D frame by reconstructing raw data including L image data and R image data obtained from an object, and uses the generated 3D frame as 3D data may be transmitted to the acquisition device 300 .
  • the optical 3D scanner 100 may include a medical device for acquiring an intraoral image.
  • the optical 3D scanner 100 may be a device for generating a 3D model of the oral cavity including at least one tooth by being inserted into the oral cavity and scanning teeth in a non-contact manner.
  • the optical three-dimensional scanner 100 may have a form that can be drawn in and out of the oral cavity, and can scan the inside of the patient's oral cavity using at least one image sensor (eg, an optical camera, etc.).
  • the optical three-dimensional scanner 100 is an artificial structure that can be inserted into teeth, gingiva, and oral cavity (eg, an orthodontic device including brackets and wires, implants, artificial teeth, orthodontic auxiliary tools inserted into the oral cavity, etc.) ), surface information on the object may be obtained as raw data, and a 3D operation such as a merge may be performed based on the obtained surface information and displayed on the display.
  • an orthodontic device including brackets and wires, implants, artificial teeth, orthodontic auxiliary tools inserted into the oral cavity, etc.
  • the raw data obtained by the optical three-dimensional scanner 100 or the three-dimensional frame obtained from the raw data may be transmitted to the three-dimensional data obtaining apparatus 300 connected through a wired or wireless communication network.
  • the three-dimensional data acquisition apparatus 300 is connected to the optical three-dimensional scanner 100 through a wired or wireless communication network, and raw data or three-dimensional data obtained by scanning an object from the optical three-dimensional scanner 100 You can receive a dimensional frame.
  • the 3D data acquisition device 300 may be any electronic device capable of generating, processing, displaying, and/or transmitting 3D data or 3D image of an object based on the received raw data or 3D frame.
  • the 3D data acquisition device 300 may be a computing device such as a smart phone, a laptop computer, a desktop computer, a PDA, or a tablet PC, but is not limited thereto.
  • the three-dimensional data acquisition apparatus 300 generates at least one of information and an object image required for diagnosis of an object based on data received from the optical three-dimensional scanner 100, and displays the generated information and/or image ( 320) can be displayed.
  • the 3D data acquisition apparatus 300 may analyze 3D data or a 3D image of an object, and process, display, and/or transmit the analysis result.
  • the 3D data acquisition apparatus 300 may store and execute dedicated software linked to the optical 3D scanner 100 .
  • the dedicated software may be called a dedicated program or a dedicated application.
  • dedicated software stored in the 3D data acquisition device 300 is connected to the optical 3D scanner 100 to scan an object It is possible to receive the data obtained through the real-time.
  • the 3D data acquisition device 300 may store and execute dedicated software corresponding to the i500 product.
  • the transmission software may perform at least one operations to acquire, process, store, and/or transmit the oral image.
  • the dedicated software may be stored in the processor or memory of the 3D data acquisition device 300 .
  • the dedicated software may provide a user interface for use of data acquired in the optical three-dimensional scanner.
  • the user interface screen provided by the dedicated software may include a 3D image of the object generated according to the disclosed embodiment.
  • the user interface screen provided by the dedicated software may be any one of the user interface screens shown in FIGS. 5A to 8B .
  • 4A is a flowchart illustrating a method for obtaining 3D data by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • the 3D data acquisition apparatus 300 may acquire 3D reference data for an object.
  • the 3D reference data may be volume data itself obtained by a CT or MRI method, or may be surface data of an object extracted from volume data obtained by a CT or MRI method.
  • the 3D data acquisition apparatus 300 may acquire 3D reference data from an internal memory, an external server, or an external device (eg, a medical imaging apparatus).
  • an external device eg, a medical imaging apparatus.
  • the 3D data acquisition apparatus 300 acquires volume data obtained by CT or MRI from a built-in memory, an external server, or an external device, and directly obtains 3D reference data from the obtained volume data can be extracted.
  • the 3D data acquisition apparatus 300 may extract 3D reference data, which is information about the surface of the object, from the volume data by performing segmentation. For example, the 3D data acquisition apparatus 300 performs segmentation for dividing the brightness information of the volume data based on a predetermined threshold value, so that the dental tissue can be differentiated from other tissues.
  • a threshold for segmentation may be set based on a user input.
  • the 3D data acquisition apparatus 300 may provide a user interface that allows a user to adjust a threshold value for segmentation.
  • the 3D data acquisition apparatus 300 may display surface data generated according to a set threshold value to the user.
  • a user may select a threshold value that is considered most suitable based on surface data generated in different forms according to the threshold value.
  • the threshold for segmentation may be automatically set by the 3D data acquisition apparatus 300 .
  • the 3D data acquisition apparatus 300 may determine a threshold value in consideration of a result of analyzing the volume data and/or various data.
  • the 3D data acquisition apparatus 300 provides at least one of data previously learned in relation to segmentation, a user's past segmentation record, a user setting, or information on which part of the human body the object is.
  • a threshold value may be determined based on .
  • the segmentation method according to various embodiments of the present disclosure is not limited to the method using the above-described threshold value, and an area extension method or an active contour method such as level setting may be used.
  • the 3D data acquisition apparatus 300 may acquire information on the surface of the object from the volume data by performing various segmentation.
  • the 3D data acquisition apparatus 300 obtains 3D reference data including information on the surface of the object by performing a first segmentation on the volume data, and obtains the 3D reference data for the 3D reference data. By performing the segmentation, regions corresponding to a plurality of teeth included in the object may be identified.
  • the 3D data acquisition apparatus 300 may generate an object image from 3D reference data and display the object image.
  • 5A illustrates an example of a screen on which the 3D data acquisition apparatus displays an object image 510 generated from 3D reference data, according to an embodiment.
  • the 3D data acquisition apparatus 300 may display an object image 510 generated from 3D reference data including information on the surface of the skull, as shown in FIG. 5A .
  • the object image may be expressed in a semi-transparent manner or in a gray scale.
  • the object image generated from the 3D reference data is not limited to the example illustrated in FIG. 5A .
  • 5B illustrates an example of a screen on which the 3D data acquisition apparatus displays an object image 520 generated from 3D reference data according to an exemplary embodiment.
  • the 3D data acquisition apparatus 300 may acquire 3D reference data including information on surfaces of a plurality of teeth of the mandible.
  • the 3D data acquisition apparatus 300 may display an object image 520 generated from 3D reference data including information on surfaces of a plurality of teeth, as shown in FIG. 5B . have. However, it is not an essential operation for the 3D data acquisition apparatus 300 to display the object image generated from the 3D reference data.
  • the 3D data acquisition apparatus 300 according to an embodiment may omit the step of displaying the object image and perform the following step S402.
  • the 3D data acquisition apparatus 300 may position and align the first frame obtained by scanning the first area of the object to the 3D reference data.
  • the 3D data acquisition apparatus 300 may acquire the first frame including shape information of the surface of the object by using an optical 3D scanner.
  • the 3D data acquisition apparatus 300 may obtain raw data by wire or wirelessly from an optical 3D scanner using a binocular structured light method, and reconstruct the raw data into a first frame according to the optical triangulation method.
  • the descriptions of FIGS. 2 and 3 may be applied.
  • the 3D data acquisition apparatus 300 may align the first frame with the 3D reference data.
  • the 3D data acquisition apparatus 300 may use various algorithms to align the 3D reference data and the first frame. For example, an Iterative Closest Point (ICP) algorithm may be used.
  • ICP Iterative Closest Point
  • ICP is a method of position alignment by minimizing the distance deviation between two or more different 3D data.
  • the 3D data acquisition apparatus 300 may perform position alignment through the following sequence using the ICP algorithm.
  • the 3D data acquisition apparatus 300 may extract apex to be used for calculation among the vertices of the 3D reference data (first step).
  • the operation of extracting vertices to be used for calculation may be referred to as sampling.
  • the 3D data acquisition apparatus 300 may extract a plurality of vertices on the 3D reference data based on the initial position.
  • the 3D data acquisition apparatus 300 may determine corresponding points corresponding to the vertices extracted from the first frame (second step).
  • the 3D data acquisition apparatus 300 may position the first frame in 3D reference data based on differences in distance values between the plurality of vertices and the plurality of corresponding points.
  • the 3D data acquisition apparatus 300 derives an objective function using the extracted vertices and the distance to the determined corresponding point group as energy (third step), and the value of the objective function It is possible to calculate a movement function between the first frame and the three-dimensional reference data that minimizes (fourth step).
  • the three-dimensional data acquisition apparatus 300 aligns the first frame with respect to the three-dimensional reference data based on the calculated movement function (Step 5), and operates the above-described first to fifth steps until the end condition is satisfied. By repeating the steps, it is possible to increase the positioning accuracy.
  • the apparatus 300 for obtaining 3D data may determine an initial position to align the first frame with the 3D reference data.
  • the 3D reference data obtaining apparatus 300 may determine the first point on the 3D reference data as an initial position based on a user input.
  • the 3D data acquisition apparatus 300 may automatically determine the first point on the 3D reference data as the initial position according to a predetermined criterion.
  • the 3D data acquisition apparatus 300 may determine, as an initial position, a first point corresponding to one tooth among a plurality of teeth included in the object.
  • the 3D data acquisition apparatus 300 may position the first frame in 3D reference data based on the determined initial position.
  • the 3D data acquisition apparatus 300 refers to a second frame obtained by scanning a second area of the object in which the first area of the object overlaps at least a partial area in 3D. You can position the data.
  • the 3D data acquisition apparatus 300 may acquire frames scanned by the optical 3D scanner at regular time intervals in real time.
  • the first frame and the second frame may be obtained by an optical three-dimensional scanner moved by a user.
  • the second frame may represent a second area in which at least a partial area of the object indicated by the first frame overlaps.
  • the 3D data acquisition apparatus 300 may position the second frame in 3D reference data.
  • the 3D data acquisition apparatus 300 may position the second frame in 3D reference data based on the 3D coordinate value of the first frame.
  • the 3D data acquisition apparatus 300 may position and align the second frame to an optimal position in consideration of the 3D reference data and the first frame aligned with the 3D reference data.
  • the 3D data acquisition apparatus 300 may acquire frames in which the object is scanned at regular time intervals from the optical scanner in real time. For example, the 3D data acquisition apparatus 300 acquires a first frame from the optical scanner within a predetermined time from a time when the optical scanner scans the first frame, and a predetermined time from a time when the optical scanner scans the second frame The second frame may be acquired within Accordingly, when the 3D data acquisition apparatus 300 according to an embodiment successfully aligns the first frame to the 3D reference data, the second frame acquired after the first frame can also be easily and quickly aligned. . This is because the first region of the object indicated by the first frame and the second region of the object indicated by the second frame scanned at short time intervals are very close in three dimensions.
  • the 3D data acquisition apparatus 300 aligns the frame to the 3D reference data using the ICP algorithm, in order to align the initial position used to position the first frame and the second frame
  • the initial positions used may be close to each other in three dimensions. Accordingly, the three-dimensional data acquisition apparatus 300 may position the second frame in the three-dimensional reference data in consideration of the three-dimensional position of the first frame and/or the initial position used for position alignment of the first frame.
  • the 3D coordinate value of the first frame may mean a coordinate value indicating the position of the first frame determined by positioning and aligning the first frame to 3D reference data in a 3D space.
  • a method in which the 3D data acquisition apparatus 300 according to an embodiment aligns the second frame in 3D reference data based on the 3D coordinate value of the first frame will be described with reference to FIG. 4B .
  • FIG. 4B is a diagram for describing a method of aligning a second frame in 3D reference data based on a 3D coordinate value of a first frame by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • a diagram 407 of FIG. 4B shows a first frame positionally aligned to CT data used as three-dimensional reference data.
  • the 3D data acquisition apparatus 300 may position and align the first frame in the CT data on the 3D coordinate system of the x-axis, the y-axis, and the z-axis, and obtain the 3D coordinate value of the first frame.
  • the three-dimensional data acquisition device 300 acquires the second frame within a predetermined time from the time of acquiring the first frame from the optical scanner, the second frame should be aligned. It can be estimated that the position is located in the vicinity of the three-dimensional coordinate value of the first frame. This is based on the assumption that the first region of the object indicated by the first frame and the second region of the object indicated by the second frame scanned after a very short time are very close in three dimensions.
  • the three-dimensional data acquisition device 300 determines the initial position of the second frame based on the three-dimensional coordinate value of the first frame and performs ICP, and finally, as shown in the diagram 409 As described above, it is possible to position the second frame on the CT data.
  • step S404 the 3D data acquisition apparatus 300 according to an embodiment of the present disclosure merges the first frame and the second frame based on the overlapping area to obtain 3D data. can be obtained
  • the scan frame after designating an initial position on the 3D reference data, the scan frame may be aligned with the 3D reference data based on the initial position.
  • FIG. 4C is a flowchart illustrating a method for obtaining 3D data by an apparatus for obtaining 3D data according to an exemplary embodiment.
  • S402 and S403 of FIG. 4A may correspond to S430 and S450 of FIG. 4C, respectively, and the description related to each step shown in FIG. 4A may also be applied to FIG. 4C, and thus redundant descriptions will be omitted.
  • the 3D data acquisition apparatus 300 may select a first point on 3D reference data for an object.
  • the 3D data acquisition apparatus 300 may acquire 3D reference data for an object.
  • the 3D reference data may be surface data of an object extracted from volume data obtained by a CT or MRI method.
  • the 3D data acquisition apparatus 300 may acquire 3D reference data from an internal memory, an external server, or an external device (eg, a medical imaging apparatus).
  • an external device eg, a medical imaging apparatus.
  • the 3D data acquisition apparatus 300 acquires volume data obtained by CT or MRI from a built-in memory, an external server, or an external device, and directly obtains 3D reference data from the obtained volume data can be extracted.
  • the 3D data acquisition apparatus 300 may extract 3D reference data including information on the surface of the object from the volume data by performing segmentation.
  • volume data obtained by a CT scanner the brightness value of voxels appears differently depending on the physical properties of the tissue. Accordingly, tooth tissue and other tissues can be distinguished through segmentation in which brightness information of volume data about a human head is divided based on a predetermined threshold value.
  • the object indicated by the surface data generated as a result of segmentation varies according to how the predetermined threshold value is set.
  • surface data extracted from CT volume data obtained for a human head may be data representing the surface of the skull or data representing the surface of the scalp according to a threshold value.
  • a threshold value for segmentation may be set based on a user input.
  • the 3D data acquisition apparatus 300 may provide a user interface that allows a user to adjust a threshold value for segmentation.
  • the 3D data acquisition apparatus 300 may display surface data generated according to a set threshold value to the user.
  • a user may select a threshold value that is considered most suitable based on surface data generated in different forms according to the threshold value.
  • the threshold for segmentation may be automatically set by the 3D data acquisition apparatus 300 .
  • the 3D data acquisition apparatus 300 may determine a threshold value in consideration of a result of analyzing the volume data and/or various data.
  • the 3D data acquisition apparatus 300 provides at least one of data previously learned in relation to segmentation, a user's past segmentation record, a user setting, or information on which part of the human body the object is.
  • a threshold value may be determined based on .
  • the segmentation method according to various embodiments of the present disclosure is not limited to the method using the above-described threshold value, and an area extension method or an active contour method such as level setting may be used.
  • the 3D data acquisition apparatus 300 may acquire information on the surface of the object from the volume data by performing various segmentation.
  • the 3D data acquisition apparatus 300 obtains 3D reference data including information on the surface of an object by performing a first segmentation on the volume data, and performs a second segmentation on the 3D reference data By performing , an area corresponding to a plurality of teeth included in the object may be identified.
  • the 3D data acquisition apparatus 300 may generate an object image from 3D reference data and display the object image.
  • 5A and 5B illustrate examples of a screen on which an apparatus for obtaining 3D data displays an image of an object generated from 3D reference data, according to an exemplary embodiment.
  • the object image may be expressed in a semi-transparent manner or in a gray scale.
  • the 3D data acquisition apparatus 300 may select a first point on the 3D reference data.
  • the 3D data acquisition apparatus 300 may display a first point selected on the 3D reference data on the object image.
  • the 3D data acquisition apparatus 300 may select the first point as an initial position for aligning the 3D reference data and the scan data scanned by the optical 3D scanner.
  • the first point may be used as an initial value for aligning the 3D reference data and the scan data by the ICP algorithm.
  • the 3D data acquisition apparatus 300 may select a position corresponding to one voxel among voxels included in the 3D reference data as the first point.
  • the 3D data acquisition apparatus 300 may select, as a first point, a location corresponding to one of voxels included in the 3D reference data and a location corresponding to neighboring voxels.
  • the 3D data acquisition apparatus 300 may select a position corresponding to one tooth from among a plurality of teeth included in the object as the first point.
  • the 3D data acquisition apparatus 300 may receive a user input for selecting the first point or may automatically select the first point.
  • the 3D data acquisition apparatus 300 may select a first point on the 3D reference data based on a user input.
  • the 3D data acquisition apparatus 300 may receive a user input with respect to the displayed object image, and select a location corresponding to the user input on the 3D reference data as the first point.
  • the user may select a first point and operate the optical 3D scanner so that the optical 3D scanner scans an object area corresponding to the first point.
  • the user may move the optical 3D scanner around the object area corresponding to the first point.
  • the 3D data acquisition apparatus 300 may automatically select a first point on the 3D reference data according to a predetermined criterion. For example, as a result of analyzing the 3D reference data, the 3D data acquisition apparatus 300 may analyze the 3D reference data, the patient's medical record, the patient's treatment plan, the user's past scan record, the user setting, a value determined as a default value, or a scan The first point may be selected based on at least one of the purposes.
  • the 3D data acquisition apparatus 300 may select a position corresponding to one predetermined tooth (eg, a left molar) among a plurality of teeth included in the object as the first point.
  • one predetermined tooth eg, a left molar
  • the 3D data acquisition apparatus 300 may select different teeth as the first point according to the purpose of scanning the object with the optical 3D scanner.
  • the 3D data acquisition apparatus 300 may display a first point selected on the 3D reference data on the object image.
  • the user may operate the optical 3D scanner so that the optical 3D scanner scans the object area corresponding to the first point with reference to the object image on which the first point is displayed.
  • the user may move the optical 3D scanner around the object area corresponding to the first point.
  • 6A and 6B illustrate examples of a screen on which the 3D data acquisition apparatus 300 displays an object image indicating a first point selected on 3D reference data, according to an exemplary embodiment.
  • the 3D data acquisition apparatus 300 may select, as a first point, a location corresponding to one voxel among voxels included in the 3D reference data and a location corresponding to neighboring voxels. As shown in FIG. 6A , the 3D data acquisition apparatus 300 may display a first point 611 on the object image 610 .
  • the 3D data acquisition apparatus 300 may set a position corresponding to one tooth among a plurality of teeth included in the object as a first point on 3D reference data on which segmentation is performed for each tooth. You can choose. As shown in FIG. 6B , the 3D data acquisition apparatus 300 may select and display a point 612 corresponding to a predetermined tooth on the object image 610 as a first point.
  • the user can move the optical 3D scanner around the object area corresponding to the first point.
  • the optical 3D scanner may acquire the first frame as an initial value by scanning the area of the object corresponding to the first point.
  • the 3D data acquisition apparatus 300 may acquire a first frame in which the object is scanned.
  • the 3D data acquisition apparatus 300 may acquire a first frame obtained by scanning the first area of the object corresponding to the first point.
  • the 3D data acquisition apparatus 300 may acquire the first frame including shape information of the surface of the object by using an optical 3D scanner.
  • the 3D data acquisition apparatus 300 may obtain raw data by wire or wirelessly from an optical 3D scanner using a binocular structured light method, and reconstruct the raw data into a first frame according to the optical triangulation method.
  • the descriptions of FIGS. 2 and 3 may be applied.
  • the 3D data acquisition apparatus 300 may position and align the first frame in the 3D reference data with respect to the first point.
  • the 3D data obtaining apparatus 300 may determine the 3D coordinate value of the first frame based on the 3D coordinate value of the first point on the 3D reference data selected in step S410 .
  • the 3D data acquisition apparatus 300 may determine the initial position of the first frame as close as possible to the first point on the 3D reference data selected in step S410 .
  • the first point selected on the 3D reference data may indicate a larger area than the area of the object indicated by the first frame. For example, one tooth may be selected as a first point on the 3D reference data, and a first frame obtained by scanning a partial area of the corresponding tooth may be obtained.
  • the 3D data acquisition apparatus 300 may determine the initial position of the first frame so that the 3D coordinate value of the first point and the 3D coordinate value of the first frame are as close as possible.
  • the 3D data acquisition apparatus 300 may position the first frame at a first point of the 3D reference data based on the determined initial position.
  • the 3D data acquisition apparatus 300 may use various algorithms to align the 3D reference data and the first frame.
  • an ICP algorithm may be used.
  • ICP is a method of position alignment by minimizing the distance deviation between two or more different 3D data. Since the detailed execution process of the ICP has been described above in relation to S402 of FIG. 4A , a redundant description will be omitted.
  • the 3D data acquisition apparatus 300 may acquire a second frame in which the object is scanned.
  • the 3D data acquisition apparatus 300 may acquire frames scanned by the optical 3D scanner at regular time intervals in real time.
  • the first frame and the second frame may be obtained by an optical three-dimensional scanner moved by a user.
  • the second frame may represent a second area in which at least a partial area of the object indicated by the first frame overlaps.
  • the 3D data acquisition apparatus 300 may position the second frame in 3D reference data.
  • the 3D data acquisition apparatus 300 may position the second frame in 3D reference data based on the 3D coordinate values of the aligned first frame.
  • the 3D coordinate value of the first frame may mean a coordinate value indicating the position of the first frame determined by positioning and aligning the first frame to 3D reference data in a 3D space.
  • a detailed method for positioning the second frame in 3D reference data based on the 3D coordinate value of the first frame by the 3D data obtaining apparatus 300 according to an embodiment is described with reference to S403 and 4B of FIG. 4A . Since it has been described above, overlapping descriptions will be omitted.
  • the 3D data acquisition apparatus 300 may acquire 3D data by merging the second frame with the positionally aligned first frame based on the 3D reference data.
  • the 3D data acquisition apparatus 300 aligns the frames at the correct position of the object without distortion of the arch curvature by positioning each of the acquired frames based on the 3D reference data. and finally 3D data can be obtained by combining the aligned frames based on the overlapping area.
  • the coupling between frames may include either real-time positioning that combines with a previously acquired frame whenever one frame is acquired, or global positioning that combines all frames acquired after the scan ends at once.
  • real-time positioning when successive first, second, and third frames are acquired, positioning is performed between the first frame and the second frame, and the positioning is performed between the second frame and the third frame. Sorting may be performed.
  • global positioning mutual positioning between all frames may be performed. That is, position alignment may be performed between the first frame and the second frame, between the second frame and the third frame, or between the first frame and the third frame.
  • An ICP algorithm may be used for combining frames, but the present disclosure is not limited thereto, and various algorithms may be used.
  • the 3D data acquisition apparatus 300 may combine the first frame and the second frame at an optimal position in consideration of the 3D reference data and the positionally aligned first frame. have.
  • the apparatus 300 for obtaining 3D data compares the 3D reference data with the second frame based on the 3D coordinate value of the first frame so that the position of the second frame is aligned with the 3D reference data. It can be determined whether or not The 3D data obtaining apparatus 300 according to an embodiment may position the second frame in the 3D reference data when the second frame is aligned in the 3D reference data.
  • the 3D data acquisition apparatus 300 may combine the second frames to overlap the aligned first frame when the second frame is not aligned with the 3D reference data.
  • a 3D data acquisition method according to an embodiment will be described in more detail later with reference to FIG. 9 .
  • the 3D data acquisition apparatus 300 may determine whether the second frame can be aligned with the first frame.
  • the 3D data acquisition apparatus 300 may determine whether the second frame can be aligned with the first frame by comparing the first frame with the second frame.
  • the 3D data acquisition apparatus 300 may combine the second frames to overlap the first frame.
  • the 3D data acquisition apparatus 300 may position and align the second frame with the 3D reference data based on the 3D coordinate value of the first frame.
  • a 3D data acquisition method according to another exemplary embodiment will be described later in more detail with reference to FIG. 10 .
  • the 3D data acquisition apparatus 300 may display 3D data obtained by combining (or positioning) frames scanned at regular time intervals on the object on the object image.
  • the 3D data acquisition apparatus 300 includes a first frame and a first area in which a first point is selected and a first area corresponding to the selected first point is scanned; 3D data may be obtained by combining the second frame obtained by scanning the second area in which at least some areas overlap.
  • the 3D data acquisition apparatus 300 selects a second point and scans a third area corresponding to the selected second point, a third frame, a third area, and at least a partial area 3D data may be further obtained by combining the fourth frame scanned by the overlapping fourth region.
  • the first point and the second point may be points designating discrete areas, points designating adjacent areas, or points designating different locations with respect to the same area.
  • the 3D data acquisition apparatus 300 selects a first tooth as a first point, and scans a partial area or a cross section of the first tooth to obtain frames (eg, the first frame and the second frame). 2 frames, etc.) can be combined to obtain 3D data for the first tooth.
  • the 3D data acquisition apparatus 300 selects a second tooth adjacent to the first tooth as a second point, and scans a partial area or one cross-section of the second tooth to obtain frames (eg, , the third frame and the fourth frame, etc.) can be combined to obtain three-dimensional data for the second tooth.
  • the 3D data acquisition apparatus 300 selects a partial area or a cross section of the first tooth as a first point, and scans the areas corresponding to the first point to obtain frames (eg, , the first frame and the second frame, etc.), it is possible to obtain three-dimensional data for the corresponding area or the corresponding cross-section of the first tooth.
  • the 3D data acquisition apparatus 300 selects a neighboring region or a neighboring cross-section of the first tooth as a second point, and scans the neighboring region or neighboring cross-section of the first tooth to obtain frames (eg, , the third frame and the fourth frame, etc.), it is possible to obtain three-dimensional data for the neighboring area or the neighboring cross section of the first tooth.
  • the three-dimensional data acquisition apparatus 300 selects the first tooth as the first point, and scans a partial area or one cross-section of the first tooth to obtain frames (eg, the first frame). and the second frame, etc.) to obtain three-dimensional data for the first tooth.
  • the three-dimensional data acquisition apparatus 300 selects a second tooth spaced apart from the first tooth by a predetermined distance or more as a second point, and scans a partial area or a cross-section of the second tooth to obtain frames ( For example, by combining the third frame and the fourth frame), 3D data for the second tooth may be obtained.
  • FIG. 7 illustrates an example of a screen 710 that displays 3D data acquired by the 3D data acquisition apparatus in real time according to an embodiment.
  • the optical 3D scanner may scan the object at regular time intervals.
  • the 3D data acquisition apparatus 300 may acquire 3D data 711 by combining frames obtained from the optical 3D scanner.
  • the 3D data acquisition apparatus 300 may acquire and display 3D data 711 of the first area of the object based on the first point.
  • FIG. 8A illustrates an example of a screen 810 on which the 3D data acquisition apparatus displays an object image indicating a second point selected on 3D reference data, according to an embodiment.
  • the 3D data acquisition apparatus 300 obtains 3D data 811 for a first area of an object based on a first point selected based on a user input. can be acquired and displayed.
  • the user may select a second point 812 and manipulate the optical 3D scanner to move around the second point of the object. While the user manipulates the optical 3D scanner to move around the second point of the object, the optical 3D scanner may scan the object at regular time intervals.
  • the 3D data acquisition apparatus 300 selects a second point on the 3D reference data and acquires a third frame obtained by scanning a partial area of the object corresponding to the second point can do.
  • the 3D data acquisition apparatus 300 may position the third frame in the 3D reference data based on the second point.
  • the 3D data acquisition apparatus 300 may acquire the 3D data by acquiring the fourth frame and aligning the fourth frame based on the 3D coordinate value of the third frame.
  • a specific method for the 3D data acquisition apparatus 300 to position and align the fourth frame in 3D reference data based on the 3D coordinate value of the third frame according to an embodiment is S403 of FIG. 4A, S450 of FIG. 4C or The description described above with respect to FIG. 4B may apply. A duplicate description will be omitted.
  • FIG. 8B illustrates an example of a screen 810 on which the 3D data acquisition apparatus displays 3D data acquired in real time based on the second point, according to an embodiment.
  • the 3D data acquisition apparatus 300 may acquire 3D data 822 by combining frames acquired from an optical 3D scanner based on a second point selected based on a user input. .
  • 3D data is obtained even for discontinuous areas 811 and 822 by aligning frames scanned in real time based on 3D reference data. can do.
  • the 3D data acquisition apparatus 300 reconstructs 3D data based on frames obtained from the optical 3D scanner, by using 3D reference data for position alignment It is possible to easily reconstruct 3D data including information on discontinuous regions.
  • the existing method even when only 3D data for some regions included in the object is required, a process of scanning the entire object is required. For example, in order to obtain 3D data on both molars for a prosthesis to be attached to both molars of the mandible, it is necessary to scan all the teeth of the mandible from one molar to the other through an optical 3D scanner. process was needed. That is, according to the existing method that does not use separate reference data, when the optical 3D scanner scans the left molar area by the user's manipulation and then moves within a short time to scan the right molar area, there is no overlap section. It was not possible to reconstruct the correct 3D data only with scan data for two regions that were not.
  • the 3D data acquisition apparatus 300 performs positional alignment with respect to the scan frame based on the 3D reference data even when discontinuous areas are scanned by the optical 3D scanner, thereby forming the shape of the object. 3D data that accurately reflects
  • the 3D data acquisition apparatus 300 aligns the scan data acquired in real time with the 3D reference data to obtain 3D data.
  • 9 and 10 show that after the first frame is aligned with respect to the first point selected on the 3D reference data, the 3D data acquisition apparatus 300 acquires the nth frame (an integer equal to n ⁇ 2)
  • the operation sequence is shown when 9 and 10 may be flowcharts embodying S450 of FIG. 4C , and thus a redundant description with respect to FIG. 4C will be omitted.
  • the 3D data acquisition apparatus 300 may update 3D data and obtain updated 3D data by aligning frames to 3D reference data as a frame of a scanned object is acquired in real time.
  • FIG. 9 is a flowchart of a 3D data acquisition method according to an embodiment.
  • the apparatus 300 for obtaining 3D data may obtain an n-th frame in which the object is scanned.
  • n may be an integer greater than or equal to 2.
  • the 3D data acquisition apparatus 300 may determine whether the n-th frame is aligned with respect to the 3D reference data.
  • the three-dimensional data acquisition apparatus 300 determines whether the n-th frame is aligned with respect to the three-dimensional reference data by comparing the n-th frame with the three-dimensional reference data based on the three-dimensional coordinate value of the n-1th frame can do.
  • the 3D data acquisition apparatus 300 may determine whether the n-th frame can be aligned in the vicinity of the n-1 th frame aligned in the 3D reference data.
  • the three-dimensional reference data is data segmented to include only data about teeth
  • the second frame when a second frame in which the surface of the tooth is photographed by the optical three-dimensional scanner is received, the second frame is positioned in the three-dimensional reference data can be sorted.
  • the second frame when a second frame in which an area corresponding to the gingiva is photographed by the optical 3D scanner is received, the second frame is included in the 3D reference data including only information about the surface of the tooth without including information about the gingiva. This position cannot be aligned.
  • the 3D data obtaining apparatus 300 may compare the 3D reference data with the second frame to determine whether the second frame is aligned with the 3D reference data.
  • the 3D data acquisition apparatus 300 may determine that the nth frame is included in the 3D reference data based on the difference in distance values between the vertices extracted from the 3D reference data and the corresponding points extracted from the nth frame. It can be determined whether the positions are aligned.
  • the 3D data acquisition apparatus 300 may determine that the position of the n-th frame is not aligned in the 3D reference data when the difference between the distance values between the vertices and the corresponding points is equal to or greater than a threshold value.
  • the 3D data acquisition apparatus 300 may determine whether the nth frame is aligned with the 3D reference data by comparing the shape of the 3D reference data and the nth frame.
  • the 3D data acquisition apparatus 300 compares voxels or meshes included in the 3D reference data with voxels or meshes included in the nth frame, and when the difference in shape is greater than or equal to a predetermined value, the 3D reference data is added to the 3D reference data. It may be determined that the n-th frame cannot be aligned.
  • the 3D data acquisition apparatus 300 may determine that the n-th frame can be aligned in the 3D reference data when the difference in shape is less than a predetermined value.
  • the 3D data acquisition apparatus 300 may positionally align the nth frame to the 3D reference data.
  • step S950 when it is determined that the n-th frame is not aligned with respect to the 3D reference data, the 3D data acquisition apparatus 300 according to an embodiment adds the n-th frame to the previously acquired n-1 th frame. You can position n frames. Aligning the n-th frame with the n-1 th frame may mean combining the n-th frame with the n-1 th frame so that a region corresponding to the n-1 th frame and the n-th frame overlaps. .
  • step S940 the apparatus 300 for obtaining 3D data according to an embodiment further combines the position-aligned nth frame with 3D data obtained by combining the n-1 th frame from the first frame to 3D. data can be obtained.
  • FIG. 10 is a flowchart of a 3D data acquisition method according to an embodiment.
  • the 3D data acquisition apparatus 300 may acquire an n-th frame in which the object is scanned.
  • n may be an integer greater than or equal to 2.
  • the 3D data acquisition apparatus 300 may determine whether the n-th frame is aligned with respect to the n-1 th frame.
  • the 3D data acquisition apparatus 300 may determine whether the n-th frame is aligned with the n-1 th frame by comparing the n-th frame with the n-1 th frame.
  • the three-dimensional data acquisition apparatus 300 determines whether the n-th frame is aligned with the n-th frame based on the overlapping degree of the n-th frame and the n-1 th frame. can
  • the nth frame when the object area photographed by the n-1th frame and the object area photographed by the nth frame sufficiently overlap (ie, overlap by more than a threshold ratio), the nth frame is located in the n-1th frame can be sorted.
  • the object area photographed by the n-1th frame and the object area photographed by the nth frame do not sufficiently overlap (ie, overlap less than a threshold ratio)
  • the nth frame is inserted into the n-1th frame position cannot be aligned.
  • step S1030 when it is determined that the n-th frame is positionally aligned with respect to the n-1 th frame, the 3D data acquisition apparatus 300 according to an embodiment may align the n th frame to the n-1 th frame. have.
  • step S1050 when it is determined in step S1050 that the 3D data acquisition apparatus 300 according to an embodiment is not aligned with the position of the nth frame with respect to the n ⁇ 1th frame, the 3D coordinate value of the n ⁇ 1th frame Based on , the n-th frame may be aligned with the 3D reference data.
  • the 3D data obtaining apparatus 300 may obtain 3D data by combining the nth frame with 3D data obtained by combining the first frame to the n ⁇ 1th frame. have.
  • FIG. 11 is a block diagram of an apparatus for obtaining 3D data according to an exemplary embodiment.
  • the block diagram of the 3D data acquisition apparatus 300 shown in FIG. 11 is an example of the 3D data acquisition apparatus 300 described above.
  • the 3D data acquisition apparatus 300 illustrated in FIG. 11 may perform a 3D data acquisition method according to various embodiments of the present disclosure, and the descriptions of FIGS. 1 to 10 may be applied. Accordingly, the content overlapping with the above will be omitted.
  • the 3D data acquisition apparatus 300 may be a fixed terminal or a mobile terminal.
  • the 3D data acquisition device 300 may be, for example, a computing device such as a smart phone, a laptop computer, a desktop computer, a PDA, or a tablet PC, but is not limited thereto.
  • the 3D data acquisition apparatus 300 may include a processor 310 , a display 320 , a communication interface 330 , a user input unit 340 , and a memory 350 .
  • the processor 310 controls the 3D data acquisition apparatus 300 to perform an intended operation by performing at least one instruction.
  • at least one instruction may be stored in an internal memory (not shown) included in the processor 310 or a memory 350 included in the 3D data acquisition apparatus 300 separately from the processor 310 .
  • the processor 310 may control at least one configuration included in the 3D data acquisition apparatus 300 to perform an intended operation by executing at least one instruction. Accordingly, although the case in which the processor 310 performs a predetermined operation is described as an example, the processor 310 configures the at least one component so that at least one component included in the 3D data acquisition apparatus 300 performs the predetermined operation. It can mean controlling.
  • the processor 310 stores a signal or data input from the outside of the 3D data acquisition device 300 , or is used as a storage area corresponding to various operations performed in the 3D data acquisition device 300 .
  • RAM (not shown)
  • a control program for controlling the three-dimensional data acquisition device 300 and/or a ROM (not shown) in which a plurality of instructions are stored, and at least one internal processor (not shown) executing at least one instruction city) may be included.
  • the processor 310 may include a graphics processor (Graphic Processing Unit, not shown) for processing graphics corresponding to video.
  • the processor 310 may be implemented as a system on chip (SoC) in which a core (not shown) and a GPU (not shown) are integrated.
  • SoC system on chip
  • the processor 310 may generate 3D data of the object based on data received from the optical 3D scanner, and may generate a 3D image of the object.
  • the display 320 may display a predetermined screen according to the control of the processor 310 . Specifically, the display 320 may display a user interface screen including an image generated based on data obtained by scanning an object by an optical 3D scanner (eg, 100 of FIG. 3 ). Alternatively, the display 320 may display a user interface screen including information related to diagnosis and treatment of the object.
  • the communication interface 330 may communicate with at least one external electronic device (not shown) through a wired or wireless communication network. Specifically, the communication interface 330 may communicate with the optical 3D scanner under the control of the processor 310 .
  • the user input unit 340 may receive a user input for controlling the 3D data obtaining apparatus 300 .
  • the user input unit 340 includes a touch panel for sensing a user's touch, a button for receiving a user's push operation, a mouse or keyboard for designating or selecting a point on the user interface screen, etc. It may include, but is not limited to, a user input device.
  • the user input unit 340 may include a voice recognition device (not shown) for voice recognition.
  • the voice recognition device (not shown) may be a microphone, and the voice recognition device may receive a user's voice command or voice request.
  • the processor 310 may control an operation corresponding to a voice command or a voice request to be performed.
  • the memory 350 may store at least one instruction. Also, the memory 350 may store at least one instruction executed by the processor 310 . Also, the memory 350 may store at least one program executed by the processor 3410 .
  • the memory 350 may store data received from the optical 3D scanner (eg, raw data obtained through scanning an object, etc.).
  • the memory 350 may store volume data of the object obtained by the CT or MRI method, or 3D reference data including information on the surface of the object extracted from the volume data.
  • the memory 350 may store an object image representing the object in three dimensions.
  • the processor 310 may control the overall operation of the 3D data acquisition apparatus 300 by executing a program stored in the memory 350 .
  • the processor 310 may control other components included in the 3D data acquisition apparatus 300 to acquire 3D data on the object.
  • FIGS. 4A and 4C For a specific method in which the processor 310 controls the overall operation of the 3D data acquisition apparatus 300 to acquire 3D data, the descriptions of FIGS. 4A and 4C may be applied, and overlapping descriptions will be omitted.
  • the processor 310 may acquire 3D reference data for the object.
  • the 3D reference data may be surface data of an object extracted from volume data obtained by a CT or MRI method.
  • the processor 310 may obtain 3D reference data including information on the surface of the object by performing segmentation on the volume data obtained by the CT or MRI method.
  • the processor 310 may obtain a first frame obtained by scanning the first area of the object by an optical 3D scanner and positionally align the first frame with the 3D reference data.
  • the processor 310 may obtain a second frame obtained by scanning a second area of the object in which the first area overlaps with at least a partial area, and may positionally align the second frame with the 3D reference data.
  • the processor 310 may position-align the second frame in the 3D reference data based on the 3D coordinate values of the aligned first frame.
  • the processor 310 may acquire 3D data by combining the first frame and the second frame based on the overlapping area.
  • the processor 310 may select a first point on the 3D reference data and obtain a first frame obtained by scanning a first area corresponding to the selected first point.
  • the processor 310 may select a first point on the 3D reference data based on a user input.
  • the processor 310 may select a point corresponding to one tooth from among a plurality of teeth included in the object as the first point on the 3D reference data.
  • the processor 310 may automatically select the first point on the 3D reference data.
  • the processor 310 may control the display 320 to display an object image generated from 3D reference data of the object and display a first point selected from the 3D reference data on the object image.
  • the processor 310 obtains a first frame in which a partial area of the object corresponding to the first point is scanned by the optical three-dimensional scanner, and is based on the first point in the three-dimensional reference data. 1 Frame can be aligned.
  • the first frame may include shape information of the surface of the object obtained by the optical 3D scanner.
  • the processor 310 extracts a plurality of vertices on the 3D reference data based on a first point, extracts a plurality of corresponding points respectively corresponding to the plurality of vertices from the first frame, and Based on the difference in distance values between the vertices of and the plurality of corresponding points, the position of the first frame may be aligned in the 3D reference data.
  • the processor 310 may acquire a second frame in which the object is scanned by the optical 3D scanner.
  • the optical 3D scanner may acquire the second frame by scanning a second area in which the first area of the object indicated by the first frame overlaps at least a partial area.
  • the processor 310 may acquire 3D data by positioning and aligning the second frame to 3D reference data based on the coordinate values of the aligned first frame.
  • the processor 310 may determine whether the position of the second frame can be aligned in the 3D reference data based on the 3D coordinate value of the first frame.
  • the processor 310 may positionally align the first frame to the 3D reference data when the second frame can be aligned to the 3D reference data.
  • the processor 310 according to an embodiment may combine the second frame to overlap the aligned first frame when the second frame is not aligned with the 3D reference data.
  • the processor 310 may determine whether the second frame is aligned with the aligned first frame. When the second frame is aligned with the aligned first frame, the processor 310 may combine the second frame to overlap the aligned first frame. The processor 310 may combine the second frame with 3D reference data based on the 3D coordinate value of the aligned first frame when the second frame is not aligned with the positionally aligned first frame. have.
  • the processor 310 may control the display 320 to display 3D data obtained by combining frames scanned at regular time intervals on the object on the object image.
  • the processor 310 may select a second point on the 3D reference data and obtain a third frame obtained by scanning a partial region of the object corresponding to the second point.
  • the processor 310 may position and align the third frame in the 3D reference data based on the second point.
  • the processor 310 may acquire a fourth frame in which the object is scanned.
  • the processor 310 may obtain 3D data by positioning and aligning the fourth frame to 3D reference data based on the 3D coordinate values of the aligned third frame.
  • the 3D data acquisition apparatus 300 may acquire 3D data even for areas including the object area around the first point and the object area around the second point. .
  • the three-dimensional data acquisition method may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • a computer-readable storage medium in which one or more programs including at least one instruction for executing a 3D data acquisition method are recorded may be provided.
  • the computer-readable storage medium may include program instructions, data files, data structures, etc. alone or in combination.
  • examples of the computer-readable storage medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks.
  • a hardware device configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like may be included.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the 'non-transitory storage medium' may mean that the storage medium is a tangible device.
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method for displaying an oral image may be provided by being included in a computer program product.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)). Alternatively, it may be distributed online (eg, downloaded or uploaded) through an application store (eg, play store, etc.) or directly between two user devices (eg, smartphones).
  • CD-ROM compact disc read only memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physiology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)

Abstract

개시된 실시 예에 따른 3차원 데이터 획득 방법은, 대상체에 대한 3차원 참조 데이터를 획득하는 단계; 상기 대상체의 제1 영역을 스캔하여 획득한 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔하여 획득한 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및 상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 단계를 포함할 수 있다.

Description

3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
본 개시는 3차원 데이터를 획득하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 광학식 3차원 스캐너를 이용하여 치아에 대한 3차원 데이터를 획득하는 방법 및 장치에 관한 것이다.
치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용 CAD/CAM(Dental Computer Aided Design/Computer Aided Manufacturing) 기술이 널리 사용되고 있다. CAD/CAM을 이용한 치과 치료에서 가장 중요한 것은 환자의 치아, 잇몸, 턱뼈 등의 대상체의 형상에 대하여 정교한 3차원 데이터를 획득하는 것이다. 치과 치료를 수행함에 있어서, 대상체로부터 획득된 3차원 데이터를 이용하면, 컴퓨터에 의하여 정확한 계산이 수행될 수 있다는 장점이 있다.
예를 들어, 치과용 CAD/CAM 치료 과정에서 대상체의 3차원 데이터를 획득하기 위해서는, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), 및 광학 스캐닝 등의 방법이 이용될 수 있다.
3차원 데이터를 획득하기 위해 이용되는 장치 또는 방법에 따라서, 획득되는 3차원 데이터의 형태 및 특성에 차이가 있을 수 있다. 일반적으로 3차원 데이터는 그 표현 형식에 따라 볼륨 데이터(Volumetric data)와 표면 데이터(Surface data)로 구분할 수 있다.
볼륨 데이터는 CBCT(Cone Beam Computed Tomography) 등의 X-ray CT(Computed Tomography), 또는 MRI(Magnetic Resonance Imaging) 등에 의해 획득될 수 있으며, 복셀(Voxel) 구조 내에 밝기(Intensity)값을 가지고 있는 형태로 표현된다.
치과 CAD/CAM 분야에서는 CT 외에도 광학식 3차원 스캐너가 많이 사용되고 있다. 광학식 3차원 스캐너는 대상체로부터 3차원 표면 형상 정보를 획득할 수 있으며, 예를 들어 치아의 인상체, 인상체에 대해서 획득된 석고 모델 또는 치아 표면의 3차원 데이터를 획득할 수 있다. 표면 데이터는, 폴리곤 메쉬 형태로 기록되며, 대상체의 표면의 정점들의 위치 정보와 각 정점들의 연결 관계 정보를 포함한다.
CAD/CAM을 이용한 치과 치료가 좋은 결과를 얻기 위해서는, 대상체의 형상을 정확하게 반영한 3차원 데이터가 필요하다.
개시된 실시 예는, 악궁 곡률의 왜곡 없이 대상체의 형상을 정확하게 반영하는 3차원 데이터를 획득하는 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체의 제공을 목적으로 한다.
일반적인 광학식 스캐닝 방법에 따르면, 대상체에 포함되는 일부 영역들에 대한 3차원 데이터만 필요한 경우에도 대상체 전체를 스캔하는 과정이 필요하다. 예를 들어, 하악의 양쪽 어금니들에 부착될 보철을 위한 양쪽 어금니들에 대한 3차원 데이터를 획득하기 위해서는, 광학식 3차원 스캐너를 통해 한 쪽 어금니부터 다른 쪽 어금니까지의 하악의 전체 치아들을 스캔하는 과정이 필요하다.
개시된 실시 예는 대상체의 불연속적인 영역들에 대한 3차원 데이터를 획득하는 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체의 제공을 목적으로 한다.
본 개시의 일 측면은 3차원 데이터를 획득하는 방법에 있어서, 대상체에 대한 3차원 참조(reference) 데이터를 획득하는 단계; 상기 대상체의 제1 영역을 스캔하여 획득한 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬(align)하는 단계; 상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔하여 획득한 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및 상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합(merge)함으로써 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.또한 본 개시의 일 실시예에서 상기 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는, 상기 3차원 참조 데이터 상에서 제1 지점을 선택하는 단계; 상기 제1 지점에 대응하는 상기 제1 영역을 스캔한 상기 제1 프레임을 획득하는 단계; 및 상기 제1 지점을 기준으로 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
개시된 실시 예에 따른 3차원 데이터 획득 방법은, 미리 획득된 3차원 참조 데이터에 기초하여 실시간으로 스캔되는 프레임들을 위치 정렬(align)함으로써 대상체의 형상을 정확하게 반영하는 3차원 데이터를 획득할 수 있도록 한다.
개시된 실시 예에 따른 3차원 데이터 획득 방법은, 미리 획득된 3차원 참조 데이터에 기초하여 실시간으로 스캔되는 프레임들을 위치 정렬함으로써 대상체의 일부 영역들에 대한 정보를 포함하는 3차원 데이터를 획득할 수 있도록 한다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1a는 일 실시 예에 따라 CT 스캐너가 볼륨 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 1b는 일 실시 예에 따라 볼륨 데이터에 대한 세그멘테이션을 통해 추출되는 표면 데이터의 예를 도시한다.
도 2는 일 실시 예에 따라 광학식 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 3차원 데이터 획득 시스템을 설명하기 위한 도면이다.
도 4a는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
도 4b는 일 실시 예에 따른 3차원 데이터 획득 장치가 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬하는 방법을 설명하는 도면이다.
도 4c는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
도 5a는 일 실시 예에서 3차원 데이터 획득 장치가 디스플레이 하는 대상체 영상의 예를 도시한다.
도 5b는 일 실시 예에 따라 3차원 데이터 획득 장치가 디스플레이 하는 대상체 영상의 예를 도시한다.
도 6a는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터 상에서 선택된 제1 지점을 나타내는 대상체 영상을 디스플레이 하는 화면의 예를 도시한다.
도 6b는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터 상에서 선택된 제1 지점을 나타내는 대상체 영상을 디스플레이 하는 화면의 예를 도시한다.
도 7은 일 실시 예에 따라 3차원 데이터 획득 장치가 실시간으로 획득하는 3차원 데이터를 디스플레이 하는 화면의 예를 도시한다.
도 8a는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터 상에서 선택된 제2 지점을 나타내는 대상체 영상을 디스플레이 하는 화면의 예를 도시한다.
도 8b는 일 실시 예에 따라 3차원 데이터 획득 장치가 제2 지점에 기초하여 실시간으로 획득되는 3차원 데이터를 디스플레이 하는 화면의 예를 도시한다.
도 9는 일 실시 예에 따른 3차원 데이터 획득 방법의 흐름도를 도시한다.
도 10은 일 실시 예에 따른 3차원 데이터 획득 방법의 흐름도를 도시한다.
도 11은 일 실시 예에 따른 3차원 데이터 획득 장치의 블록도를 도시한다.
본 개시의 일 측면은 3차원 데이터를 획득하는 방법에 있어서, 대상체에 대한 3차원 참조(reference) 데이터를 획득하는 단계; 상기 대상체의 제1 영역을 스캔하여 획득한 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬(align)하는 단계; 상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔하여 획득한 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및 상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합(merge)함으로써 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.또한 본 개시의 일 실시예에서 상기 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는, 상기 3차원 참조 데이터 상에서 제1 지점을 선택하는 단계; 상기 제1 지점에 대응하는 상기 제1 영역을 스캔한 상기 제1 프레임을 획득하는 단계; 및 상기 제1 지점을 기준으로 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는, 위치 정렬된 상기 제1 프레임의 3차원 좌표값에 기초하여 상기 3차원 참조 데이터에 상기 제2 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.또한 본 개시의 일 실시예에서 상기 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는, 상기 제1 지점 및 위치 정렬된 상기 제1 프레임의 3차원 좌표값에 기초하여 상기 3차원 참조 데이터에 상기 제2 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터 상에서 제2 지점을 선택하는 단계; 상기 제2 지점에 대응하는 상기 대상체의 제3 영역을 스캔하여 획득한 제3 프레임을 상기 3차원 참조 데이터에 위치 정렬 하는 단계; 상기 제3 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제4 영역을 스캔하여 획득한 제4 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및 상기 제3 영역과 상기 제4 영역 간에 오버랩되는 영역에 기초하여 상기 제3 프레임과 상기 제4 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터는 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터로부터 추출된 상기 대상체의 표면 데이터인 것을 특징으로 하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터로부터 생성된 대상체 영상 상에 상기 3차원 데이터를 디스플레이 하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계는, 사용자 입력에 기초하여 상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계는, 미리 결정된 기준에 따라 자동으로 3차원 참조 데이터 상에서 제1 지점을 선택하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터에 대해 제1 세그멘테이션을 수행함으로써 상기 3차원 참조 데이터를 획득하는 단계; 및 상기 3차원 참조 데이터에 대한 제2 세그멘테이션을 수행함으로써 상기 대상체에 포함되는 복수의 치아들에 대응하는 영역을 식별하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계는, 상기 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 지점을 상기 3차원 참조 데이터 상의 상기 제1 지점으로서 선택하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 제1 프레임 또는 상기 제2 프레임은, 광학식 3차원 스캐너에 의해 획득되고, 상기 대상체의 표면의 형상 정보를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
또한 본 개시의 일 실시예에서 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계는, 상기 제1 지점을 기준으로 상기 3차원 참조 데이터 상에 복수의 정점(apex)들을 추출하는 단계; 상기 제1 프레임으로부터 상기 복수의 정점들에 각각 대응하는 복수의 대응점들을 추출하는 단계; 및 상기 복수의 정점들 및 상기 복수의 대응점들 간의 거리 값들의 차이에 기초하여, 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.
본 개시의 다른 측면은 3차원 데이터를 획득하는 장치에 있어서, 디스플레이; 광학식 3차원 스캐너와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 제어하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 대상체에 대한 3차원 참조 데이터를 획득하고, 상기 광학식 3차원 스캐너에 의해 상기 대상체의 제1 영역을 스캔한 제1 프레임을 획득하여 상기 3차원 참조 데이터에 위치 정렬하고, 상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔한 제2 프레임을 획득하여 상기 3차원 참조 데이터에 위치 정렬하고, 상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 것을 특징으로 하는, 3차원 데이터 획득 장치를 제공할 수 있다.
본 개시의 다른 측면은 상술한 3차원 데이터를 획득하는 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
본 개시에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 대상체 상에 부착 가능하거나 대상체 내에 삽입 가능한 인공 구조물, 또는 팬텀(phantom) 등을 포함할 수 있다. 이하에서는, 대상체로서 적어도 하나의 치아를 포함하는 구강에 대한 3차원 데이터를 획득하는 경우를 예로 들어 설명하였다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 하지만 본 개시는 구강에 대한 3차원 데이터를 획득하는 경우에 제한되지 않으며, 다양한 대상체에 대한 3차원 데이터를 획득하기 위해 적용될 수 있다.
본 개시에서 '영상'은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 엑스레이 촬영 장치, 광학식 3차원 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
또한, 본 개시에서 '영상'은 대상체에 대한 2차원 영상 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 영상이 될 수 있다. 예를 들어, 본 개시에서 영상은, CT 또는 MRI 방식에 의해 획득된 볼륨 데이터 또는 해당 볼륨 데이터로부터 추출된 표면 데이터를 렌더링함으로써 생성된 3차원 영상일 수 있다.
본 개시에서 영상이란, 2차원 프레임 및 3차원 프레임을 모두 포함할 수 있다. 예를 들어, 영상은 포인트 클라우드 형태 또는 폴리곤 메쉬 형태로 표현되는 3차원 프레임을 포함할 수 있다.
또한, 본 개시에서 영상은 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 데이터, 예를 들어, 적어도 하나의 영상 센서로부터 획득된 로우 데이터(raw data) 등을 의미할 수 있다. 구체적으로, 로우 데이터는 대상체에 대한 3차원 데이터를 생성하기 위해서 획득되는 2D 이미지일 수 있다. 로우 데이터는, 광학식 3차원 스캐너(예를 들어, 구강 스캐너(intraoral scanner))를 이용하여 대상체를 스캔할 때 광학식 3차원 스캐너에 포함되는 적어도 하나의 영상 센서에서 획득되는 데이터가 될 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용 CAD/CAM 기술이 널리 사용되고 있다. 예를 들어, 치과용 CAD/CAM 치료 과정에서 대상체의 3차원 데이터를 획득하기 위해서는, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), 및 광학 스캐닝 등의 방법이 이용될 수 있다. 일반적으로 3차원 데이터는 그 표현 형식에 따라 볼륨 데이터와 표면 데이터로 구분할 수 있다.
도 1a는 일 실시 예에 따라 CT 스캐너가 볼륨 데이터를 획득하는 방법을 설명하기 위한 도면이다.
컴퓨터 단층 촬영(Computed Tomography, CT)이란, CT 스캐너를 이용하여 엑스선이나 초음파를 여러 각도에서 인체에 투영하고 이를 컴퓨터로 재구성하여 인체 내부 단면의 모습을 화상으로 처리하는 진단 방법이다.
도 1a에 도시된 바와 같이, 일반적인 CT 스캐너(110)는, X선 소스(111)에서 부채꼴 모양의 X선 빔(113)을 조사하고, 디텍터(115)를 이용하여 X선이 대상체를 투과한 정도를 측정하고 측정 결과를 재구성하여 3차원 데이터를 획득할 수 있다. 반면에, CBCT 스캐너(120)는, 원뿔 형태의 X선 빔(123)을 이용한다. CBCT 스캐너(120)는, X선 소스(121)에서 원뿔 형태의 X선 빔(123)을 조사하고, 디텍터(125)를 이용하여 X선이 대상체를 투과한 정도를 측정하고 측정 결과를 재구성하여 3차원 데이터를 획득할 수 있다. CBCT 스캐너(120)는 일반적인 CT 스캐너(110)보다 방사선 피폭량이 적은 특성이 있어 치과 치료 분야에서 널리 이용된다. CBCT 스캐너(120)에 의해 획득되는 3차원 데이터는, 밝기 값을 갖는 복수의 복셀들을 포함하는 볼륨 데이터 형태로 표현된다.
도 1b는 일 실시 예에 따라 볼륨 데이터에 대한 세그멘테이션을 통해 추출되는 표면 데이터의 예를 도시한다.
도 1b의 영상(131)은 CT 방식으로 획득된 볼륨 데이터의 예이다. CT 방식으로 획득된 볼륨 데이터는 그 밝기 값이 조직의 물성에 따라 다르게 나타나다. 그러므로, CT 볼륨 데이터의 밝기 정보를 특정 임계값에 따라서 분할하는 방식으로 세그멘테이션이 수행됨으로써 CT 볼륨 데이터로부터 대상체의 표면에 대한 정보가 추출될 수 있다.
일 실시 예에 따르면, 세그멘테이션을 위한 임계값은 사용자 입력에 기초하여 설정될 수 있다.
예를 들어, 의료 영상 처리를 위한 소프트웨어의 UI가 임계값을 조정할 수 있는 기능을 제공할 수 있다. 도 1b의 영상(132)에 도시된 바와 같이, 사용자는, UI를 통해 임계값을 조정하면서 임계값에 따라 생성되는 표면 데이터를 확인할 수 있다. 사용자가 입력하는 임계값에 따라 서로 다른 형태의 표면 데이터가 생성되고, 사용자가 육안으로 표면 데이터를 확인하면서 적합하다고 생각되는 임계값을 설정할 수 있다. 설정된 임계값에 기초하여, 볼륨 데이터로부터 표면 데이터가 최종으로 추출될 수 있다.
도 1b의 영상(133)은, 세그멘테이션 과정을 거쳐 볼륨 데이터로부터 생성된 표면 데이터의 예이다.
이 때, 임계값을 어떤 값으로 설정하느냐에 따라 볼륨데이터의 세그멘테이션에 의해 생성되는 표면 데이터가 달라진다. 예를 들어, 사람의 머리에 대한 CT 볼륨 데이터로부터 추출한 표면 데이터는 사용자에 의해 설정되는 임계값에 따라 두개골의 표면에 대한 데이터가 될 수도 있고, 사람의 피부에 대한 데이터가 될 수도 있다.
임계값을 이용한 방식 외에 세그멘테이션을 위해 영역 확장(Region Growing) 방식, 또는 레벨 설정(Level-Set) 방식과 같은 능동 윤곽 방법(Active Contour Methods) 등이 이용될 수 있다.
한편, 치과 CAD/CAM 분야에서 CT 외에도 광학식 3차원 스캐너가 많이 사용된다. 광학식 3차원 스캐너는 대상체로부터 3차원 표면 형상 정보를 획득할 수 있다. 광학식 3차원 스캐너는, 예를 들어 치아의 인상체, 인상체에 대해서 획득된 석고 모델 또는 치아의 표면의 3차원 데이터를 획득할 수 있다. 대상체의 표면에 대한 3차원 데이터는, 대상체의 표면의 정점들의 위치 정보와 각 정점들의 연결 관계 정보를 포함하는 폴리곤 메쉬 형태로 표현될 수 있다.
도 2는 일 실시 예에 따라 광학식 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라 광학식 3차원 스캐너를 이용하여 대상체의 표면에 대한 3차원 데이터를 획득하기 위해서는, 양안시 구조광(structured lignt with stereo vision) 방식이 이용될 수 있다.
일 실시 예에 따른 광학식 3차원 스캐너는 2개 이상의 카메라(207, 209)와 구조광(structured light)(213)을 투사할 수 있는 한 개의 프로젝터(211)로 구성될 수 있다. 일 실시 예에 따른 광학식 3차원 스캐너는, 대상체(201)에게 구조광(213)을 투사하고, 좌안 시야(left Field of View)에 대응되는 L 카메라(207)과 우안 시야(Right Field of View)에 대응되는 R 카메라(209) 각각에서 좌안 시야에 대응되는 L 영상 데이터(203) 및 우안 시야에 대응되는 R 영상 데이터(205)를 획득할 수 있다. L 영상 데이터(203) 및 R 영상 데이터(205)는, 대상체의 표면을 나타내는 3차원 프레임으로 재구성될 수 있다.
광학식 3차원 스캐너는, 대상체 주위를 이동하면서 일정한 시간 간격(예를 들어, 초당 10~30 프레임)으로 대상체를 스캔함으로써 복수의 3차원 프레임들을 획득하고, 복수의 3차원 프레임들을 결합 또는 위치 정렬함으로써 대상체 전체에 대한 3차원 데이터를 재구성할 수 있다.
도 3은 일 실시 예에 따른 3차원 데이터 획득 시스템을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 시스템은, 광학식 3차원 스캐너(100) 및 3차원 데이터 획득 장치(300)를 포함할 수 있다.
일 실시 예에 따른 광학식 3차원 스캐너(100)는, 양안시 구조광 방식에 따라 대상체로부터 획득된 L 영상 데이터 및 R 영상 데이터를 포함하는 로우 데이터를 3차원 데이터 획득 장치(300)에게 전송할 수 있다. 3차원 데이터 획득 장치(300)는, 전달받은 로우 데이터에 기초하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 데이터를 생성할 수 있다. 다른 일 실시 예에 따른 광학식 3차원 스캐너(100)는, 대상체로부터 획득된 L 영상 데이터 및 R 영상 데이터를 포함하는 로우 데이터를 재구성하여 3차원 프레임을 생성하고, 생성된 3차원 프레임을 3차원 데이터 획득 장치(300)에게 전송할 수 있다.
일 실시 예에 따른 광학식 3차원 스캐너(100)는, 구강 내의 영상을 획득하기 위한 의료 장치를 포함할 수 있다. 구체적으로, 광학식 3차원 스캐너(100)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 3차원 모델을 생성하기 위한 장치가 될 수 있다. 또한, 광학식 3차원 스캐너(100)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 영상 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다.
광학식 3차원 스캐너(100)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터로서 획득하고, 이를 기초로 결합(merge) 등의 3D 연산을 수행하여 디스플레이에 표시할 수 있다.
광학식 3차원 스캐너(100)에서 획득된 로우 데이터 또는 로우 데이터로부터 획득된 3차원 프레임은 유선 또는 무선 통신 네트워크를 통하여 연결되는 3차원 데이터 획득 장치(300)로 전송될 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는 광학식 3차원 스캐너(100)와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 광학식 3차원 스캐너(100)로부터 대상체를 스캔하여 획득된 로우 데이터 또는 3차원 프레임을 수신할 수 있다.
3차원 데이터 획득 장치(300)는, 수신된 로우 데이터 또는 3차원 프레임에 기초하여, 대상체에 대한 3차원 데이터 또는 3차원 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 3차원 데이터 획득 장치(300)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
3차원 데이터 획득 장치(300)는 광학식 3차원 스캐너(100)에서 수신된 데이터에 기초하여, 대상체의 진단에 필요한 정보 및 대상체 영상 중 적어도 하나를 생성하고, 생성된 정보 및/또는 영상을 디스플레이(320)를 통하여 디스플레이 할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는 대상체에 대한 3차원 데이터 또는 3차원 영상을 분석하고, 분석 결과를 처리, 디스플레이 및/또는 전송할 수 있다.
또한, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는 광학식 3차원 스캐너(100)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램 또는 전용 어플리케이션으로 호칭될 수 있다. 3차원 데이터 획득 장치(300)가 광학식 3차원 스캐너(100)와 상호 연동되어 동작하는 경우, 3차원 데이터 획득 장치(300)에 저장되는 전용 소프트웨어는 광학식 3차원 스캐너(100)와 연결되어 대상체 스캔을 통하여 획득되는 데이터들을 실시간을 수신할 수 있다. 예를 들어, 자사의 구강 스캐너인 i500 제품에 대응되는 i500 에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 3차원 데이터 획득 장치(300)는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전송 소프트웨어는 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다.
전용 소프트웨어는 3차원 데이터 획득 장치(300)의 프로세서 또는 메모리에 저장될 수 있다. 또한, 전용 소프트웨어는 광학식 3차원 스캐너에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시 예에 따라서 생성되는 대상체에 대한 3차원 영상을 포함할 수 있다. 예를 들어, 개시된 실시 예에서, 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 도 5a 내지 도 8b에서 도시되는 사용자 인터페이스 화면들 중 어느 하나가 될 수 있다.
본 개시의 다양한 실시 예들에 따라, 3차원 데이터 획득 장치(300)가 대상체에 대한 3차원 데이터를 획득하는 구체적인 방법에 대해서는, 이하에서 도 4a 내지 도 10을 참조하여 상세히 설명한다.
도 4a는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
단계 S401에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체에 대한 3차원 참조(reference) 데이터를 획득할 수 있다. 일 실시 예에 따른 3차원 참조 데이터는 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터 그 자체이거나, CT 또는 MRI 방식에 의해 획득된 볼륨 데이터로부터 추출된 대상체의 표면 데이터일 수 있다.
일 예로서, 3차원 데이터 획득 장치(300)는, 내장 메모리, 외부 서버, 또는 외부 장치(예를 들어, 의료 영상 촬영 장치)로부터 3차원 참조 데이터를 획득할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(300)는, 내장된 메모리, 외부 서버, 또는 외부 장치로부터 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터를 획득하고, 획득된 볼륨 데이터로부터 3차원 참조 데이터를 직접 추출할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 세그멘테이션을 수행함으로써, 볼륨 데이터로부터 대상체의 표면에 대한 정보인 3차원 참조 데이터를 추출할 수 있다. 예를 들어, 3차원 데이터 획득 장치(300)는, 볼륨 데이터의 밝기 정보를 소정 임계 값에 기초하여 분할하는 세그멘테이션을 수행함으로써, 치아 조직이 기타 조직과 구분되도록 할 수 있다.
일 예로서, 세그멘테이션을 위한 임계값은 사용자 입력에 기초하여 설정될 수 있다. 3차원 데이터 획득 장치(300)는, 사용자가 세그멘테이션을 위한 임계 값을 조정할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다. 3차원 데이터 획득 장치(300)는, 설정되는 임계 값에 따라 생성되는 표면 데이터를 사용자에게 디스플레이 할 수 있다. 사용자는, 임계 값에 따라 서로 다른 형태로 생성되는 표면 데이터에 기초하여, 가장 적합하다고 생각되는 임계 값을 선택할 수 있다.
다른 예로서, 세그멘테이션을 위한 임계값은 3차원 데이터 획득 장치(300)에 의해 자동으로 설정될 수 있다. 3차원 데이터 획득 장치(300)는, 볼륨 데이터를 분석한 결과 및/또는 다양한 데이터를 고려하여 임계값을 결정할 수 있다. 3차원 데이터 획득 장치(300)는, 볼륨 데이터를 분석한 결과, 세그멘테이션과 관련하여 기존에 학습된 데이터, 사용자의 과거 세그멘테이션 기록, 사용자 설정, 또는 대상체가 인체의 어떠한 부위인지에 대한 정보 중 적어도 하나에 기초하여 임계값을 결정할 수 있다.
본 개시의 다양한 실시 예들에 따른 세그멘테이션 방식은, 상술한 임계 값을 이용한 방식에 제한되지 않으며, 영역 확장 방식, 또는 레벨 설정과 같은 능동 윤곽 방식 등이 이용될 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는 다양한 세그멘테이션을 수행함으로써, 볼륨 데이터로부터 대상체의 표면에 대한 정보를 획득할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 볼륨 데이터에 대해 제1 세그멘테이션을 수행함으로써 대상체의 표면에 대한 정보를 포함하는 3차원 참조 데이터를 획득하고, 3차원 참조 데이터에 대해 제2 세그멘테이션을 수행함으로써 대상체에 포함되는 복수의 치아들에 대응하는 영역들을 식별할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터로부터 대상체 영상을 생성하고, 대상체 영상을 디스플레이 할 수 있다.
도 5a는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터로부터 생성된 대상체 영상(510)을 디스플레이 하는 화면의 예를 도시한다.
볼륨 데이터에 대한 세그멘테이션이 적절하게 수행된 경우, 두개골의 표면에 대한 정보를 포함하는 3차원 참조 데이터가 획득될 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 도 5a에 도시된 바와 같이, 두개골의 표면에 대한 정보를 포함하는 3차원 참조 데이터로부터 생성된 대상체 영상(510)을 디스플레이 할 수 있다. 예를 들어, 대상체 영상은 반투명하게 표현되거나, 그레이 스케일로 표현될 수 있다.
3차원 참조 데이터로부터 생성되는 대상체 영상은, 도 5a에 도시된 예에 제한되지 않는다.
도 5b는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터로부터 생성된 대상체 영상(520)을 디스플레이 하는 화면의 예를 도시한다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 하악의 복수의 치아들의 표면에 대한 정보를 포함하는 3차원 참조 데이터를 획득할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 도 5b에 도시된 바와 같이, 복수의 치아들의 표면에 대한 정보를 포함하는 3차원 참조 데이터로부터 생성된 대상체 영상(520)을 디스플레이 할 수 있다. 그러나, 3차원 데이터 획득 장치(300)가 3차원 참조 데이터로부터 생성된 대상체 영상을 디스플레이 하는 것은 필수적인 동작은 아니다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체 영상을 디스플레이 하는 단계를 생략하고 다음의 단계 S402를 수행할 수 있다.
단계 S402에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체의 제1 영역을 스캔하여 획득한 제1 프레임을 3차원 참조 데이터에 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너에 의해 대상체의 표면의 형상 정보를 포함하는 제1 프레임을 획득할 수 있다. 예를 들어, 3차원 데이터 획득 장치(300)는, 양안시 구조광 방식을 이용하는 광학식 3차원 스캐너로부터 유선 또는 무선으로 로우 데이터를 획득하고, 광 삼각 방식에 따라 로우 데이터를 제1 프레임으로 재구성할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)가 대상체의 스캔 데이터를 획득하는 구체적인 방법과 관련하여서는, 도 2 및 도 3에 대한 설명이 적용될 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 제1 프레임을 위치 정렬(align)할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는 3차원 참조 데이터와 제1 프레임을 위치 정렬하기 위하여 다양한 알고리즘을 이용할 수 있다. 예를 들어, ICP(Iterative Closest Point) 알고리즘이 이용될 수 있다.
ICP는 서로 다른 두 개 이상의 3차원 데이터 간 거리 편차를 최소화하여 위치 정렬하는 방법이다. 3차원 데이터 획득 장치(300)는, ICP 알고리즘을 이용하여 다음의 순서를 거쳐 위치 정렬을 수행할 수 있다.
먼저, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터의 정점들 중 계산에 사용될 정점(apex)들을 추출할 수 있다(제1 단계). 계산에 사용될 정점들을 추출하는 동작은, 샘플링이라고 지칭될 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는 초기 위치를 기준으로 3차원 참조 데이터 상에 복수의 정점들을 추출할 수 있다. 3차원 데이터 획득 장치(300)는, 제1 프레임으로부터 추출된 정점들에 대응하는 대응점들을 결정할 수 있다(제2 단계). 3차원 데이터 획득 장치(300)는, 복수의 정점들 및 복수의 대응점들 간의 거리 값들의 차이에 기초하여, 3차원 참조 데이터에 제1 프레임을 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 추출된 정점들 및 결정된 대응점들 그룹에 대한 거리를 에너지로 하는 목적 함수(Objective Function)를 도출하고(제3 단계), 목적 함수의 값을 최소로 하는 3차원 참조 데이터와 제1 프레임 간의 이동 함수를 계산할 수 있다(제4 단계). 3차원 데이터 획득 장치(300)는, 계산된 이동 함수에 기초하여 제1 프레임을 3차원 참조 데이터에 대해서 위치 정렬하고(제5 단계), 종료 조건을 만족할 때까지 상술한 제1 단계 내지 제5 단계를 반복하여 수행함으로써 위치 정렬 정확도를 높일 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임을 3차원 참조 데이터에 위치 정렬하기 위하여 초기 위치를 결정할 수 있다. 일 예로서, 3차원 참조 데이터 획득 장치(300)는, 사용자 입력에 기초하여 3차원 참조 데이터 상의 제1 지점을 초기 위치로서 결정할 수 있다. 다른 예로서, 3차원 데이터 획득 장치(300)는, 미리 결정된 기준에 따라 자동으로 3차원 참조 데이터 상의 제1 지점을 초기 위치로서 결정할 수 있다. 3차원 데이터 획득 장치(300)는, 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 제1 지점을 초기 위치로서 결정할 수 있다. 3차원 데이터 획득 장치(300)는, 결정된 초기 위치에 기초하여 3차원 참조 데이터에 제1 프레임을 위치 정렬할 수 있다.
단계 S403에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체의 제1 영역과 적어도 일부 영역이 오버랩되는 대상체의 제2 영역을 스캔하여 획득한 제2 프레임을 3차원 참조 데이터에 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너가 일정한 시간 간격으로 스캔한 프레임들을 실시간으로 획득할 수 있다. 제1 프레임과 제2 프레임은, 사용자에 의해 이동하는 광학식 3차원 스캐너에 의해 획득될 수 있다. 제2 프레임은, 제1 프레임이 나타내는 대상체의 제1 영역과 적어도 일부 영역이 오버랩되는 제2 영역을 나타낼 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다. 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터 및 3차원 참조 데이터에 위치 정렬된 제1 프레임을 고려하여, 최적의 위치에 제2 프레임을 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 일정한 시간 간격으로 스캔한 프레임들을 광학 스캐너로부터 실시간으로 획득할 수 있다. 예를 들어 3차원 데이터 획득 장치(300)는, 광학 스캐너가 제1 프레임을 스캔한 시점으로부터 소정 시간 이내에 광학 스캐너로부터 제1 프레임을 획득하고, 광학 스캐너가 제2 프레임을 스캔한 시점으로부터 소정 시간 이내에 제2 프레임을 획득할 수 있다. 따라서, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임을 3차원 참조 데이터에 성공적으로 위치 정렬하면, 제1 프레임 다음에 획득된 제2 프레임도 쉽고 빠르게 위치 정렬할 수 있다. 이는, 제1 프레임이 나타내는 대상체의 제1 영역과, 짧은 시간 간격으로 스캔된 제2 프레임이 나타내는 대상체의 제2 영역이 3차원 적으로 매우 근접하기 때문이다.
예를 들어, 3차원 데이터 획득 장치(300)가 ICP 알고리즘을 이용하여 3차원 참조 데이터에 프레임을 위치 정렬하는 경우, 제1 프레임을 위치 정렬하기 위해 이용하는 초기 위치와 제2 프레임을 위치 정렬하기 위해 이용하는 초기 위치가 3차원적으로 서로 근접할 수 있다. 따라서, 3차원 데이터 획득 장치(300)는, 제1 프레임의 3차원적인 위치 및/또는 제1 프레임의 위치 정렬에 이용된 초기 위치를 고려하여, 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다.
제1 프레임의 3차원 좌표값이란, 3차원 공간 상에서 3차원 참조 데이터에 제1 프레임을 위치 정렬함으로써 결정되는 제1 프레임의 위치를 나타내는 좌표값을 의미할 수 있다. 이하에서는 도 4b를 참조하여, 일 실시 예에 따른 3차원 데이터 획득 장치(300)가 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬하는 방법을 설명한다.
도 4b는 일 실시 예에 따른 3차원 데이터 획득 장치가 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬하는 방법을 설명하는 도면이다.
도 4b의 도표(407)은 3차원 참조 데이터로서 이용되는 CT 데이터에 위치 정렬된 제1 프레임을 도시한다. 3차원 데이터 획득 장치(300)는, x 축, y 축, z 축의 3차원 좌표계 상에서 CT 데이터에 제1 프레임을 위치 정렬하고, 제1 프레임의 3차원 좌표값을 획득할 수 있다.
다음으로, 도표(408)에 도시된 바와 같이, 3차원 데이터 획득 장치(300)는, 광학 스캐너로부터 제1 프레임을 획득한 시점으로부터 소정 시간 이내에 제2 프레임을 획득하면, 제2 프레임이 정렬되어야 하는 위치가 제1 프레임의 3차원 좌표값 근방에 위치한다고 추정할 수 있다. 이는, 제1 프레임이 나타내는 대상체의 제1 영역과, 매우 짧은 시간 뒤에 스캔된 제2 프레임이 나타내는 대상체의 제2 영역이 3차원 적으로 매우 근접하다는 가정에 기초한 것이다.
이러한 가정에 기초하여, 3차원 데이터 획득 장치(300)는, 제1 프레임의 3차원 좌표값에 기초하여 제2 프레임의 초기 위치를 결정하고 ICP를 수행함으로써, 최종적으로, 도표(409)에 도시된 바와 같이, CT 데이터에 제2 프레임을 위치 정렬할 수 있다.
도 4a로 되돌아가서, 단계 S404에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 오버랩되는 영역에 기초하여 제1 프레임과 제2 프레임을 결합(merge)함으로써 3차원 데이터를 획득할 수 있다.
한편, 본 개시의 다른 일 실시 예에 따르면, 3차원 참조 데이터 상에 초기 위치를 지정한 후, 초기 위치에 기초하여 스캔 프레임을 3차원 참조 데이터에 위치 정렬할 수 있다.
도 4c는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다. 도 4a의 S402, 및 S403는 도 4c의 S430 및 S450에 각각 대응될 수 있으며, 도 4a에 도시된 각 단계와 관련된 설명은 도 4c에도 적용될 수 있으므로 중복되는 설명은 생략한다.
단계 S410에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체에 대한 3차원 참조 데이터 상에 제1 지점을 선택할 수 있다.
먼저, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체에 대한 3차원 참조 데이터를 획득할 수 있다. 일 실시 예에 따른 3차원 참조 데이터는 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터로부터 추출된 대상체의 표면 데이터일 수 있다.
일 예로서, 3차원 데이터 획득 장치(300)는, 내장 메모리, 외부 서버, 또는 외부 장치(예를 들어, 의료 영상 촬영 장치)로부터 3차원 참조 데이터를 획득할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(300)는, 내장된 메모리, 외부 서버, 또는 외부 장치로부터 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터를 획득하고, 획득된 볼륨 데이터로부터 3차원 참조 데이터를 직접 추출할 수 있다.
예를 들어, 3차원 데이터 획득 장치(300)는, 세그멘테이션을 수행함으로써, 대상체의 표면에 대한 정보를 포함하는 3차원 참조 데이터를 볼륨 데이터로부터 추출할 수 있다. CT 스캐너에 의해 획득된 볼륨 데이터는, 복셀의 밝기 값이 조직의 물성에 따라 다르게 나타난다. 따라서, 사람의 머리에 관한 볼륨 데이터의 밝기 정보를 소정 임계 값에 기초하여 분할하는 세그멘테이션을 통해, 치아 조직과 기타 조직이 구분될 수 있다. 이 때, 소정 임계 값을 어떻게 설정하느냐에 따라, 세그멘테이션 결과로 생성되는 표면 데이터가 나타내는 대상이 달라지게 된다. 예를 들어, 사람의 머리에 대해서 획득된 CT 볼륨 데이터에서 추출한 표면 데이터는, 임계 값에 따라 두개골의 표면을 나타내는 데이터가 될 수도 있고, 두피의 표면을 나타내는 데이터가 될 수도 있다.
일 실시 예에 따르면, 세그멘테이션을 위한 임계값은 사용자 입력에 기초하여 설정될 수 있다.
일 예로서, 3차원 데이터 획득 장치(300)는, 사용자가 세그멘테이션을 위한 임계 값을 조정할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다. 3차원 데이터 획득 장치(300)는, 설정되는 임계 값에 따라 생성되는 표면 데이터를 사용자에게 디스플레이 할 수 있다. 사용자는, 임계 값에 따라 서로 다른 형태로 생성되는 표면 데이터에 기초하여, 가장 적합하다고 생각되는 임계 값을 선택할 수 있다.
다른 예로서, 세그멘테이션을 위한 임계값은 3차원 데이터 획득 장치(300)에 의해 자동으로 설정될 수 있다. 3차원 데이터 획득 장치(300)는, 볼륨 데이터를 분석한 결과 및/또는 다양한 데이터를 고려하여 임계값을 결정할 수 있다. 3차원 데이터 획득 장치(300)는, 볼륨 데이터를 분석한 결과, 세그멘테이션과 관련하여 기존에 학습된 데이터, 사용자의 과거 세그멘테이션 기록, 사용자 설정, 또는 대상체가 인체의 어떠한 부위인지에 대한 정보 중 적어도 하나에 기초하여 임계값을 결정할 수 있다.
본 개시의 다양한 실시 예들에 따른 세그멘테이션 방식은, 상술한 임계 값을 이용한 방식에 제한되지 않으며, 영역 확장 방식, 또는 레벨 설정과 같은 능동 윤곽 방식 등이 이용될 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는 다양한 세그멘테이션을 수행함으로써, 볼륨 데이터로부터 대상체의 표면에 대한 정보를 획득할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300), 볼륨 데이터에 대해 제1 세그멘테이션을 수행함으로써 대상체의 표면에 대한 정보를 포함하는 3차원 참조 데이터를 획득하고, 3차원 참조 데이터에 대해 제2 세그멘테이션을 수행함으로써 대상체에 포함되는 복수의 치아들에 대응하는 영역을 식별할 수 있다.
일 실시 예에 따르면, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터로부터 대상체 영상을 생성하고, 대상체 영상을 디스플레이 할 수 있다.
도 5a 및 도 5b는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터로부터 생성된 대상체 영상을 디스플레이 하는 화면의 예를 도시한다. 예를 들어, 대상체 영상은 반투명하게 표현되거나, 그레이 스케일로 표현될 수 있다.
다음으로 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터 상에서 제1 지점을 선택할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터 상에서 선택된 제1 지점을 대상체 영상 상에 디스플레이 할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터와 광학식 3차원 스캐너에 의해 스캔되는 스캔 데이터를 위치 정렬하기 위한 초기 위치로서 제1 지점을 선택할 수 있다. 예를 들어, 제1 지점은, ICP 알고리즘에 의해서 3차원 참조 데이터와 스캔 데이터를 위치 정렬하기 위한 초기 값으로서 이용될 수 있다.
예를 들어, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 포함되는 복셀들 중 하나의 복셀에 대응하는 위치를 제1 지점으로서 선택할 수 있다. 또는, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 포함되는 복셀들 중 하나의 복셀 및 주변 복셀들에 대응하는 위치를 제1 지점으로서 선택할 수 있다. 또는, 3차원 데이터 획득 장치(300)는, 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 위치를 제1 지점으로서 선택할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 지점을 선택하는 사용자 입력을 수신하거나 자동으로 제1 지점을 선택할 수 있다.
일 예로서, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는 사용자 입력에 기초하여 3차원 참조 데이터 상에서 제1 지점을 선택할 수 있다. 3차원 데이터 획득 장치(300)는, 디스플레이 된 대상체 영상에 대한 사용자 입력을 수신하고, 3차원 참조 데이터 상에서 사용자 입력에 대응하는 위치를 제1 지점으로서 선택할 수 있다.
사용자는 제1 지점을 선택하고, 광학식 3차원 스캐너가 제1 지점에 대응되는 대상체 영역을 스캔하도록 광학식 3차원 스캐너를 조작할 수 있다. 사용자는 제1 지점에 대응되는 대상체 영역 주위로 광학식 3차원 스캐너를 이동할 수 있다.
다른 예로서, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 미리 결정된 기준에 따라 자동으로 3차원 참조 데이터 상에서 제1 지점을 선택할 수 있다. 예를 들어, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터를 분석한 결과, 환자의 의료 기록, 환자의 진료 계획, 사용자의 과거 스캔 기록, 사용자 설정, 디폴트 값으로서 결정된 값, 또는 스캔 목적 중 적어도 하나에 기초하여 제1 지점을 선택할 수 있다.
일 실시 예에 따른, 3차원 데이터 획득 장치(300)는, 대상체에 포함되는 복수의 치아들 중에서 미리 결정된 하나의 치아(예를 들어, 왼쪽 어금니)에 대응하는 위치를 제1 지점으로서 선택할 수 있다. 예를 들어, 대상체가 구강인 경우, 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너로 대상체를 스캔하는 목적에 따라, 서로 다른 치아를 제1 지점으로서 선택할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터 상에서 선택된 제1 지점을 대상체 영상 상에 디스플레이 할 수 있다. 사용자는 제1 지점이 디스플레이 된 대상체 영상을 참조하여, 광학식 3차원 스캐너가 제1 지점에 대응되는 대상체 영역을 스캔하도록 광학식 3차원 스캐너를 조작할 수 있다. 사용자는 제1 지점에 대응되는 대상체 영역 주위로 광학식 3차원 스캐너를 이동할 수 있다.
도 6a 및 도 6b는, 일 실시 예에 따라 3차원 데이터 획득 장치(300)가 3차원 참조 데이터 상에서 선택된 제1 지점을 나타내는 대상체 영상을 디스플레이 하는 화면의 예를 도시한다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 포함되는 복셀들 중 하나의 복셀 및 주변 복셀들에 대응하는 위치를 제1 지점으로서 선택할 수 있다. 도 6a에 도시된 바와 같이, 3차원 데이터 획득 장치(300)는, 대상체 영상(610) 상에 제1 지점(611)을 표시할 수 있다.
또는, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 치아 별 세그멘테이션이 수행된 3차원 참조 데이터 상에서, 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 위치를 제1 지점으로서 선택할 수 있다. 도 6b에 도시된 바와 같이, 3차원 데이터 획득 장치(300)는, 대상체 영상(610) 상에서 소정 치아에 대응하는 지점(612)을 제1 지점으로서 선택하고 표시할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)가 3차원 참조 데이터 상에서 선택된 제1 지점을 대상체 영상 상에 디스플레이 하면, 사용자는 제1 지점에 대응되는 대상체 영역 주위로 광학식 3차원 스캐너를 이동할 수 있다. 광학식 3차원 스캐너는, 제1 지점에 대응되는 대상체 영역을 스캔함으로써 초기 값으로서 제1 프레임을 획득할 수 있다.
단계 S420에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 스캔한 제1 프레임을 획득할 수 있다. 3차원 데이터 획득 장치(300)는, 제1 지점에 대응하는 대상체의 제1 영역을 스캔한 제1 프레임을 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너에 의해 대상체의 표면의 형상 정보를 포함하는 제1 프레임을 획득할 수 있다. 예를 들어, 3차원 데이터 획득 장치(300)는, 양안시 구조광 방식을 이용하는 광학식 3차원 스캐너로부터 유선 또는 무선으로 로우 데이터를 획득하고, 광 삼각 방식에 따라 로우 데이터를 제1 프레임으로 재구성할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)가 대상체의 스캔 데이터를 획득하는 구체적인 방법과 관련하여서는, 도 2 및 도 3에 대한 설명이 적용될 수 있다.
단계 S430에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 지점을 기준으로, 3차원 참조 데이터에 제1 프레임을 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 단계 S410에서 선택된 3차원 참조 데이터 상의 제1 지점의 3차원 좌표값에 기초하여, 제1 프레임의 3차원 좌표값을 결정할 수 있다. 3차원 데이터 획득 장치(300)는, 단계 S410에서 선택된 3차원 참조 데이터 상의 제1 지점에 최대한 근접하게 제1 프레임의 초기 위치를 결정할 수 있다. 3차원 참조 데이터 상에서 선택된 제1 지점은, 제1 프레임이 나타내는 대상체의 영역보다 넓은 영역을 가리킬 수 있다. 예를 들어, 3차원 참조 데이터 상에서 하나의 치아가 제1 지점으로서 선택되고, 해당 치아의 일부 영역을 스캔한 제1 프레임이 획득될 수 있다. 이러한 경우, 3차원 데이터 획득 장치(300)는, 제1 지점의 3차원 좌표값과 제1 프레임의 3차원 좌표값이 최대한 가까워질 수 있도록 제1 프레임의 초기 위치를 결정할 수 있다. 3차원 데이터 획득 장치(300)는, 결정된 초기 위치에 기초하여 3차원 참조 데이터의 제1 지점에 제1 프레임을 위치 정렬할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는 3차원 참조 데이터와 제1 프레임을 위치 정렬하기 위하여 다양한 알고리즘을 이용할 수 있다. 예를 들어, ICP 알고리즘이 이용될 수 있다.
ICP는 서로 다른 두 개 이상의 3차원 데이터 간 거리 편차를 최소화하여 위치 정렬하는 방법이다. ICP의 구체적인 수행 과정은 도 4a의 S402와 관련하여 상술하였으므로 중복되는 설명은 생략한다.
단계 S440에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 스캔한 제2 프레임을 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너가 일정한 시간 간격으로 스캔한 프레임들을 실시간으로 획득할 수 있다. 제1 프레임과 제2 프레임은, 사용자에 의해 이동하는 광학식 3차원 스캐너에 의해 획득될 수 있다. 제2 프레임은, 제1 프레임이 나타내는 대상체의 제1 영역과 적어도 일부 영역이 오버랩되는 제2 영역을 나타낼 수 있다.
단계 S450에서 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다.
3차원 데이터 획득 장치(300)는, 위치 정렬된 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다.
제1 프레임의 3차원 좌표값이란, 3차원 공간 상에서 3차원 참조 데이터에 제1 프레임을 위치 정렬함으로써 결정되는 제1 프레임의 위치를 나타내는 좌표값을 의미할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)가 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬하는 구체적인 방법은 도 4a의 S403 및 도 4b와 관련하여 상술하였으므로 중복되는 설명은 생략한다.
3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 기초하여, 위치 정렬된 제1 프레임에 제2 프레임을 결합(merge)함으로써 3차원 데이터를 획득할 수 있다.
상술한 바와 같이, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 획득되는 프레임들 각각에 대해 3차원 참조 데이터를 기준으로 위치 정렬함으로써 악궁 곡률의 왜곡 없이 대상체의 정확한 위치에 프레임들을 정렬시키고, 위치 정렬된 프레임들을 오버랩되는 영역을 기준으로 결합함으로써 최종적으로 3차원 데이터를 획득할 수 있다.
이 때, 프레임들 간의 결합은, 하나의 프레임이 획득될 때마다 이전에 획득된 프레임에 결합하는 실시간 위치 정렬 또는 스캔 종료 후 획득된 모든 프레임들을 한번에 결합하는 글로벌 위치 정렬을 모두 포함할 수 있다. 예를 들어, 실시간 위치 정렬의 경우, 연속하는 제1 프레임, 제2 프레임 및 제3 프레임이 획득되면, 제1 프레임과 제2 프레임 간에 위치 정렬이 수행되고, 제2 프레임과 제3 프레임 간에 위치 정렬을 수행될 수 있다. 반면에, 글로벌 위치 정렬의 경우, 모든 프레임들 간의 상호 위치 정렬이 수행될 수 있다. 즉, 제1 프레임과 제2 프레임 간에, 제2 프레임과 제3 프레임 간에, 또는 제1 프레임과 제3 프레임 간에도 위치 정렬이 수행될 수 있다. 프레임들간의 결합을 위하여 ICP 알고리즘을 이용할 수 있으나, 본 개시는 이에 한정되지 않고 다양한 알고리즘이 이용될 수 있다.
한편, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터 및 위치 정렬된 제1 프레임을 고려하여, 최적의 위치에 제1 프레임과 제2 프레임을 결합할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임의 3차원 좌표값에 기초하여, 3차원 참조 데이터와 제2 프레임을 비교함으로써 3차원 참조 데이터에 제2 프레임이 위치 정렬될 수 있는 지 여부를 판단할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 제2 프레임이 위치 정렬되는 경우, 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다. 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 제2 프레임이 위치 정렬되지 않는 경우, 위치 정렬된 제1 프레임에 오버랩되도록 제2 프레임을 결합할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 방법과 관련하여서는, 후에 도 9를 참조하여 보다 자세하게 설명한다.
한편, 다른 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임에 제2 프레임이 위치 정렬될 수 있는 지 여부를 판단할 수 있다. 3차원 데이터 획득 장치(300)는, 제1 프레임과 제2 프레임을 비교함으로써, 제1 프레임에 제2 프레임이 위치 정렬될 수 있는 지 여부를 판단할 수 있다.
3차원 데이터 획득 장치(300)는, 제1 프레임에 제2 프레임이 위치 정렬되는 경우, 제1 프레임에 오버랩되도록 제2 프레임을 결합할 수 있다.
3차원 데이터 획득 장치(300)는, 제1 프레임에 제2 프레임이 위치 정렬되지 않는 경우, 제1 프레임의 3차원 좌표값에 기초하여, 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다. 다른 일 실시 예에 따른 3차원 데이터 획득 방법과 관련하여서는, 후에 도 10을 참조하여 보다 자세하게 설명한다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 일정한 시간 간격으로 스캔한 프레임들을 결합(또는, 위치 정렬) 함에 따라 획득되는 3차원 데이터를 대상체 영상 상에 디스플레이 할 수 있다.
상술한 바와 같이, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 지점을 선택하고 선택된 제1 지점에 대응하는 제1 영역을 스캔한 제1 프레임 및 제1 영역과 적어도 일부 영역이 오버랩되는 제2 영역을 스캔한 제2 프레임을 결합함으로써 3차원 데이터를 획득할 수 있다.
그리고, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제2 지점을 선택하고 선택된 제2 지점에 대응하는 제3 영역을 스캔한 제3 프레임 및 제3 영역과 적어도 일부 영역이 오버랩되는 제4 영역을 스캔한 제4 프레임을 결합함으로써 3차원 데이터를 더 획득할 수 있다.
제1 지점과 제2 지점은, 불연속적인 영역들을 지정하는 지점들일 수도 있고, 근접한 영역들을 지정하는 지점들일 수도 있고, 동일한 영역에 대하여 상이한 위치들을 지정하는 지점들일 수 있다.
예를 들어, 3차원 데이터 획득 장치(300)는 제1 지점으로서 제1 치아를 선택하고, 제1 치아의 일부 영역 또는 일 단면을 스캔하여 획득한 프레임들(예를 들어, 제1 프레임 및 제2 프레임 등)을 결합함으로써 제1 치아에 대한 3차원 데이터를 획득할 수 있다. 다음으로, 3차원 데이터 획득 장치(300)는, 제1 치아에 이웃한 제2 치아를 제2 지점으로서 선택하고, 제2 치아의 일부 영역 또는 일 단면을 스캔하여 획득한 프레임들(예를 들어, 제3 프레임 및 제4 프레임 등)을 결합함으로써 제2 치아에 대한 3차원 데이터를 획득할 수 있다.
또는, 예를 들어, 3차원 데이터 획득 장치(300)는 제1 지점으로서 제1 치아의 일부 영역 또는 일 단면을 선택하고, 제1 지점에 대응하는 영역들을 스캔하여 획득한 프레임들(예를 들어, 제1 프레임 및 제2 프레임 등)을 결합함으로써 제1 치아의 해당 영역 또는 해당 단면에 대한 3차원 데이터를 획득할 수 있다. 다음으로, 3차원 데이터 획득 장치(300)는, 제1 치아에 이웃 영역 또는 이웃 단면을 제2 지점으로서 선택하고, 제1 치아의 이웃 영역 또는 이웃 단면을 스캔하여 획득한 프레임들(예를 들어, 제3 프레임 및 제4 프레임 등)을 결합함으로써 제1 치아의 이웃 영역 또는 이웃 단면에 대한 3차원 데이터를 획득할 수 있다.
또는, 예를 들어, 3차원 데이터 획득 장치(300)는 제1 지점으로서 제1 치아를 선택하고, 제1 치아의 일부 영역 또는 일 단면을 스캔하여 획득한 프레임들(예를 들어, 제1 프레임 및 제2 프레임 등)을 결합함으로써 제1 치아에 대한 3차원 데이터를 획득할 수 있다. 다음으로, 3차원 데이터 획득 장치(300)는, 제1 치아로부터 소정 거리 이상 이격된 제2 치아를 제2 지점으로서 선택하고, 제2 치아의 일부 영역 또는 일 단면을 스캔하여 획득한 프레임들(예를 들어, 제3 프레임 및 제4 프레임 등)을 결합함으로써 제2 치아에 대한 3차원 데이터를 획득할 수 있다.
도 7은 일 실시 예에 따라 3차원 데이터 획득 장치가 실시간으로 획득하는 3차원 데이터를 디스플레이 하는 화면(710)의 예를 도시한다.
광학식 3차원 스캐너가 대상체의 제1 지점 주위를 움직이도록 사용자가 조작하는 동안, 광학식 3차원 스캐너는 일정한 시간 간격으로 대상체를 스캔할 수 있다. 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너로부터 획득된 프레임들을 결합함으로써 3차원 데이터(711)를 획득할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 지점을 기준으로 대상체의 제1 영역에 대한 3차원 데이터(711)를 획득하고 디스플레이 할 수 있다.
도 8a는 일 실시 예에 따라 3차원 데이터 획득 장치가 3차원 참조 데이터 상에서 선택된 제2 지점을 나타내는 대상체 영상을 디스플레이 하는 화면(810)의 예를 도시한다.
도 8a에 도시된 바와 같이, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 사용자 입력에 기초하여 선택된 제1 지점을 기준으로, 대상체의 제1 영역에 대한 3차원 데이터(811)를 획득하고 디스플레이 할 수 있다. 제1 영역에 대한 스캔이 완료되면, 사용자는 제2 지점(812)을 선택하고 광학식 3차원 스캐너가 대상체의 제2 지점 주위를 움직이도록 조작할 수 있다. 광학식 3차원 스캐너가 대상체의 제2 지점 주위를 움직이도록 사용자가 조작하는 동안, 광학식 3차원 스캐너는 일정한 시간 간격으로 대상체를 스캔득할 수 있다.
예를 들어, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터 상에 제2 지점을 선택하고, 제2 지점에 대응하는 대상체의 일부 영역을 스캔한 제3 프레임을 획득할 수 있다. 3차원 데이터 획득 장치(300)는, 제2 지점을 기준으로, 3차원 참조 데이터에 제3 프레임을 위치 정렬할 수 있다. 3차원 데이터 획득 장치(300)는 제4 프레임을 획득하고, 제3 프레임의 3차원 좌표값에 기초하여 제4 프레임을 위치 정렬함으로써 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)가 제3 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제4 프레임을 위치 정렬하는 구체적인 방법은 도 4a의 S403, 도 4c의 S450 또는 도 4b와 관련하여 상술된 설명이 적용될 수 있다. 중복되는 설명은 생략한다.
도 8b는 일 실시 예에 따라 3차원 데이터 획득 장치가 제2 지점에 기초하여 실시간으로 획득되는 3차원 데이터를 디스플레이 하는 화면(810)의 예를 도시한다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 사용자 입력에 기초하여 선택된 제2 지점을 기준으로, 광학식 3차원 스캐너로부터 획득된 프레임들을 결합함으로써 3차원 데이터(822)를 획득할 수 있다. 도 8b에 도시된 바와 같이, 본 개시의 일 실시 예에 따르면, 3차원 참조 데이터에 기초하여 실시간으로 스캔되는 프레임들을 위치 정렬함으로써, 불연속적인 영역들(811, 822)에 대해서도 3차원 데이터를 획득할 수 있다.
이와 같이, 본 개시의 일 실시 예에 따르면, 3차원 데이터 획득 장치(300)가 광학식 3차원 스캐너로부터 획득된 프레임들을 기초로 3차원 데이터를 재구성함에 있어서, 3차원 참조 데이터를 위치 정렬에 이용함으로써 불연속적인 영역들에 대한 정보를 포함하는 3차원 데이터를 용이하게 재구성할 수 있게 된다.
기존 방식에 따르면, 대상체에 포함되는 일부 영역들에 대한 3차원 데이터만 필요한 경우에도 대상체 전체를 스캔하는 과정이 필요했다. 예를 들어, 하악의 양쪽 어금니들에 부착될 보철을 위한 양쪽 어금니들에 대한 3차원 데이터를 획득하기 위해서는, 광학식 3차원 스캐너를 통해 한 쪽 어금니부터 다른 쪽 어금니까지의 하악의 전체 치아들을 스캔하는 과정이 필요했다. 즉, 별도의 참조 데이터를 이용하지 않는 기존 방식에 따르면, 사용자의 조작에 의해 광학식 3차원 스캐너가 왼쪽 어금니 영역을 스캔한 후 짧은 시간 내에 이동하여 오른쪽 어금니 영역을 스캔하는 경우, 오버랩 구간이 존재하지 않는 두 영역들에 대한 스캔 데이터만으로는 올바른 3차원 데이터를 재구성할 수 없었다.
그러나 개시된 실시 예에 따른 3차원 데이터 획득 장치(300)는, 광학식 3차원 스캐너에 의해 불연속적인 영역들이 스캔되는 경우에도, 3차원 참조 데이터에 기초하여 스캔 프레임에 대한 위치 정렬을 수행함으로써 대상체의 형상을 정확히 반영하는 3차원 데이터를 획득할 수 있다.
이하에서는, 도 9 및 도 10을 참조하여, 일 실시 예에 따른 3차원 데이터 획득 장치(300)가, 실시간으로 획득되는 스캔 데이터를 3차원 참조 데이터에 위치 정렬함으로써, 3차원 데이터를 획득하는 구체적인 방법을 설명한다. 도 9 및 도 10은, 3차원 참조 데이터 상에서 선택된 제1 지점을 기준으로 제1 프레임이 위치 정렬된 후, 3차원 데이터 획득 장치(300)가 제n 프레임(n≥2인 정수)을 획득하였을 때의 동작 순서를 도시한다. 도 9 및 도 10은 도 4c의 S450을 구체화하는 흐름도일 수 있으므로, 도 4c와 관련하여 중복되는 설명은 생략한다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 스캔한 프레임이 실시간으로 획득됨에 따라 3차원 참조 데이터에 프레임들을 위치 정렬함으로써 3차원 데이터를 갱신하고 갱신된 3차원 데이터를 획득할 수 있다.
도 9는 일 실시 예에 따른 3차원 데이터 획득 방법의 흐름도를 도시한다.
단계 S910에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 스캔한 제n 프레임을 획득할 수 있다. 이 때, n은 2보다 크거나 같은 정수일 수 있다.
단계 S920에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임이 3차원 참조 데이터에 대해서 위치 정렬되는 지 판단할 수 있다. 3차원 데이터 획득 장치(300)는, 제n-1 프레임의 3차원 좌표값에 기초하여, 제n 프레임과 3차원 참조 데이터를 비교함으로써 제n 프레임이 3차원 참조 데이터에 대해서 위치 정렬되는 지 판단할 수 있다. 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 위치 정렬된 제n-1 프레임의 근방에 제n 프레임이 위치 정렬될 수 있는지 판단할 수 있다.
예를 들어, 3차원 참조 데이터가 치아에 대한 데이터만을 포함하도록 세그멘테이션 된 데이터인 경우, 광학식 3차원 스캐너에 의해 치아의 표면이 촬영된 제2 프레임이 수신되면 3차원 참조 데이터에 제2 프레임이 위치 정렬될 수 있다. 반면에, 광학식 3차원 스캐너에 의해 치은에 해당하는 영역이 촬영된 제2 프레임이 수신되는 경우, 치은에 대한 정보는 포함되지 않고 치아의 표면에 대한 정보만을 포함하는 3차원 참조 데이터에 제2 프레임이 위치 정렬될 수 없다.
따라서, 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터와 제2 프레임을 비교하여 3차원 참조 데이터에 제2 프레임이 위치 정렬되는 지 여부를 판단할 수 있다.
일 예로서, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터로부터 추출된 정점들 및 제n 프레임으로부터 추출된 대응점들 간의 거리 값들의 차이에 기초하여, 3차원 참조 데이터에 제n 프레임이 위치 정렬되는 지 여부를 판단할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 정점들 및 대응점들 간의 거리 값들의 차이가 임계 값 이상인 경우, 3차원 참조 데이터에 제n 프레임이 위치 정렬되지 않는다고 판단할 수 있다.
다른 예로서, 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터와 제n 프레임의 형상을 비교함으로써, 3차원 참조 데이터에 제n 프레임이 위치 정렬되는 지 여부를 판단할 수 있다. 3차원 데이터 획득 장치(300)는, 3차원 참조 데이터에 포함되는 복셀들 또는 메쉬들과 제n 프레임에 포함되는 복셀들 또는 메쉬들을 비교하여, 형상의 차이가 소정 값 이상일 경우 3차원 참조 데이터에 제n 프레임이 위치 정렬될 수 없다고 판단할 수 있다. 반면에, 3차원 데이터 획득 장치(300)는, 형상의 차이가 소정 값 미만일 경우 3차원 참조 데이터에 제n 프레임이 위치 정렬될 수 있다고 판단할 수 있다.
단계 S930에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임이 3차원 참조 데이터에 대해서 위치 정렬된다고 판단되는 경우, 3차원 참조 데이터에 제n 프레임을 위치 정렬할 수 있다.
반면에, 단계 S950에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임이 3차원 참조 데이터에 대해서 위치 정렬되지 않는다고 판단되는 경우, 이 전에 획득되었던 제n-1 프레임에 제n 프레임을 위치 정렬할 수 있다. 제n-1 프레임에 제n 프레임을 위치 정렬한다는 것은, 제n-1 프레임과 제n 프레임 간에 대응되는 영역이 오버랩되도록, 제n-1 프레임에 대해서 제n 프레임을 결합하는 것을 의미할 수 있다.
단계 S940에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임부터 제n-1 프레임을 결합하여 획득되었던 3차원 데이터에, 위치 정렬된 제n 프레임을 추가로 결합함으로써 3차원 데이터를 획득할 수 있다.
도 10은 일 실시 예에 따른 3차원 데이터 획득 방법의 흐름도를 도시한다.
단계 S1010에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 대상체를 스캔한 제n 프레임을 획득할 수 있다. 이 때, n은 2보다 크거나 같은 정수일 수 있다.
단계 S1020에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임이 제n-1 프레임에 대해서 위치 정렬되는 지 여부를 판단할 수 있다.
일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임과 제n-1 프레임을 비교하여 제n-1 프레임에 제n 프레임이 위치 정렬되는 지 여부를 판단할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임과 제n-1 프레임이 오버랩 되는 정도에 기초하여, 제n-1 프레임에 제n 프레임이 위치 정렬되는 지 여부를 판단할 수 있다.
예를 들어, 제n-1 프레임이 촬영한 대상체 영역과 제n 프레임이 촬영한 대상체 영역이 충분히 오버랩 되는 경우(즉, 임계 비율 이상 오버랩되는 경우), 제n-1 프레임에 제n 프레임이 위치 정렬될 수 있다. 반면에, 제n-1 프레임이 촬영한 대상체 영역과 제n 프레임이 촬영한 대상체 영역이 충분히 오버랩되지 않는 경우(즉, 임계 비율 미만으로 오버랩 되는 경우), 제n-1 프레임에 제n 프레임이 위치 정렬될 수 없다.
단계 S1030에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임이 제n-1 프레임에 대해서 위치 정렬된다고 판단되는 경우, 제n-1 프레임에 제n 프레임을 위치 정렬할 수 있다.
반면에, 단계 S1050에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제n 프레임이 제n-1 프레임에 대해서 위치 정렬되지 않는다고 판단되는 경우, 제n-1 프레임의 3차원 좌표값에 기초하여, 3차원 참조 데이터에 제n 프레임을 위치 정렬할 수 있다.
단계 S1040에서 일 실시 예에 따른 3차원 데이터 획득 장치(300)는, 제1 프레임부터 제n-1 프레임을 결합하여 획득되었던 3차원 데이터에, 제n 프레임을 결합함으로써 3차원 데이터를 획득할 수 있다.
도 11은 일 실시 예에 따른 3차원 데이터 획득 장치의 블록도를 도시한다.
도 11에 도시된 3차원 데이터 획득 장치(300)의 블록도는 상술한 3차원 데이터 획득 장치(300)의 일 예이다. 도 11에 도시된 3차원 데이터 획득 장치(300)는, 본 개시의 다양한 실시 예들에 따른 3차원 데이터 획득 방법을 수행할 수 있으며, 도 1 내지 도 10에 대한 설명이 적용될 수 있다. 따라서, 상술한 바와 중복되는 내용은 생략한다.
본 개시의 다양한 실시 예들에 따른 3차원 데이터 획득 장치(300)는 고정형 단말이거나 이동형 단말일 수 있다. 3차원 데이터 획득 장치(300)는, 예를 들어, 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
도 11을 참조하면, 3차원 데이터 획득 장치(300)는 프로세서(310), 디스플레이(320), 통신 인터페이스(330), 사용자 입력부(340), 및 메모리(350)를 포함할 수 있다.
일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 데이터 획득 장치(300)를 제어한다. 여기서, 적어도 하나의 인스트럭션은 프로세서(310) 내에 포함되는 내부 메모리(미도시) 또는 프로세서(310)와 별도로 3차원 데이터 획득 장치(300) 내에 포함되는 메모리(350)에 저장되어 있을 수 있다.
일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 데이터 획득 장치(300) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(310)가 소정 동작을 수행하는 경우를 예로 들어 설명하더라도, 3차원 데이터 획득 장치(300)에 포함하는 적어도 하나의 구성들이 소정 동작을 수행하도록 프로세서(310)가 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
일 실시 예에 따른 프로세서(310)는 3차원 데이터 획득 장치(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 3차원 데이터 획득 장치(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 3차원 데이터 획득 장치(300)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 내부의 프로세서(미도시)를 포함할 수 있다.
또한, 프로세서(310)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 또한, 프로세서(310)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다.
개시된 실시 예에서, 프로세서(310)는 광학식 3차원 스캐너로부터 수신되는 데이터에 기초하여 대상체에 대한 3차원 데이터를 생성하고, 대상체에 대한 3차원 영상을 생성할 수 있다.
디스플레이(320)는 프로세서(310)에 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 구체적으로, 디스플레이(320)는 광학식 3차원 스캐너(예를 들어, 도 3의 100) 가 대상체를 스캔하여 획득한 데이터에 기초하여 생성된 영상을 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. 또는, 디스플레이(320)는 대상체에 대한 진단 및 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
통신 인터페이스(330)는 적어도 하나의 외부 전자 장치(미도시)와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(330)는 프로세서(310)의 제어에 따라서 광학식 3차원 스캐너와 통신을 수행할 수 있다.
사용자 입력부(340)는 3차원 데이터 획득 장치(300)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(340)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지칭 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
또한, 사용자 입력부(340)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치(미도시)는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(310)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다.
메모리(350)는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리(350)는 프로세서(3410)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 메모리(350)는 광학식 3차원 스캐너로부터 수신되는 데이터(예를 들어, 대상체 스캔을 통하여 획득된 로우 데이터 등)를 저장할 수 있다. 메모리(350)는, CT 또는 MRI 방식에 의해 획득된 대상체의 볼륨 데이터, 또는 해당 볼륨 데이터로부터 추출된 대상체의 표면에 대한 정보를 포함하는 3차원 참조 데이터를 저장할 수 있다. 메모리(350)는 대상체를 3차원적으로 나타내는 대상체 영상을 저장할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(310)는, 메모리(350)에 저장된 프로그램을 실행함으로써 3차원 데이터 획득 장치(300)의 전체적인 동작을 제어할 수 있다. 프로세서(310)는 대상체에 대한 3차원 데이터를 획득하기 위하여 3차원 데이터 획득 장치(300)에 포함되는 다른 구성들을 제어할 수 있다.
프로세서(310)가 3차원 데이터 획득 장치(300)의 전체적인 동작을 제어하여 3차원 데이터를 획득하는 구체적인 방법에 대해서는 도 4a 및 도 4c에 대한 설명이 적용될 수 있고 중복되는 설명은 생략한다.
일 실시 예에 따른 프로세서(310)는, 대상체에 대한 3차원 참조 데이터를 획득할 수 있다. 일 실시 예에 따른 3차원 참조 데이터는 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터로부터 추출된 대상체의 표면 데이터일 수 있다. 프로세서(310)는, CT 또는 MRI 방식에 의해 획득된 볼륨 데이터에 대해 세그멘테이션을 수행함으로써, 대상체의 표면에 대한 정보를 포함하는 3차원 참조 데이터를 획득할 수 있다.
일 실시 예에 따른 프로세서(310)는, 광학식 3차원 스캐너에 의해 대상체의 제1 영역을 스캔한 제1 프레임을 획득하여 3차원 참조 데이터에 위치 정렬할 수 있다. 프로세서(310)는, 제1 영역과 적어도 일부 영역이 오버랩되는 대상체의 제2 영역을 스캔한 제2 프레임을 획득하여 3차원 참조 데이터에 위치 정렬할 수 있다. 프로세서(310)는, 위치 정렬된 제1 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬할 수 있다. 프로세서(310)는, 오버랩되는 영역에 기초하여 제1 프레임과 제2 프레임을 결합함으로써 3차원 데이터를 획득할 수 있다.
일 실시 예에 따른 프로세서(310)는, 3차원 참조 데이터 상에서 제1 지점을 선택하고, 선택된 제1 지점에 대응하는 제1 영역을 스캔한 제1 프레임을 획득할 수 있다.
일 예로서, 프로세서(310)는, 사용자 입력에 기초하여 3차원 참조 데이터 상에서 제1 지점을 선택할 수 있다. 프로세서(310)는, 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 지점을 3차원 참조 데이터 상의 제1 지점으로서 선택할 수 있다.
다른 예로서, 프로세서(310)는, 자동으로 3차원 참조 데이터 상에서 제1 지점을 선택할 수 있다.
일 실시 예에 따른 프로세서(310)는, 대상체에 대한 3차원 참조 데이터로부터 생성된 대상체 영상을 디스플레이하고, 3차원 참조 데이터 상에서 선택된 제1 지점을 대상체 영상 상에 디스플레이 하도록 디스플레이(320)를 제어할 수 있다.
일 실시예에 따른 프로세서(310)는, 제1 지점에 대응하는 대상체의 일부 영역을 광학식 3차원 스캐너에 의해 스캔한 제1 프레임을 획득하고, 제1 지점을 기준으로, 3차원 참조 데이터에 제1 프레임을 위치 정렬할 수 있다. 제1 프레임은, 광학식 3차원 스캐너에 의해 획득되는 대상체의 표면의 형상 정보를 포함할 수 있다.
일 실시 예에 따른 프로세서(310)는, 제1 지점을 기준으로 3차원 참조 데이터 상에 복수의 정점들을 추출하고, 제1 프레임으로부터 복수의 정점들에 각각 대응하는 복수의 대응점들을 추출하고, 복수의 정점들 및 복수의 대응점들 간의 거리 값들의 차이에 기초하여, 3차원 참조 데이터에 제1 프레임을 위치 정렬할 수 있다.
프로세서(310)는, 광학식 3차원 스캐너에 의해 대상체를 스캔한 제2 프레임을 획득할 수 있다. 광학식 3차원 스캐너는, 제1 프레임이 나타내는 대상체의 제1 영역과 적어도 일부 영역이 오버랩되는 제2 영역을 스캔함에 의해 제2 프레임을 획득할 수 있다.
프로세서(310)는, 위치 정렬된 제1 프레임의 좌표값에 기초하여 3차원 참조 데이터에 제2 프레임을 위치 정렬함으로써 3차원 데이터를 획득할 수 있다.
일 예로서, 프로세서(310)는, 제1 프레임의 3차원 좌표값에 기초하여, 3차원 참조 데이터에 제2 프레임이 위치 정렬될 수 있는 지 여부를 판단할 수 있다. 프로세서(310)는, 3차원 참조 데이터에 제2 프레임이 위치 정렬 가능한 경우, 3차원 참조 데이터에 제1 프레임을 위치 정렬할 수 있다. 일 실시 예에 따른 프로세서(310)는, 3차원 참조 데이터에 제2 프레임이 위치 정렬되지 않는 경우, 위치 정렬된 제1 프레임에 오버랩 되도록 제2 프레임을 결합할 수 있다.
다른 예로서, 프로세서(310)는, 위치 정렬된 제1 프레임에 제2 프레임이 위치 정렬되는 지 여부를 판단할 수 있다. 프로세서(310)는, 위치 정렬된 제1 프레임에 제2 프레임이 위치 정렬되는 경우, 위치 정렬된 제1 프레임에 오버랩되도록 제2 프레임을 결합할 수 있다. 프로세서(310)는, 위치 정렬된 제1 프레임에 제2 프레임이 위치 정렬되지 않는 경우, 위치 정렬된 제1 프레임의 3차원 좌표값에 기초하여, 3차원 참조 데이터에 제2 프레임을 결합할 수 있다.
일 실시 예에 따른 프로세서(310)는, 대상체를 일정한 시간 간격으로 스캔한 프레임들을 결합함에 따라 획득되는 3차원 데이터를 대상체 영상 상에 디스플레이 하도록 디스플레이(320)를 제어할 수 있다.
또한, 일 실시예에 따른 프로세서(310)는, 3차원 참조 데이터 상에서 제2 지점을 선택하고, 제2 지점에 대응하는 대상체의 일부 영역을 스캔한 제3 프레임을 획득할 수 있다. 프로세서(310)는, 제2 지점을 기준으로, 3차원 참조 데이터에 제3 프레임을 위치 정렬할 수 있다. 프로세서(310)는, 대상체를 스캔한 제4 프레임을 획득할 수 있다. 프로세서(310)는, 위치 정렬된 제3 프레임의 3차원 좌표값에 기초하여 3차원 참조 데이터에 제4 프레임을 위치 정렬함으로써 3차원 데이터를 획득할 수 있다.
따라서, 본 개시의 일 실시예에 따른 3차원 데이터 획득 장치(300)는, 제1 지점 주변의 대상체 영역 및 제2 지점 주변의 대상체 영역을 포함하는 영역들에 대해서도 3차원 데이터를 획득할 수 있다.
본 개시의 일 실시 예에 따른 3차원 데이터 획득 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예에 따르면, 3차원 데이터 획득 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 제공될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 구강 영상의 디스플레이 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
[부호의 설명]
100: 광학식 3차원 스캐너
310: 프로세서
320: 디스플레이
330: 통신 인터페이스
340: 사용자 입력부
350: 메모리

Claims (20)

  1. 3차원 데이터를 획득하는 방법에 있어서,
    대상체에 대한 3차원 참조(reference) 데이터를 획득하는 단계;
    상기 대상체의 제1 영역을 스캔하여 획득한 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬(align)하는 단계;
    상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔하여 획득한 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및
    상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합(merge)함으로써 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법.
  2. 제1 항에 있어서,
    상기 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는,
    상기 3차원 참조 데이터 상에서 제1 지점을 선택하는 단계;
    상기 제1 지점에 대응하는 상기 제1 영역을 스캔한 상기 제1 프레임을 획득하는 단계; 및
    상기 제1 지점에 기초하여 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법.
  3. 제1 항에 있어서,
    상기 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는,
    위치 정렬된 상기 제1 프레임의 3차원 좌표값에 기초하여 상기 3차원 참조 데이터에 상기 제2 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법.
  4. 제2 항에 있어서,
    상기 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계는,
    상기 제1 지점 및 위치 정렬된 상기 제1 프레임의 3차원 좌표값에 기초하여 상기 3차원 참조 데이터에 상기 제2 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법.
  5. 제2 항에 있어서,
    상기 3차원 참조 데이터 상에서 제2 지점을 선택하는 단계;
    상기 제2 지점에 대응하는 상기 대상체의 제3 영역을 스캔하여 획득한 제3 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계;
    상기 제3 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제4 영역을 스캔하여 획득한 제4 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및
    상기 제3 영역과 상기 제4 영역 간에 오버랩되는 영역에 기초하여 상기 제3 프레임과 상기 제4 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 단계를 더 포함하는, 3차원 데이터 획득 방법.
  6. 제1 항에 있어서,
    상기 3차원 참조 데이터는 CT 또는 MRI 방식에 의해 획득된 볼륨 데이터로부터 추출된 상기 대상체의 표면 데이터이고,
    상기 3차원 데이터 획득 방법은,
    상기 3차원 참조 데이터로부터 생성된 대상체 영상 상에 상기 3차원 데이터를 디스플레이 하는 단계를 더 포함하는 것을 특징으로 하는, 3차원 데이터 획득 방법.
  7. 제2 항에 있어서,
    상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계는,
    사용자 입력에 기초하여 상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계 또는
    자동으로 3차원 참조 데이터 상에서 제1 지점을 선택하는 단계를 포함하는, 3차원 데이터 획득 방법.
  8. 제1 항에 있어서,
    상기 3차원 참조 데이터를 획득하기 위해서, CT 또는 MRI 방식에 의해 획득된 볼륨 데이터에 대해 제1 세그멘테이션을 수행하는 단계; 및
    상기 3차원 참조 데이터에 대한 제2 세그멘테이션을 수행함으로써 상기 대상체에 포함되는 복수의 치아들에 대응하는 영역을 식별하는 단계를 더 포함하는, 3차원 데이터 획득 방법.
  9. 제2 항에 있어서,
    상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하는 단계는,
    상기 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 지점을 상기 3차원 참조 데이터 상의 상기 제1 지점으로서 선택하는 단계를 더 포함하는, 3차원 데이터 획득 방법.
  10. 제1 항에 있어서,
    상기 제1 프레임 또는 상기 제2 프레임은,
    광학식 3차원 스캐너에 의해 획득되고, 상기 대상체의 표면의 형상 정보를 포함하는, 3차원 데이터 획득 방법.
  11. 제2 항에 있어서,
    상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계는,
    상기 제1 지점에 기초하여 상기 3차원 참조 데이터 상에 복수의 정점(apex)들을 추출하는 단계;
    상기 제1 프레임으로부터 상기 복수의 정점들에 각각 대응하는 복수의 대응점들을 추출하는 단계; 및
    상기 복수의 정점들 및 상기 복수의 대응점들 간의 거리 값들의 차이에 기초하여, 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 단계를 포함하는, 3차원 데이터 획득 방법.
  12. 3차원 데이터를 획득하는 장치에 있어서,
    디스플레이;
    광학식 3차원 스캐너와 통신하는 통신 인터페이스; 및
    적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 제어하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    대상체에 대한 3차원 참조 데이터를 획득하고,
    상기 광학식 3차원 스캐너에 의해 상기 대상체의 제1 영역을 스캔한 제1 프레임을 획득하여 상기 3차원 참조 데이터에 위치 정렬하고,
    상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔한 제2 프레임을 획득하여 상기 3차원 참조 데이터에 위치 정렬하고,
    상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  13. 제12 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 3차원 참조 데이터 상에서 제1 지점을 선택하고,
    상기 제1 지점에 대응하는 상기 제1 영역을 스캔한 상기 제1 프레임을 획득하고,
    상기 제1 지점에 기초하여 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  14. 제12 항에 있어서,
    상기 적어도 하나의 프로세서는,
    위치 정렬된 상기 제1 프레임의 3차원 좌표값에 기초하여 상기 3차원 참조 데이터에 상기 제2 프레임을 위치 정렬하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  15. 제13 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 3차원 참조 데이터 상에서 제2 지점을 선택하고,
    상기 제2 지점에 대응하는 상기 대상체의 제3 영역을 스캔하여 획득한 제3 프레임을 상기 3차원 참조 데이터에 위치 정렬 하고,
    상기 제3 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제4 영역을 스캔하여 획득한 제4 프레임을 상기 3차원 참조 데이터에 위치 정렬하고,
    상기 제3 영역과 상기 제4 영역 간에 오버랩되는 영역에 기초하여 상기 제3 프레임과 상기 제4 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  16. 제12 항에 있어서,
    상기 디스플레이는,
    상기 3차원 참조 데이터로부터 생성된 대상체 영상 상에 상기 3차원 데이터를 디스플레이 하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  17. 제13 항에 있어서,
    사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 사용자 입력에 기초하여 상기 3차원 참조 데이터 상에서 상기 제1 지점을 선택하거나 자동으로 3차원 참조 데이터 상에서 제1 지점을 선택하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  18. 제13 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 3차원 참조 데이터를 획득하기 위해서, CT 또는 MRI 방식에 의해 획득된 볼륨 데이터에 대해 제1 세그멘테이션을 수행하고,
    상기 3차원 참조 데이터에 대한 제2 세그멘테이션을 수행함으로써 상기 대상체에 포함되는 복수의 치아들에 대응하는 영역을 식별하고,
    상기 대상체에 포함되는 복수의 치아들 중에서 하나의 치아에 대응하는 지점을 상기 3차원 참조 데이터 상의 상기 제1 지점으로서 선택하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  19. 제13 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 지점에 기초하여 상기 3차원 참조 데이터 상에 복수의 정점들을 추출하고,
    상기 제1 프레임으로부터 상기 복수의 정점들에 각각 대응하는 복수의 대응점들을 추출하고,
    상기 복수의 정점들 및 상기 복수의 대응점들 간의 거리 값들의 차이에 기초하여, 상기 3차원 참조 데이터에 상기 제1 프레임을 위치 정렬하는 것을 특징으로 하는, 3차원 데이터 획득 장치.
  20. 대상체에 대한 3차원 데이터를 획득하는 방법을 수행하기 위한 적어도 하나의 인스트럭션을 포함하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 3차원 데이터 획득 방법은,
    상기 대상체에 대한 3차원 참조 데이터를 획득하는 단계;
    상기 대상체의 제1 영역을 스캔하여 획득한 제1 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계;
    상기 제1 영역과 적어도 일부 영역이 오버랩되는 상기 대상체의 제2 영역을 스캔하여 획득한 제2 프레임을 상기 3차원 참조 데이터에 위치 정렬하는 단계; 및
    상기 오버랩되는 영역에 기초하여 상기 제1 프레임과 상기 제2 프레임을 결합함으로써 상기 3차원 데이터를 획득하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/006694 2020-05-29 2021-05-28 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 WO2021242053A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21814563.9A EP4159160A4 (en) 2020-05-29 2021-05-28 METHOD AND DEVICE FOR ACQUIRING THREE-DIMENSIONAL DATA, AND COMPUTER-READABLE STORAGE MEDIUM STORING A PROGRAM FOR IMPLEMENTING SAID METHOD
US18/000,080 US20230215122A1 (en) 2020-05-29 2021-05-28 Three-dimensional data acquisition method and device, and computer-readable storage medium storing program for performing same method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200065388A KR102441485B1 (ko) 2020-05-29 2020-05-29 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
KR10-2020-0065388 2020-05-29

Publications (1)

Publication Number Publication Date
WO2021242053A1 true WO2021242053A1 (ko) 2021-12-02

Family

ID=78744777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006694 WO2021242053A1 (ko) 2020-05-29 2021-05-28 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체

Country Status (4)

Country Link
US (1) US20230215122A1 (ko)
EP (1) EP4159160A4 (ko)
KR (1) KR102441485B1 (ko)
WO (1) WO2021242053A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024094087A1 (zh) * 2022-11-04 2024-05-10 先临三维科技股份有限公司 一种三维扫描方法、装置、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532125A (ja) * 2000-04-28 2003-10-28 オラメトリックス インコーポレイテッド 表面を走査し三次元物体を作製するための方法及びシステム
JP2005080989A (ja) * 2003-09-10 2005-03-31 Toshiba Corp 治療システム、治療支援システム及び治療支援方法
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
KR101730696B1 (ko) * 2010-04-20 2017-04-26 이미징 사이언시즈 인터내셔널 엘엘씨 표면 스캔 정보를 이용한 3차원 치과용 x 레이 데이터 세트로부터의 아티팩트의 감소 및 제거
KR20190101694A (ko) * 2018-02-23 2019-09-02 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL126838A (en) * 1998-11-01 2003-04-10 Cadent Ltd Dental image processing method and system
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
KR101301106B1 (ko) * 2011-08-17 2013-08-27 주식회사 메디트 구강 삽입형 3차원 측정장치용 프레임 유닛
US8363930B1 (en) * 2012-07-23 2013-01-29 Google Inc. Use of materials and appearances to merge scanned images
US20160331463A1 (en) * 2014-01-10 2016-11-17 Ao Technology Ag Method for generating a 3d reference computer model of at least one anatomical structure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532125A (ja) * 2000-04-28 2003-10-28 オラメトリックス インコーポレイテッド 表面を走査し三次元物体を作製するための方法及びシステム
JP2005080989A (ja) * 2003-09-10 2005-03-31 Toshiba Corp 治療システム、治療支援システム及び治療支援方法
KR101730696B1 (ko) * 2010-04-20 2017-04-26 이미징 사이언시즈 인터내셔널 엘엘씨 표면 스캔 정보를 이용한 3차원 치과용 x 레이 데이터 세트로부터의 아티팩트의 감소 및 제거
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
KR20190101694A (ko) * 2018-02-23 2019-09-02 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4159160A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024094087A1 (zh) * 2022-11-04 2024-05-10 先临三维科技股份有限公司 一种三维扫描方法、装置、系统、设备及介质

Also Published As

Publication number Publication date
EP4159160A1 (en) 2023-04-05
US20230215122A1 (en) 2023-07-06
KR20210147729A (ko) 2021-12-07
KR102441485B1 (ko) 2022-09-07
EP4159160A4 (en) 2024-06-26

Similar Documents

Publication Publication Date Title
WO2019212228A1 (ko) 3차원 구강 모델 분석방법 및 이를 포함하는 보철물 디자인 방법
WO2018066765A1 (ko) 모바일 연동 임플란트 진단 시스템
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2022085966A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2019039844A1 (en) X-RAY IMAGING APPARATUS AND CORRESPONDING CONTROL METHOD
WO2022092627A1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
WO2016048088A1 (en) Medical imaging apparatus and control method thereof
WO2021242053A1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2022014965A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2022035221A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2022164175A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법
WO2024075971A1 (ko) 교정 치료 계획 생성 방법 및 그 장치
WO2022092802A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
WO2016148351A1 (ko) 의료 영상 재구성 장치 및 그 방법
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2023277391A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2023282619A1 (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치
WO2023059167A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2023038455A1 (ko) 구강 이미지를 처리하는 방법 및 데이터 처리 장치
WO2022019647A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2022031022A1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2023059166A1 (ko) 구강 이미지를 처리하는 방법 및 데이터 처리 장치
WO2022203305A1 (ko) 데이터 처리 장치 및 데이터 처리 방법
WO2020185015A1 (ko) 치아 보철 제조를 위한 3차원 스캔 데이터 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21814563

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021814563

Country of ref document: EP

Effective date: 20230102