WO2024122875A1 - 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치 - Google Patents

딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2024122875A1
WO2024122875A1 PCT/KR2023/016732 KR2023016732W WO2024122875A1 WO 2024122875 A1 WO2024122875 A1 WO 2024122875A1 KR 2023016732 W KR2023016732 W KR 2023016732W WO 2024122875 A1 WO2024122875 A1 WO 2024122875A1
Authority
WO
WIPO (PCT)
Prior art keywords
crown
occlusal
image
generating
mesh
Prior art date
Application number
PCT/KR2023/016732
Other languages
English (en)
French (fr)
Inventor
김준휘
이상윤
이지민
노정현
김정예
이정목
Original Assignee
주식회사 스타인펠드
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스타인펠드, 울산과학기술원 filed Critical 주식회사 스타인펠드
Publication of WO2024122875A1 publication Critical patent/WO2024122875A1/ko

Links

Images

Definitions

  • the present invention relates to a method for generating a 3D mesh of the occlusal surface of a crown using deep learning and a device using the same, which generates a 2D depth image of the crown area using oral 3D scan data including the crown area where the crown is to be formed, and Using the 2D depth image on the face side, create an image with the crown boundary clearly marked, and using both the 2D depth image on the occlusal side and the depth image with the crown boundary marked, create a 2D depth image on the occlusal side with wrinkle details emphasized as the output value.
  • Oral prosthetic treatment represented by crowns, inlays, bridges, etc.
  • the crown procedure is a procedure in which a crown, an artificial tooth tailored to the shape of the customer's tooth, is attached to the crown area, which is a preparation area where the damaged part of the tooth is removed.
  • the existing crown procedure obtains the customer's oral 3D scan data and uses a 3D conversion program based on the oral 3D scan data to produce a crown 3D mesh tailored to the customer's oral structure, combining the 3D image with input data. It was being performed through 3D to 3D conversion used as output data.
  • a new method of crown occlusal surface 3D mesh can improve the prediction accuracy of the artificial intelligence model and effectively reduce the required capacity of the processing device.
  • the need for a generation method and a device using the same is emerging.
  • the problem that the present invention aims to solve is to provide a 2D depth image on the occlusal side with improved precision using an image in which the border of the crown on the occlusal side is emphasized, and to improve the similarity with the target image by emphasizing the wrinkle details of the 2D depth image on the occlusal side.
  • the purpose is to provide an artificial intelligence model that generates crown 2D depth images.
  • Another problem that the present invention aims to solve is to generate 3D point cloud data of the crown and a 3D mesh of the crown using a 2D depth image of the crown to be attached to the crown area, so that the processing capacity of the crown occlusal surface 3D mesh generation device is required.
  • the purpose is to effectively reduce.
  • Another problem that the present invention aims to solve is to extract boundary points of the preparation area to create the inner shape of the crown to be joined to the preparation area of the crown area, and to form boundary pillars where the boundary points extend along the vertical axis.
  • the purpose is to increase the degree of correspondence between the preparation area and the 3D shape of the inner surface of the crown by separating the overlapping areas of the border pillar and oral 3D scan data to create the inner shape of the crown.
  • a method for generating a 3D mesh of the occlusal surface of a crown using deep learning includes the steps of (a) generating oral 3D scan data including the crown area, (b) oral Using 3D scan data, generating a plurality of input 2D depth images for the crown area, (c-1) generating an occlusal side crown boundary image using the occlusal side input 2D depth image among the plurality of input 2D depth images.
  • a step of generating an occlusal side output 2D depth image using the image (d) using a plurality of output 2D depth images including the occlusal side output 2D depth image, generating 3D point cloud data of the outer surface of the crown, (e) extracting the preparation area corresponding to the inner surface of the crown from the crown area of the oral 3D scan data and using the preparation area to generate 3D mesh data of the inner surface of the crown, (f) 3D point cloud of the outer surface of the crown It may include extracting a plurality of vertices from each of the data and 3D mesh data of the inner surface of the crown, and (g) generating a 3D image of the crown using the plurality of vertices.
  • the details of the wrinkles on the occlusal side of the crown are strengthened to provide a crown depth image with improved similarity to the target image. Furthermore, the memory limitation problem of the crown occlusal 3D mesh generation device using a deep learning method is effectively improved and processed. The required capacity can be effectively reduced.
  • the present invention can further improve the prediction accuracy of an artificial intelligence model that generates multiple output 2D depth images.
  • the present invention can effectively reduce the required memory capacity of the processing device required in the process of generating the crown 3D mesh, allowing deep learning-based crown occlusal surface 3D mesh generation to be efficiently performed.
  • Figure 1 is a flowchart of a crown occlusal surface 3D mesh generation method using deep learning according to an embodiment of the present invention.
  • Figure 2 is a diagram illustrating a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • Figure 3 is a diagram for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • Figure 4 is a diagram for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • Figure 5 is a diagram for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • Figure 6 is a diagram for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • Figure 7 is a diagram for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • Figure 8 is a diagram for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • first, second, etc. are used to describe various elements, these elements are not limited by these terms. These terms are merely used to distinguish one component from another. Accordingly, the first component mentioned below may also be the second component within the technical spirit of the present invention.
  • Figure 1 is a flowchart of a crown occlusal surface 3D mesh generation method using deep learning according to an embodiment of the present invention.
  • Figures 2 to 8 are diagrams for explaining a method for generating a crown occlusal surface 3D mesh using deep learning and a device using the same according to an embodiment of the present invention.
  • the crown occlusal surface 3D mesh generating device uses the customer's oral 3D scan data to create a 3D image of the crown 102 corresponding to the crown area 101 included in the oral 3D scan data.
  • 3 Dimensional This is a device that creates a mesh image.
  • the crown area 101 may be an area corresponding to an empty area where no teeth exist in the oral 3D scan data, and a preparation area on which the crown 102 will be placed may exist in the crown area 101.
  • the crown 102 is an artificial tooth that corresponds to the crown area 101 and serves as the customer's tooth, and is formed to correspond to the preparation area of the crown area 101 and may be configured to contact and attach to the preparation area. .
  • the crown occlusal surface 3D mesh generation device can create a crown 3D mesh using oral 3D scan data of the customer's oral cavity, and users using the crown occlusal surface 3D mesh generation device can use the crown 3D mesh to create a crown (102 ) can be manufactured, and the manufactured crown 102 can be attached to the preparation area of the customer's mouth.
  • the crown occlusal surface 3D mesh generating device generates oral 3D scan data including the crown area 101 (S110).
  • the crown occlusal surface 3D mesh generating device generates a plurality of input 2D depth images for the crown area 101 using oral 3D scan data (S120).
  • the crown occlusal surface 3D mesh generation device can generate 2D (2 Dimensional) 2D depth images in different directions for the crown area 101 using oral 3D scan data.
  • a 2D depth image is a two-dimensional image, not three-dimensional, and may be an image that can express the distance between a point corresponding to each pixel and a reference point (viewpoint) using the brightness of each pixel. As shown in FIG. 3, the 2D depth image may be displayed brightly as the distance to the reference point becomes shorter, and may be displayed as darker as the distance to the reference point increases. However, the 2D depth image is not limited to this, and unlike FIG. 3, the 2D depth image may be displayed brightly as the distance to the reference point increases, and may be displayed in a duller manner as the distance to the reference point increases.
  • the plurality of input 2D depth images generated by the crown occlusal surface 3D mesh generation device using oral 3D scan data are lingual, buccal, and occlusal, respectively, based on the crown area 101. It may include an image corresponding to .
  • the lingual input 2D depth image may be a 2D depth image generated from the direction in which the crown area 101 of the oral 3D scan data is viewed from the reference point where the tongue is located in the oral cavity.
  • the cheek-side input 2D depth image is the direction in which the crown area 101 of the oral 3D scan data is viewed from the reference point where the cheek adjacent to the crown area 101 is located, that is, the reference point where the tongue is located. It may be a 2D depth image generated in a direction opposite to the direction viewed from.
  • the occlusal side input 2D depth image is the occlusal surface of the crown 102 to be created later to correspond to the crown area 101 of the oral 3D scan data (i.e., the crown 102 during the masticatory movement) It may be a 2D depth image for oral 3D scan data generated in a direction toward the crown 102 perpendicular to the occlusal surface of the crown 102 where the opposite tooth to be in contact with the crown 102 will be in contact with the crown 102.
  • the occlusal side direction which is a direction perpendicular to the occlusal surface and toward the crown 102, may be perpendicular to the lingual direction and may also be perpendicular to the buccal direction.
  • the crown occlusal surface 3D mesh generation device can generate multiple input 2D depth images, which are 2D images in three different directions, using oral 3D scan data, which is a 3D image.
  • the crown occlusal surface 3D mesh generating device generates a plurality of input 2D depth images in three different directions, and also generates input 3D coordinate data for each of a plurality of pixels included in the input 2D depth image. can do.
  • the input 3D coordinate data is a three-dimensional position on each oral 3D scan data of a plurality of pixels included in the input 2D depth image (for example, it may be a plurality of pixels included in the crown area 101), that is, 3 May include dimensional coordinate information.
  • the crown occlusal surface 3D mesh generating device can generate 3D position information of a plurality of pixels included in the input 2D depth image by generating input 3D coordinate data for each of the plurality of input 2D depth images.
  • the crown occlusal surface 3D mesh generating device uses a plurality of input 2D depth images for the crown area 101 to create a plurality of crowns 102 corresponding to the crown area 101. Generates an output 2D depth image.
  • the output 2D depth image is a 2D depth image of the crown 102 to be generated to correspond to the crown area 101, and may be a 2D depth image needed to generate a crown 3D mesh, which will be described later.
  • the plurality of output 2D depth images may include 2D depth images corresponding to each of the lingual, buccal, and occlusal sides based on the crown area 101. That is, the plurality of output 2D depth images include a lingual output 2D depth image as shown in Figure 5(a), a buccal side output 2D depth image as shown in Figure 5(b), and an occlusal side output 2D depth image as shown in Figure 5(c). It can be included. Next, the process of generating a plurality of output 2D depth images will be described in detail.
  • the crown occlusal surface 3D mesh generation device generates the occlusal surface side crown boundary image using the occlusal side input 2D depth image (S131).
  • FIG. 4(a) is an occlusal side input 2D depth image
  • FIG. 4(b) is an occlusal image generated using the occlusal side input 2D depth image. It may be a face-side crown border image.
  • the occlusal side crown boundary image may be an image showing the boundary on the occlusal side (on the occlusal side plane) of the crown 102 to be covered in the crown area 101.
  • the occlusal side crown boundary image may be an image in which the boundary portion of the crown 102, which will correspond to the crown area 101, is viewed perpendicularly to the occlusal side plane. Accordingly, the occlusal side crown border image may be white with a pixel value of 1 for the portion corresponding to the crown 102, and black with a pixel value of 0 for the remaining portions except for the portion corresponding to the crown 102. It can take.
  • the artificial intelligence model of the crown occlusal surface 3D mesh generation device uses the occlusal side input 2D depth image as the input value and the target occlusal side crown boundary image as the target image in the direction of reducing the difference between the output value and the target image through deep learning. It can be learned.
  • the target image, the crown boundary image on the occlusal side is an image in which each pixel value of the 2D depth image on the occlusal side of the target crown is changed to 1 for pixels between 0.1 and 1 and changed to 0 for pixels between 0 and 0.1. It can be.
  • These artificial intelligence models can use L1 Loss as a loss function during the learning process.
  • the crown occlusal surface 3D mesh generation device generates a preliminary 2D depth image on the occlusal surface using the occlusal side input 2D depth image and the occlusal side crown boundary image (S132). Specifically, the generator of the crown occlusal surface 3D mesh generation device uses both the occlusal side input 2D depth image as shown in Figure 4(a) and the occlusal side crown boundary image as shown in Figure 4(b), A preliminary 2D depth image of the occlusal side, such as c), can be created.
  • the crown occlusal surface 3D mesh generation device can effectively set the occlusal surface side boundary (border) of the crown 102 using the occlusal side crown boundary image, and thus, the boundary (border) of the occlusal side preliminary 2D depth image and The degree of coincidence with the boundary (border) of the 2D depth image on the occlusal side of the actual crown 102 can be improved.
  • the occlusal side preliminary 2D depth image may be an image in which pixel values are adjusted to maximize wrinkle details (details) on the occlusal side of the crown 102.
  • the crown occlusal 3D mesh generation device can adjust the initial pixel values of the occlusal side preliminary 2D depth image.
  • the initial pixel values may be values between 0 and 1, where 1 may represent white and 0 may represent black.
  • the crown occlusal surface 3D mesh generation device can generate pixel values of the occlusal side preliminary 2D depth image by subtracting 0.5 from the initial pixel values, multiplying by 2, and then selecting only 0 and positive numbers excluding negative numbers. That is, each pixel value of the occlusal side preliminary 2D depth image may mean a pixel value obtained by subtracting 0.5 from the initial pixel value and multiplying the value by 2, replacing the negative number with 0.
  • wrinkle details (details) of the occlusal side preliminary 2D depth image can be further emphasized compared to the depth image corresponding to the initial pixel value. That is, in the 2D depth image of the occlusal side of the crown 102, wrinkle details can be expressed by differences in pixel values, and the difference in pixel values corresponding to the curvature of the wrinkles increases, so that the occlusal side as shown in Figure 4(c). Wrinkle details in the preliminary 2D depth image can be further emphasized.
  • the artificial intelligence model of the crown occlusal 3D mesh generation device performing step (S132) can use a discriminator in the learning process, and can use all of L1 loss, GAN loss, and Perceptual loss as loss functions. . That is, the loss function of the artificial intelligence model may include all L1 loss, GAN loss, and Perceptual loss.
  • the crown occlusal surface 3D mesh generating device generates an occlusal surface output 2D depth image using the occlusal surface side preliminary 2D depth image and the occlusal surface side crown boundary image (S133).
  • the occlusal side output 2D depth image may mean an image in which the wrinkle details (details) emphasized in the occlusal side preliminary 2D depth image have been changed to the original data range.
  • the crown occlusal surface 3D mesh generation device divides each pixel value of the occlusal side preliminary 2D depth image as shown in Figure 4(c) by 2 and adds 0.5, and then creates the occlusal value between each pixel value of the image and the occlusal surface as shown in Figure 4(b).
  • each pixel value corresponding to the face-side crown boundary image can be multiplied, and as a result, each pixel value of the occlusal-side output 2D depth image as shown in FIGS. 4(d) and 5(c) can be generated.
  • each pixel value of the occlusal side output 2D depth image may be the result of dividing each pixel value of the occlusal side preliminary 2D depth image by 2 and adding 0.5, and in addition, by multiplying each pixel value of the occlusal side crown border image. Areas outside the boundaries of the crown can be removed.
  • Table 1 shows various metrics of the artificial intelligence model of the present invention ( This is a table for comparison of Metric values.
  • the metric values of MSE, PSNR, SSIM, DICE, and IOU were selected and compared.
  • the metric result of the artificial intelligence model of the present invention is a highly accurate value compared to other research results that generate lingual and buccal 2D depth images as well as occlusal 2D depth images, and can be interpreted as a value that proves the effectiveness of the present invention. You can.
  • the crown occlusal surface 3D mesh generating device can generate an output 2D depth image of the crown 102 viewed from the lingual side using the lingual input 2D depth image.
  • the crown occlusal surface 3D mesh generating device can generate an output 2D depth image of the crown 102 viewed from the cheek side using the cheek side input 2D depth image.
  • the crown occlusal surface 3D mesh generating device can generate a plurality of output 2D depth images using a plurality of input 2D depth images, which are 2D images of the crown area 101.
  • the process of generating an output 2D depth image using the input 2D depth image of the crown occlusal surface 3D mesh generation device that is, creating a virtual crown (102) using the 2D depth image of the crown area (101) where the crown (102) does not exist.
  • the process of generating a 2D depth image uses a plurality of 2D depth images (2D depth images for the crown area 101 and the corresponding crown 102) accumulated in the storage of the crown occlusal surface 3D mesh generation device. This can be performed using an image transformation model learned using deep learning.
  • the process of generating the output 2D depth image of the crown occlusal surface 3D mesh generating device is not limited to this, and may be implemented in various ways as needed.
  • the crown occlusal surface 3D mesh generating device generates a plurality of output 2D depth images of the crown 102, using both a plurality of input 2D depth images and input 3D coordinate data to generate a plurality of output 2D depth images. You can also create images. Specifically, the crown occlusal surface 3D mesh generation device can generate lingual and buccal output 2D depth images using the lingual input 2D depth image, lingual input 3D coordinate data, buccal input 2D depth image, and buccal input 3D coordinate data. Additionally, the crown occlusal surface 3D mesh generation device can generate an occlusal surface output 2D depth image using the occlusal surface side input 2D depth image and the occlusal surface side input 3D coordinate data.
  • the output 2D depth image is generated using both the input 2D depth image and the input 3D coordinate data including the 3D position information of each pixel of the input 2D depth image, so that the output 2D depth of the crown 102 is more accurately positioned.
  • An image can be created.
  • the crown occlusal surface 3D mesh generating device generates a plurality of output 2D depth images in three different directions, together generating output 3D coordinate data for each of a plurality of pixels included in the output 2D depth image. can do.
  • the output 3D coordinate data may be a plurality of pixels included in the output 2D depth image (e.g., may be a plurality of pixels included in the crown 102) and a three-dimensional position on each output 2D depth image, that is, a three-dimensional May include coordinate information.
  • the crown occlusal surface 3D mesh generating device can generate 3D position information of a plurality of pixels included in the output 2D depth image by generating output 3D coordinate data for each of the plurality of output 2D depth images.
  • the crown occlusal surface 3D mesh generating device generates 3D point cloud data of the outer surface of the crown 102 using a plurality of output 2D depth images (S140).
  • a point cloud may mean a plurality of points spread out in three-dimensional (3D) space, and the 3D point cloud data on the outer surface of the crown 102 is on the outer surface of the crown 102. It may refer to a set of corresponding point clouds.
  • the crown occlusal surface 3D mesh generation device can generate outer surface 3D point cloud data, which is 3D data, using the output 2D depth image of the crown 102 created using the previous steps.
  • the crown occlusal surface 3D mesh generation device uses a plurality of output 2D depth images to create a first 3D image of the outer surface of the crown 102 corresponding to the lingual side, buccal side, and occlusal side, respectively.
  • Point cloud data can be generated.
  • the plurality of output 2D depth images may be composed of output 2D depth images of the tongue, cheek, and occlusal sides in different directions.
  • the crown occlusal surface 3D mesh generation device generates 3D point cloud data for each of the lingual, buccal, and occlusal sides through each of the plurality of output 2D depth images, which are 2D images, and combines these data to create the first 3D of the outer surface of the crown 102.
  • Point cloud data can be generated.
  • the first 3D point cloud data may include only data on the lingual side, buccal side, and occlusal side. That is, the first 3D point cloud data may not include 3D point cloud data for the direction in which the crown area 101 is viewed from the tooth adjacent to the crown area 101.
  • the crown occlusal surface 3D mesh generation device uses the first 3D point cloud data to create a second 3D mesh of the outer surface of the crown 102 corresponding to the direction of the tooth adjacent to the crown area 101.
  • Point cloud data can be generated.
  • the direction of the tooth adjacent to the crown area 101 is two directions (mesial, distal). If the crown 102 corresponding to the crown area 101 is placed adjacent to only one tooth, the direction of the tooth adjacent to the crown area 101 is two directions perpendicular to all of the lingual direction, buccal direction, and occlusal direction. It can mean direction.
  • the second 3D point cloud data may be a set of point clouds of the outer surface of the crown 102 in two directions perpendicular to all of the lingual direction, buccal direction, and occlusal direction (the two directions are opposite directions).
  • the process of generating second 3D point cloud data using the first 3D point cloud data of the crown occlusal surface 3D mesh generation device is performed on a plurality of teeth or crowns 102 accumulated in the storage of the crown occlusal surface 3D mesh generation device. It can be performed by a point cloud extraction model learned through deep learning using ground truth. When the point cloud extraction model uses point clouds on the lingual, buccal, and occlusal sides of a plurality of teeth or the crown 102 as input data, the point cloud on the adjacent tooth side (mesial, distal) of the plurality of teeth or the crown 102 is used as output data. It can be learned using a deep learning method to extract it.
  • the process of generating the second 3D point cloud data of the crown occlusal surface 3D mesh generating device is not limited to this and may be implemented in various ways as needed.
  • the crown occlusal surface 3D mesh generating device may generate 3D point cloud data of the outer surface of the crown 102 by combining the first 3D point cloud data and the second 3D point cloud data.
  • the crown occlusal 3D mesh generation device combines the first 3D point cloud data, which is a set of lingual, buccal, and occlusal point clouds, and the second 3D point cloud data, which is a set of two adjacent tooth-side point clouds, to create the crown 102.
  • 3D point cloud data can be generated from the outer surface of .
  • the outer surface 3D point cloud data of the crown 102 includes a total of six views (i.e., lingual side, buccal side, occlusal side, two adjacent teeth sides, top, bottom, right, left, front, and back) in three-dimensional space. It may include 3D point cloud data from five views: the tongue side, the buccal side, the occlusal side, and the sides of two adjacent teeth, excluding the case where the crown 102 is viewed from the root side of the tooth (root side of the tooth). However, 3D point cloud data on the outer surface of the crown 102 may not include a set of point clouds on the inner surface of the crown 102, which is the area where the crown 102 and the preparation area contact.
  • the crown occlusal surface 3D mesh generating device generates the outer surface 3D point cloud data of the crown 102 by using both the output 2D depth image and the output 3D coordinate data to generate the outer surface 3D points of the crown 102. You can also create cloud data.
  • a point cloud of the outer surface of the crown 102 is created using both the output 2D depth image and the output 3D coordinate data including the 3D position information of each pixel of the output 2D depth image, thereby creating a more accurate location of the outer surface of the crown 102.
  • a point cloud may be created.
  • the crown occlusal surface 3D mesh generation device extracts the preparation area corresponding to the inner surface of the crown 102 from the crown area 101 of the oral 3D scan data, and uses the preparation area to 3D mesh data of the inner surface of the crown 102 is generated (S150).
  • the preparation area may refer to a surface area of the crown area 101 where the crown 102 will be contacted and attached. That is, the crown 102 generated by the crown occlusal surface 3D mesh generation method according to an embodiment of the present invention may contact the preparation area and be attached to the preparation area. Accordingly, the inner surface of the crown 102 that will contact the preparation area may need to be created to correspond to the shape of the preparation area.
  • the crown occlusal surface 3D mesh generating device uses oral 3D scan data to create boundary points 103 (points) corresponding to the boundary line between the preparation area and the area surrounding the preparation area. ) can be extracted.
  • the preparation area is an area where the crown 102 will be placed, and there may be a gum area surrounding the preparation area and adjacent to the tooth.
  • the crown occlusal surface 3D mesh generation device can use oral 3D scan data to generate a plurality of boundary points 103, which are a set of points arranged along the boundary between the gum area surrounding the preparation area and the preparation area.
  • the crown occlusal surface 3D mesh generation device can generate a plurality of boundary points 103 using oral 3D scan data, but is not limited to this, and as an external device, a plurality of boundary points 103 are expressed in oral 3D scan data. You can also receive input data.
  • the crown occlusal surface 3D mesh generating device may generate the boundary pillar 104 by extending the boundary point 103 in a direction perpendicular to the occlusal surface of the crown 102.
  • the crown occlusal surface 3D mesh generating device may extend the boundary points 103 in a first direction D, which is a direction perpendicular to the occlusal surface of the crown 102 and away from the preparation area. Accordingly, the boundary points 103 may form a boundary pillar 104 that is a pillar extending in the first direction (D).
  • the axis of the border post 104 may be perpendicular to the occlusal surface of the crown 102.
  • the crown occlusal surface 3D mesh generation device can generate mesh data of the inner surface of the crown 102 by extracting the intersection surface of the space of the boundary pillar 104 and the oral 3D scan data as a preparation area. there is.
  • the crown occlusal surface 3D mesh generation device can generate the boundary pillar 104 by extending the boundary point 103 in the first direction (D), and the inner space of the boundary pillar 104 intersects the oral 3D scan data. Surfaces can be extracted separately from oral 3D scan data. In this way, the intersection of the inner space of the boundary pillar 104 and the oral 3D scan data may mean the preparation area, and the crown occlusal surface 3D mesh generation device can separate and extract only the preparation area from the oral 3D scan data through this process. You can.
  • the crown occlusal surface 3D mesh generation device can generate 3D mesh data of the inner surface of the crown 102 using preparation area data separated from oral 3D scan data.
  • 3D mesh data is a set containing a plurality of points distributed on the surface of the preparation area and a plurality of lines connecting the plurality of points, and is data that can express the 3D surface in detail by forming a net-like shape. You can.
  • the crown occlusal surface 3D mesh generating device generates a plurality of vertices ( Vertex) is extracted (S160).
  • the crown occlusal surface 3D mesh generation device can extract a plurality of vertices, which are a plurality of points (vertices) for constructing a 3D image, from the 3D point cloud data of the outer surface of the crown 102 generated in step S140. . Additionally, the crown occlusal surface 3D mesh generating device may extract a plurality of vertices for constructing a 3D image from a plurality of points included in the inner surface 3D mesh data of the crown 102 generated in step S150.
  • the crown occlusal surface 3D mesh generation device can generate a plurality of vertices to form a crown 3D mesh by combining a plurality of vertices extracted from each of the 3D point cloud data of the outer surface and the 3D mesh data of the inner surface of the crown 102.
  • the crown occlusal surface 3D mesh generating device generates a crown 3D mesh using a plurality of vertices (S170).
  • two-dimensional data such as oral 3D scan data generated by scanning the customer's oral cavity
  • Multiple input depth data can be generated
  • multiple output depth data of the crown 102 which is two-dimensional data
  • the outer surface of the crown 102 can be generated using the multiple output depth data.
  • 3D point cloud data can be generated. This 3D point cloud data of the outer surface of the crown 102 may constitute the outer surface of the crown 3D mesh.
  • Crown 3D mesh is data consisting of 100,000 points and 250,000 faces on average.
  • the method of directly creating a high-resolution crown 3D mesh using oral 3D scan data is not easy to implement due to capacity limitations of processing devices such as GPUs. There may be problems that cannot be resolved.
  • the crown occlusal surface 3D mesh generation method and device using the same convert oral 3D scan data into depth data and generate a crown 3D mesh using the depth data, as described above.
  • a high-resolution crown 3D mesh can be created even with a small capacity.
  • the crown occlusal surface 3D mesh generation method and the device using the same use boundary points ( 103) may be extracted and the boundary point 103 may be extended to create a boundary pillar 104.
  • the crown occlusal surface 3D mesh generation device can extract the overlapping surface of the boundary pillar 104 and oral 3D scan data as a preparation area.
  • the crown occlusal surface 3D mesh generating device includes the occlusal surface side output 2D depth image among the plurality of output 2D depth images containing shape data of other teeth excluding the crown area 101. It can be created using
  • the occlusal side output 2D depth image may be more important in determining the shape of the occlusal surface of the crown 102 compared to the occlusal depth image output in other directions.
  • the shape of the occlusal surface of the crown 102 may be influenced by the shape of other adjacent teeth, the shape of the occlusal surface of the opposite tooth that contacts the crown 102 during the mastication movement, etc.
  • the degree of depression of the occlusal surface of the crown 102 i.e., the difference between the maximum and minimum heights of the occlusal surface of the crown 102
  • the depression ratio i.e., the maximum height of the occlusal surface of the crown 102 ratio of the difference between the maximum height and the minimum height
  • the recessed angle i.e., the straight line connecting the point with the maximum height and the point with the minimum height of the occlusal surface of the crown 102 forms the bottom surface of the crown 102) angle
  • the maximum height of the crown 102, the minimum height of the crown 102, the width of the crown 102 i.e., the width of the crown 102 based on the axis connecting the lingual side and the buccal side
  • the crown occlusal surface 3D mesh generating device is used to create a crown occlusal surface 3D mesh on other teeth of the customer for which oral 3D scan data has been acquired, that is, teeth other than the crown area 101 where the crown 102 is to be formed, for example, the crown area 101.
  • Shape data of other teeth arranged symmetrically to the corresponding tooth may be stored. Shape data may include the degree of depression, depression ratio, depression angle, maximum height, minimum height, width, etc. of other symmetrically arranged teeth.
  • the crown occlusal surface 3D mesh generation device can correct the occlusal side output 2D depth image using the shape data of other symmetrically arranged teeth.
  • the crown occlusal surface 3D mesh generating device outputs a plurality of 2D depth images, in particular, the occlusal side output 2D depth image among them is the volume of the crown area 101, the horizontal It may be generated by further using data on at least one of length and vertical length.
  • the crown occlusal surface 3D mesh generation device can be used to generate an output 2D depth image of the crown 102 by using various information about the crown area 101 of oral 3D scan data as input data.
  • the crown area 101 is an area where the crown 102 will be applied and may mean an area where a preparation area of oral 3D scan data exists.
  • the crown occlusal surface 3D mesh generating device generates the volume of the crown area 101, the horizontal length of the crown area 101 (i.e., the crown area 101 and Minimum length of the crown area 101 relative to an axis parallel to a straight line connecting two other adjacent teeth, or minimum separation distance between the crown area 101 and two other adjacent teeth), of the crown area 101 Data may be generated for at least one of the vertical lengths (i.e., the maximum length or height of the crown area 101 based on an axis perpendicular to the occlusal surface of the crown 102).
  • the shape of the crown 102 can be determined by the volume, horizontal length, and vertical length of the crown area 101, and the crown occlusal surface 3D mesh generation device creates the crown ( 102) can generate an output 2D depth image.
  • the crown occlusal surface 3D mesh generating device in steps S131 to S133, generates a plurality of output 2D depth images, especially the occlusal surface side output 2D depth image, using the customer's past crown 102 creation data. It can be created using
  • the crown occlusal surface 3D mesh generating device may store data related to the customer's previously created crown 102. When the crown occlusal surface 3D mesh generating device generates the customer's crown 102 again, it can use stored data related to the previously created crown 102.
  • the crown occlusal surface 3D mesh generation device When it is necessary to create a crown 102 with the same tooth number as the previously created crown 102, the crown occlusal surface 3D mesh generation device generates a plurality of output 2D depth images, using a plurality of previously generated output 2D images. Comparison data between a depth image and a plurality of newly generated output 2D depth images can be generated. In addition, when the difference between the past output 2D depth image and the newly generated output 2D depth image included in the comparison data exceeds the preset difference, the crown occlusal 3D mesh generation device generates the portion where the difference exceeds the preset difference. The newly created output 2D depth image can be corrected. Accordingly, a crown 102 of a more accurate shape can be created using data related to the customer's previously created crown 102.
  • a method of generating a crown occlusal surface 3D mesh using deep learning includes the steps of (a) generating oral 3D scan data including the crown area, (b) using the oral 3D scan data, crown area A step of generating a plurality of input 2D depth images for, (c-1) a step of generating an occlusal side crown boundary image using the occlusal side input 2D depth image among the plurality of input 2D depth images, (c-2) occlusal side Step of generating an occlusal side preliminary 2D depth image using the occlusal side input 2D depth image and occlusal side crown boundary image, (c-3) occlusal side output 2D depth using the occlusal side preliminary 2D depth image and occlusal side crown boundary image Generating an image, (d) generating 3D point cloud data of the outer surface of the crown using a plurality of output 2D depth images including an occlusal side output 2D depth image, (e) crown of oral 3D scan
  • the occlusal side crown boundary image may be an image in which the occlusal side crown area and the remaining area are distinguished.
  • each pixel value of the occlusal side preliminary 2D depth image may be a result of subtracting 0.5 from the initial pixel value and then multiplying by 2, and only 0 and positive numbers excluding negative numbers are selected.
  • the loss function of the artificial intelligence model performing step (c-1) may include L1 loss.
  • the loss function of the artificial intelligence model performing step (c-2) may include all L1 loss, GAN loss, and Perceptual loss.
  • each pixel value of the occlusal side output 2D depth image may be the result of dividing each pixel value of the occlusal side preliminary 2D depth image by 2 and adding 0.5.
  • step (d) uses a plurality of output 2D depth images to generate first 3D point cloud data of the outer surface of the crown corresponding to each of the lingual side, buccal side, and occlusal side, Using the first 3D point cloud data to generate second 3D point cloud data of the outer surface of the crown corresponding to the crown area and the direction of the adjacent tooth, and combining the first 3D point cloud data and the second 3D point cloud data It may include generating 3D point cloud data of the outer surface of the crown.
  • step (e) uses oral 3D scan data to extract a boundary point corresponding to the boundary line between the preparation area and the area surrounding the preparation area, the occlusal surface of the crown and
  • the method may further include generating a boundary pillar by extending the boundary point in a vertical direction, and extracting a surface where the space of the boundary pillar intersects the oral 3D scan data to generate 3D mesh data of the inner surface of the crown.
  • a crown occlusal surface 3D mesh generation device using deep learning generates oral 3D scan data including the crown area, and uses the oral 3D scan data to determine a plurality of input 2D depths for the crown area. Create an image, create an occlusal side crown boundary image using the occlusal side input 2D depth image among multiple input 2D depth images, and use the occlusal side input 2D depth image and occlusal side crown boundary image to determine the occlusal side preliminary 2D depth.
  • Generate an image generate an occlusal-side output 2D depth image using the occlusal-side preliminary 2D depth image and the occlusal-side crown boundary image, and use multiple output 2D depth images including the occlusal-side output 2D depth image to create the crown.
  • Create 3D point cloud data of the outer surface extract the preparation area corresponding to the inner surface of the crown from the crown area of the oral 3D scan data, use the preparation area to generate 3D mesh data of the inner surface of the crown, and extract the preparation area corresponding to the inner surface of the crown from the crown area of the oral 3D scan data.
  • a plurality of vertices can be extracted from each of the 3D point cloud data and the 3D mesh data of the inner surface of the crown, and a 3D image of the crown can be generated using the plurality of vertices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Optics & Photonics (AREA)

Abstract

본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법은 (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계, (b) 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계, (c-1) 복수의 입력 2D 깊이 이미지 중 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성하는 단계, (c-2) 교합면측 입력 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성하는 단계, (c-3) 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성하는 단계, (d) 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계, (e) 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계, (f) 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계, 및 (g) 복수의 버텍스를 이용하여 크라운의 3D 이미지를 생성하는 단계를 포함할 수 있다. 이에, 크라운의 교합면측 주름 디테일이 강화되어 타겟 이미지와의 유사성이 향상된 크라운 깊이 이미지를 제공할 수 있으며, 나아가, 딥러닝 방식을 이용한 크라운 교합면 3D 메쉬 생성 장치의 메모리 한계 문제를 효과적으로 개선하고 프로세싱 필요 용량을 효과적으로 저감시킬 수 있다.

Description

딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치
본 발명은 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치에 관한 것으로서, 크라운이 형성되어야 할 크라운 영역을 포함하는 구강 3D 스캔 데이터를 이용하여 크라운 영역의 2D 깊이 이미지를 생성하고, 교합면측의 2D 깊이 이미지를 이용하여 크라운의 경계가 명확하게 표기된 이미지를 생성하고, 교합면측 2D 깊이 이미지와 크라운의 경계가 표시된 깊이 이미지 모두를 이용하여 주름 디테일이 강조된 교합면측 2D 깊이 이미지를 출력값으로 생성하며, 이를 이용하여 크라운의 3D 포인트 클라우드, 나아가 크라운의 3D 메쉬를 생성함에 따라, 3D to 3D 변환을 수행하지 않고 크라운 3D 메쉬를 획득할 수 있고, 이에, 크라운의 교합면측 주름 디테일이 강화되어 타겟 이미지와의 유사성이 향상된 크라운 깊이 이미지를 제공할 수 있으며, 나아가, 딥러닝 방식을 이용한 크라운 교합면 3D 메쉬 생성 장치의 메모리 한계 문제를 효과적으로 개선할 수 있는 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치에 관한 것이다.
크라운, 인레이, 브릿지 등으로 대표되는 구강 보철 치료는 전체 치과 시술의 대부분을 차지하고 있는 보편적인 시술이다. 이들 중 크라운 시술은 치아의 손상된 부분을 제거한 프렙 영역인 크라운 영역에 고객의 치아 형태에 맞추어진 인공 치아인 크라운을 부착하는 시술이다. 기존의 크라운 시술은 고객의 구강 3D 스캔 데이터를 획득하고, 구강 3D 스캔 데이터를 기초로 3D 변환 프로그램 등을 이용하여 고객의 구강 구조에 맞추어진 크라운 3D 메쉬를 제작하는 등, 3D 이미지를 입력 데이터와 출력 데이터로 활용하는 3D to 3D 변환에 의하여 수행되고 있었다.
그러나, 크라운 3D 메쉬의 생성이 딥러닝 등과 같은 학습 방법에 의하여 구현되는 과정에서 GPU 등의 처리 장치의 메모리 용량의 부족이 문제되고 있으며, 인공지능 모델에 의하여 2D 깊이 이미지를 생성하는 과정에서 예측 정확도를 보다 향상시켜야 할 필요성 또한 존재하였다.
따라서, 딥러닝 방식을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치에 있어, 인공지능 모델의 예측 정확도를 향상시키고, 처리 장치의 필요 용량을 효과적으로 저감할 수 있는 새로운 방식의 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치의 필요성이 대두되고 있다.
본 발명이 해결하고자 하는 과제는, 교합면측 크라운의 경계가 강조된 이미지를 이용하여 정밀도가 향상된 교합면측 2D 깊이 이미지를 제공하고, 교합면측 2D 깊이 이미지의 주름 디테일을 강조함으로써 타겟 이미지와의 유사도가 향상된 크라운 2D 깊이 이미지를 생성하는 인공지능 모델을 제공하는 것에 그 목적이 있다.
본 발명이 해결하고자 하는 다른 과제는, 크라운 영역에 부착될 크라운의 2D 깊이 이미지를 이용하여 크라운의 3D 포인트 클라우드 데이터, 및 크라운 3D 메쉬를 생성함에 따라, 크라운 교합면 3D 메쉬 생성 장치의 프로세싱 필요 용량을 효과적으로 저감하는데 그 목적이 있다.
본 발명이 해결하고자 하는 또 다른 과제는, 크라운 영역의 프렙 영역과 접합될 크라운의 내면의 형상을 생성하기 위하여 프렙 영역의 경계 포인트를 추출하고, 경계 포인트가 세로 축으로 연장된 경계 기둥을 형성하여 경계 기둥과 구강 3D 스캔 데이터의 중첩 영역을 분리하여 크라운의 내면의 형상을 생성함으로써, 프렙 영역과 크라운 내면의 3D 형상 사이의 일치도를 증가시키는데 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법은 (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계, (b) 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계, (c-1) 복수의 입력 2D 깊이 이미지 중 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성하는 단계, (c-2) 교합면측 입력 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성하는 단계, (c-3) 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성하는 단계, (d) 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계, (e) 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계, (f) 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계, 및 (g) 복수의 버텍스를 이용하여 크라운의 3D 이미지를 생성하는 단계를 포함할 수 있다. 이에, 크라운의 교합면측 주름 디테일이 강화되어 타겟 이미지와의 유사성이 향상된 크라운 깊이 이미지를 제공할 수 있으며, 나아가, 딥러닝 방식을 이용한 크라운 교합면 3D 메쉬 생성 장치의 메모리 한계 문제를 효과적으로 개선하고 프로세싱 필요 용량을 효과적으로 저감시킬 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명은 복수의 출력 2D 깊이 이미지를 생성하는 인공지능 모델의 예측 정확도가 보다 향상될 수 있다.
본 발명은 크라운 3D 메쉬를 생성하는 과정에서 필요로 하는 처리 장치의 필요 메모리 용량를 효과적으로 저감시켜 딥러닝 방식의 크라운 교합면 3D 메쉬 생성이 효율적으로 수행될 수 있도록 할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 6는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
소자 또는 층이 다른 소자 또는 층 "위 (on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법의 흐름도이다. 도 2 내지 도 8은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 1 내지 도 8을 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 고객의 구강 3D 스캔 데이터를 이용하여 구강 3D 스캔 데이터가 포함하는 크라운 영역(101)에 대응되는 크라운(Crown)(102)의 3D(3 Dimensional) 메쉬 이미지를 생성하는 장치이다. 크라운 영역(101)은 구강 3D 스캔 데이터 중 치아가 존재하지 않는 빈 영역에 대응되는 영역일 수 있고, 크라운 영역(101)에는 크라운(102)이 씌여질 프렙(prep) 영역이 존재할 수 있다. 이때, 크라운(102)은 크라운 영역(101)에 대응되어 고객의 치아 역할을 수행할 인공 치아로서, 크라운 영역(101)의 프렙 영역에 대응되도록 형성되어 프렙 영역에 접촉하여 부착되는 구성일 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 고객의 구강을 스캔한 구강 3D 스캔 데이터를 이용하여 크라운 3D 메쉬를 생성할 수 있고, 크라운 교합면 3D 메쉬 생성 장치를 이용하는 사용자는 크라운 3D 메쉬를 이용하여 크라운(102)을 제작하고, 제작된 크라운(102)을 고객의 구강의 프렙 영역에 부착할 수 있다.
이어서, 크라운 교합면 3D 메쉬 생성 장치가 구강 3D 스캔 데이터를 이용하여 크라운 3D 메쉬를 생성하는 구체적인 과정에 대하여 상세히 설명한다.
먼저, 도 1 및 도 2를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 크라운 영역(101)을 포함하는 구강 3D 스캔 데이터를 생성한다(S110).
구체적으로, 구강 3D 스캔 데이터는 도 2(a)에 도시된 것과 같이 크라운(102)이 형성되어야 할 크라운 영역(101)이 포함되도록 고객의 치아를 3D 스캔 장치로 촬영하여 획득된 3D 메쉬 이미지일 수 있다. 본 발명의 일 실시예에 따른 크라운 교합면 3D 메쉬 생성 장치는 도 2(a)와 같은 구강 3D 스캔 데이터의 크라운 영역(101)에 대응되는 도 2(b)에 도시된 것과 같은 크라운(102)의 3D 메쉬를 생성하는 것을 목적으로 한다. 구강 3D 스캔 데이터는 크라운 교합면 3D 메쉬 생성 장치에 의하여 직접 촬영되어 생성될 수 있으나, 이에 제한되지 않으며 크라운 교합면 3D 메쉬 생성 장치는 외부 장치로부터 구강 3D 스캔 데이터를 전달받을 수도 있다.
이어서, 도 1 및 도 3을 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 크라운 영역(101)에 대한 복수의 입력 2D 깊이 이미지를 생성한다(S120).
구체적으로, 크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 크라운 영역(101)에 대한 서로 다른 방향의 2D(2 Dimensional)인 2D 깊이 이미지(Depth Image)들을 생성할 수 있다. 2D 깊이 이미지는 3차원이 아닌 2차원 이미지로서 픽셀 각각의 밝기를 이용하여 각 픽셀에 대응되는 지점과 기준점(시점)까지의 이격 거리를 표현할 수 있는 이미지일 수 있다. 2D 깊이 이미지는 도 3과 같이 기준점까지의 거리가 가까울수록 밝게 표시되고 멀수록 어둡게 표시될 수 있다. 그러나, 이에 제한되지 않고, 2D 깊이 이미지는 도 3과 달리 기준점까지의 거리가 멀수록 밝게 표시되고 가까울수록 어룹게 표시될 수도 있다.
이때, 크라운 교합면 3D 메쉬 생성 장치가 구강 3D 스캔 데이터를 이용하여 생성한 복수의 입력 2D 깊이 이미지는 크라운 영역(101)을 기준으로 혀측(lingual), 볼측(buccal) 및 교합면측(occlusal) 각각에 대응되는 이미지를 포함할 수 있다.
도 3(a)를 참조하면, 혀측 입력 2D 깊이 이미지는 구강 3D 스캔 데이터의 크라운 영역(101)을 구강 내의 혀가 위치하는 기준점에서 바라본 방향에서 생성된 2D 깊이 이미지일 수 있다.
도 3(b)를 참조하면, 볼측 입력 2D 깊이 이미지는 구강 3D 스캔 데이터의 크라운 영역(101)을 크라운 영역(101)과 인접하는 볼이 위치하는 기준점에서 바라본 방향, 즉, 혀가 위치하는 기준점에서 바라본 방향과 반대 방향에서 생성된 2D 깊이 이미지일 수 있다.
도 3(c)를 참조하면, 교합면측 입력 2D 깊이 이미지는 구강 3D 스캔 데이터의 크라운 영역(101)에 대응되도록 추후에 생성될 크라운(102)의 교합면(즉, 저작 운동 중 크라운(102)과 접촉할 반대측 치아와 크라운(102)이 접촉하여 교합될 크라운(102)의 교합면)과 수직으로 크라운(102)을 향하는 방향에서 생성된 구강 3D 스캔 데이터에 대한 2D 깊이 이미지일 수 있다. 교합면과 수직으로 크라운(102)을 향하는 방향인 교합면측 방향은 혀측 방향과 수직일 수 있고, 볼측 방향과도 수직일 수 있다.
이처럼 크라운 교합면 3D 메쉬 생성 장치는 3D 이미지인 구강 3D 스캔 데이터를 이용하여 3가지 상이한 방향의 2D 이미지인 복수의 입력 2D 깊이 이미지를 생성할 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 3가지 상이한 방향의 복수의 입력 2D 깊이 이미지를 생성함에 있어, 입력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 입력 3D 좌표 데이터를 함께 생성할 수 있다. 입력 3D 좌표 데이터는 입력 2D 깊이 이미지가 포함하는 복수의 픽셀(예를 들면, 크라운 영역(101)이 포함하는 복수의 픽셀일 수도 있음) 각각의 구강 3D 스캔 데이터 상에서의 3차원 위치, 즉, 3차원 좌표 정보를 포함할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 이러한 복수의 입력 2D 깊이 이미지 각각에 대한 입력 3D 좌표 데이터를 생성함으로써, 입력 2D 깊이 이미지가 포함하는 복수의 픽셀의 3차원 위치 정보를 생성할 수 있다.
이어서, 도 1 및 도 4를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 크라운 영역(101)에 대한 복수의 입력 2D 깊이 이미지를 이용하여, 크라운 영역(101)에 대응되는 크라운(102)의 복수의 출력 2D 깊이 이미지를 생성한다.
출력 2D 깊이 이미지는 크라운 영역(101)에 대응되도록 생성될 크라운(102)의 2D 깊이 이미지로서, 후술할 크라운 3D 메쉬를 생성하기 위해 필요로 하는 2D 깊이 이미지일 수 있다. 복수의 출력 2D 깊이 이미지는 크라운 영역(101)을 기준으로 혀측(lingual), 볼측(buccal) 및 교합면측(occlusal) 각각에 대응되는 2D 깊이 이미지를 포함할 수 있다. 즉, 복수의 출력 2D 깊이 이미지는 도 5(a)와 같은 혀측 출력 2D 깊이 이미지, 도 5(b)와 같은 볼측 출력 2D 깊이 이미지, 및 도 5(c)와 같은 교합면측 출력 2D 깊이 이미지를 포함할 수 있다. 이어서, 복수의 출력 2D 깊이 이미지를 생성하는 과정에 대하여 상세히 설명한다.
먼저, 크라운 교합면 3D 메쉬 생성 장치는 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성한다(S131). 구체적으로, 도 4(a) 및 도 4(b)를 참조하면, 도 4(a)는 교합면측 입력 2D 깊이 이미지이며, 도 4(b)는 교합면측 입력 2D 깊이 이미지를 이용하여 생성된 교합면측 크라운 경계 이미지일 수 있다. 교합면측 크라운 경계 이미지는 크라운 영역(101)에 씌워질 크라운(102)의 교합면측에서의(교합면측 평면에서의) 경계를 표시한 이미지일 수 있다. 즉, 교합면측 크라운 경계 이미지는 크라운 영역(101)에 대응될 크라운(102)을 교합면측 평면에 수직으로 바라보았을 때 크라운(102)의 경계 부분이 명확하게 표기된 이미지일 수 있다. 이에, 교합면측 크라운 경계 이미지는 크라운(102)에 대응되는 부분은 픽셀값이 1로 표현되어 백색을 띌 수 있고 크라운(102)에 대응되는 부분을 제외한 나머지 부분은 픽셀값이 0으로 표현되어 검정색을 띌 수 있다.
크라운 교합면 3D 메쉬 생성 장치의 인공지능 모델은 교합면측 입력 2D 깊이 이미지를 입력값으로 하고 타겟 교합면측 크라운 경계 이미지를 목표 이미지로 함으로써 딥러닝을 통하여 출력값과 목표 이미지 사이의 차이를 감소시키는 방향으로 학습될 수 있다. 이때, 목표 이미지인 타겟 교합면측 크라운 경계 이미지는 목표가 되는 크라운의 교합면측 2D 깊이 이미지의 각각의 픽셀값을 0.1 내지 1 사이의 픽셀은 1로 변경시키고 0 내지 0.1 사이의 픽셀은 0으로 변경시킨 이미지일 수 있다. 이러한 인공지능 모델은 학습 과정에서 손실 함수로서 L1 손실(L1 Loss)를 이용할 수 있다.
이어서, 크라운 교합면 3D 메쉬 생성 장치는 교합면측 입력 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성한다(S132). 구체적으로, 크라운 교합면 3D 메쉬 생성 장치의 생성자(Generator)는 도 4(a)와 같은 교합면측 입력 2D 깊이 이미지와 도 4(b)와 같은 교합면측 크라운 경계 이미지를 모두 이용하여, 도 4(c)와 같은 교합면측 사전 2D 깊이 이미지를 생성할 수 있다. 이러한 과정에서 크라운 교합면 3D 메쉬 생성 장치는 교합면측 크라운 경계 이미지를 이용하여 크라운(102)의 교합면측 경계(테두리)를 효과적으로 설정할 수 있고, 이에, 교합면측 사전 2D 깊이 이미지의 경계(테두리)와 실제 크라운(102)의 교합면측 2D 깊이 이미지의 경계(테두리)와의 일치도는 향상될 수 있다.
이때, 교합면측 사전 2D 깊이 이미지는 크라운(102)의 교합면측 주름 세부사항(디테일)를 극대화하기 위하여 픽셀값이 조정된 이미지일 수 있다. 구체적으로, 크라운 교합면 3D 메쉬 생성 장치는 교합면측 사전 2D 깊이 이미지의 초기 픽셀값들 조정할 수 있다. 이때, 초기 픽셀값들은 0 내지 1 사이의 값들일 수 있고, 1일 경우 백색을 0일 경우 검정색을 나타낼 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 초기 픽셀값들에서 0.5를 감하고 2를 곱한 후 음수를 제외한 0 및 양수만을 선택함으로써 교합면측 사전 2D 깊이 이미지의 픽셀값을 생성할 수 있다. 즉, 교합면측 사전 2D 깊이 이미지의 각각의 픽셀값들은 초기 픽셀값에서 0.5를 감하고 2를 곱한 값에서 음수를 0으로 대체한 픽셀값을 의미할 수 있다.
이처럼 교합면측 사전 2D 깊이 이미지의 각 픽셀값을 초기 픽셀값에서 조정함으로써, 초기 픽셀값에 대응되는 깊이 이미지와 비교하여 교합면측 사전 2D 깊이 이미지의 주름 세부사항(디테일)이 더욱 강조될 수 있다. 즉, 크라운(102)의 교합면측 2D 깊이 이미지는 픽셀값의 차이에 의하여 주름 세부사항이 표현될 수 있고, 주름의 굴곡에 대응되는 픽셀값의 차이가 증가함으로써 도 4(c)와 같이 교합면측 사전 2D 깊이 이미지의 주름 세부사항(디테일)이 더욱 강조될 수 있다.
이때, 단계(S132)를 수행하는 크라운 교합면 3D 메쉬 생성 장치의 인공지능 모델은 학습 과정에서 판독자(Discriminator)를 이용할 수 있고, 손실 함수로서 L1 손실, GAN 손실, 및 Perceptual 손실을 모두 이용할 수 있다. 즉, 상기 인공지능 모델의 손실 함수는 L1 손실, GAN 손실, 및 Perceptual 손실을 모두 포함할 수 있다.
이어서, 크라운 교합면 3D 메쉬 생성 장치는 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성한다(S133). 교합면측 출력 2D 깊이 이미지는 교합면측 사전 2D 깊이 이미지의 강조되었던 주름 세부사항(디테일)을 본래의 데이터 범위로 변경시킨 이미지를 의미할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 도 4(c)와 같은 교합면측 사전 2D 깊이 이미지의 각각의 픽셀값을 2를 나누고 0.5를 더한 후, 해당 이미지의 각 픽셀값과 도 4(b)와 같은 교합면측 크라운 경계 이미지의 대응되는 각 픽셀값을 곱할 수 있고, 그 결과로서 도 4(d) 및 도 5(c)와 같은 교합면측 출력 2D 깊이 이미지의 각 픽셀값을 생성할 수 있다. 즉, 교합면측 출력 2D 깊이 이미지의 각 픽셀값은 교합면측 사전 2D 깊이 이미지의 각 픽셀값에 2를 나눈 후 0.5를 더한 결과값일 수 있고, 이에 더하여 교합면측 크라운 경계 이미지의 각 픽셀값을 곱함으로써 크라운의 경계를 벗어난 영역들이 제거될 수 있다.
본 발명의 크라운 교합면 3D 메쉬 생성 장치의 단계(S131 내지 S133)을 수행하는 인공지능 모델의 효과를 설명하기 위하여 아래의 표 1을 참조하면, 표 1은 본 발명의 인공지능 모델의 다양한 메트릭(Metric) 값의 비교에 대한 표이다.
[표 1]
Figure PCTKR2023016732-appb-img-000001
메트릭 값은 MSE, PSNR, SSIM, DICE 및 IOU 값을 선정하여 비교하였다. 본 발명의 인공지능 모델의 메트릭 결과 수치는 교합면측 2D 깊이 이미지뿐만 아니라 혀측 및 볼측 2D 깊이 이미지를 생성하는 다른 연구 결과들과 비교하더라도 정확도가 높은 수치로서 본 발명의 효과를 증명하는 수치로 해석될 수 있다.
도 5(a)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 혀측 입력 2D 깊이 이미지를 이용하여 혀측에서 바라본 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다.
도 5(b)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 볼측 입력 2D 깊이 이미지를 이용하여 볼측에서 바라본 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다.
이처럼 크라운 교합면 3D 메쉬 생성 장치는 크라운 영역(101)에 대한 2D 이미지인 복수의 입력 2D 깊이 이미지를 이용하여 복수의 출력 2D 깊이 이미지를 생성할 수 있다.
크라운 교합면 3D 메쉬 생성 장치의 입력 2D 깊이 이미지를 이용한 출력 2D 깊이 이미지를 생성하는 과정, 즉, 크라운(102)이 존재하지 않는 크라운 영역(101)의 2D 깊이 이미지를 이용하여 가상의 크라운(102)의 2D 깊이 이미지를 생성하는 과정은, 크라운 교합면 3D 메쉬 생성 장치의 저장부에 축적된 복수의 2D 깊이 이미지(크라운 영역(101) 및 대응되는 크라운(102)에 대한 2D 깊이 이미지)를 이용하여 딥러닝 방식으로 학습된 이미지 변환 모델에 의하여 수행될 수 있다. 그러나, 크라운 교합면 3D 메쉬 생성 장치의 출력 2D 깊이 이미지의 생성 과정은 이에 제한되지는 않으며, 필요에 따라 다양한 방법으로 구현될 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 크라운(102)의 복수의 출력 2D 깊이 이미지를 생성함에 있어, 복수의 입력 2D 깊이 이미지와 입력 3D 좌표 데이터 모두를 이용하여 복수의 출력 2D 깊이 이미지를 생성할 수도 있다. 구체적으로, 크라운 교합면 3D 메쉬 생성 장치는 혀측 입력 2D 깊이 이미지, 혀측 입력 3D 좌표 데이터, 볼측 입력 2D 깊이 이미지 및 볼측 입력 3D 좌표 데이터를 이용하여 혀측 및 볼측 출력 2D 깊이 이미지를 생성할 수 있다. 그리고, 크라운 교합면 3D 메쉬 생성 장치는 교합면측 입력 2D 깊이 이미지 및 교합면측 입력 3D 좌표 데이터를 이용하여 교합면측 출력 2D 깊이 이미지를 생성할 수 있다.
이처럼 입력 2D 깊이 이미지, 및 입력 2D 깊이 이미지의 각 픽셀의 3차원 위치 정보를 포함하는 입력 3D 좌표 데이터를 모두 이용하여 출력 2D 깊이 이미지가 생성됨으로써, 보다 정확한 위치의 크라운(102)의 출력 2D 깊이 이미지가 생성될 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 3가지 상이한 방향의 복수의 출력 2D 깊이 이미지를 생성함에 있어, 출력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 출력 3D 좌표 데이터를 함께 생성할 수 있다. 출력 3D 좌표 데이터는 출력 2D 깊이 이미지가 포함하는 복수의 픽셀(예를 들면, 크라운(102)이 포함하는 복수의 픽셀일 수도 있음) 각각의 출력 2D 깊이 이미지 상에서의 3차원 위치, 즉, 3차원 좌표 정보를 포함할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 이러한 복수의 출력 2D 깊이 이미지 각각에 대한 출력 3D 좌표 데이터를 생성함으로써, 출력 2D 깊이 이미지가 포함하는 복수의 픽셀의 3차원 위치 정보를 생성할 수 있다.
이어서, 도 1 및 도 6를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운(102)의 외면의 3D 포인트 클라우드 데이터를 생성한다(S140).
구체적으로, 포인트 클라우드(Point Cloud)는 3차원(3D) 공간 상에 퍼져있는 복수의 점(point)을 의미할 수 있고, 크라운(102)의 외면 3D 포인트 클라우드 데이터는 크라운(102)의 외면에 대응되는 포인트 클라우드의 집합을 의미할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 전 단계들을 이용하여 생성된 크라운(102)의 출력 2D 깊이 이미지를 이용하여 3D 데이터인 외면 3D 포인트 클라우드 데이터를 생성할 수 있다.
보다 구체적으로, 도 6(a)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 복수의 출력 2D 깊이 이미지를 이용하여 혀측, 볼측 및 교합면측 각각에 대응되는 크라운(102)의 외면의 제1 3D 포인트 클라우드 데이터를 생성할 수 있다. 앞서 설명한 것과 같이 복수의 출력 2D 깊이 이미지는 서로 다른 방향의 혀측, 볼측 및 교합면측 각각의 출력 2D 깊이 이미지로 구성될 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 2D 이미지인 복수의 출력 2D 깊이 이미지 각각을 통하여 혀측, 볼측 및 교합면측 각각에 대한 3D 포인트 클라우드 데이터를 생성하고 이러한 데이터를 결합하여 크라운(102) 외면의 제1 3D 포인트 클라우드 데이터를 생성할 수 있다. 제1 3D 포인트 클라우드 데이터는 혀측, 볼측 및 교합면측에 대한 데이터만을 포함할 수 있다. 즉, 제1 3D 포인트 클라우드 데이터는 크라운 영역(101)과 인접한 치아에서 크라운 영역(101)을 바라본 방향에 대한 3D 포인트 클라우드 데이터를 포함하지 못할 수 있다.
그리고, 도 6(b)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 제1 3D 포인트 클라우드 데이터를 이용하여 크라운 영역(101)과 인접한 치아 방향에 대응되는 크라운(102)의 외면의 제2 3D 포인트 클라우드 데이터를 생성할 수 있다. 크라운 영역(101)과 인접한 치아 방향은 크라운 영역(101)에 대응되는 크라운(102)이 두 개의 치아 사이에 배치될 경우, 두 개의 치아 각각에서 크라운 영역(101)을 향하는 두 개의 방향 (mesial, distal)을 의미할 수 있다. 만약 크라운 영역(101)에 대응되는 크라운(102)이 하나의 치아와만 인접하여 배치되는 경우, 크라운 영역(101)과 인접한 치아 방향은 혀측 방향, 볼측 방향 및 교합면측 방향 모두와 수직인 두 개의 방향을 의미할 수 있다. 제2 3D 포인트 클라우드 데이터는 혀측 방향, 볼측 방향 및 교합면측 방향 모두와 수직인 두 개의 방향(이러한 두 개의 방향은 서로 반대 방향임)에서의 크라운(102)의 외면의 포인트 클라우드 집합일 수 있다.
크라운 교합면 3D 메쉬 생성 장치의 제1 3D 포인트 클라우드 데이터를 이용하여 제2 3D 포인트 클라우드 데이터를 생성하는 과정은 크라운 교합면 3D 메쉬 생성 장치의 저장부에 축적된 복수의 치아 또는 크라운(102)에 대한 실측 자료(ground truth)를 이용하여 딥러닝 방식으로 학습된 포인트 클라우드 추출 모델에 의하여 수행될 수 있다. 포인트 클라우드 추출 모델은 복수의 치아 또는 크라운(102)의 혀측, 볼측 및 교합면측 포인트 클라우드를 입력 데이터로 이용할 경우 복수의 치아 또는 크라운(102)의 인접한 치아측 (mesial, distal) 포인트 클라우드를 출력 데이터로 추출할 수 있도록 딥러닝 방식에 의하여 학습될 수 있다. 그러나, 크라운 교합면 3D 메쉬 생성 장치의 제2 3D 포인트 클라우드 데이터의 생성 과정은 이에 제한되지는 않으며, 필요에 따라 다양한 방법으로 구현될 수 있다.
그리고, 크라운 교합면 3D 메쉬 생성 장치는 제1 3D 포인트 클라우드 데이터 및 제2 3D 포인트 클라우드 데이터를 결합하여 크라운(102)의 외면의 3D 포인트 클라우드 데이터를 생성할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 혀측, 볼측 및 교합면측 포인트 클라우드의 집합인 제1 3D 포인트 클라우드 데이터, 및 인접한 두 개의 치아측 포인트 클라우드의 집합인 제2 3D 포인트 클라우드 데이터를 결합하여 크라운(102)의 외면 3D 포인트 클라우드 데이터를 생성할 수 있다. 이에, 크라운(102)의 외면 3D 포인트 클라우드 데이터는 3차원 공간에서의 위, 아래, 오른쪽, 왼쪽, 앞, 뒤의 총 6개의 시야(즉, 혀측, 볼측, 교합면측, 인접한 두 개의 치아측, 치아의 뿌리측) 중 치아의 뿌리측에서 크라운(102)을 바라본 경우를 제외한 혀측, 볼측, 교합면측, 인접한 두 개의 치아측의 5개의 시야에서의 3D 포인트 클라우드 데이터를 포함할 수 있다. 그러나, 크라운(102)의 외면 3D 포인트 클라우드 데이터는 크라운(102)과 프렙 영역이 접촉하는 영역인 크라운(102)의 내면의 포인트 클라우드 집합은 포함하지 못할 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 크라운(102)의 외면 3D 포인트 클라우드 데이터를 생성함에 있어, 출력 2D 깊이 이미지와 출력 3D 좌표 데이터 모두를 이용하여 크라운(102)의 외면 3D 포인트 클라우드 데이터를 생성할 수도 있다.
이처럼 출력 2D 깊이 이미지, 및 출력 2D 깊이 이미지의 각 픽셀의 3차원 위치 정보를 포함하는 출력 3D 좌표 데이터를 모두 이용하여 크라운(102) 외면 포인트 클라우드가 생성됨으로써, 보다 정확한 위치의 크라운(102) 외면 포인트 클라우드가 생성될 수 있다.
이하에서는 크라운(102)의 내면 3D 포인트 클라우드 데이터를 생성하는 과정에 대하여 상세히 설명한다.
이어서, 도 1 및 도 7을 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터의 크라운 영역(101)에서 크라운(102)의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운(102)의 내면의 3D 메쉬 데이터를 생성한다(S150).
앞서 설명한 것과 같이, 프렙 영역은 크라운 영역(101) 중 크라운(102)이 접촉하여 부착될 표면 영역을 의미할 수 있다. 즉, 본 발명의 일 실시예에 따른 크라운 교합면 3D 메쉬 생성 방법에 의하여 생성된 크라운(102)은 프렙 영역과 접촉하여 프렙 영역에 부착될 수 있다. 따라서, 프렙 영역과 접촉할 크라운(102)의 내면은 프렙 영역의 형상과 대응되도록 생성되어야 할 수 있다.
구체적으로, 도 7(a)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는, 구강 3D 스캔 데이터를 이용하여 프렙 영역과 프렙 영역을 둘러싸는 영역 사이의 경계선에 대응되는 경계 포인트(103)(points)를 추출할 수 있다. 프렙 영역은 크라운(102)이 씌여질 영역이고 프렙 영역을 둘러싸고 치아와 인접하는 잇몸 영역이 존재할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 프렙 영역을 둘러싸는 이러한 잇몸 영역과 프렙 영역의 경계선을 따라 배치되는 점들의 집합인 복수의 경계 포인트(103)를 생성할 수 있다.
크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 복수의 경계 포인트(103)를 생성할 수 있으나, 이에 제한되지 않고, 외부 장치로서 구강 3D 스캔 데이터에 복수의 경계 포인트(103)가 표현된 데이터를 입력받을 수도 있다.
그리고, 크라운 교합면 3D 메쉬 생성 장치는, 크라운(102)의 교합면과 수직인 방향으로 경계 포인트(103)를 연장하여 경계 기둥(104)을 생성할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 크라운(102)의 교합면과 수직인 방향으로서 프렙 영역과 멀어지는 방향인 제1 방향(D)으로 경계 포인트들(103)을 연장시킬 수 있다. 이에, 경계 포인트들(103)은 제1 방향(D)으로 연장된 기둥인 경계 기둥(104)을 형성할 수 있다. 경계 기둥(104)의 축은 크라운(102)의 교합면과 수직일 수 있다.
그리고, 크라운 교합면 3D 메쉬 생성 장치는, 경계 기둥(104)의 공간과 구강 3D 스캔 데이터의 교차되는 표면을 프렙 영역으로서 추출하여, 크라운(102)의 내면의 메쉬(mesh) 데이터를 생성할 수 있다.
크라운 교합면 3D 메쉬 생성 장치는 경계 포인트(103)를 제1 방향(D)으로 연장하여 경계 기둥(104)을 생성할 수 있고, 경계 기둥(104)의 내부 공간과 구강 3D 스캔 데이터의 교차되는 표면을 구강 3D 스캔 데이터에서 분리하여 추출할 수 있다. 이처럼 경계 기둥(104) 내부 공간과 구강 3D 스캔 데이터의 교차되는 부분은 프렙 영역을 의미할 수 있고, 크라운 교합면 3D 메쉬 생성 장치는 이러한 과정을 통하여 구강 3D 스캔 데이터에서 프렙 영역만을 분리하여 추출할 수 있다.
그리고, 크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터에서 분리된 프렙 영역 데이터를 이용하여 크라운(102) 내면의 3D 메쉬 데이터를 생성할 수 있다. 3D 메쉬 데이터는 프렙 영역 표면에 분포된 복수의 점(points)과 복수의 점을 연결하는 복수의 선(lines)을 포함하는 집합으로서 그물과 같은 형태를 구성하여 3D 표면을 상세히 표현할 수 있는 데이터일 수 있다.
이어서, 도 1 및 도 8(a)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 크라운(102)의 외면의 3D 포인트 클라우드 데이터 및 크라운(102)의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(Vertex)를 추출한다(S160).
구체적으로, 크라운 교합면 3D 메쉬 생성 장치는 단계(S140)에서 생성된 크라운(102)의 외면 3D 포인트 클라우드 데이터에서 3D 이미지를 구성하기 위한 복수의 점(꼭짓점)인 복수의 버텍스를 추출할 수 있다. 그리고, 크라운 교합면 3D 메쉬 생성 장치는 단계(S150)에서 생성된 크라운(102)의 내면 3D 메쉬 데이터가 포함하는 복수의 점들 중 3D 이미지를 구성하기 위한 복수의 버텍스를 추출할 수 있다.
크라운 교합면 3D 메쉬 생성 장치는 크라운(102)의 외면의 3D 포인트 클라우드 데이터와 내면의 3D 메쉬 데이터 각각에서 추출된 복수의 버텍스를 결합하여 크라운 3D 메쉬를 구성할 복수의 버텍스를 생성할 수 있다.
이어서, 도 1 및 도 8(b)를 참조하면, 크라운 교합면 3D 메쉬 생성 장치는 복수의 버텍스를 이용하여 크라운 3D 메쉬를 생성한다(S170).
크라운 교합면 3D 메쉬 생성 장치는 크라운(102)의 외면 및 내면을 구성할 복수의 버텍스를 이용하여 도 8(b)와 같이 크라운 3D 메쉬를 생성할 수 있다.
본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치에 따르면, 고객의 구강을 스캔하여 생성된 구강 3D 스캔 데이터와 같은 3차원 데이터를 이용하여 2차원 데이터인 복수의 입력 깊이 데이터를 생성하고, 복수의 입력 깊이 데이터를 이용하여 2차원 데이터인 크라운(102)의 복수의 출력 깊이 데이터를 생성할 수 있으며, 복수의 출력 깊이 데이터를 이용하여 크라운(102) 외면의 3D 포인트 클라우드 데이터를 생성할 수 있다. 이러한 크라운(102)의 외면의 3D 포인트 클라우드 데이터는 크라운 3D 메쉬의 외면을 구성할 수 있다.
이처럼, 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치는 3차원 데이터인 구강 3D 스캔 데이터를 이용하여 곧바로 3차원 데이터인 크라운 3D 메쉬를 생성하는 것이 아닌, 3차원 데이터인 구강 3D 스캔 데이터를 2차원 데이터인 깊이 데이터로 변환하여 이러한 2차원 데이터를 이용하여 크라운 3D 메쉬를 생성할 수 있다.
크라운 3D 메쉬는 평균적으로 10만개의 점과 25만개의 면으로 구성되는 데이터로서 높은 해상도의 크라운 3D 메쉬를 구강 3D 스캔 데이터를 이용하여 곧바로 생성하는 방법은 GPU 등의 처리 장치의 용량 한계로 쉽게 구현할 수 없는 문제가 존재할 수 있다.
그러나, 본 발명의 일 실시예에 따른 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치는 앞서 설명한 것과 같이 구강 3D 스캔 데이터를 깊이 데이터로 변환시키고 깊이 데이터를 이용하여 크라운 3D 메쉬를 생성하는 바, 처리 장치의 용량 문제를 효과적으로 개선하여 작은 용량으로도 높은 해상도의 크라운 3D 메쉬를 생성할 수 있다.
또한, 본 발명의 일 실시예에 따른 크라운 교합면 3D 메쉬 생성 방법 및 이를 이용하는 장치는 크라운(102)의 내면 3D 메쉬 데이터를 생성하는 과정에서 프렙 영역을 구강 3D 스캔 데이터로부터 분리하기 위하여 경계 포인트(103)를 추출하고, 경계 포인트(103)를 연장하여 경계 기둥(104)을 생성할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 이러한 경계 기둥(104)과 구강 3D 스캔 데이터의 중첩되는 표면을 프렙 영역으로 추출할 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 단계(S131 내지 S133)에서, 복수의 출력 2D 깊이 이미지 중 교합면측 출력 2D 깊이 이미지는, 크라운 영역(101)을 제외한 다른 치아의 형상 데이터를 이용하여 생성될 수 있다.
구체적으로, 크라운의 출력 2D 깊이 이미지 중 교합면측 출력 2D 깊이 이미지는 다른 방향의 출력 2D 깊이 이미지와 비교하여 크라운(102)의 교합면의 형상을 결정하기에 더 중요할 수 있다. 특히, 크라운(102)의 교합면의 형상은 인접한 다른 치아의 형상, 크라운(102)과 저작 운동의 과정에서 접촉하는 반대측 치아의 교합면의 형상 등에 영향을 받을 수 있다.
따라서, 크라운(102)의 교합면의 움푹 들어간 정도(즉, 크라운(102)의 교합면의 최대 높이와 최저 높이의 차이), 움푹 들어간 비율(즉, 크라운(102)의 교합면의 최대 높이에 대한 최대 높이와 최저 높이의 차이의 비율), 움푹 들어간 각도(즉, 크라운(102)의 교합면의 최대 높이를 가진 지점과 최저 높이를 가진 지점을 연결한 직선이 크라운(102)의 저면과 이루는 각도), 크라운(102)의 최대 높이, 크라운(102)의 최저 높이, 크라운(102)의 폭(즉, 혀측과 볼측을 연결한 축을 기준으로 한 크라운(102)의 폭) 등은 다른 치아의 형상 데이터를 이용하여 결정될 수 있다.
크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 획득한 고객의 다른 치아, 즉, 크라운(102)이 형성되어야 할 크라운 영역(101)을 제외한 다른 치아, 예를 들면, 크라운 영역(101)에 대응되는 치아와 대칭으로 배치된 다른 치아의 형상 데이터를 저장하고 있을 수 있다. 형상 데이터는 대칭으로 배치된 다른 치아의 움푹 들어간 정도, 움푹 들어간 비율, 움푹 들어간 각도, 최대 높이, 최저 높이, 폭 등을 포함할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 이러한 대칭으로 배치된 다른 치아의 형상 데이터를 이용하여 교합면측 출력 2D 깊이 이미지를 보정할 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 단계(S131 내지 S133)에서, 복수의 출력 2D 깊이 이미지, 특히, 이들 중 교합면측 출력 2D 깊이 이미지는, 크라운 영역(101)의 부피, 가로 길이 및 세로 길이 중 적어도 하나에 대한 데이터를 더 이용하여 생성될 수 있다.
구체적으로, 크라운 교합면 3D 메쉬 생성 장치는 구강 3D 스캔 데이터의 크라운 영역(101)에 대한 다양한 정보를 입력 데이터로 이용하여 크라운(102)의 출력 2D 깊이 이미지를 생성하는데 이용할 수 있다. 크라운 영역(101)은 크라운(102)이 적용될 영역으로서, 구강 3D 스캔 데이터의 프렙 영역이 존재하는 영역을 의미할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 외부 장치로부터의 수신에 의하여 또는 구강 3D 스캔 데이터로부터의 추출에 의하여 크라운 영역(101)의 부피, 크라운 영역(101)의 가로 길이(즉, 크라운 영역(101)과 인접한 두 개의 다른 치아를 연결하는 직선과 평행한 축을 기준으로 한 크라운 영역(101)의 최소 길이, 또는 크라운 영역(101)과 인접한 두 개의 다른 치아 사이의 최소 이격 거리), 크라운 영역(101)의 세로 길이(즉, 크라운(102)의 교합면에 수직인 축을 기준으로 한 크라운 영역(101)의 최대 길이 또는 높이) 중 적어도 하나에 대한 데이터를 생성할 수 있다. 크라운(102)의 형상은 크라운 영역(101)의 부피, 가로 길이 및 세로 길이에 의하여 결정될 수 있는 바, 크라운 교합면 3D 메쉬 생성 장치는 크라운 영역(101)에 관한 위와 같은 정보에 기초하여 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다.
일 실시예에 따르면, 크라운 교합면 3D 메쉬 생성 장치는 단계(S131 내지 S133)에서, 복수의 출력 2D 깊이 이미지, 특히 이들 중 교합면측 출력 2D 깊이 이미지는, 고객의 과거 크라운(102) 생성 데이터를 이용하여 생성될 수 있다.
구체적으로, 크라운 교합면 3D 메쉬 생성 장치는 고객의 기 생성된 크라운(102)과 관련된 데이터를 저장할 수 있다. 크라운 교합면 3D 메쉬 생성 장치는 해당 고객의 크라운(102)을 재차 생성할 경우, 저장된 기 생성된 크라운(102)과 관련된 데이터를 이용할 수 있다.
기 생성된 크라운(102)과 동일한 치아 번호의 크라운(102)을 생성해야 할 경우, 크라운 교합면 3D 메쉬 생성 장치는 복수의 출력 2D 깊이 이미지를 생성함에 있어, 기 생성된 과거의 복수의 출력 2D 깊이 이미지와 새롭게 생성된 복수의 출력 2D 깊이 이미지와의 비교 데이터를 생성할 수 있다. 그리고, 크라운 교합면 3D 메쉬 생성 장치는 비교 데이터가 포함하는 과거의 출력 2D 깊이 이미지와 새롭게 생성된 출력 2D 깊이 이미지와의 차이가 기 설정된 차이를 초과할 경우, 차이가 기설정된 차이를 초과하는 부분에 대하여 새롭게 생성된 출력 2D 깊이 이미지를 보정할 수 있다. 이에, 고객의 기 생성된 크라운(102)과 관련된 데이터를 이용하여 보다 정확한 형상의 크라운(102)을 생성할 수 있다.
본 발명의 다양한 실시예는 하나 이상이 서로 결합되어 새로운 실시예를 구성할 수 있음은 물론이다.
본 발명의 다양한 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법은 (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계, (b) 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계, (c-1) 복수의 입력 2D 깊이 이미지 중 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성하는 단계, (c-2) 교합면측 입력 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성하는 단계, (c-3) 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성하는 단계, (d) 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계, (e) 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계, (f) 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계, 및 (g) 복수의 버텍스를 이용하여 크라운의 3D 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 교합면측 크라운 경계 이미지는 교합면측의 크라운 영역과 나머지 영역이 구별되는 이미지일 수 있다.
본 발명의 또 다른 특징에 따르면, 교합면측 사전 2D 깊이 이미지의 각 픽셀값은, 초기 픽셀값에서 0.5를 감한 후 2를 곱한 후 음수를 제외한 0 및 양수만이 선택된 결과값일 수 있다.
본 발명의 또 다른 특징에 따르면, (c-1) 단계를 수행하는 인공지능 모델의 손실 함수는 L1 손실을 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, (c-2) 단계를 수행하는 인공지능 모델의 손실 함수는 L1 손실, GAN 손실, 및 Perceptual 손실을 모두 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 교합면측 출력 2D 깊이 이미지의 각 픽셀값은, 교합면측 사전 2D 깊이 이미지의 각 픽셀값에 2를 나눈 후 0.5를 더한 결과값일 수 있다.
본 발명의 또 다른 특징에 따르면, (d) 단계는, 복수의 출력 2D 깊이 이미지를 이용하여, 혀측, 볼측 및 교합면측 각각에 대응되는 크라운의 외면의 제1 3D 포인트 클라우드 데이터를 생성하는 단계, 제1 3D 포인트 클라우드 데이터를 이용하여 크라운 영역과 인접한 치아 방향에 대응되는 크라운의 외면의 제2 3D 포인트 클라우드 데이터를 생성하는 단계, 및 제1 3D 포인트 클라우드 데이터 및 제2 3D 포인트 클라우드 데이터를 결합하여 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, (e) 단계는, 구강 3D 스캔 데이터를 이용하여, 프렙 영역과 프렙 영역을 둘러싸는 영역 사이의 경계선에 대응되는 경계 포인트를 추출하는 단계, 크라운의 교합면과 수직인 방향으로 경계 포인트를 연장하여 경계 기둥을 생성하는 단계, 및 경계 기둥의 공간과 구강 3D 스캔 데이터이 교차되는 표면을 추출하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따른 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 장치는 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하고, 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하고, 복수의 입력 2D 깊이 이미지 중 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성하고, 교합면측 입력 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성하고, 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성하고, 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하고, 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하고, 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스를 추출하며, 복수의 버텍스를 이용하여 크라운의 3D 이미지를 생성하도록 구성될 수 있다.
이상에서, 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계;
    (b) 상기 구강 3D 스캔 데이터를 이용하여, 상기 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계;
    (c-1) 상기 복수의 입력 2D 깊이 이미지 중 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성하는 단계;
    (c-2) 상기 교합면측 입력 2D 깊이 이미지 및 상기 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성하는 단계;
    (c-3) 상기 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성하는 단계;
    (d) 상기 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계;
    (e) 상기 구강 3D 스캔 데이터의 상기 크라운 영역에서 상기 크라운의 내면에 대응되는 프렙 영역을 추출하고, 상기 프렙 영역을 이용하여 상기 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계;
    (f) 상기 크라운의 외면의 상기 3D 포인트 클라우드 데이터 및 상기 크라운의 내면의 상기 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계; 및
    (g) 상기 복수의 버텍스를 이용하여 상기 크라운의 3D 이미지를 생성하는 단계를 포함하는, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  2. 제1항에 있어서,
    상기 교합면측 크라운 경계 이미지는 교합면측의 크라운 영역과 나머지 영역이 구별되는 이미지인, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  3. 제1항에 있어서,
    상기 교합면측 사전 2D 깊이 이미지의 각 픽셀값은, 초기 픽셀값에서 0.5를 감한 후 2를 곱한 후 음수를 제외한 0 및 양수만이 선택된 결과값인, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  4. 제1항에 있어서,
    상기 (c-2) 단계를 수행하는 인공지능 모델의 손실 함수는 L1 손실, GAN 손실, 및 Perceptual 손실을 모두 포함하는, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  5. 제1항에 있어서,
    상기 교합면측 출력 2D 깊이 이미지의 각 픽셀값은, 상기 교합면측 사전 2D 깊이 이미지의 각 픽셀값에 2를 나눈 후 0.5를 더한 결과값인, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  6. 제1항에 있어서,
    상기 (d) 단계는,
    상기 복수의 출력 2D 깊이 이미지를 이용하여, 혀측, 볼측 및 교합면측 각각에 대응되는 상기 크라운의 외면의 제1 3D 포인트 클라우드 데이터를 생성하는 단계;
    상기 제1 3D 포인트 클라우드 데이터를 이용하여 상기 크라운 영역과 인접한 치아 방향에 대응되는 상기 크라운의 외면의 제2 3D 포인트 클라우드 데이터를 생성하는 단계; 및
    상기 제1 3D 포인트 클라우드 데이터 및 상기 제2 3D 포인트 클라우드 데이터를 결합하여 상기 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계를 포함하는, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  7. 제1항에 있어서,
    상기 (e) 단계는,
    상기 구강 3D 스캔 데이터를 이용하여, 상기 프렙 영역과 상기 프렙 영역을 둘러싸는 영역 사이의 경계선에 대응되는 경계 포인트를 추출하는 단계;
    상기 크라운의 교합면과 수직인 방향으로 상기 경계 포인트를 연장하여 경계 기둥을 생성하는 단계; 및
    상기 경계 기둥의 공간과 상기 구강 3D 스캔 데이터이 교차되는 표면을 추출하여 상기 크라운의 내면의 상기 3D 메쉬 데이터를 생성하는 단계를 더 포함하는, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 방법.
  8. 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하고,
    상기 구강 3D 스캔 데이터를 이용하여, 상기 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하고,
    상기 복수의 입력 2D 깊이 이미지 중 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측 크라운 경계 이미지를 생성하고,
    상기 교합면측 입력 2D 깊이 이미지 및 상기 교합면측 크라운 경계 이미지를 이용하여 교합면측 사전 2D 깊이 이미지를 생성하고,
    상기 교합면측 사전 2D 깊이 이미지 및 교합면측 크라운 경계 이미지를 이용하여 교합면측 출력 2D 깊이 이미지를 생성하고,
    상기 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하고,
    상기 구강 3D 스캔 데이터의 상기 크라운 영역에서 상기 크라운의 내면에 대응되는 프렙 영역을 추출하고, 상기 프렙 영역을 이용하여 상기 크라운의 내면의 3D 메쉬 데이터를 생성하고,
    상기 크라운의 외면의 상기 3D 포인트 클라우드 데이터 및 상기 크라운의 내면의 상기 3D 메쉬 데이터 각각에서 복수의 버텍스를 추출하며,
    상기 복수의 버텍스를 이용하여 상기 크라운의 3D 이미지를 생성하도록 구성되는, 딥러닝을 이용한 크라운 교합면 3D 메쉬 생성 장치.
PCT/KR2023/016732 2022-12-05 2023-10-26 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치 WO2024122875A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220167487A KR102670837B1 (ko) 2022-12-05 2022-12-05 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치
KR10-2022-0167487 2022-12-05

Publications (1)

Publication Number Publication Date
WO2024122875A1 true WO2024122875A1 (ko) 2024-06-13

Family

ID=91275438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016732 WO2024122875A1 (ko) 2022-12-05 2023-10-26 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치

Country Status (2)

Country Link
KR (1) KR102670837B1 (ko)
WO (1) WO2024122875A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108992188A (zh) * 2018-07-12 2018-12-14 杭州美齐科技有限公司 一种单颗牙齿网格模型的修补算法
KR20200120055A (ko) * 2019-04-11 2020-10-21 주식회사 디오 오랄 스캔 영상에서 잇몸 영역을 분리하는 장치
KR20210028226A (ko) * 2018-07-03 2021-03-11 프로메이톤 홀딩 비.브이. 딥 러닝을 사용하여 3d 객체의 정규 자세 및 3d 객체의 중첩을 자동 결정
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
KR102288816B1 (ko) * 2021-02-16 2021-08-12 박혁준 인공지능 기반 치아 수복을 위한 3d 보철물 제작 방법 및 애플리케이션

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395582B1 (ko) * 2020-02-27 2022-05-11 박혁준 인공지능 기반 치아 수복을 위한 보철물 제작 방법 및 애플리케이션

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028226A (ko) * 2018-07-03 2021-03-11 프로메이톤 홀딩 비.브이. 딥 러닝을 사용하여 3d 객체의 정규 자세 및 3d 객체의 중첩을 자동 결정
CN108992188A (zh) * 2018-07-12 2018-12-14 杭州美齐科技有限公司 一种单颗牙齿网格模型的修补算法
KR20200120055A (ko) * 2019-04-11 2020-10-21 주식회사 디오 오랄 스캔 영상에서 잇몸 영역을 분리하는 장치
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
KR102288816B1 (ko) * 2021-02-16 2021-08-12 박혁준 인공지능 기반 치아 수복을 위한 3d 보철물 제작 방법 및 애플리케이션

Also Published As

Publication number Publication date
KR102670837B1 (ko) 2024-05-30

Similar Documents

Publication Publication Date Title
US10413158B2 (en) Visualizing a 3D dental restoration on a 2D image
US20240169571A1 (en) Artifact identification and removal from intraoral scans
WO2022164126A1 (ko) 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
WO2022158804A1 (ko) 컴퓨터 단층촬영 영상을 활용한 3차원 구강 스캔 데이터 정합 장치 및 방법
WO2022131419A1 (ko) 3차원 치과 ct 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
US20230206451A1 (en) Method for automatic segmentation of a dental arch
WO2022177095A1 (ko) 인공지능 기반 치아 수복을 위한 3d 보철물 제작 방법 및 애플리케이션
WO2022085966A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2021137573A2 (ko) 마진라인 설정 장치 및 방법
WO2024122875A1 (ko) 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치
WO2024122874A1 (ko) 딥러닝을 이용한 크라운 측면 3d 메쉬 생성 방법 및 이를 이용하는 장치
KR101505529B1 (ko) 치아 구조 모형 3d 스캐닝용 테이블
WO2023033385A1 (ko) 딥러닝을 이용한 크라운 3d 메쉬 생성 방법 및 이를 이용하는 장치
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2023003399A1 (ko) 삼차원 구강 모델을 처리하는 방법 및 장치
Yamany et al. Orthodontics measurements using computer vision
WO2022260442A1 (ko) 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법
WO2023128046A1 (ko) 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN112017280B (zh) 一种生成具有颜色纹理信息的数字化牙齿模型的方法
WO2023128050A1 (ko) 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2024122735A1 (ko) 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 방법, 3차원 스캔 데이터로부터 보철물을 자동으로 생성하는 장치 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022092594A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2024071571A1 (ko) 3차원 구강 모델의 세그멘테이션 방법 및 그 시스템
WO2021133099A2 (ko) 그룹 데이터에 의한 정렬 방법