KR102577339B1 - Method for generating reconstructed images to identify teeth area - Google Patents
Method for generating reconstructed images to identify teeth area Download PDFInfo
- Publication number
- KR102577339B1 KR102577339B1 KR1020210062055A KR20210062055A KR102577339B1 KR 102577339 B1 KR102577339 B1 KR 102577339B1 KR 1020210062055 A KR1020210062055 A KR 1020210062055A KR 20210062055 A KR20210062055 A KR 20210062055A KR 102577339 B1 KR102577339 B1 KR 102577339B1
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- region
- image
- interest
- fmx
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 210000004373 mandible Anatomy 0.000 claims description 24
- 210000002050 maxilla Anatomy 0.000 claims description 22
- 210000004195 gingiva Anatomy 0.000 claims description 18
- 238000013473 artificial intelligence Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 6
- 210000004763 bicuspid Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004804 winding Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004357 third molar Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명에 따르면, 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는 단계, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계 및 상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계를 포함하는 치아 영역을 확인하기 위한 재구성 영상 생성 방법이 개시된다.According to the present invention, obtaining a tooth outline by applying segmentation to a panoramic image, dividing a first area of interest according to a preset FMX box creation standard based on the tooth outline, and dividing the first area of interest into the first area of interest. A method of generating a reconstructed image for identifying a tooth region is disclosed, including generating a reconstructed image from an image of a corresponding first view.
Description
본 발명은 파노라마 영상에서 치아 영역을 확인하기 위한 재구성 영상 생성 방법에 관한 것이다.The present invention relates to a method of generating a reconstructed image for identifying a tooth area in a panoramic image.
파노라마 영상은 촬영 대상의 치아와 치아 주위 조직의 전반적인 상태에 대한 파악과 악골(턱뼈) 내 병소의 유무를 확인하기에 적합한 영상이다.Panoramic images are suitable for understanding the overall condition of the teeth and tissues surrounding the teeth and confirming the presence or absence of lesions within the jawbone.
하지만 기존 파노라마 영상에서 치과적으로 문제가 될 수 있는 부위의 진단이 끝난 후, 해당 부위에 대한 치료를 거쳐 구강 센서 등으로 치료에 해당하는 특정 부위만 촬영 했을 경우, 초기 상태와 비교하고자 할 때 영상 규격 및 범위가 서로 달라 초진 시 환자 구강 상태와 치료 후 상태를 비교하기에 다소 불편한 점이 존재할 수 있다.However, after the diagnosis of areas that may be dentally problematic in existing panoramic images is completed, treatment for the area is completed, and only the specific area corresponding to the treatment is photographed using an oral sensor, etc., when comparing the image with the initial state, Because the specifications and scope are different, there may be some inconvenience in comparing the patient's oral condition at the time of the first visit and the condition after treatment.
따라서 영상의 크기와 위치정보의 문제를 해결하기 위해 기존 파노라마 영상에서 특정 부위만을 별도 저장하고 싶을 경우가 필요할 수 있는데, 이러한 상황에서 사용자가 직접 FMX 템플릿에 맞는 형태로 영상의 크기 및 각도 조절 및 치식번호 설정 등을 수동으로 처리해야 할 작업이 늘어나기 때문에 불편하고 시간 소요가 많이 된다는 단점이 있다.Therefore, in order to solve the problem of image size and location information, it may be necessary to separately save only a specific part of the existing panoramic image. In this situation, the user can directly adjust the size and angle of the image and format it in a form that fits the FMX template. The disadvantage is that it is inconvenient and time-consuming because the number of tasks that must be manually processed, such as number settings, increases.
예를 들어, 하기 도 1의 (a)에 나타난 바와 같이, 종래의 경우 ‘사용자 영역 캡쳐’ 기능을 사용하여 원하는 구역(1a)을 수동으로 캡쳐한 후 각도 회전 및 클리핑(Clipping) 하여 영상을 편집하고, FMX 템플릿을 삽입한다.For example, as shown in (a) of Figure 1 below, in the conventional case, the desired area (1a) is manually captured using the 'user area capture' function, and then the image is edited by rotating the angle and clipping. and insert the FMX template.
또한, 하기 도 1의 (b)에 나타난 바와 같이, 종래의 또 다른 경우, 파노라마 영상에서 보이는 스마일라인(상/하악 교합면이 이루는 곡선)(1b)을 기준으로 FMX 캡쳐 툴을 제공하기 때문에, 프레임 크기 및 위치, 각도는 사용자의 수동적인 조정이 필요하다.In addition, as shown in (b) of Figure 1 below, in another conventional case, the FMX capture tool is provided based on the smile line (curve formed by the upper and lower occlusal surfaces) (1b) visible in the panoramic image, Frame size, position, and angle require manual adjustment by the user.
본 발명은 사용자가 직접 FMX 템플릿에 맞는 형태로 영상의 크기 및 각도 조절 및 치식번호 설정 등을 수동으로 처리하는 문제점을 해결하기 위한 것으로, 세그멘테이션(segmentation) 정보를 이용하여 각 치아에 해당하는 FMX 레이아웃을 자동으로 조정하여 치아 영역을 확인하도록 하는데 그 목적이 있다.The present invention is intended to solve the problem of the user manually adjusting the size and angle of the image and setting the dental number to fit the FMX template. The FMX layout corresponding to each tooth uses segmentation information. The purpose is to automatically adjust and check the tooth area.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other unspecified objects of the present invention can be additionally considered within the scope that can be easily inferred from the following detailed description and its effects.
상기 과제를 해결하기 위해, 본 발명의 일 측면에 따른 컴퓨팅 장치에 의하여 수행되는 재구성 영상 생성 방법은, 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는 단계, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계 및 상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계를 포함한다.In order to solve the above problem, a method of generating a reconstructed image performed by a computing device according to an aspect of the present invention includes obtaining a tooth outline by applying segmentation to a panoramic image, and preset teeth outline based on the tooth outline. It includes dividing a first region of interest according to FMX box creation criteria and generating a reconstructed image from an image of a first view corresponding to the first region of interest.
여기서, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 치아가 제1 치아 및 제2 치아를 포함하는 경우, 상기 제1 치아의 치관 시작점부터 치근 끝점까지의 제1 길이 또는 상기 제2 치아의 치관 시작점부터 치근 끝점까지의 제2 길이 중 어느 하나와 상기 제1 치아 및 상기 제2 치아 양끝의 풍융부 사이의 길이에 기초하여 FMX 박스를 생성하는 단계를 포함할 수 있다.Here, the step of dividing the first region of interest according to the preset FMX box creation criteria based on the tooth outline includes, when the tooth includes a first tooth and a second tooth, starting from the crown start point of the first tooth. Generating an FMX box based on either the first length to the end point or the second length from the crown start point of the second tooth to the root end point and the length between the protruding portions of both ends of the first tooth and the second tooth. May include steps.
또한, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 제1 치아의 치축 및 제2 치아의 치축의 평균 치축을 기준으로 상기 생성된 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계를 더 포함할 수 있다.In addition, the step of dividing the first region of interest according to a preset FMX box creation standard based on the tooth outline includes dividing the generated FMX box based on the average axis of the dental axis of the first tooth and the dental axis of the second tooth. The method may further include adjusting the tilt and mapping it to the first region of interest of the panoramic image.
여기서, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 치아가 제1 치아, 제2 치아 및 제3 치아를 포함하는 경우, 상기 제1 치아의 치관 시작점부터 치근 끝점까지의 제1 길이, 상기 제2 치아의 치관 시작점부터 치근 끝점까지의 제2 길이 또는 상기 제3 치아의 치관 시작점부터 치근 끝점까지의 제3 길이 중 어느 하나와 상기 제1 치아 내지 상기 제3 치아의 풍융부 사이의 길이에 기초하여 FMX 박스를 생성하는 단계를 포함할 수 있다.Here, the step of dividing the first region of interest according to a preset FMX box creation standard based on the tooth outline includes the first tooth, the second tooth, and the third tooth. Any one of a first length from the crown start point to the root end point, a second length from the crown start point to the root end point of the second tooth, or a third length from the crown start point to the root end point of the third tooth and the first tooth It may include generating an FMX box based on the length between the protruding parts of the third tooth.
또한, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 제1 치아 및 제3 치아 사이에 위치한 제2 치아의 치축을 기준으로 상기 생성된 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계를 더 포함할 수 있다.In addition, the step of dividing the first region of interest according to a preset FMX box creation standard based on the tooth outline includes the generated FMX box based on the tooth axis of the second tooth located between the first tooth and the third tooth. The method may further include adjusting the slope and mapping it to the first region of interest of the panoramic image.
여기서, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 치아가 상악의 제1 치아 및 하악의 제2 치아를 포함하는 경우, 상기 상악의 치은의 최하단부터 상기 하악의 치은의 최상단까지의 제1 길이와 상기 상악의 제1 치아 및 상기 하악의 제2 치아 양끝의 풍융부 사이의 제2 길이에 기초하여 FMX 박스를 생성하는 단계를 포함할 수 있다.Here, the step of dividing the first region of interest according to a preset FMX box creation standard based on the tooth outline includes, when the teeth include the first tooth of the maxilla and the second tooth of the mandible, the gingiva of the maxilla It may include the step of creating an FMX box based on a first length from the bottom to the top of the gingiva of the mandible and a second length between the protruding portions of both ends of the first teeth of the maxilla and the second teeth of the mandible. .
또한, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 치아가 상악의 제1 치아 및 하악의 제2 치아의 교합면에 수직인 라인의 기울기를 기준으로 상기 생성된 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계를 더 포함할 수 있다.In addition, the step of dividing the first region of interest according to the preset FMX box creation criteria based on the tooth outline includes the teeth having a slope of a line perpendicular to the occlusal surface of the first tooth of the maxilla and the second tooth of the mandible. The method may further include adjusting the tilt of the generated FMX box as a reference and mapping it to the first region of interest of the panoramic image.
여기서, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 기 학습된 인공 지능 모델을 이용하여, 상기 파노라마 영상에서 상실치 영역을 인식하고, 인식한 상기 상실치 영역에 대해 상기 FMX 박스 생성 기준에 따라 제2 관심 영역을 구획하는 단계를 포함하고, 상기 인공 지능 모델은, 학습용 파노라마 세그멘테이션(segmentation) 영상을 입력 데이터로 하고, 상기 학습용 파노라마 세그멘테이션(segmentation) 영상에서 인식한 상실치 영역을 레이블로 하여 학습된 것일 수 있다.Here, the step of dividing the first region of interest according to the preset FMX box creation criteria based on the tooth outline includes recognizing the missing tooth region in the panoramic image using a pre-learned artificial intelligence model, and recognizing the missing tooth region in the panoramic image. Comprising the step of dividing a second region of interest according to the FMX box creation criteria for the missing value region, wherein the artificial intelligence model uses a panoramic segmentation image for learning as input data, and uses the panoramic segmentation image for learning as input data. It may have been learned using the missing value area recognized in the image as a label.
여기서, 상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계는, 상기 파노라마 영상에서, 상기 제1 관심 영역에 대응하는 일 영역을 컷팅하여 제1 뷰(view)의 영상으로 재구성 영상을 생성할 수 있다.Here, the step of generating a reconstructed image from the image of the first view corresponding to the first region of interest includes cutting a region corresponding to the first region of interest from the panoramic image to create a first view. ) can be used to create a reconstructed image.
본 발명의 또 다른 측면에 따른 컴퓨팅 장치에 의하여 수행되는 재구성 영상 생성 방법은, 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는 단계, 사용자로부터 상기 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계, 상기 선택 입력에 기초하여, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계 및 상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계를 포함한다.A method of generating a reconstructed image performed by a computing device according to another aspect of the present invention includes obtaining a tooth outline by applying segmentation to a panoramic image, and receiving information about at least one tooth included in the panoramic image from the user. Receiving a selection input, based on the selection input, dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline, and creating a first view corresponding to the first region of interest ) and generating a reconstructed image from the image.
여기서, 상기 파노라마 영상에 포함된 치아들은 관련도에 따라 복수의 치아 그룹에 매칭되어 있으며, 상기 선택 입력에 기초하여, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는, 상기 사용자에 의해 선택된 적어도 하나의 제1 치아, 상기 복수의 치아 그룹 중 상기 제1 치아에 매칭된 치아 그룹 내에 포함되는 제2 치아를 포함하여 FMX 박스를 생성하고 상기 파노라마 영상의 상기 제1 관심 영역에 매핑 할 수 있다.Here, teeth included in the panoramic image are matched to a plurality of tooth groups according to the degree of relevance, and based on the selection input, a first region of interest is divided according to a preset FMX box creation standard based on the tooth outline. The step of generating an FMX box including at least one first tooth selected by the user and a second tooth included in a tooth group matched to the first tooth among the plurality of tooth groups, and generating the FMX box in the panoramic image It can be mapped to the first area of interest.
여기서, 상기 파노라마 영상에 포함된 치아들은 관련도에 따라 복수의 치아 그룹에 매칭되어 있으며, 상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계는, 상기 사용자에 의해 선택된 적어도 하나의 제1 치아를 포함하는 제1 관심 영역에 대응하는 제1 뷰(view)의 영상을 생성하는 단계, 상기 복수의 치아 그룹 중 상기 제1 치아에 매칭된 치아 그룹 내에 포함되는 제2 치아를 포함하는 제2 관심 영역에 대응하는 제2 뷰(view)의 영상을 생성하는 단계 및 상기 제1 뷰(view) 및 제2 뷰(view)의 영상으로 재구성 영상을 생성하는 단계를 포함할 수 있다.Here, the teeth included in the panoramic image are matched to a plurality of tooth groups according to the degree of relevance, and the step of generating a reconstructed image with the image of the first view corresponding to the first region of interest includes the user Generating an image of a first view corresponding to a first region of interest including at least one first tooth selected by, included in a tooth group matched to the first tooth among the plurality of tooth groups Generating an image of a second view corresponding to a second region of interest including a second tooth and generating a reconstructed image from the images of the first view and the second view. It can be included.
본 발명의 또 다른 측면에 따른 컴퓨팅 장치에 의하여 수행되는 재구성 영상 생성 방법은, 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는 단계, 사용자로부터 상기 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계, 상기 선택 입력에 기초하여, 상기 치아 외곽선을 기준으로 제1 관심 영역을 구획하는 단계 및 상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계를 포함한다.A method of generating a reconstructed image performed by a computing device according to another aspect of the present invention includes obtaining a tooth outline by applying segmentation to a panoramic image, and receiving information about at least one tooth included in the panoramic image from the user. Receiving a selection input, based on the selection input, dividing a first region of interest based on the tooth outline, and generating a reconstructed image from an image of a first view corresponding to the first region of interest. It includes steps to:
여기서, 상기 사용자로부터 상기 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계는, 상기 사용자로부터 상기 파노라마 영상에 포함되는 연속한 복수의 치아에 선택 입력을 일시에 수신할 수 있다.Here, the step of receiving a selection input for at least one tooth included in the panoramic image from the user may include receiving a selection input for a plurality of consecutive teeth included in the panoramic image from the user at the same time.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 재구성 영상 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.In addition, a computer-readable recording medium storing a computer program, wherein the computer program includes instructions for causing a processor to perform a reconstructed image generation method, may be provided.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 재구성 영상 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램을 제공할 수 있다.Additionally, a computer program stored in a computer-readable recording medium may be provided, including instructions for causing a processor to perform a reconstructed image generation method.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 세그멘테이션 정보를 기반으로 하여 파노라마 영상에서 치아 크기 및 각도에 맞추어 FMX 레이아웃의 조절이 가능하기 때문에, 사용자의 수동적인 영역 수정 및 이동하는 과정을 불필요하게 하므로 사용자의 이용 시간을 단축시키고, 영상 획득의 정확성을 향상시킬 수 있다.As described above, according to embodiments of the present invention, the FMX layout can be adjusted according to the tooth size and angle in the panoramic image based on segmentation information, so the user's manual process of modifying and moving the area is unnecessary. This can shorten the user's usage time and improve the accuracy of image acquisition.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification and their potential effects expected by the technical features of the present invention are treated as if described in the specification of the present invention.
도 1은 종래의 수동적인 FMX 캡쳐 툴 생성 방식을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 치아 영역을 확인하기 위한 재구성 영상 생성 방법을 수행하는 컴퓨팅 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 FMX 레이아웃 구성을 예로 들어 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 파노라마 영상에서 FMX 캡쳐 툴이 적용된 화면을 예로 들어 나타낸 도면이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 FMX 박스 생성 기준에 따라 관심 영역을 구획하는 방법을 나타낸 도면이다.
도 6은 본 발명의 제1 실시예에 따른 재구성 영상 생성 방법을 나타낸 흐름도이다.
도 7은 본 발명의 제2 실시예에 따른 재구성 영상 생성 방법을 나타낸 흐름도이다.
도 8은 본 발명의 제3 실시예에 따른 재구성 영상 생성 방법을 나타낸 흐름도이다.Figure 1 is a diagram showing a conventional manual FMX capture tool creation method.
Figure 2 is a block diagram of a computing device that performs a method of generating a reconstructed image for identifying a tooth area according to an embodiment of the present invention.
Figure 3 is a diagram showing an FMX layout configuration according to an embodiment of the present invention as an example.
Figure 4 is a diagram showing an example of a screen to which the FMX capture tool is applied in a panoramic image according to an embodiment of the present invention.
Figures 5A to 5D are diagrams showing a method of dividing a region of interest according to FMX box creation criteria according to an embodiment of the present invention.
Figure 6 is a flowchart showing a method for generating a reconstructed image according to the first embodiment of the present invention.
Figure 7 is a flowchart showing a method for generating a reconstructed image according to a second embodiment of the present invention.
Figure 8 is a flowchart showing a method for generating a reconstructed image according to a third embodiment of the present invention.
이하, 본 발명에 관련된 치아 영역을 확인하기 위한 재구성 영상 생성 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, a method of generating a reconstructed image for identifying a tooth area related to the present invention will be described in more detail with reference to the drawings. However, the present invention may be implemented in many different forms and is not limited to the described embodiments. In order to clearly explain the present invention, parts that are not relevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves.
본 발명은 치아 영역을 확인하기 위한 재구성 영상 생성 방법에 관한 것이다.The present invention relates to a method for generating reconstructed images for identifying tooth areas.
도 2는 본 발명의 일 실시예에 따른 치아 영역을 확인하기 위한 재구성 영상 생성 방법을 수행하는 컴퓨팅 장치의 블록도이다.Figure 2 is a block diagram of a computing device that performs a method of generating a reconstructed image for identifying a tooth area according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 장치(10)는 입력부(100), 출력부(200), 프로세서(300) 및 메모리(400)를 포함한다.Referring to FIG. 2, the
본 발명의 일 실시예에 따른 치아 영역을 확인하기 위한 재구성 영상 생성 방법을 수행하는 컴퓨팅 장치(10)는 사용자가 파노라마 영상에서 치아 영역을 선택적으로 확인할 수 있는 장치이다.The
입력부(100)는 사용자로부터 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신한다.The
입력부(100)는 사용자가 컴퓨팅 장치(10)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 입력부(100)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The
사용자는 입력부(100)를 이용하여 클릭, 드래그, 버튼을 누르는 다운 동작 등을 포함하는 동작을 수행할 수 있고, 드래그 동작의 경우 버튼다운 및 버튼 업 동작 사이의 궤적을 입력 위치로 판단하지만, 본 발명은 이에 한정되는 것은 아니고, 필요에 따라 버튼다운 및 업 동작 중 하나 또는 모든 동작을 이용하여 입력 위치를 판단할 수 있다.The user can use the
출력부(200)는 파노라마 영상과 사용자가 확인하고자 하는 관심 영역에 대응하는 뷰(view)의 영상으로 재구성 영상을 출력할 수 있다.The
본 발명의 일 실시예에 따른 출력부(200)는 디스플레이 기기를 포함하며, 여기서 디스플레이 기기는 디지털 TV, 모니터 등과 같이 디스플레이 기능이 있는 기기를 모두 포함한다.The
프로세서(300)는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻고, 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하여, 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성할 수 있다.The
본 명세서에서는, FMX 박스가 관심 영역을 구획하기 위한 레이아웃을 의미하며, FMX 박스는, FMX 레이아웃, FMX 템플릿 등의 용어를 통칭할 수 있다.In this specification, an FMX box refers to a layout for dividing an area of interest, and the FMX box may collectively refer to terms such as FMX layout and FMX template.
또한, FMX 박스를 파노라마 영상의 관심 영역에 매핑하면, 하기 도 4에 나타난 바와 같이, 파노라마 영상에서 FMX 캡쳐 툴이 생성되는 것으로 설명한다.Additionally, if the FMX box is mapped to the area of interest in the panoramic image, an FMX capture tool is created in the panoramic image, as shown in FIG. 4 below.
또한, 프로세서(300)는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻고, 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하고, 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성할 수 있다.In addition, the
또한, 프로세서(300)는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻고, 입력부(100)가 파노라마 영상에 포함된 적어도 하나의 치아에 대한 사용자의 선택 입력을 수신하면, 선택 입력에 기초하여, 치아 외곽선을 기준으로 제1 관심 영역을 구획하고, 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성할 수 있다.In addition, the
또한, 프로세서(300)는, 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻고, 만일 상실치가 존재하는 경우, 기 학습된 인공 지능 모델을 이용하여, 상기 파노라마 영상에서 상실치 영역을 인식하고, 인식한 상기 상실치 영역에 대해 상기 FMX 박스 생성 기준에 따라 제2 관심 영역을 구획할 수 있다.In addition, the
여기서, 인공 지능 모델은, 학습용 파노라마 세그멘테이션 영상을 입력 데이터로 하고, 상기 학습용 파노라마 세그멘테이션 영상에서 인식한 상실치 영역을 레이블로 하여 학습된 것일 수 있다.Here, the artificial intelligence model may be learned using a panoramic segmentation image for learning as input data and a missing value area recognized in the panoramic segmentation image for learning as a label.
여기서, 학습용 파노라마 세그멘테이션 영상은 동일한 대상체에서 얻은 영상 또는 다수의 대상체에서 얻은 영상일 수 있다.Here, the panoramic segmentation image for learning may be an image obtained from the same object or images obtained from multiple objects.
본 발명의 일 실시예에 따르면, 인공 지능 모델은 심층신경망(Deep Neural Network; DNN), 나선형 신경망(즉, Convolutional Neural Network; CNN), 순환형 신경망(Recurrent Neural Network; RNN) 중 적어도 하나를 포함하는 신경망 구조로 형성될 수 있으며, 신경망의 구조가 이에 한정되는 것은 아니다.According to one embodiment of the present invention, the artificial intelligence model includes at least one of a deep neural network (DNN), a convolutional neural network (i.e., Convolutional Neural Network (CNN)), and a recurrent neural network (RNN). It may be formed with a neural network structure, but the structure of the neural network is not limited to this.
구체적으로, 본 발명에 따른 인공 지능 모델의 신경망 구조는 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다.Specifically, the neural network structure of the artificial intelligence model according to the present invention is a set of layers including a convolutional pooling layer, a locally-connected layer, and a fully-connected layer. It can be implemented as:
또한, 본 발명에 따른 인공 지능 모델의 신경망 구조는 다양한 판단기준(즉, 파라미터(Parameter))를 더 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수도 있다.In addition, the neural network structure of the artificial intelligence model according to the present invention may further include various judgment criteria (i.e., parameters), and new judgment criteria (i.e., parameters) may be added through analysis of input images. .
여기서, 프로세서(300)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.Here, the
메모리(400)는 파노라마 영상을 저장한다.The
또한, 메모리(400)는 프로세서(300)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있고, 미리 학습된 인공 지능 모델이 저장되며, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.In addition, the
메모리(400)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.Programs stored in the
도 3은 본 발명의 일 실시예에 따른 FMX 레이아웃 구성을 예로 들어 나타낸 도면이다.Figure 3 is a diagram showing an FMX layout configuration according to an embodiment of the present invention as an example.
치과에서 촬영하는 구강 센서 (I/O Sensor) 영상 전악 촬영 시 촬영된 영상(30)에서 도 3과 같은 FMX 레이아웃 형태에 지정된 번호에 따라 영상을 정렬 및 관찰할 수 있다.In the image 30 captured when taking an oral sensor (I/O sensor) image at a dental office, the images can be aligned and observed according to the numbers specified in the FMX layout form as shown in FIG. 3.
FMX 레이아웃 형태에 지정된 번호에 따라 정렬된 영상들은, 치아 번호(31)(예를 들면, #11, #12, #46, #47, #48 등)와 함께 매칭되는 전악 구강 센서 영상 전용 레이아웃(32)과 Bitewing 영상(33)을 포함할 수 있다.The images arranged according to the numbers specified in the FMX layout form are a full-mouth oral sensor image-specific layout ( 32) and Bitewing video (33).
도 4는 본 발명의 일 실시예에 따른 파노라마 영상에서 FMX 캡쳐 툴이 적용된 화면을 예로 들어 나타낸 도면이다.Figure 4 is a diagram showing an example of a screen to which the FMX capture tool is applied in a panoramic image according to an embodiment of the present invention.
도 4는 파노라마 영상에서 FMX 캡쳐 툴이 적용된 전체 화면(40)을 나타낸 것으로, 치식 번호 별로 FMX 박스 생성 기준을 관심 영역이 구획됨을 확인할 수 있다.Figure 4 shows the entire screen 40 with the FMX capture tool applied in the panoramic image, and it can be seen that the area of interest is divided based on the FMX box creation criteria for each dental formula number.
예를 들어, 상악의 제1 대구치 내지 제3 대구치를 포함하는 영역(41), 상악의 제1 소구치 및 제2 소구치를 포함하는 영역(42)을 구획할 수 있다.For example, an area 41 containing the upper first to third molars and an area 42 containing the upper first premolars and second premolars may be divided.
또한, 본 발명의 일 실시예에서는 상악과 하악의 대구치가 맞물리는 영역(43)을 함께 표시할 수 있고, 상악과 하악의 소구치가 맞물리는 영역(44)을 함께 표시할 수 있다. 이에 따라, 상악과 하악에 위치한 개별 치아뿐만 아니라, Bitewing 영상도 함께 확인할 수 있는 장점이 있다.Additionally, in one embodiment of the present invention, the area 43 where the molars of the upper and lower jaw engage can be displayed together, and the area 44 where the premolars of the upper and lower jaw engage can be displayed together. Accordingly, there is an advantage of being able to check not only individual teeth located in the upper and lower jaw, but also Bitewing images.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 FMX 박스 생성 기준에 따라 관심 영역을 구획하는 방법을 나타낸 도면이다.Figures 5A to 5D are diagrams showing a method of dividing a region of interest according to FMX box creation criteria according to an embodiment of the present invention.
도 5a는 본 발명의 일 실시예에 따른 FMX 박스 생성 기준에 따라 전치부 또는 소구치를 포함하는 관심 영역을 구획하는 방법을 나타낸 도면이다.Figure 5a is a diagram showing a method of dividing a region of interest including anterior teeth or premolars according to FMX box creation criteria according to an embodiment of the present invention.
도 5a를 참조하면, 파노라마 영상(50)의 일 영역에서 치아가 제1 치아(51) 및 제2 치아(52)를 포함하는 경우, 제1 치아(51)의 치관 시작점부터 치근 끝점까지의 제1 길이 또는 제2 치아(52)의 치관 시작점부터 치근 끝점까지의 제2 길이 중 어느 하나와 제1 치아(51) 및 제2 치아(52) 양끝(P3, P4)의 풍융부 사이의 길이(L2)에 기초하여 FMX 박스를 생성한다.Referring to FIG. 5A, when a tooth includes a
구체적으로, 제1 치아(51) 및 제2 치아(52)를 포함하는 경우, 제1 치아(51)의 치관 시작점부터 치근 끝점까지의 제1 길이 또는 제2 치아(52)의 치관 시작점부터 치근 끝점까지의 제2 길이 중 길이가 더 긴 부분을 이용할 수 있으며, 예를 들어, 도 5a에서 제1 치아(51)의 치관 시작점(P1)부터 치근 끝점(P2)까지의 제1 길이(L1)를 이용할 수 있다.Specifically, when including the
이외에도, 사용자의 설정 조건에 따라 제2 치아의 길이를 이용할 수도 있다.In addition, the length of the second tooth may be used according to the user's setting conditions.
여기서, 치관 시작점, 치근 끝점, 치아 양끝의 풍융부 사이는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 얻어진 치아 외곽선을 통해 확인할 수 있다.Here, the distance between the crown start point, root end point, and ridge at both ends of the tooth can be confirmed through the tooth outline obtained by applying segmentation to the panoramic image.
FMX 박스는 제1 길이(L1)에 기초한 제1 외곽선(A1) 및 제2 외곽선(A2)과 풍융부 사이의 길이(L2)에 기초한 제3 외곽선(A3) 및 제4 외곽선(A4)으로 구현된다.The FMX box is implemented with a first outline (A1) based on the first length (L1) and a third outline (A3) and fourth outline (A4) based on the length (L2) between the second outline (A2) and the winding part. do.
이후, 생성된 FMX 박스의 기울기 조절을 위해, 제1 치아(51)의 치축 및 제2 치아의 치축(52)의 평균 치축(X1)을 기준으로 생성된 FMX 박스의 기울기를 조정한다. 여기서, 치축은 치아의 기울기를 의미한다.Thereafter, in order to adjust the tilt of the generated FMX box, the tilt of the generated FMX box is adjusted based on the average tooth axis (X1) of the tooth axis of the
이후, 기울기가 조정된 FMX 박스를 파노라마 영상의 제1 관심 영역에 매핑하면, 상기 도 4에 나타난 바와 같이, 파노라마 영상에서 FMX 캡쳐 툴이 적용된다.Thereafter, when the tilt-adjusted FMX box is mapped to the first area of interest of the panoramic image, the FMX capture tool is applied to the panoramic image, as shown in FIG. 4.
도 5b는 본 발명의 일 실시예에 따른 FMX 박스 생성 기준에 따라 대구치를 포함하는 관심 영역을 구획하는 방법을 나타낸 도면이다.Figure 5b is a diagram showing a method of demarcating a region of interest including molars according to FMX box creation criteria according to an embodiment of the present invention.
도 5b를 참조하면, 파노라마 영상(60)의 일 영역에서 치아가 제1 치아(61), 제2 치아(62) 및 제3 치아(63)를 포함하는 경우, 제1 치아(61)의 치관 시작점부터 치근 끝점까지의 제1 길이, 제2 치아(62)의 치관 시작점부터 치근 끝점까지의 제2 길이 또는 제3 치아의 치관 시작점부터 치근 끝점까지의 제3 길이(63) 중 어느 하나와 제1 치아(61) 내지 제3 치아(63) 양끝(P7, P8)의 풍융부 사이의 길이(L4)에 기초하여 FMX 박스를 생성한다.Referring to FIG. 5B, when a tooth includes a
구체적으로, 제1 치아(61), 제2 치아(62) 및 제3 치아(63)를 포함하는 경우, 제1 치아(61)의 치관 시작점부터 치근 끝점까지의 제1 길이, 제2 치아(62)의 치관 시작점부터 치근 끝점까지의 제2 길이 또는 제3 치아의 치관 시작점부터 치근 끝점까지의 제3 길이(63) 중 길이가 가장 긴 부분을 이용할 수 있으며, 예를 들어, 도 5b에서 제1 치아(61)의 치관 시작점(P5)부터 치근 끝점(P6)까지의 제1 길이(L3)를 이용할 수 있다.Specifically, when including the
이외에도, 사용자의 설정 조건에 따라 제2 치아 또는 제3 치아의 길이를 이용할 수도 있다.In addition, the length of the second or third teeth may be used according to the user's setting conditions.
여기서, 치관 시작점, 치근 끝점, 치아 양끝의 풍융부 사이는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 얻어진 치아 외곽선을 통해 확인할 수 있다.Here, the distance between the crown start point, root end point, and ridge at both ends of the tooth can be confirmed through the tooth outline obtained by applying segmentation to the panoramic image.
세그멘테이션(segmentation)은 의료 영상에서 밝기와 같은 영상의 특성값, 또는 이러한 특성의 임계값을 이용하여 단층 의료 영상에서 특정 영역을 검출하는 방법이다. 또한, 2차원 평면 이미지로 출력되는 특정 영역을 적층함으로써 3차원 모델링을 구현할 수도 있다.Segmentation is a method of detecting a specific area in a tomographic medical image using image characteristic values, such as brightness, or threshold values of these characteristics. Additionally, 3D modeling can be implemented by stacking specific areas that are output as 2D flat images.
FMX 박스는 제1 길이(L3)에 기초한 제1 외곽선(A7) 및 제2 외곽선(A8)과 풍융부 사이의 길이(L4)에 기초한 제3 외곽선(A5) 및 제4 외곽선(A6)으로 구현된다.The FMX box is implemented with a third outline (A5) and a fourth outline (A6) based on the first outline (A7) and the second outline (A8) based on the first length (L3) and the length (L4) between the windy part. do.
이후, 생성된 FMX 박스의 기울기 조절을 위해, 제1 치아(61) 및 제3 치아(63) 사이에 위치한 제2 치아(62)의 치축(X2)을 기준으로 생성된 FMX 박스의 기울기를 조정한다. 여기서, 치축은 치아의 기울기를 의미한다.Thereafter, in order to adjust the tilt of the created FMX box, the tilt of the created FMX box is adjusted based on the dental axis (X2) of the
이후, 기울기가 조정된 FMX 박스를 파노라마 영상의 제1 관심 영역에 매핑하면, 상기 도 4에 나타난 바와 같이, 파노라마 영상에서 FMX 캡쳐 툴이 적용된다.Thereafter, when the tilt-adjusted FMX box is mapped to the first area of interest of the panoramic image, the FMX capture tool is applied to the panoramic image, as shown in FIG. 4.
도 5c는 본 발명의 일 실시예에 따른 FMX 박스 생성 기준에 따라 Bitewing 영상에서 소구치를 포함하는 관심 영역을 구획하는 방법을 나타낸 도면이다.Figure 5c is a diagram showing a method of demarcating a region of interest including premolars in a Bitewing image according to the FMX box creation standard according to an embodiment of the present invention.
도 5c를 참조하면, 파노라마 영상(70)의 일 영역에서 치아가 상악의 제1 치아 및 하악의 제2 치아를 포함하는 경우, 상악의 치은의 최하단(P10)부터 하악의 치은의 최상단(P9)까지의 제1 길이(L5)와 상악의 제1 치아 및 하악의 제2 치아 양끝(P11, P12)의 풍융부 사이의 제2 길이(L6)에 기초하여 FMX 박스를 생성한다.Referring to FIG. 5C, when the teeth in one area of the
구체적으로, 도 5c를 참조하면, 상악의 제1 치아 내지 제4 치아(71, 72, 73, 74), 하악의 제1 치아 내지 제4 치아(75, 76, 77, 78)를 포함하는 경우, 소구치를 포함하는 경우에 상악의 우측 끝에 위치한 치아의 끝(P12)과 하악의 좌측 끝에 위치한 치아의 끝(P11) 사이의 거리를 풍융부 사이의 제2 길이(L6)로 지정할 수 있으며, Bitewing 영상의 경우 상악의 치은과 하악의 치은 사이를 고려하여 제1 길이(L5)를 지정할 수 있다.Specifically, referring to FIG. 5C, the case includes the first to
여기서, 상악의 치은의 최하단, 하악의 치은의 최상단, 치아 양끝의 풍융부 사이는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 얻어진 치아 외곽선을 통해 확인할 수 있다.Here, the area between the bottom of the maxillary gingiva, the top of the mandible's gingiva, and the ridges at both ends of the teeth can be confirmed through the tooth outline obtained by applying segmentation to the panoramic image.
FMX 박스는 제1 길이(L5)에 기초한 제1 외곽선(A9) 및 제2 외곽선(A10)과 풍융부 사이의 길이(L6)에 기초한 제3 외곽선(A11) 및 제4 외곽선(A12)으로 구현된다.The FMX box is implemented with a first outline (A9) based on the first length (L5) and a third outline (A11) and fourth outline (A12) based on the length (L6) between the second outline (A10) and the winding part. do.
이후, 생성된 FMX 박스의 기울기 조절을 위해, 치아가 상악의 제1 치아 및 하악의 제2 치아의 교합면에 수직인 라인의 기울기(X3)를 기준으로 생성된 FMX 박스의 기울기를 조정한다.Thereafter, to adjust the tilt of the created FMX box, the tilt of the created FMX box is adjusted based on the tilt (X3) of the line where the teeth are perpendicular to the occlusal surfaces of the first teeth of the maxilla and the second teeth of the mandible.
여기서, 교합면은 상악의 치아와 하악의 치아가 서로 맞닿는 일면을 의미한다. Here, the occlusal surface refers to a surface where the teeth of the upper jaw and the teeth of the lower jaw come into contact with each other.
이후, 기울기가 조정된 FMX 박스를 파노라마 영상의 제1 관심 영역에 매핑하면, 상기 도 4에 나타난 바와 같이, 파노라마 영상에서 FMX 캡쳐 툴이 적용된다.Thereafter, when the tilt-adjusted FMX box is mapped to the first area of interest of the panoramic image, the FMX capture tool is applied to the panoramic image, as shown in FIG. 4.
도 5d는 본 발명의 일 실시예에 따른 FMX 박스 생성 기준에 따라 Bitewing 영상에서 대구치를 포함하는 관심 영역을 구획하는 방법을 나타낸 도면이다.Figure 5d is a diagram showing a method of demarcating a region of interest including molars in a Bitewing image according to the FMX box creation standard according to an embodiment of the present invention.
도 5d를 참조하면, 파노라마 영상(80)의 일 영역에서 치아가 상악의 제1 치아 및 하악의 제2 치아를 포함하는 경우, 상악의 치은의 최하단(P14)부터 하악의 치은의 최상단(P13)까지의 제1 길이(L7)와 상악의 제1 치아 및 하악의 제2 치아 양끝(P15, P16)의 풍융부 사이의 제2 길이(L8)에 기초하여 FMX 박스를 생성한다.Referring to FIG. 5D, when the teeth in one area of the
구체적으로, 도 5d를 참조하면, 상악의 제1 치아 내지 제4 치아(81, 82, 83, 84), 하악의 제1 치아 내지 제4 치아(85, 86, 87, 88)를 포함하는 경우, 대구치를 포함하는 경우에 상악의 우측 끝에 위치한 치아의 끝(P16)과 하악의 좌측 끝에 위치한 치아의 끝(P15) 사이의 거리를 풍융부 사이의 제2 길이(L8)로 지정할 수 있으며, Bitewing 영상의 경우 상악의 치은과 하악의 치은 사이를 고려하여 제1 길이(L7)를 지정할 수 있다.Specifically, referring to FIG. 5D, when including the first to fourth teeth (81, 82, 83, 84) of the maxilla and the first to fourth teeth (85, 86, 87, 88) of the mandible , when molars are included, the distance between the tip of the tooth located at the right end of the maxilla (P16) and the tip of the tooth located at the left end of the mandible (P15) can be designated as the second length between the ridges (L8), and Bitewing In the case of images, the first length (L7) can be specified by considering the area between the gingiva of the upper jaw and the gingiva of the lower jaw.
여기서, 상악의 치은의 최하단, 하악의 치은의 최상단, 치아 양끝의 풍융부 사이는 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 얻어진 치아 외곽선을 통해 확인할 수 있다.Here, the area between the bottom of the maxillary gingiva, the top of the mandible's gingiva, and the ridges at both ends of the teeth can be confirmed through the tooth outline obtained by applying segmentation to the panoramic image.
FMX 박스는 제1 길이(L7)에 기초한 제1 외곽선(A15) 및 제2 외곽선(A16)과 풍융부 사이의 길이(L8)에 기초한 제3 외곽선(A13) 및 제4 외곽선(A14)으로 구현된다.The FMX box is implemented with a first outline (A15) based on the first length (L7) and a third outline (A13) and fourth outline (A14) based on the length (L8) between the second outline (A16) and the winding part. do.
이후, 생성된 FMX 박스의 기울기 조절을 위해, 치아가 상악의 제1 치아 및 하악의 제2 치아의 교합면에 수직인 라인의 기울기(X4)를 기준으로 생성된 FMX 박스의 기울기를 조정한다.Thereafter, to adjust the tilt of the created FMX box, the tilt of the created FMX box is adjusted based on the tilt (X4) of the line where the teeth are perpendicular to the occlusal surfaces of the first teeth of the maxilla and the second teeth of the mandible.
여기서, 교합면은 상악의 치아와 하악의 치아가 서로 맞닿는 일면을 의미한다. Here, the occlusal surface refers to a surface where the teeth of the upper jaw and the teeth of the lower jaw come into contact with each other.
이후, 기울기가 조정된 FMX 박스를 파노라마 영상의 제1 관심 영역에 매핑하면, 상기 도 4에 나타난 바와 같이, 파노라마 영상에서 FMX 캡쳐 툴이 적용된다.Thereafter, when the tilt-adjusted FMX box is mapped to the first area of interest of the panoramic image, the FMX capture tool is applied to the panoramic image, as shown in FIG. 4.
도 6은 본 발명의 제1 실시예에 따른 재구성 영상 생성 방법을 나타낸 흐름도이다.Figure 6 is a flowchart showing a method for generating a reconstructed image according to the first embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 재구성 영상 생성 방법은 컴퓨팅 장치에 의하여 수행되며, 단계 S110에서 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는다.Referring to FIG. 6, the reconstructed image generation method according to an embodiment of the present invention is performed by a computing device, and in step S110, segmentation is applied to the panoramic image to obtain tooth outlines.
이후, 단계 S120에서 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획한다.Thereafter, in step S120, the first region of interest is divided according to a preset FMX box creation standard based on the tooth outline.
단계 S130에서 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성한다.In step S130, a reconstructed image is generated from the image of the first view corresponding to the first region of interest.
여기서, 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계(S130)는, 파노라마 영상에서, 제1 관심 영역에 대응하는 일 영역을 컷팅하여 제1 뷰(view)의 영상으로 재구성 영상을 생성한다.Here, the step of generating a reconstructed image from the image of the first view corresponding to the first region of interest (S130) involves cutting an area corresponding to the first region of interest from the panoramic image to create a first view. ) Create a reconstructed image from the image.
이에 따라, 사용자는 관심 영역의 치아만을 확인할 수 있게 된다.Accordingly, the user can check only the teeth in the area of interest.
또한, 만일 상실치가 존재하는 경우, 기 학습된 인공 지능 모델을 이용하여, 상기 파노라마 영상에서 상실치 영역을 인식하고, 인식한 상기 상실치 영역에 대해 상기 FMX 박스 생성 기준에 따라 제2 관심 영역을 구획할 수 있다.In addition, if missing values exist, the missing value area is recognized in the panoramic image using a previously learned artificial intelligence model, and a second region of interest is created for the recognized missing value area according to the FMX box creation criteria. It can be divided.
도 7은 본 발명의 제2 실시예에 따른 재구성 영상 생성 방법을 나타낸 흐름도이다.Figure 7 is a flowchart showing a method for generating a reconstructed image according to a second embodiment of the present invention.
도 7을 참조하면, 본 발명의 제2 실시예에 따른 재구성 영상 생성 방법은 컴퓨팅 장치에 의하여 수행되며, 단계 S210에서 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는다.Referring to FIG. 7, the reconstructed image generation method according to the second embodiment of the present invention is performed by a computing device, and in step S210, segmentation is applied to the panoramic image to obtain tooth outlines.
이후, 단계 S220에서 사용자로부터 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신한다.Thereafter, in step S220, a selection input for at least one tooth included in the panoramic image is received from the user.
단계 S230에서 선택 입력에 기초하여, 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획한다.In step S230, based on the selection input, a first region of interest is divided according to a preset FMX box creation standard based on the tooth outline.
단계 S240에서 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성한다.In step S240, a reconstructed image is generated from the image of the first view corresponding to the first region of interest.
본 발명의 제2 실시예에 따른 재구성 영상 생성 방법은 사용자가 선정한 치아에 인접한 좌우 치아가 같이 보이는 경우를 나타낸 것이다.The reconstructed image generation method according to the second embodiment of the present invention shows a case where the left and right teeth adjacent to the tooth selected by the user are visible together.
본 발명의 실시예에 따르면, 사용자가 선정한 치아에 인접한 좌우 치아를 함께 제공하기 위해, 사용자가 선정한 치아에 인접한 좌우 치아를 제1 관심 영역에 함께 포함시켜 제공하는 방법과, 좌우 치아를 제1 관심 영역, 제2 관심 영역으로 나누어 제공하는 방법을 포함할 수 있다.According to an embodiment of the present invention, in order to provide the left and right teeth adjacent to the tooth selected by the user, a method of providing the left and right teeth adjacent to the tooth selected by the user by including them in the first region of interest, and providing the left and right teeth adjacent to the tooth selected by the user in the first region of interest; It may include a method of dividing into an area and a second area of interest.
먼저, 사용자가 선정한 치아에 인접한 좌우 치아를 제1 관심 영역에 함께 포함시켜 제공하기 위해 파노라마 영상에 포함된 치아들은 관련도에 따라 복수의 치아 그룹에 매칭되어 있고, 사용자의 선택 입력에 기초하여, 사용자에 의해 선택된 적어도 하나의 제1 치아, 복수의 치아 그룹 중 제1 치아에 매칭된 치아 그룹 내에 포함되는 제2 치아를 포함하여 FMX 박스를 생성하고 파노라마 영상의 제1 관심 영역에 매핑한다.First, in order to provide the left and right teeth adjacent to the tooth selected by the user by including them in the first region of interest, the teeth included in the panoramic image are matched to a plurality of tooth groups according to the degree of relatedness, and based on the user's selection input, An FMX box is created including at least one first tooth selected by the user and a second tooth included in a tooth group matched to the first tooth among the plurality of tooth groups, and is mapped to the first region of interest of the panoramic image.
여기서, 복수의 치아 그룹은 제1 치아와 인접한 치아를 포함하는 그룹, 제1 치아와 맞물리는 치아를 포함하는 그룹 등을 포함할 수 있으며, 본 발명의 실시예에서는 제1 치아에 매칭된 치아 그룹을 제1 치아와 인접한 치아를 포함하는 그룹으로 선정하고, 제1 치아와 인접한 제2 치아를 포함하여 FMX 박스를 생성하게 된다.Here, the plurality of tooth groups may include a group including a tooth adjacent to the first tooth, a group including a tooth engaging with the first tooth, etc. In an embodiment of the present invention, a tooth group matched to the first tooth. is selected as a group including the first tooth and the adjacent teeth, and an FMX box is created including the first tooth and the second adjacent tooth.
여기서, 제1 치아와 인접한 제2 치아를 포함하여 FMX 박스를 생성하는 방법은 상기 도 5a 내지 도 5d에서 상술한 방법을 이용할 수 있다.Here, the method of creating an FMX box including the first tooth and the second tooth adjacent to the first tooth may use the method described above with reference to FIGS. 5A to 5D.
또한, 좌우 치아를 제1 관심 영역, 제2 관심 영역으로 나누어 제공하기 위해 파노라마 영상에 포함된 치아들은 관련도에 따라 복수의 치아 그룹에 매칭되어 있으며, 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계(S240)는, 사용자에 의해 선택된 적어도 하나의 제1 치아를 포함하는 제1 관심 영역에 대응하는 제1 뷰(view)의 영상을 생성하고, 복수의 치아 그룹 중 제1 치아에 매칭된 치아 그룹 내에 포함되는 제2 치아를 포함하는 제2 관심 영역에 대응하는 제2 뷰(view)의 영상을 생성하고, 제1 뷰(view) 및 제2 뷰(view)의 영상으로 재구성 영상을 생성한다.In addition, in order to divide the left and right teeth into a first area of interest and a second area of interest, the teeth included in the panoramic image are matched to a plurality of tooth groups according to the degree of relatedness, and a first view corresponding to the first area of interest ( The step (S240) of generating a reconstructed image from an image of a view includes generating an image of a first view corresponding to a first region of interest including at least one first tooth selected by the user, and generating a plurality of images of a first view. An image of a second view corresponding to a second region of interest including a second tooth included in a tooth group matched to a first tooth of the tooth group is generated, and the first view and the second view ( A reconstructed image is created from the image of the view.
여기서, 복수의 치아 그룹은 제1 치아와 인접한 치아를 포함하는 그룹, 제1 치아와 맞물리는 치아를 포함하는 그룹 등을 포함할 수 있으며, 본 발명의 실시예에서는 제1 치아에 매칭된 치아 그룹을 제1 치아와 인접한 치아를 포함하는 그룹으로 선정하고, 제1 치아를 포함하는 FMX 박스와 제2 치아를 포함하는 FMX 박스를 생성하여 함께 제공할 수 있다.Here, the plurality of tooth groups may include a group including a tooth adjacent to the first tooth, a group including a tooth engaging with the first tooth, etc. In an embodiment of the present invention, a tooth group matched to the first tooth. is selected as a group including the first tooth and adjacent teeth, and an FMX box including the first tooth and an FMX box including the second tooth can be created and provided together.
여기서, 제1 치아와 인접한 제2 치아를 포함하여 FMX 박스를 생성하는 방법은 상기 도 5a 내지 도 5d에서 상술한 방법을 이용할 수 있다.Here, the method of creating an FMX box including the first tooth and the second tooth adjacent to the first tooth may use the method described above with reference to FIGS. 5A to 5D.
도 8은 본 발명의 제3 실시예에 따른 재구성 영상 생성 방법을 나타낸 흐름도이다.Figure 8 is a flowchart showing a method for generating a reconstructed image according to a third embodiment of the present invention.
도 8을 참조하면, 본 발명의 제3 실시예에 따른 재구성 영상 생성 방법은 컴퓨팅 장치에 의하여 수행되며, 단계 S310에서 파노라마 영상에 세그멘테이션(segmentation)을 적용하여 치아 외곽선을 얻는다.Referring to FIG. 8, the reconstructed image generation method according to the third embodiment of the present invention is performed by a computing device, and in step S310, segmentation is applied to the panoramic image to obtain tooth outlines.
이후, 단계 S320에서 사용자로부터 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신한다.Thereafter, in step S320, a selection input for at least one tooth included in the panoramic image is received from the user.
단계 S330에서 선택 입력에 기초하여, 치아 외곽선을 기준으로 제1 관심 영역을 구획한다.In step S330, based on the selection input, a first region of interest is divided based on the tooth outline.
단계 S340에서 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성한다.In step S340, a reconstructed image is generated from the image of the first view corresponding to the first region of interest.
본 발명의 제3 실시예에 따른 재구성 영상 생성 방법은 사용자가 드래그하여 지정한 치아 영역을 관심영역으로 구획하고 뷰 영상을 생성한다.The reconstructed image generation method according to the third embodiment of the present invention divides the tooth area designated by dragging by the user into a region of interest and generates a view image.
이를 위해, 사용자로부터 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계(S320)는, 사용자로부터 파노라마 영상에 포함되는 연속한 복수의 치아에 선택 입력을 일시에 수신한다.To this end, in step S320 of receiving a selection input for at least one tooth included in the panoramic image from the user, a selection input for a plurality of consecutive teeth included in the panoramic image is received from the user at the same time.
여기서, 드래그 영역에 포함된 치아에 대해 뷰 영상이 생성된다.Here, a view image is generated for teeth included in the drag area.
또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 재구성 영상 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.In addition, a computer-readable recording medium storing a computer program, wherein the computer program includes instructions for causing a processor to perform a reconstructed image generation method, may be provided.
또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 재구성 영상 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램을 제공할 수 있다.Additionally, a computer program stored in a computer-readable recording medium may be provided, including instructions for causing a processor to perform a reconstructed image generation method.
이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Such computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the recording medium may be those specifically designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is only an example of the present invention, and a person skilled in the art will be able to implement the present invention in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to the content described in the patent claims.
Claims (16)
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 적어도 하나의 치아로부터 결정되는 치축의 기울기를 기준으로 상기 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계를 포함하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
demarcating a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth,
A method for generating a reconstructed image comprising adjusting the tilt of the FMX box based on the tilt of the tooth axis determined from the at least one tooth and mapping it to the first region of interest of the panoramic image.
상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 치아가 제1 치아 및 제2 치아를 포함하는 경우, 상기 제1 치아의 치관 시작점부터 치근 끝점까지의 제1 길이 또는 상기 제2 치아의 치관 시작점부터 치근 끝점까지의 제2 길이 중 어느 하나와 상기 제1 치아 및 상기 제2 치아 양끝의 풍융부 사이의 길이에 기초하여 FMX 박스를 생성하는 단계;를 포함하는 재구성 영상 생성 방법.According to paragraph 1,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline,
When the tooth includes a first tooth and a second tooth, either a first length from the crown start point of the first tooth to the root end point or a second length from the crown start point to the root end point of the second tooth and Generating an FMX box based on the length between the ridges at both ends of the first tooth and the second tooth.
상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 제1 치아의 치축 및 제2 치아의 치축의 평균 치축을 기준으로 상기 생성된 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계;를 더 포함하는 재구성 영상 생성 방법.According to paragraph 2,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline,
Generating a reconstructed image further comprising: adjusting the tilt of the generated FMX box based on the average dental axis of the dental axis of the first tooth and the dental axis of the second tooth, and mapping it to the first region of interest of the panoramic image. method.
상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 치아가 제1 치아, 제2 치아 및 제3 치아를 포함하는 경우, 상기 제1 치아의 치관 시작점부터 치근 끝점까지의 제1 길이, 상기 제2 치아의 치관 시작점부터 치근 끝점까지의 제2 길이 또는 상기 제3 치아의 치관 시작점부터 치근 끝점까지의 제3 길이 중 어느 하나와 상기 제1 치아 내지 상기 제3 치아의 풍융부 사이의 길이에 기초하여 FMX 박스를 생성하는 단계;를 포함하는 재구성 영상 생성 방법.According to paragraph 1,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline,
When the tooth includes a first tooth, a second tooth, and a third tooth, a first length from the crown start point of the first tooth to the root end point, and a second length from the crown start point to the root end point of the second tooth. Or a reconstructed image comprising: generating an FMX box based on one of the third lengths from the crown start point of the third tooth to the root end point and the length between the ridges of the first tooth and the third tooth; How to create it.
상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 제1 치아 및 제3 치아 사이에 위치한 제2 치아의 치축을 기준으로 상기 생성된 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계;를 더 포함하는 재구성 영상 생성 방법.According to paragraph 4,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline,
A reconstructed image further comprising: adjusting the tilt of the generated FMX box based on the dental axis of the second tooth located between the first tooth and the third tooth and mapping it to the first region of interest of the panoramic image. How to create it.
상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 치아가 상악의 제1 치아 및 하악의 제2 치아를 포함하는 경우, 상기 상악의 치은의 최하단부터 상기 하악의 치은의 최상단까지의 제1 길이와 상기 상악의 제1 치아 및 상기 하악의 제2 치아 양끝의 풍융부 사이의 제2 길이에 기초하여 FMX 박스를 생성하는 단계;를 포함하는 재구성 영상 생성 방법.According to paragraph 1,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline,
When the teeth include a first tooth of the maxilla and a second tooth of the mandible, a first length from the lowest end of the gingiva of the maxilla to the highest end of the gingiva of the mandible and the first tooth of the upper jaw and the second tooth of the lower jaw A method for generating a reconstructed image comprising: generating an FMX box based on a second length between the ridges at both ends of the teeth.
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 치아가 상악의 제1 치아 및 하악의 제2 치아를 포함하는 경우, 상기 상악의 치은의 최하단부터 상기 하악의 치은의 최상단까지의 제1 길이와 상기 상악의 제1 치아 및 상기 하악의 제2 치아 양끝의 풍융부 사이의 제2 길이에 기초하여 FMX 박스를 생성하는 단계; 및
상기 치아가 상악의 제1 치아 및 하악의 제2 치아의 교합면에 수직인 라인의 기울기를 기준으로 상기 생성된 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계;를 포함하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
demarcating a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth,
When the teeth include a first tooth of the maxilla and a second tooth of the mandible, a first length from the lowest end of the gingiva of the maxilla to the highest end of the gingiva of the mandible and the first tooth of the upper jaw and the second tooth of the lower jaw Creating an FMX box based on a second length between the ridges at both ends of the teeth; and
Adjusting the tilt of the generated FMX box based on the tilt of a line where the teeth are perpendicular to the occlusal surfaces of the first teeth of the maxilla and the second teeth of the mandible, and mapping them to the first region of interest of the panoramic image. A method of generating a reconstructed image including ;
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
기 학습된 인공 지능 모델을 이용하여, 상기 파노라마 영상에서 상실치 영역을 인식하고, 인식한 상기 상실치 영역에 대해 상기 FMX 박스 생성 기준에 따라 제2 관심 영역을 구획하는 단계;를 포함하고,
상기 인공 지능 모델은, 학습용 파노라마 세그멘테이션 영상을 입력 데이터로 하고, 상기 학습용 파노라마 세그멘테이션 영상에서 인식한 상실치 영역을 레이블로 하여 학습된 것인 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
demarcating a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
The step of dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth,
Recognizing a missing value area in the panoramic image using a previously learned artificial intelligence model, and demarcating a second region of interest for the recognized missing value area according to the FMX box creation criteria,
The artificial intelligence model is a reconstructed image generation method that is learned using a panoramic segmentation image for learning as input data and a missing value area recognized in the panoramic segmentation image for learning as a label.
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계는,
상기 파노라마 영상에서, 상기 제1 관심 영역에 대응하는 일 영역을 컷팅하여 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
demarcating a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
The step of generating a reconstructed image from the image of the first view corresponding to the first region of interest includes:
A reconstructed image generation method for generating a reconstructed image as an image of a first view by cutting a region corresponding to the first region of interest from the panoramic image.
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
사용자로부터 상기 파노라마 영상에 포함된 상기 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계;
상기 선택 입력에 기초하여, 상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 선택 입력에 기초하여, 상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 적어도 하나의 치아로부터 결정되는 치축의 기울기를 기준으로 상기 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계를 포함하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
Receiving a selection input for the at least one tooth included in the panoramic image from a user;
Based on the selection input, dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
Based on the selection input, dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth includes:
A method for generating a reconstructed image comprising adjusting the tilt of the FMX box based on the tilt of the tooth axis determined from the at least one tooth and mapping it to the first region of interest of the panoramic image.
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
사용자로부터 상기 파노라마 영상에 포함된 상기 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계;
상기 선택 입력에 기초하여, 상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 파노라마 영상에 포함된 치아들은 관련도에 따라 복수의 치아 그룹에 매칭되어 있으며,
상기 선택 입력에 기초하여, 상기 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계는,
상기 사용자에 의해 선택된 적어도 하나의 제1 치아, 상기 복수의 치아 그룹 중 상기 제1 치아에 매칭된 치아 그룹 내에 포함되는 제2 치아를 포함하여 FMX 박스를 생성하고 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
Receiving a selection input for the at least one tooth included in the panoramic image from a user;
Based on the selection input, dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
Teeth included in the panoramic image are matched to a plurality of tooth groups according to their degree of relatedness,
Based on the selection input, dividing a first region of interest according to a preset FMX box creation standard based on the tooth outline includes:
An FMX box is generated including at least one first tooth selected by the user and a second tooth included in a tooth group matched to the first tooth among the plurality of tooth groups, and the first interest region of the panoramic image is generated. A method for generating reconstructed images that maps to .
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
사용자로부터 상기 파노라마 영상에 포함된 상기 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계;
상기 선택 입력에 기초하여, 상기 적어도 하나의 치아 외곽선을 기준으로 기 설정된 FMX 박스 생성 기준에 따라 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 파노라마 영상에 포함된 치아들은 관련도에 따라 복수의 치아 그룹에 매칭되어 있으며,
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계는,
상기 사용자에 의해 선택된 적어도 하나의 제1 치아를 포함하는 제1 관심 영역에 대응하는 제1 뷰(view)의 영상을 생성하는 단계;
상기 복수의 치아 그룹 중 상기 제1 치아에 매칭된 치아 그룹 내에 포함되는 제2 치아를 포함하는 제2 관심 영역에 대응하는 제2 뷰(view)의 영상을 생성하는 단계; 및
상기 제1 뷰(view) 및 제2 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
Receiving a selection input for the at least one tooth included in the panoramic image from a user;
Based on the selection input, dividing a first region of interest according to a preset FMX box creation standard based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
Teeth included in the panoramic image are matched to a plurality of tooth groups according to their degree of relatedness,
The step of generating a reconstructed image from the image of the first view corresponding to the first region of interest includes:
generating an image of a first view corresponding to a first region of interest including at least one first tooth selected by the user;
generating an image of a second view corresponding to a second region of interest including a second tooth included in a tooth group matched to the first tooth among the plurality of tooth groups; and
Generating a reconstructed image from images of the first view and the second view.
파노라마 영상에 세그멘테이션(segmentation)을 적용하여 적어도 하나의 치아 외곽선을 얻는 단계;
사용자로부터 상기 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계;
상기 선택 입력에 기초하여, 상기 적어도 하나의 치아 외곽선을 기준으로 제1 관심 영역을 구획하는 단계; 및
상기 제1 관심 영역에 대응하는 제1 뷰(view)의 영상으로 재구성 영상을 생성하는 단계;를 포함하고,
상기 선택 입력에 기초하여, 상기 적어도 하나의 치아 외곽선을 기준으로 제1 관심 영역을 구획하는 단계는,
상기 적어도 하나의 치아로부터 결정되는 치축의 기울기를 기준으로 FMX 박스의 기울기를 조정하여, 상기 파노라마 영상의 상기 제1 관심 영역에 매핑하는 단계를 포함하는 재구성 영상 생성 방법.In a method of generating a reconstructed image performed by a computing device,
Obtaining at least one tooth outline by applying segmentation to the panoramic image;
Receiving a selection input for at least one tooth included in the panoramic image from a user;
Based on the selection input, dividing a first region of interest based on the outline of the at least one tooth; and
Generating a reconstructed image from an image of a first view corresponding to the first region of interest,
Based on the selection input, dividing a first region of interest based on the outline of the at least one tooth includes:
A method for generating a reconstructed image comprising adjusting the tilt of the FMX box based on the tilt of the dental axis determined from the at least one tooth and mapping it to the first region of interest of the panoramic image.
상기 사용자로부터 상기 파노라마 영상에 포함된 적어도 하나의 치아에 대한 선택 입력을 수신하는 단계는,
상기 사용자로부터 상기 파노라마 영상에 포함되는 연속한 복수의 치아에 선택 입력을 일시에 수신하는 재구성 영상 생성 방법.According to clause 13,
The step of receiving a selection input for at least one tooth included in the panoramic image from the user,
A method of generating a reconstructed image, wherein a selection input is simultaneously received from the user on a plurality of consecutive teeth included in the panoramic image.
상기 컴퓨터 프로그램은,
제1항 내지 제14항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium storing a computer program,
The computer program is,
A computer-readable recording medium comprising instructions for causing a processor to perform the method according to any one of claims 1 to 14.
상기 컴퓨터 프로그램은,
제1항 내지 제14항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.A computer program stored on a computer-readable recording medium,
The computer program is,
A computer program comprising instructions for causing a processor to perform the method according to any one of claims 1 to 14.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210062055A KR102577339B1 (en) | 2021-05-13 | 2021-05-13 | Method for generating reconstructed images to identify teeth area |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210062055A KR102577339B1 (en) | 2021-05-13 | 2021-05-13 | Method for generating reconstructed images to identify teeth area |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220154471A KR20220154471A (en) | 2022-11-22 |
| KR102577339B1 true KR102577339B1 (en) | 2023-09-12 |
Family
ID=84236377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210062055A KR102577339B1 (en) | 2021-05-13 | 2021-05-13 | Method for generating reconstructed images to identify teeth area |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102577339B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102651466B1 (en) | 2023-03-20 | 2024-03-27 | 고려대학교 산학협력단 | Device and method for 3d teeth reconstruction from panoramic radiographs using neural implicit functions |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080107012A (en) * | 2007-06-05 | 2008-12-10 | (주)풀쓰리디소프트 | Method and apparatus for extracting image after dental bleaching using photo of teeth |
| KR100971762B1 (en) * | 2008-08-28 | 2010-07-26 | 주식회사바텍 | Method and apparatus for generating virtual teeth, and the recording media storing the program performing the said method |
| KR102155745B1 (en) * | 2019-01-16 | 2020-09-14 | 오스템임플란트 주식회사 | Method and apparatus for fmx automatic construction |
| KR102152423B1 (en) * | 2019-02-18 | 2020-09-04 | 부산대학교 산학협력단 | Apparatus and Method for Manufacturing Customized Implant Guide Stent |
-
2021
- 2021-05-13 KR KR1020210062055A patent/KR102577339B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220154471A (en) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11648094B2 (en) | Dynamic dental arch map | |
| US11889991B2 (en) | Using an intraoral mirror with an integrated camera to record dental status, and applications thereof | |
| US11617632B2 (en) | Arch form placement for dental restoration design | |
| KR101723652B1 (en) | Method for generating a tooth chart, apparatus and recording medium thereof | |
| KR102301769B1 (en) | Method and apparatus for orthodonic aligned teeth shape | |
| WO2019141106A1 (en) | C/s architecture-based dental beautification ar smart assistance method and apparatus | |
| KR102267197B1 (en) | Method and apparatus for recording and displaying dental care data on a digital dental image | |
| US20180101947A9 (en) | Patient-specific three-dimensional dentition model | |
| KR102462185B1 (en) | Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm | |
| EP3496654B1 (en) | Dynamic dental arch map | |
| JP2006500999A5 (en) | ||
| US20140257763A1 (en) | Method and system for dental implant path planning | |
| KR102577339B1 (en) | Method for generating reconstructed images to identify teeth area | |
| KR20210088946A (en) | Apparatus and method for generating 3d model using data matching | |
| WO2024141074A1 (en) | Method for generating facial midline, orthodontic appliance, and manufacturing method therefor | |
| CN118319519A (en) | Object stripping device, method, computer device, and storage medium | |
| US20230274431A1 (en) | Image processing apparatus, method for controlling same, and storage medium | |
| KR20240048384A (en) | Method and apparatus for generating orthodontic treatment plan | |
| CN117999615A (en) | Automatic tooth management in dental restoration workflow | |
| US20220351813A1 (en) | Method and apparatus for training automatic tooth charting systems | |
| KR102155745B1 (en) | Method and apparatus for fmx automatic construction | |
| KR20220051059A (en) | Method for providing section image of tooth and dental image processing apparatus therefor | |
| KR20200101584A (en) | Mhthod and apparatus for easy moving to precision diagnostic module for teeth | |
| US20240122463A1 (en) | Image quality assessment and multi mode dynamic camera for dental images | |
| US20230113449A1 (en) | Orthodontic assessment system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |