KR102407177B1 - Registration method of two similar 3D images on the display interface - Google Patents
Registration method of two similar 3D images on the display interface Download PDFInfo
- Publication number
- KR102407177B1 KR102407177B1 KR1020200008294A KR20200008294A KR102407177B1 KR 102407177 B1 KR102407177 B1 KR 102407177B1 KR 1020200008294 A KR1020200008294 A KR 1020200008294A KR 20200008294 A KR20200008294 A KR 20200008294A KR 102407177 B1 KR102407177 B1 KR 102407177B1
- Authority
- KR
- South Korea
- Prior art keywords
- section
- cross
- image
- circular
- arc curve
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008859 change Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 210000000214 mouth Anatomy 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 7
- 239000004053 dental implant Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005553 drilling Methods 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004195 gingiva Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004086 maxillary sinus Anatomy 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000276 neural tube Anatomy 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
개시되는 발명은 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법에 관한 것으로서, 원형영상과, 상기 원형에 대한 정합영상이 예비 정합된 상태에서, 상기 정합영상 상의 3개의 참조물에 대해 그 3차원 경계상에 참조점(A, PR, PL)을 각각 지정하고, 상기 3개의 참조점을 모두 포함하는 기준단면을 생성하며, 상기 기준단면 상에 나타난 상기 원형영상의 원형기준단면과 상기 정합영상의 정합기준단면 및 상기 참조점을 표시하는 단계; 및 상기 참조점을 지나는 참조호선을 상기 기준단면에 생성하고, 상기 참조호선을 따라 상기 기준단면에 수직인 호선곡면을 생성하며, 상기 호선곡면 상에 나타난 상기 원형영상의 원형호선곡면과 상기 정합영상의 정합호선곡면 및 상기 참조점을 표시하는 단계를 포함한다.The disclosed invention relates to a method of registering two three-dimensional similar images using two-dimensional cross-sectional information. A reference point (A, PR, PL) is designated on the three-dimensional boundary for , respectively, a reference section including all three reference points is generated, and a circular reference section of the circular image displayed on the reference section is generated. and displaying a matching reference cross-section of the registered image and the reference point; and a reference arc line passing through the reference point is generated in the reference section, and an arc curve surface perpendicular to the reference section is generated along the reference arc line, and the circular arc curve surface of the circular image displayed on the arc curve surface and the registration image Including the step of displaying the matching arc curve surface and the reference point.
Description
본 발명은 두 개의 3차원 상사(相似) 영상을 정합하는 방법으로서, 디스플레이 화면상 표시된 두 개의 3차원 상사 영상을 최소 두 개의 2차원 단면 영상에 기반하여 3차원적으로 정밀하게 정합하는 방법에 관한 것이다.The present invention relates to a method for registering two 3D similar images, and relates to a method for precisely matching two 3D similar images displayed on a display screen based on at least two 2D cross-sectional images in three dimensions. will be.
입체 형태가 거의 동일한 부분을 포함하는 두 개의 상사 영상을 컴퓨터 프로그램상에서 정합(整合, Registration), 즉 3차원적으로 정확히 정렬하는 작업은 엔지니어링 절차에서 필요한 경우가 종종 있다. 예를 들어, 어떤 원형의 3차원 스캐닝 영상과, 이 원형을 본뜬 레플리카의 3차원 스캐닝 영상을 컴퓨터 프로그램상에서 일치시키는 작업을 필요로 하는 경우이다. 또는, 어떤 원형에 대해, 종류가 다른 스캐닝 방법을 이용하여 얻은 영상을 일치시키는 작업에 필요하기도 하다. 이를 간략하게는 하나의 원형에 대한 서로 다른 방법, 기기를 이용하거나 서로 다른 시점에서 얻은 스캐닝 영상을 일치시키는 것으로 표현하고, 이를 구분하여 원형영상과 정합영상으로 부를 수 있다.Registration, that is, three-dimensionally accurate alignment of two similar images including parts having substantially the same three-dimensional shape on a computer program, is often required in engineering procedures. For example, it is a case where it is necessary to match a 3D scanning image of a certain prototype with a 3D scanning image of a replica imitating the prototype on a computer program. Alternatively, it may be necessary to match the images obtained by using different types of scanning methods for a certain prototype. In brief, this can be expressed as matching the scanning images obtained from different viewpoints or using different methods and devices for a single prototype, and can be divided into circular images and registered images.
본 발명은 특히 치과 임플란트 수술을 정밀하게 실시할 수 있는 정밀유도 임플란트 수술을 예로 들어, 두 개의 3차원 상사 영상을 디스플레이 화면상에서 정합하는 방법을 설명할 것이다. The present invention will describe a method of matching two three-dimensional similar images on a display screen, taking as an example precision-guided implant surgery capable of precisely performing dental implant surgery in particular.
치과 임플란트는 사고, 질병 등에 의해 손실된 치아를 수복하는 치료로서, 손실된 치아를 대신하여 기존의 치아와 동일하거나 유사한 형상의 인공치아를 수복하는 치과 시술을 말한다. 치과 임플란트를 간략히 설명하면, 손실된 치아가 있었던 치조골을 천공한 후 인공치아의 기초가 되는 픽스쳐를 치조골에 식립하고, 픽스쳐 위에 지대주(어버트먼트)와 인공 크라운을 올리는 보철 시술이라고 말할 수 있다.A dental implant is a treatment for restoring teeth lost due to an accident, disease, or the like, and refers to a dental procedure that restores artificial teeth of the same or similar shape as existing teeth in place of the lost teeth. Briefly describing dental implants, it can be said that dental implants are prosthetic procedures in which, after perforating the alveolar bone where the lost teeth were located, a fixture, which is the basis of an artificial tooth, is placed in the alveolar bone, and an abutment (abutment) and an artificial crown are placed on the fixture.
특히, 치과 임플란트 수술의 성패는 얼마나 적절하게 치조골에 픽스쳐를 식립하느냐에 달려있다고 해도 과언이 아니다. 즉, 픽스쳐가 계획된 바대로 빈틈없이 견고하게 치조골 안에 심어지고 이후 픽스쳐 표면에 양호한 골 융합이 유도되어 마치 자연치와 유사할 정도의 결합력을 발휘할 수 있어야만, 임플란트의 기초를 이루어 저작시 대부분의 하중을 받는 픽스쳐가 치조골에 단단히 고정됨으로써 장기간 인공 치아로서의 기능을 보장할 수 있다.In particular, it is not an exaggeration to say that the success or failure of dental implant surgery depends on how properly the fixture is placed in the alveolar bone. That is, the fixture is firmly planted in the alveolar bone as planned, and then good bone fusion is induced on the surface of the fixture so that it can exert a bonding force similar to that of natural teeth. Since the fixture is firmly fixed to the alveolar bone, the function as an artificial tooth can be guaranteed for a long time.
픽스쳐의 불완전한 고정은 픽스쳐와 치조골 사이의 공간이 넓을 때 주로 발생하는데, 이 공간이 넓을 경우 염증조직이나 연조직이 치조골 세포보다 빠르게 성장함에 따라 골 세포의 성장에 의해 골 융합이 이루어지기 전에 연조직이나 염증조직 또는 미생물이 픽스쳐 표면에 먼저 부착 및 성장하여 결국 임플란트가 빠지거나 부득이하게 제거해야만 하고, 심지어는 재시술이 불가능할 수도 있다. 임플란트 시술 비용이 고가임을 생각한다면, 픽스쳐를 견고하게 치조골 안에 심는 것은 매우 중요하다.Incomplete fixation of the fixture mainly occurs when the space between the fixture and the alveolar bone is wide. Tissues or microorganisms attach to and grow on the fixture surface first, and eventually the implant may fall out or must be inevitably removed, and even reoperation may not be possible. Considering the high cost of implant surgery, it is very important to firmly plant the fixture in the alveolar bone.
최근에는 픽스쳐를 정확하고 견고하게 치조골 안에 식립하기 위한 방안으로서 정밀 유도수술(가이드 수술)이 적용되는 비율이 점차로 높아지고 있다. 정밀 유도수술은 환자의 구강 안에 탈착할 수 있는 마우스피스와 유사한 가이드 템플릿을 이용하여 치조골 천공이 계획한 바대로 정확하게 수행되도록 하는 유도하는 수술법이다. 가이드 템플릿은 천공용 드릴의 진행 방향을 유도하고 천공 깊이를 제한하는 유도 부싱을 구비하고 있는데, 수술계획에 따라 이 가이드 템플릿 안에 유도 부싱의 3차원 위치를 정확하게 배치하는 것이 핵심이다(특허문헌 1 참조). Recently, as a method for accurately and firmly implanting a fixture in the alveolar bone, the proportion of precision guided surgery (guided surgery) being applied is gradually increasing. Precision guided surgery is a surgical method that induces alveolar bone perforation to be performed exactly as planned by using a guide template similar to a removable mouthpiece in the patient's mouth. The guide template is provided with a guide bushing for guiding the direction of drilling for drilling and limiting the depth of drilling, and it is key to accurately place the three-dimensional position of the guide bushing in this guide template according to the surgical plan (see Patent Document 1) ).
그런데, 수술계획은 픽스쳐가 치조골과 인접한 신경관이나 상악동 등과 같은 해부학적 조직에 대해 생물학적으로 안전하게 위치하고, 또한 주변의 치조골 두께가 충분하도록 선정될 필요가 있으므로, 환자의 3차원 CT 영상을 기반으로 수립된다. 한편, 3차원 CT 영상 위에 수립된 수술계획을 반영하여 가이드 템플릿을 제작하는 것은 구강의 인상모델(석고인상이나 3D 프린트 등으로 제작)을 스캐닝하거나 구강내를 직접 스캐닝하여 얻은 영상을 이용하게 된다. 이런 과정에서, 환자의 3차원 CT 영상과 환자 구강을 본뜬 인상모델 또는 환자 구강을 3차원 스캐닝하여 얻은 영상을 정합할 필요가 생긴다. 즉, 환자의 3차원 CT 영상에 수립된 수술계획을 환자의 구강 또는 인상모델의 3차원 스캐닝 영상(이하 인상영상)으로 이식할 필요성이 있는 것이다(특허문헌 2, 3 참조).However, the surgical plan is established based on the patient's 3D CT image because the fixture needs to be selected so that it is biologically safely positioned in the anatomical tissue such as the neural tube or maxillary sinus adjacent to the alveolar bone, and the thickness of the surrounding alveolar bone is sufficient. . On the other hand, to produce a guide template by reflecting the surgical plan established on the 3D CT image, an image obtained by scanning an impression model of the oral cavity (made with a plaster impression or 3D print, etc.) or directly scanning the oral cavity is used. In this process, it is necessary to match the 3D CT image of the patient with the impression model imitating the patient's mouth or the image obtained by 3D scanning the patient's mouth. That is, there is a need to transplant the surgical plan established on the patient's 3D CT image into a 3D scanning image (hereinafter, impression image) of the patient's mouth or impression model (see Patent Documents 2 and 3).
환자의 3차원 CT 영상(본 발명에서의 원형영상)과 3차원 인상영상(본 발명에서의 정합영상)을 정합하는 방안으로서 출원인은 두 개 영상에 서로 대응하는 3개 이상의 참조점을 부여하고 이를 이용하여 두 개 영상을 정확하게 일치시키는 방법을 개발하였다. 이외에도 3차원 표면 형상을 서로 일치시키는 ICP 알고리즘을 이용하기도 한다.As a method of registering a 3D CT image (circular image in the present invention) and a 3D impression image (registered image in the present invention) of a patient, the applicant assigns three or more reference points corresponding to each other to the two images, A method for accurately matching two images was developed using In addition, the ICP algorithm that matches the three-dimensional surface shape with each other is also used.
어떤 방법을 사용하더라도 최초의 정합상태는, 전술한 각 방안에 따라 정확도에 차이가 있기는 하지만, 각 방안에서 모든 증례에 대해 완전하지 않을 수 있기 때문에 정합상태를 작업자가 확인할 필요가 있고, 경우에 따라서는 어느 정도는 작업자가 정합상태를 보정하여 정합 정밀도를 높여줄 필요가 있다. 하지만, 두 개의 3차원 영상을 정확하게 정합하는 것은, 2차원 화면상에서 3개 축에 대한 병진과 회전 이동의 6개 이동량을 조절하면서 수행해야 하는 것이기 때문에 상당히 복잡하고 어려운 점이 있다. Regardless of which method is used, the initial registration state, although there is a difference in accuracy according to each method described above, may not be perfect for all cases in each method, so the operator needs to check the registration state, and in some cases Therefore, to some extent, it is necessary for the operator to correct the registration state to increase the registration accuracy. However, precisely matching two 3D images is quite complicated and difficult because it has to be performed while controlling 6 movements of translation and rotation about 3 axes on a 2D screen.
이러한 두 개의 상사 영상을 정합하는 작업을 작업자가 직접 수행할 때 그 효율성이 낮으면 작업량이 많아지고 정신적 피로감도 높아지고, 또는 경우에 따라서 상사 영상에 어떤 상대적 위치관계 변화를 줘서 맞춰야 하는지를 판단하고 수행하는 작업을 자동화하더라도 인터페이스 환경에 따라 효율이 달라지므로, 이런 작업을 효율적으로 수행할 수 있는 적절한 인터페이스 환경을 마련하는 것이 바람직하다.When the operator directly performs the task of matching these two boss images, if the efficiency is low, the amount of work increases and mental fatigue increases, or in some cases, it is a method to determine and perform a relative positional change to match the boss image. Even if tasks are automated, the efficiency varies depending on the interface environment, so it is desirable to prepare an appropriate interface environment to efficiently perform these tasks.
본 발명은 두 개의 3차원 상사 영상을 디스플레이의 2차원 화면상에서 효율적으로 정합할 수 있는 인터페이스 환경을 제공하는데 그 목적이 있다.An object of the present invention is to provide an interface environment capable of efficiently matching two 3D similar images on a 2D screen of a display.
본 발명은 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법에 관한 것으로서, 원형영상과, 상기 원형에 대한 정합영상이 예비 정합된 상태에서, 상기 정합영상 상의 3개의 참조물에 대해 그 3차원 경계상에 참조점(A, PR, PL)을 각각 지정하고, 상기 3개의 참조점을 모두 포함하는 기준단면을 생성하며, 상기 기준단면 상에 나타난 상기 원형영상의 원형기준단면과 상기 정합영상의 정합기준단면 및 상기 참조점을 표시하는 단계; 및 상기 참조점을 지나는 참조호선을 상기 기준단면에 생성하고, 상기 참조호선을 따라 상기 기준단면에 수직인 호선곡면을 생성하며, 상기 호선곡면 상에 나타난 상기 원형영상의 원형호선곡면과 상기 정합영상의 정합호선곡면 및 상기 참조점을 표시하는 단계를 포함한다.The present invention relates to a method for registering two three-dimensional similar images using two-dimensional cross-sectional information. Each reference point (A, PR, PL) is designated on the three-dimensional boundary for the displaying a matching reference cross-section of the matched image and the reference point; and a reference arc line passing through the reference point is generated in the reference section, and an arc curve surface perpendicular to the reference section is generated along the reference arc line, and the circular arc curve surface of the circular image displayed on the arc curve surface and the registration image Including the step of displaying the matching arc curve surface and the reference point.
여기서, 본 발명의 일 실시형태에 따르면, 상기 원형영상과 정합영상을 예비 정합하는 것은, 상기 원형영상과 상기 정합영상 각각에 대해 서로 대응하는 적어도 3개 이상의 예비점을 지정하고, 상기 원형영상의 예비점으로부터 원형 예비좌표계를 생성하고, 상기 정합영상의 예비점으로부터 정합예비좌표계를 생성하며, 상기 원형예비좌표계와 상기 정합예비좌표계의 각 원점과 대응하는 축을 근접시켜 상기 원형영상과 정합영상을 예비적으로 정합하는 것일 수 있다.here, According to an embodiment of the present invention, the preliminary registration of the circular image and the registered image comprises designating at least three or more preliminary points corresponding to each other for each of the circular image and the registered image, and the preliminary point of the circular image. A circular preliminary coordinate system is generated from, and a registration preliminary coordinate system is generated from the preliminary point of the registration image, and the circular image and the registered image are preliminarily prepared by bringing the circular preliminary coordinate system and axes corresponding to the respective origins of the preliminary registration coordinate system close to each other. it could be matching.
그리고, 본 발명은, 상기 기준단면에서 상기 정합기준단면 또는 상기 참조점을 병진이동하였을 때 이에 대응하여 상기 원형영상에 대해 상기 정합영상이 병진이동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계; 및 상기 기준단면에서 상기 참조점 중 어느 하나를 선택하여 이를 지나면서 상기 기준단면에 수직인 Z 회동축을 생성하고, 상기 정합기준단면 또는 상기 선택된 참조점 이외의 다른 참조점을 병진이동하였을 때 상기 원형영상에 대해 상기 정합영상이 상기 Z 회동축을 중심으로 회동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계를 더 포함한다.And, in the present invention, when the registration reference cross-section or the reference point is translated in the reference cross-section, the registered image is translated with respect to the circular image in response thereto, and displaying it on the reference cross-section and the curved surface ; and selecting any one of the reference points in the reference cross-section to generate a Z rotation axis perpendicular to the reference cross-section while passing through the reference cross-section, and when the matching reference cross-section or other reference points other than the selected reference point are translated The method further includes the step of rotating the registered image with respect to the circular image about the Z axis of rotation, and displaying it on the reference cross-section and the curved surface.
또한, 본 발명은, 상기 호선곡면에서 상기 정합호선곡면 또는 상기 참조점을 상하로 이동할 때 상기 원형영상에 대해 상기 정합영상이 상기 기준단면에 수직한 방향으로 병진이동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계; 및 상기 호선곡면에서 상기 참조점 중 어느 두 개를 선택하여 이들을 지나는 XY 회동축을 생성하고, 상기 정합호선곡면 또는 선택되지 않은 나머지 참조점을 상하로 이동하였을 때 상기 원형영상에 대해 상기 정합영상이 상기 XY 회동축을 중심으로 회동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계를 더 포함한다.In addition, in the present invention, when moving up and down the matched arc curve or the reference point in the arc curve, the registered image translates in a direction perpendicular to the reference section with respect to the circular image, and this is the reference section and the arc line displaying on a curved surface; and selecting any two of the reference points on the arc curve surface to generate an XY rotation axis passing them, and when the matched arc curve surface or the remaining unselected reference points are moved up and down, the registered image is It rotates about the XY axis of rotation, and further comprising the step of displaying it on the reference cross-section and the curved surface.
그리고, 상기 참조점은 상기 호선곡면상에서 근원심 방향을 따라 새롭게 지정될 수 있다.And, the reference point may be newly designated along the mesio-distal direction on the curved surface of the arc line.
그리고, 상기 참조점은 상기 기준단면상에서 X, Y 방향으로 자유롭게 새로이 지정될 수도 있다.In addition, the reference point may be newly designated freely in the X and Y directions on the reference cross-section.
그리고, 상기 기준단면에 수직한 방향을 따라 이격된 보조 기준단면을 추가로 생성하고, 상기 보조 기준단면상에 투사된 투사 참조점을 생성하며, 상기 보조 기준단면상에서도 상기 정합영상의 병진이동 및 회동을 수행할 수 있다.Then, an auxiliary reference cross-section spaced apart along a direction perpendicular to the reference cross-section is additionally generated, a projection reference point projected on the auxiliary reference cross-section is generated, and translational movement and rotation of the registered image also on the auxiliary reference cross-section are performed. can be done
나아가 상기 참조호선에 수직한 방향으로 이격된 보조 참조호선 및 보조 호선곡면을 추가로 생성할 수도 있으며, 이 경우 상기 보조 호선곡면에 대해 상기 참조점이 정사영으로 투사된 보조 참조점을 생성하고, 상기 보조 참조점을 이용하여 상기 정합영상의 병진이동 및 회동을 수행할 수도 있다.Furthermore, it is also possible to additionally create an auxiliary reference arc and an auxiliary curved surface that are spaced apart in a direction perpendicular to the reference arc, and in this case, an auxiliary reference point in which the reference point is projected in an orthogonal projection with respect to the auxiliary curved surface is generated, and the auxiliary reference point is generated. Translation and rotation of the registered image may be performed using a reference point.
그리고, 상기 호선곡면에서 상기 참조점 중 어느 하나를 지정하여 상하방향(기준단면에 수직한 방향)으로 이동하였을 때, 지정되지 않은 나머지 두 참조점을 회동축으로 하여, 지정된 상기 참조점이 상기 호선곡면을 따라서 이동하고, 이에 따라 상기 기준단면과 상기 참조호선 및 상기 호선곡면이 새롭게 생성될 수도 있다.And, when any one of the reference points is designated on the arc curve and moved in the vertical direction (direction perpendicular to the reference section), the other two reference points that are not designated as the axis of rotation, the designated reference point is the arc curve It moves along, and accordingly, the reference section, the reference arc line, and the arc curve surface may be newly created.
본 발명은 3차원 영상의 전체적인 정보를 직관적으로 명확히 파악할 수 있는 2개의 단면 정보로 보여주면서, 3차원적으로 상대적 위치관계를 조정하기 위한 3방향 병진이동 및 3축 회동을 각기 독립적인 2개의 단면에서 수행함으로써, 최적화되고 최소화된 단면을 통해 정합상태를 쉽고 효율적으로 확인할 수 있도록 하고, 나아가 최적화되고 최소화된 이동을 통해 더욱 효율적으로 두 개의 3차원 영상을 정합할 수 있는 인터페이스 환경을 제공한다는데 그 이점이 있다.The present invention shows two cross-sectional information that can intuitively and clearly grasp the overall information of a three-dimensional image, while performing three-way translation and three-axis rotation to adjust the relative positional relationship in three dimensions, each of which is independent of two cross-sections. By performing in , it is possible to easily and efficiently check the registration state through the optimized and minimized cross section, and furthermore, to provide an interface environment that can more efficiently register two 3D images through the optimized and minimized movement. There is an advantage.
도 1은 원형영상과 정합영상 각각에 대해 서로 대응하는 적어도 3개의 예비점을 지정한 상태를 도시한 도면.
도 2는 정합영상 위에 3개의 참조점을 지정한 상태를 도시한 도면.
도 3은 기준단면상에서의 원형기준단면, 정합기준단면, 참조점이 함께 표시된 영상을 도시한 도면.
도 4는 호선곡면상에서의 원형호선곡면, 정합호선곡면, 참조점이 함께 나타나 파노라마 영상을 도시한 도면.
도 5는 기준단면상에서 3개의 참조점을 새로 지정한 상태를 도시한 도면.
도 6은 기준단면상에서의 정합기준단면의 병진이동 및 회동을 표시한 도면.
도 7은 호선곡면상에서의 XY 회동축을 따르는 회동을 3차원적으로 표시한 도면.
도 8은 기준단면과 보조 기준단면을 함께 도시한 도면.
도 9는 호선 곡면과 보조 호선곡면을 함께 도시한 도면.
도 10은 호선곡면 상에서 1개의 참조점을 새로 지정하고, 이에 따라 변화된 변경 기준단면과 변경 참조호선을 도시한 도면. 1 is a diagram illustrating a state in which at least three preliminary points corresponding to each other are designated for each of a circular image and a registered image;
2 is a diagram illustrating a state in which three reference points are designated on a registered image.
3 is a view showing an image in which a circular reference cross-section, a matching reference cross-section, and a reference point are displayed together on the reference cross-section;
4 is a view showing a panoramic image in which a circular arc curve surface, a matched arc line curve surface, and a reference point appear together on the arc curve surface.
5 is a view showing a state in which three reference points are newly designated on a reference section.
6 is a view showing translational movement and rotation of the matching reference cross-section on the reference cross-section;
Figure 7 is a view showing the three-dimensional rotation along the axis of rotation XY on the curved surface of the arc line.
8 is a view showing a reference section and an auxiliary reference section together.
Figure 9 is a view showing an arc curve surface and an auxiliary arc curve surface together.
10 is a view showing a changed reference cross section and a changed reference arc by designating a new reference point on the arc curve surface, and changing accordingly.
이하, 본 발명의 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function interferes with the understanding of the embodiment of the present invention, the detailed description thereof will be omitted.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 개재되어 간접적으로 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is "connected", "coupled" or "connected" to another component, the component may be directly connected or connected to the other component, but another component is between each component. It should be understood that may also be interposed and indirectly "connected", "coupled" or "connected".
본 발명에 따른 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법은, 원형영상(10)과, 원형에 대한 정합영상(20)(예를 들어, 원형을 본뜬 레플리카의 영상)이 예비 정합된 상태에서 사용자가 설정하거나 프로그램에 의해 자동으로 설정된 참조점(A, PR, PL)을 포함하는 두 개의 2차원 단면 영상을 통해 한 쌍의 3차원 영상을 정밀하게 정합하는 과정으로 구성된다.The method of registering two three-dimensional similar images according to the present invention using two-dimensional cross-sectional information is a
예비 정합을 진행하는 과정은 다양한 방법을 통해서 진행될 수 있는데, 본 발명에서는 수학적으로 가장 기본이 되는 방법을 예시로 하여 예비정합이 진행되는 한 가지 방법을 기재한다. 예비정합을 위해, 원형영상(10)과 정합영상(20) 각각에 대해 서로 대응하는 적어도 3개 이상의 예비점(30)을 지정한다. 도 1은 원형영상(10)과 정합영상(20) 각각에 대해 서로 대응하는 3개의 예비점(30)을 지정한 상태를 도시한 도면(화면)을 보여준다. 도시된 도면에서, 좌측의 원형영상(10)은 환자의 구강 내 CT 영상이고, 우측의 정합영상(20)은 환자의 구강 인상모델의 3차원 스캐닝 영상이다. 이렇게 서로 대응하는 3개 이상의 예비점(30)이 각각의 영상에 지정되면, 이들 예비점(30)에 기반하여 원형영상(10)과 정합영상(20)을 예비적으로 정합할 수 있다.The process of performing the preliminary registration may be performed through various methods. In the present invention, one method of performing the preliminary registration will be described by taking the most mathematically basic method as an example. For preliminary matching, At least three or more
3개 이상의 예비점(30)은 서로 동일 또는 유사한 특징점에 대해 지정되는데, 3개의 예비점(30)을 지정하면 방향성을 따로 지정할 필요가 있다(3개의 예비점은 3차원 상에서 2가지 경우로 합치 가능). 가장 단순하게는 원형영상(10)과 정합영상(20)이 동일한 방향을 향하도록 화면상에 위치시킨 후 반전 없이 일치시키면 된다. Three or more
여기서, "특징점"이란 각 영상에서 형태적 특징에 비추어 한 가지 경우로서 그 위치로 특정할 수 있는 점을 의미한다. 예를 들어, 서로 대응하는 두 개의 직선이나 원주 상의 일 점은 서로 정확히 특정하기가 곤란하지만, 삼각뿔의 정점은 일의적으로 정확히 특정할 수 있기에 특징점으로 삼을 수 있다. 환자의 구강내 영상을 예로 든다면, 마커의 특징점, 치아의 특징점, 치은의 특징점, 또는 보철물의 특징점을 예비점(30)으로 지정할 수 있다. 마커란 기준물로 삼고자 환자의 구내에 장착한 표지물을 말하고, 치은이나 치아의 특징점은 형태적으로 주변과 구분이 가능한 점을 말하며, 그리고 이미 구내에 장착되어 있는 보철물 같은 인공물에서도 특징점을 추출할 수 있다.Here, the "feature point" means a point that can be specified by its location as one case in view of the morphological features in each image. For example, although it is difficult to accurately specify two straight lines or a point on a circumference corresponding to each other, the vertex of a triangular pyramid can be uniquely and precisely specified, so it can be used as a feature point. Taking an intraoral image of a patient as an example, a feature point of a marker, a feature point of a tooth, a feature point of a gingiva, or a feature point of a prosthesis may be designated as the
예비적인 정합은 원형영상(10)과 정합영상(20) 각각에 지정된 3개 이상의 대응하는 예비점(30)을 상호 일치 내지 근접시키는 방법으로 수행할 수도 있으며, 또는 원형영상(10)에 지정된 예비점(30)으로부터 원형 예비좌표계를 생성하는 한편 정합영상(20)에 지정된 예비점(30)으로부터 정합예비좌표계를 생성하고, 이들 원형예비좌표계와 정합예비좌표계의 각 원점과 대응하는 축을 서로 일치 내지 근접시키는 방법으로 수행할 수 있다.Preliminary registration may be performed by mutually matching or proximate to three or more corresponding
대응하는 예비점(30)을 일치시키는 예비 정합 과정이 끝나면, 예비 정합된 상태에서 정합영상(20)에서 임의로 지정된 3개의 기준물에 대해 그 3차원 경계상에 참조점(A, PR, PL)을 각각 지정한다. 도 2는 정합영상(20) 위에 3개의 참조점(A, PR, PL)을 지정한 것을 보여준다.When the preliminary registration process of matching the corresponding
여기서, 3개의 참조점(A, PR, PL)은 임의로 지정할 수 있지만, 정확한 정합을 위해서는 3개의 참조점(A, PR, PL)을 연결한 삼각형의 면적이 가능한 커지도록 하고, 정합하고자 하는 기준이 되는 경계에 위치하는 것이 바람직하다. 즉, 3개의 참조점(A, PR, PL)이 정합영상(20)의 어느 한쪽에 편중되어 있으면 후술할 정합 과정 중의 단면영상의 병진이동이나 회동시에 정합 정밀도가 한쪽에 치중됨으로써 전체적인 정합 정밀도가 일정 수준 이상을 보장하는 것이 어려워질 수 있다.Here, the three reference points (A, PR, PL) can be arbitrarily designated, but for accurate registration, the area of the triangle connecting the three reference points (A, PR, PL) should be as large as possible, and the standard to be matched It is preferable to be located at the boundary where That is, if the three reference points (A, PR, PL) are biased on either side of the
그리고, 정합을 위한 회동의 중심으로 작용하는 회동축이 정합영상(20)의 기준이 되는 경계상에 놓여 있지 않으면, 회동을 통해 경계가 근접하여 맞춰지는 부분이 있는가 하면 오히려 멀어지는 부분도 생기는 현상이 발생하게 된다. 다만, 이러한 기준은 정밀하고 효과적인 정합을 위해 정리한 기준이며, 참조점(A, PR, PL)이 최초 지정될 때 정합영상(20)의 경계(외곽경계)상에 지정되더라도, 정합상태를 용이하게 관찰하기 위해서 참조점(A, PR, PL)은 정합영상(20)의 경계가 아닌 곳으로 추후 변경될 수 있다. 이러한 특징은 정합영상(20)이 CT나 MRI와 같이, 뚜렷한 외부경계를 확정하기 어려운 영상일 때, 정합에 대한 판정 내지는 정합상태를 확인하거나 정합을 위한 상대적 위치이동의 기준을 새로이 지정하는 데에 효과적이다.And, if the axis of rotation acting as the center of rotation for registration does not lie on the boundary that is the reference of the
정합영상(20) 위에 3개의 참조점(A, PR, PL)이 지정되면, 3개의 참조점(A, PR, PL)을 모두 포함하는 기준단면(100)을 생성할 수 있다. 그리고, 기준단면(100)이 정해지면, 기준단면(100) 상에 나타난 원형영상(10)의 원형기준단면(110)과, 정합영상(20)의 정합기준단면(120), 그리고 참조점(A, PR, PL)을 함께 표시할 수 있다. 도 3은 기준단면(100)상에서의 원형기준단면(110), 정합기준단면(120), 참조점(A, PR, PL)을 표시한 것이다. 이 기준단면(100)에서의 2차원 단면 정보가 본 발명에서 3차원 정합에 사용되는 첫 번째 단면영상이다.When three reference points A, PR, and PL are designated on the registered
그 다음으로, 3개의 참조점(A, PR, PL)에 대해서는 이들을 지나는 하나의 곡선, 즉 참조호선(210)을 생성할 수 있다. 참조호선(210)은 3개의 참조점(A, PR, PL)을 모두 지나도록 커브 피팅에 의해 생성되며, 참조호선(210) 또한 기준단면(100) 위에 있게 된다. 그리고, 참조호선(210)이 생성되면 참조호선(210)을 따라 기준단면(100)에 수직인 호선곡면(200)을 생성할 수 있으며, 호선곡면(200) 상에 나타난 원형영상(10)의 원형호선곡면(220)과 정합영상(20)의 정합호선곡면(230), 그리고 참조점(A, PR, PL)을 함께 표시할 수 있다. 이러한 호선곡면(200)을 2차원상에서 펼치면 도 4와 같이 원형호선곡면(220), 정합호선곡면(230), 참조점(A, PR, PL)이 함께 나타나 파노라마 영상이 얻어지며, 이 호선곡면(200)에서의 2차원 단면 정보가 본 발명에서 3차원 정합에 사용되는 두 번째 단면영상이 된다.Next, for the three reference points (A, PR, PL), one curve passing through them, that is, the
위와 같은 과정을 거쳐 예비 정합된 원형영상(10)과 정합영상(20)에 대한 두 개의 단면정보가 얻어지면, 다음과 같은 과정을 통해 3차원적인 영상 정합이 수행된다. 각 단면정보에서의 정합 과정은 3차원상에서의 3방향 병진이동 및 3축 회동의 자유도가 모두 반영되도록 고안되어 있다.When two cross-sectional information about the pre-registered
먼저, 기준단면(100)에서의 정합 과정을 설명한다. 기준단면(100)에서 정합기준단면(120) 또는 참조점(A, PR, PL)을 병진이동하였을 때에는(예를 들어, 화면상에서 정합기준단면 또는 참조점을 클릭한 상태에서 병진이동), 이에 대응하여 원형영상(10)에 대해 정합영상(20)이 병진이동한다. 이와 같이 정합기준단면(120)이 기준단면(100)에서 그 위치가 변동하면, 이 위치관계의 변화를 그대로 원형영상(10)과 정합영상(20) 사이에 상대적 위치관계로 반영시켜 기준단면(100) 및 호선곡면(200)에 반영하여 표시한다. 기준단면(100)을 XY 평면으로 지칭한다면, 이러한 정합기준단면(120)의 병진이동은 XY 축을 따르는 2방향 병진이동에 해당한다.First, the registration process in the
그리고, 기준단면(100)에서 3개의 참조점(A, PR, PL) 중 어느 하나를 선택하면 이를 지나면서 기준단면(100)에 수직인 Z 회동축을 생성할 수 있다. Z 회동축이 생성된 상태에서 정합기준단면(120) 또는 선택된 참조점 이외의 다른 참조점을 병진이동하였을 때에는, 원형영상(10)에 대해 정합영상(20)이 Z 회동축을 중심으로 회동하고, 이러한 회동에 의한 위치관계의 변화도 기준단면(100) 및 호선곡면(200)에 반영된다. 이러한 정합기준단면(120)의 회동은 Z 회동축을 따르는 1축 회동에 해당한다. 따라서, 기준단면(100)에서의 정합 조작은 2자유도의 병진이동과 1자유도의 회동을 구현한다(도 6 참조).In addition, if any one of the three reference points A, PR, and PL is selected in the
다음으로, 호선곡면(200)상에서의 정합 과정은 나머지 1자유도의 병진이동과 2자유도의 회동을 담당하는 단면정보로서 활용된다.Next, the registration process on the
호선곡면(200)(호선곡면에 대한 파노라마 영상)에서는 정합호선곡면(230) 또는 참조점(A, PR, PL)을 상하로 이동할 수 있으며, 이는 원형영상(10)에 대해 정합영상(20)이 기준단면(100)에 수직한 방향으로 병진이동하는 것으로 반영되고 그 결과가 표시된다. 즉, 호선곡면(200)에서의 상하이동은 Z 축을 따르는 1방향 병진이동에 해당한다.In the arc curve 200 (panoramic image for the arc curve), the registered
그리고, 호선곡면(200)에서 3개의 참조점(A, PR, PL) 중 어느 두 개를 선택하여 이들을 지나는 XY 회동축(회동축의 명칭이며, 좌표계상의 X축이나 Y축을 의미하는 것은 아님)을 생성할 수 있으며, XY 회동축이 생성된 상태에서 정합호선곡면(230) 또는 선택되지 않은 나머지 참조점을 상하로 이동하는 조작은 원형영상(10)에 대해 정합영상(20)이 XY 회동축을 중심으로 회동하는 것으로 반영될 수 있다. 이러한 회동 변화 역시 기준단면(100) 및 호선곡면(200)에 반영하여 표시되며, 3개의 참조점(A, PR, PL) 중 XY 회동축을 만들기 위해 선택되는 2개의 참조점에 대한 조합(A-PR, A-PL, PR-PL)을 달리하여 회동을 진행하면, 이는 3가지 XY 회동축을 따르는 2자유도의 회동에 해당한다(도 7 참조).And, select any two of the three reference points (A, PR, PL) on the
이와 같이, 본 발명은 두 개의 3차원 영상의 예비 정합된 위치 정보를 기준단면(100)과 호선곡면(200)상에서의 2종류의 단면 정보로서 분리하여 제공하는 것과 함께, 정합영상(20)이 원형영상(10)에 대해 이루는 3차원적인 위치관계가 단지 두 개의 단면정보에서 3방향 병진이동 및 3축 회동이 모두 반영되어 변화하도록 구성했고, 이에 따라 정합된 전체적 양상을 쉽고 효율적으로 파악할 수 있다는 특징이 있다. 즉, 본 발명은 최적화되고 최소화된 단면을 통해 정합상태를 쉽고 효율적으로 파악할 수 있도록 하고, 나아가 최적화되고 최소화된 이동을 통해 더욱 효율적으로 두 개의 3차원 영상을 정합할 수 있는 인터페이스 환경을 제공할 수 있다는 장점을 지닌다.As such, the present invention separates and provides the pre-registered position information of two three-dimensional images as two types of cross-sectional information on the
여기서, 본 발명은 2차원 단면 정보의 변환(병진, 회동이동 변환)의 연산 부담을 줄여주기 위해서 병진, 회동하는 영상은 데이터량이 적은 정합영상(20)을 선택하는 것으로 구성하고 있다. 나아가, 정합영상(20)의 데이터량을 더 줄이기 위해 정합영상(20)을 외곽선으로 표시하는 것으로 더 단순화한 실시형태도 보여주고 있다. 두 개의 3차원 영상을 인터페이스 화면상에서 정합하는 것은 이미지의 중첩을 수반하기 때문에 어느 하나의 영상을 반투명으로 처리할 수도 있지만, 정합영상(20)을 외곽선만을 표시하는 것으로 극히 단순화하여도 영상 정합 처리에는 무리가 없다.Here, in the present invention, in order to reduce the computational burden of transforming two-dimensional cross-sectional information (translational and rotational translation), the translated and rotated images consist of selecting the matched
위와 같은 구성을 가진 본 발명의 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법은, 더욱 효율적인 영상 정합을 위한 몇 가지의 부가적인 방안을 더 포함할 수 있다.The method for registering two 3D similar images of the present invention having the above configuration using 2D cross-sectional information may further include several additional methods for more efficient image registration.
예를 들어, 정합영상(20) 위에 지정된 참조점(A, PR, PL)은 호선곡면(200)상에서 근원심 방향을 따라 새롭게 지정될 수 있다. 참조점(A, PR, PL)은 특히 회동 이동의 중심 역할을 하는 것이므로, 더욱 정확한 정합을 위해서(예를 들어, 참조점 근방에서 정합에 사용할 특징점이 흐릿하거나 없을 때) 참조점(A, PR, PL)을 이동 내지 변경할 필요가 생길 수 있다. For example, the reference points A, PR, and PL designated on the registered
또한, 본 발명의 실시예에서, 치아를 참조물로 활용할 경우, 치아 뿌리 주변이 녹아있을 경우에는 원형영상(10)에서의 참조물의 위치와 정합영상(20)에서의 참조물의 위치가 상대적으로 정합에 활용될 수 있을 만큼 유사하지 않게 되어 참조점(A, PR, PL)의 위치를 변경할 필요가 있으며, 이때 참조물이나 참조점(A, PR, PL)의 적절성을 쉽게 판단하기 위해 호선곡면(200)을 사용하면 원형영상(10)의 내부상태를 전체적으로 쉽게 파악할 수 있다는 장점이 생긴다. 다시 말해, 이러한 변경에서 참조점(A, PR, PL)은 호선곡면(200)을 따라 변경되는 것이므로 기준단면(100)과 호선곡면(200) 자체의 변화는 없게 된다. 또한, 참조점(A, PR, PL)이 호선곡면(200) 상에서 새로이 지정될 때에는, 참조점(A, PR, PL)이 애초에 정합영상(20)에 지정되었기에 정합영상(20)의 3차원적 영역 내에 새롭게 지정된 방향과 이동거리만큼 연동되어 이동되는 것이 당연하다.In addition, in an embodiment of the present invention, when a tooth is used as a reference, the position of the reference object in the
나아가 새로운 호선곡면(200)을 생성할 필요가 있을 수도 있다. 이를 위해서는 참조점(A, PR, PL)은 기준단면(100)상에서 X, Y 방향으로 자유롭게 새로이 지정된다. 도 5는 기준단면(100)상에서 3개의 참조점(A, PR, PL)을 새로 지정한 상태를 도시한 도면으로서, 원래의 검은 색 참조호선(210)이 적색의 참조호선(210')으로 새로이 지정되어 있다. 이처럼 참조점(A, PR, PL)이 새로 지정되면 이를 지나는 참조호선(210')도 바뀌고, 결과적으로 호선곡면(200)도 바뀌게 된다. 이때, 참조점(A, PR, PL)이 기준단면(100) 상에서 새로이 지정될 때에는, 참조점(A, PR, PL)이 애초에 정합영상(20)에 지정되었기에 정합영상(20)의 3차원적 영역 내에 새롭게 지정된 방향과 이동거리만큼 연동되어 이동되는 것 역시 당연하다.Furthermore, it may be necessary to create a new curved
그리고, 도 8과 같이, 기준단면(100)에 수직한 방향을 따라 이격된 보조 기준단면(130)을 추가로 생성할 수 있다. 보조 기준단면(130)은 Z축의 깊이방향을 따라 정합영상(20)과 원형영상(10)의 겹쳐진 양상을 다양하게 관찰하면서 정합상태를 확인할 수 있도록 한다. 그리고, 보조 기준단면(130)으로 참조점(A, PR, PL)이 각각 투영(정사영)된 투사 참조점(Ap, PRp, PLp)을 생성하고, 보조 기준단면(130)상에서도 전술한 것과 같은 정합영상(20)의 병진이동 및 회동을 수행할 수도 있다.And, as shown in FIG. 8 , an
나아가, 도 9와 같이, 참조호선(210)에 수직(직교)한 방향으로 이격된 보조 참조호선(242)을 추가로 생성하여 이로부터 보조 호선곡면(240)을 생성할 수도 있으며, 이 경우 보조 참조호선(242) 내지는 보조 호선곡면(240)에 대해 참조점(A, PR, PL)이 정사영으로 투사된 보조 참조점(As, PRs, PLs)을 생성하고, 보조 참조점(As, PRs, PLs)을 이용하여 정합영상(20)의 병진이동 및 회동을 수행할 수도 있다. 보조 호선곡면(240)은 도 4에 도시된 파노라마 영상을 깊이방향을 따라 관찰할 수 있도록 하며, 역시 보조 기준단면(130)과 유사하게 그 위에서 정합영상(20)의 병진이동(Z축 방향 이동) 및 보조 참조점(As, PRs, PLs)을 활용하여 XY 회동축을 갱신하는 회동을 수행할 수도 있다.Furthermore, as shown in FIG. 9 , an auxiliary
그리고, 도 10과 같이, 기준단면(100) 상의 참조점(A, PR, PL)중 예를 들어 참조점 A를 호선곡면(200)을 따라 기준단면(100)에 수직한 방향으로 이동하여 변경 참조점(Ac)을 지정할 수 있으며, 이에 따라, 기준단면(100)이 변경 기준단면(101)로 새롭게 지정될 수 있고, 또한 참조호선(210)이 변경 참조호선(211)으로 새롭게 지정될 수 있다. 새롭게 지정된 변경 참조호선(211)에 따라, 호선곡면(200)도 변경 호선곡면으로 새롭게 지정될 수 있음은 자명하여, 다만 도면의 이해도를 높이기 위하여 변경 호선곡면은 도 10에서 생략되어 있다. 위에서 기술한 변경된 변경 참조점(Ac)외에도 나머지 참조점(PR, PL)도 변경되어 변경 참조점(PRc, PLc)으로 될 수 있음도 자명하여, 별도로 도면 상에 표기하지 않았다.And, as shown in FIG. 10, for example, the reference point A among the reference points A, PR, PL on the
이상의 설명과 같이, 3차원 영상 사이의 전체적인 위치관계를 최소 개수인 두 개의 2차원 단면 영상으로 보여주면서 어느 하나의 단면에서의 위치관계 변화를 모든 단면 영상에 대해 동시에 반영함으로써 3차원적인 전체적인 변화를 직관적으로 쉽고 효율적으로 파악할 수 있고, 참조점을 이동 또는 변경하는 것을 허용함으로써 더욱 정확하고 효율적으로 두 개의 3차원 영상을 정합할 수 있는 인터페이스 환경을 제공하는데 본 발명의 장점이 있다. As described above, the overall positional relationship between the three-dimensional images is shown as the minimum number of two two-dimensional cross-sectional images, and the change in the positional relationship in any one cross-section is simultaneously reflected for all cross-sectional images, thereby reducing the overall three-dimensional change. It is an advantage of the present invention to provide an interface environment that can be intuitively and easily grasped and can more accurately and efficiently match two 3D images by allowing moving or changing a reference point.
다만, 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.However, the above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. . Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments.
10: 원형영상 20: 정합영상
30: 예비점 A, PR, PL: 참조점
100: 기준단면 101: 변경 기준단면
Ac, PRc, PLc,: 변경 참조점 110: 원형기준단면
120: 정합기준단면 Z-Axis: Z 회동축
130: 보조 기준단면 Ap, PRp, PLp: 투사 참조점
200: 호선곡면 210, 210': 참조호선
211: 변경 참조호선 220: 원형호선곡면
230: 정합호선곡면 XY-Axis: XY 회동축
240: 보조 호선곡면 As, PRs, PLs: 보조 참조점
242: 보조 참조호선10: circular image 20: registered image
30: reserve point A, PR, PL: reference point
100: reference section 101: change reference section
Ac, PRc, PLc,: change reference point 110: circular reference section
120: registration reference section Z-Axis: Z rotation axis
130: auxiliary reference section Ap, PRp, PLp: projection reference point
200: Hoseongok-
211: change reference arc 220: circular arc curved surface
230: registration arc curve surface XY-Axis: XY rotation axis
240: auxiliary arc surface As, PRs, PLs: auxiliary reference point
242: auxiliary reference line
Claims (11)
상기 참조점을 지나는 참조호선을 상기 기준단면에 생성하고, 상기 참조호선을 따라 상기 기준단면에 수직인 호선곡면을 생성하며, 상기 호선곡면 상에 나타난 상기 원형영상의 원형호선곡면과 상기 정합영상의 정합호선곡면 및 상기 참조점을 표시하는 단계;
상기 기준단면에서 상기 정합기준단면 또는 상기 참조점을 병진이동하였을 때 이에 대응하여 상기 원형영상에 대해 상기 정합영상이 병진이동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계; 및
상기 기준단면에서 상기 참조점 중 어느 하나를 선택하여 이를 지나면서 상기 기준단면에 수직인 Z 회동축을 생성하고, 상기 정합기준단면 또는 상기 선택된 참조점 이외의 다른 참조점을 병진이동하였을 때 상기 원형영상에 대해 상기 정합영상이 상기 Z 회동축을 중심으로 회동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계;
를 포함하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.In a state in which the circular image and the registered image for the original are pre-registered, reference points (A, PR, PL) are respectively designated on the three-dimensional boundary for three reference objects on the registered image, and the three generating a reference cross-section including all reference points, and displaying a circular reference cross-section of the circular image displayed on the reference cross-section, a registration reference cross-section of the registered image, and the reference point;
A reference arc line passing through the reference point is generated in the reference section, an arc curve surface perpendicular to the reference section is generated along the reference arc line, and the circular arc curve surface of the circular image displayed on the arc curve surface and the registration image Displaying the matched arc curve and the reference point;
In the reference cross-section, when the registration reference cross-section or the reference point is translated, the registered image is translated with respect to the circular image in response thereto, and displaying it on the reference cross-section and the curved surface; and
When any one of the reference points is selected in the reference cross-section and passed through, a Z rotation axis perpendicular to the reference cross-section is generated, and the matching reference cross-section or other reference points other than the selected reference point are translated. Rotating the registered image with respect to the image about the Z axis of rotation, and displaying it on the reference cross-section and the curved surface;
A method of registering two 3D similar images including a 2D cross-section information.
상기 원형영상과 정합영상을 예비 정합하는 것은, 상기 원형영상 및 상기 정합영상 각각에 대해 서로 대응하는 적어도 3개 이상의 예비점을 지정하고, 상기 예비점에 기반하여 상기 원형영상과 정합영상을 예비 정합하는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.The method according to claim 1,
In the preliminary registration of the circular image and the registered image, at least three or more preliminary points corresponding to each other are designated for each of the circular image and the registered image, and the circular image and the registered image are pre-registered based on the preliminary points. A method of registering two 3D similar images using 2D cross-sectional information, characterized in that
상기 원형영상의 예비점으로부터 원형 예비좌표계를 생성하고, 상기 정합영상의 예비점으로부터 정합예비좌표계를 생성하며, 상기 원형예비좌표계와 상기 정합예비좌표계의 각 원점과 대응하는 축을 근접시켜 상기 원형영상과 정합영상을 예비적으로 정합하는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.3. The method according to claim 2,
A circular preliminary coordinate system is generated from the preliminary point of the circular image, a registration preliminary coordinate system is generated from the preliminary point of the registered image, and an axis corresponding to each origin of the circular preliminary coordinate system and the matching preliminary coordinate system is brought close to the circular image and A method of registering two three-dimensional similar images using two-dimensional cross-sectional information, characterized in that the registered images are preliminarily registered.
상기 호선곡면에서 상기 정합호선곡면 또는 상기 참조점을 상하로 이동할 때 상기 원형영상에 대해 상기 정합영상이 상기 기준단면에 수직한 방향으로 병진이동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계; 및
상기 호선곡면에서 상기 참조점 중 어느 두 개를 선택하여 이들을 지나는 XY 회동축을 생성하고, 상기 정합호선곡면 또는 선택되지 않은 나머지 참조점을 상하로 이동하였을 때 상기 원형영상에 대해 상기 정합영상이 상기 XY 회동축을 중심으로 회동하고, 이를 상기 기준단면 및 호선곡면에 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.The method according to claim 1,
When moving up and down the matched arc curve or the reference point in the arc curve, the registered image is translated in a direction perpendicular to the reference section with respect to the circular image, and displaying it on the reference section and the arc curve; and
Select any two of the reference points in the arc curve to generate an XY rotation axis passing them, and when the matched arc curve or the remaining unselected reference points are moved up and down, the registered image is the same for the circular image. rotating about the XY axis of rotation, and displaying it on the reference cross-section and the curved surface;
A method of matching two three-dimensional similar images using two-dimensional cross-sectional information, characterized in that it further comprises.
상기 참조점은 상기 호선곡면상에서 근원심 방향을 따라 새롭게 지정될 수 있는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.The method according to claim 1,
The reference point is a method of matching two three-dimensional similar images using two-dimensional cross-sectional information, characterized in that it can be newly designated along the mesio-distal direction on the arc curve surface.
상기 참조점은 상기 기준단면상에서 X, Y 방향으로 자유롭게 새로이 지정될 수 있는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.The method according to claim 1,
The reference point is a method of matching two 3D similar images using 2D cross-sectional information, characterized in that the reference point can be newly designated freely in X and Y directions on the reference cross-section.
상기 기준단면에 수직한 방향을 따라 이격된 보조 기준단면을 추가로 생성하고, 상기 보조 기준단면상에 투사된 투사 참조점을 생성하며, 상기 보조 기준단면상에서도 상기 정합영상의 병진이동 및 회동을 수행할 수 있는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.The method according to claim 1,
An auxiliary reference cross-section spaced apart along a direction perpendicular to the reference cross-section is additionally created, a projection reference point projected on the auxiliary reference cross-section is generated, and translation and rotation of the registered image are performed even on the auxiliary reference cross-section. A method of registering two three-dimensional similar images using two-dimensional cross-sectional information, characterized in that possible.
상기 참조호선에 수직한 방향으로 이격된 보조 참조호선 및 보조 호선곡면을 추가로 생성할 수 있는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.The method according to claim 1,
A method of matching two three-dimensional similar images using two-dimensional cross-sectional information, characterized in that it is possible to additionally create an auxiliary reference arc line and an auxiliary arc curve spaced apart in a direction perpendicular to the reference arc line.
상기 보조 호선곡면에 대해 상기 참조점이 정사영으로 투사된 보조 참조점이 생성되고, 상기 보조 참조점을 이용하여 상기 정합영상의 병진이동 및 회동을 수행할 수 있는 것을 특징으로 하는 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법.10. The method of claim 9,
Two three-dimensional similar images, characterized in that an auxiliary reference point is generated in which the reference point is projected in an orthogonal projection with respect to the auxiliary arcuate surface, and translation and rotation of the registered image can be performed using the auxiliary reference point. A method of registration using two-dimensional cross-sectional information.
상기 호선곡면에 대해 상기 참조점 중 어느 두 개를 회동축으로 하여 나머지 상기 참조점을 상기 호선곡면을 따라 수직으로 이동하여 변경 참조점으로 새롭게 지정하고, 이에 따라 변경 기준단면과 변경 참조호선 및 변경 호선곡면을 새롭게 생성할 수 있는 것을 특징으로 한느 두 개의 3차원 상사 영상을 2차원 단면정보를 이용하여 정합하는 방법. The method according to claim 1,
Using any two of the reference points as the axis of rotation for the arc curve, the remaining reference points are moved vertically along the arc curve to be newly designated as a change reference point, and accordingly, the change reference section and the change reference arc line and change A method of registering two 3D similar images using 2D cross-sectional information, characterized in that an arc curve can be newly created.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200008294A KR102407177B1 (en) | 2020-01-22 | 2020-01-22 | Registration method of two similar 3D images on the display interface |
PCT/KR2021/000767 WO2021150008A1 (en) | 2020-01-22 | 2021-01-20 | Method of registering two analogous three-dimensional images on display screen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200008294A KR102407177B1 (en) | 2020-01-22 | 2020-01-22 | Registration method of two similar 3D images on the display interface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210094732A KR20210094732A (en) | 2021-07-30 |
KR102407177B1 true KR102407177B1 (en) | 2022-06-10 |
Family
ID=76992370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200008294A KR102407177B1 (en) | 2020-01-22 | 2020-01-22 | Registration method of two similar 3D images on the display interface |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102407177B1 (en) |
WO (1) | WO2021150008A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101554157B1 (en) * | 2014-05-09 | 2015-09-21 | 주식회사 디오 | reference marker for attaching intraoral and manufacturing method for guide stent of dental implant operation using the same |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101086068B1 (en) * | 2004-12-10 | 2011-11-22 | 한국문화콘텐츠진흥원 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR101190643B1 (en) | 2010-10-23 | 2012-10-15 | 이태경 | Method for synchronization of coordinates among various instruments which have their own coordinates systems respectively |
KR101256194B1 (en) * | 2010-10-26 | 2013-04-19 | 이태경 | Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination |
KR101208446B1 (en) * | 2010-12-02 | 2012-12-05 | 김희승 | Matching judgment method of matching target image |
KR101807829B1 (en) | 2016-03-28 | 2017-12-11 | 이태경 | Guide template for precise dental implant surgery and manufacturing method for the same |
KR101906991B1 (en) * | 2017-03-20 | 2018-10-12 | 오스템임플란트 주식회사 | Method and device for dental image registration |
-
2020
- 2020-01-22 KR KR1020200008294A patent/KR102407177B1/en active IP Right Grant
-
2021
- 2021-01-20 WO PCT/KR2021/000767 patent/WO2021150008A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101554157B1 (en) * | 2014-05-09 | 2015-09-21 | 주식회사 디오 | reference marker for attaching intraoral and manufacturing method for guide stent of dental implant operation using the same |
Also Published As
Publication number | Publication date |
---|---|
WO2021150008A1 (en) | 2021-07-29 |
KR20210094732A (en) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5523487B2 (en) | Method for manufacturing a drilling aid for an implant | |
US5967777A (en) | Surgical template assembly and method for drilling and installing dental implants | |
US10791934B2 (en) | Methods and systems for creating and interacting with three dimensional virtual models | |
CN104619283B (en) | A kind of method for preparing surgical template | |
US9519749B2 (en) | Surgical guide and method | |
KR102113476B1 (en) | Method of surgical planning | |
CN104619284B (en) | Improved virtual clamping plate | |
CN104619282B (en) | Digital clamping plate | |
CN111407443A (en) | Accurate positioning and intelligent navigation method for oral implantation robot | |
US20080166681A1 (en) | Apparatuses for dental implantation and methods for using same | |
TWI535424B (en) | System and method for manufacturing a dental implant surgical guide | |
KR101865701B1 (en) | Mobile iinked implant diagnosis system | |
US20020160337A1 (en) | Method of using computer data to modify or alter an existing cast or model | |
US20150296184A1 (en) | Method for planning a dental treatment | |
KR101812484B1 (en) | Image Generation System for implant Diagnosis and the same | |
KR101877895B1 (en) | Image Generation System for implant Diagnosis and the same | |
US10064700B2 (en) | Surgical guide kit apparatus and method | |
KR20220052951A (en) | Procedure support system and positioning device | |
AU2020319738B2 (en) | Intraoral coordinate system of dentition for the design and placement of dental implants | |
KR102407177B1 (en) | Registration method of two similar 3D images on the display interface | |
KR102082917B1 (en) | Dental implant procedure guide device, dental implant procedure guide device manufacturing system and methode the same | |
KR101190656B1 (en) | Registration plate for coordinates of image data | |
KR20190117069A (en) | Synchronization plate having a function of machining calibration | |
JP2022171242A (en) | Dental treatment plan pre-manipulation verification system, dental treatment plan pre-manipulation verification program, manufacturing method for model for dental treatment plan pre-manipulation verification, and model for dental treatment plan pre-manipulation verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |