KR102278040B1 - Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof - Google Patents

Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof Download PDF

Info

Publication number
KR102278040B1
KR102278040B1 KR1020210049171A KR20210049171A KR102278040B1 KR 102278040 B1 KR102278040 B1 KR 102278040B1 KR 1020210049171 A KR1020210049171 A KR 1020210049171A KR 20210049171 A KR20210049171 A KR 20210049171A KR 102278040 B1 KR102278040 B1 KR 102278040B1
Authority
KR
South Korea
Prior art keywords
image
medical image
medical
dimensional
transformed
Prior art date
Application number
KR1020210049171A
Other languages
Korean (ko)
Other versions
KR20210047835A (en
Inventor
임용현
송욱
이봉구
Original Assignee
(주)제노레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180164498A external-priority patent/KR20200075623A/en
Application filed by (주)제노레이 filed Critical (주)제노레이
Priority to KR1020210049171A priority Critical patent/KR102278040B1/en
Publication of KR20210047835A publication Critical patent/KR20210047835A/en
Application granted granted Critical
Publication of KR102278040B1 publication Critical patent/KR102278040B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/14Applications or adaptations for dentistry
    • A61B6/51
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002Orthodontic computer assisted systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Abstract

본 발명은 피시술자의 두부를 촬영하여 2차원 의료 영상을 생성하는 2차원 영상 촬영부와, 피시술자의 치아 영역을 촬영하여 3차원 의료 영상을 생성하는 3차원 영상 촬영부와, 2차원 의료 영상의 촬영 조건과 부합하도록 3차원 의료 영상에 대해 뷰잉 카메라를 조절하고 투영하여 변환 영상을 생성하는 영상 변환부와, 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성하는 영상 정합부를 포함하는 영상 정합을 이용한 치과 치료 계획 장치 및 방법을 제공한다.The present invention provides a two-dimensional image capturing unit that generates a two-dimensional medical image by photographing the head of a subject, a three-dimensional image capturing unit that generates a three-dimensional medical image by photographing a dental area of the subject, and a two-dimensional medical image Comprising an image conversion unit for generating a transformed image by adjusting and projecting a viewing camera on a 3D medical image to meet the conditions, and an image matching unit for generating a registered image by registering the transformed image with one region of the 2D medical image A dental treatment planning apparatus and method using image registration are provided.

Description

2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법{Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof}Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

본 발명은 치과 치료 계획 장치 및 그 방법에 관한 것으로, 특히, 2차원 의료 영상 및 3차원 의료 영상의 정합을 치과 치료 계획 장치 및 그 방법에 관한 것이다. The present invention relates to a dental treatment planning apparatus and method, and more particularly, to a dental treatment planning apparatus and method for matching a 2D medical image and a 3D medical image.

비교적 넓은 시야(Fields OF View; FOV)를 커버하는 대면적 CT(Computed Tomography) 촬영 장치는 피시술자의 치아뿐만 아니라 피시술자의 두부 전체를 촬영하기 때문 시술자의 치료 계획을 효율적으로 수립할 수 있는 장점이 있는 반면 대면적 CT 촬영 장치는 비교적 고가이기 때문에 대규모 병원에서만 구비하고 있는 것이 일반적이다.A large-area computed tomography (CT) imaging device that covers a relatively wide field of view (FOV) has the advantage of efficiently establishing a treatment plan for the operator because it captures not only the patient's teeth but also the entire head of the recipient. On the other hand, since large-area CT imaging devices are relatively expensive, they are generally only available in large hospitals.

따라서, 대부분의 소규모 병원에서는 비용 측면을 고려하여 비교적 적은 시야를 커버하는 소면적 CT 촬영 장치를 이용하여 피시술자의 치아 영역만 촬영하여 시술자의 치료 계획을 수립하고 있다.Therefore, in consideration of cost, most small-scale hospitals use a small area CT imaging device that covers a relatively small field of view and establish a treatment plan for the operator by photographing only the dental area of the recipient.

이에, 본 발명에서는 Ceph(cephalometrics) 촬영 장치가 피시술자의 두부를 촬영하여 생성한 2차원 의료 영상에 CT 촬영 장치가 피시술자의 치아 영역을 촬영하여 생성한 3차원 의료 영상을 정합하는 방법을 제안하고자 한다.Accordingly, in the present invention, a method of matching a 3D medical image generated by a CT imaging device imaging a tooth region of a recipient to a 2D medical image generated by a Ceph (cephalometrics) imaging device imaging the subject's head is proposed. .

그러나, Ceph(cephalometrics) 촬영 장치가 피시술자의 두부를 촬영하여 생성한 2차원 의료 영상은 X선 소스와 영상 검출부 사이에 피시술자의 두부를 위치시켜 촬영하여 생성된 영상이기 때문에 촬영 왜곡이 발생한다. 반면, CT촬영 장치가 촬영한 3차원 의료 영상은 CT촬영 장치 자체에서 촬영 왜곡이 보정되어 재구성되기 때문에 이론적으로 촬영 왜곡이 발생하지 않는다.However, since the two-dimensional medical image generated by the Ceph (cephalometrics) imaging device imaging the subject's head is an image generated by positioning the subject's head between the X-ray source and the image detector, imaging distortion occurs. On the other hand, since the 3D medical image taken by the CT imaging device is reconstructed by correcting the imaging distortion in the CT imaging device itself, there is theoretically no imaging distortion.

따라서, 촬영 왜곡이 발생한 2차원 의료 영상과 촬영 왜곡이 보정된 3차원 의료 영상을 정합하는 것은 어려운 문제점이 있다.Accordingly, there is a problem in that it is difficult to match the 2D medical image in which the imaging distortion occurs and the 3D medical image in which the imaging distortion is corrected.

본 발명은, 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an integrated process capable of applying analysis information of a 2D medical image to analysis of a 3D medical image or applying analysis information of a 3D medical image to analysis of a 2D medical image.

또한, 본 발명은, 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide an integrated process capable of establishing a treatment plan on a 2D medical image and simultaneously establishing a treatment plan on a 3D medical image.

전술한 과제를 해결하기 위해, 본 발명은 피시술자를 촬영하여 2차원 의료 영상을 생성하는 2차원 영상 촬영부와, 피시술자를 촬영하여 3차원 의료 영상을 생성하는 3차원 영상 촬영부와, 3차원 의료 영상에 대해 뷰잉 카메라를 조정하고 투영하여 2차원 의료 영상과 동일한 촬영 왜곡을 갖는 변환 영상을 생성하는 영상 변환부와, 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성하는 영상 정합부를 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치를 제공한다.In order to solve the above problems, the present invention provides a two-dimensional image capturing unit for generating a two-dimensional medical image by photographing a subject, a three-dimensional image capturing unit for generating a three-dimensional medical image by photographing a subject, and three-dimensional medical care An image conversion unit for generating a transformed image having the same shooting distortion as a 2D medical image by adjusting and projecting a viewing camera on the image, and an image matching unit for generating a registered image by registering the transformed image with one region of the 2D medical image Provided is a dental treatment planning apparatus using matching of a 2D medical image and a 3D medical image including a part.

또한, 시술자가 정합 영상을 이용하여 상기 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행할 수 있도록 인터페이스를 제공하는 치료 계획부를 더 포함할 수 있다.In addition, the treatment planner may further include a treatment planner providing an interface so that the operator can perform at least one of image analysis, treatment plan establishment, and treatment device design of the subject using the matched image.

또한, 2차원 영상 촬영부는, 피술자에 X선을 조사하는 X선 소스와, X선 조사에 의해 피술자가 투영되어 2차원 의료 영상을 검출하는 제2 영상 검출부를 포함할 수 있다.Also, the 2D image capturing unit may include an X-ray source for irradiating X-rays to the subject, and a second image detecting unit for detecting a 2D medical image by projecting the subject by X-ray irradiation.

또한, 영상 변환부는 3차원 의료 영상이 투영되어 변환 영상을 검출하는 제1 영상 검출부와, 3차원 의료 영상을 제1 영상 검출부에 투영시키는 뷰잉 카메라를 포함할 수 있다.Also, the image converter may include a first image detector configured to detect a transformed image by projecting a 3D medical image, and a viewing camera configured to project the 3D medical image to the first image detector.

또한, 영상 변환부는 뷰잉 카메라의 위치 및 각도, 제1 영상 검출부의 위치, 3차원 의료 영상의 위치 및 뷰잉 각도 중 적어도 하나를 조절 및 반복 수렴하여 2차원 의료 영상의 촬영 조건에 부합시킬 수 있다.Also, the image converter may adjust and repeatedly converge at least one of the position and angle of the viewing camera, the position of the first image detector, the position of the 3D medical image, and the viewing angle to meet the shooting condition of the 2D medical image.

또한, 영상 변환부는 X선 소스, 피술자 및 제2 영상 검출부 간 간격 정보를 기초로 2차원 의료 영상의 촬영 조건에 부합시킬 수 있다.In addition, the image converter may match the photographing condition of the 2D medical image based on the distance information between the X-ray source, the subject, and the second image detector.

또한, 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단하는 정합 오차 판단부를 더 포함할 수 있다.The apparatus may further include a registration error determination unit configured to determine a registration tolerance between the 2D medical image and the transformed image.

또한, 영상 변환부는 정합 허용 오차가 기준값 이상이면 3차원 의료 영상에 대해 뷰잉 카메라를 조정하고 투영하여 변환 영상을 재생성할 수 있다.또한, 2차원 의료 영상은 정면 및 측면 2차원 의료 영상을 포함할 수 있다.Also, if the registration tolerance is equal to or greater than the reference value, the image converter may regenerate the transformed image by adjusting and projecting the viewing camera on the 3D medical image. In addition, the 2D medical image may include front and side 2D medical images. can

또한, 정면 및 측면 2차원 의료 영상의 일 영역 이외의 영역에 각각 표시된 랜드 마크를 3차원 의료 영상에 각각 적용하여 2개의 랜드 마크 라인을 형성하고, 2개의 랜드 마크 라인의 교차점을 3차원 의료 영상에 표시하는 랜드 마크 표시부를 더 포함할 수 있다.In addition, two landmark lines are formed by applying landmarks respectively displayed in areas other than one area of the front and side 2D medical images to the 3D medical image, and the intersection of the two landmark lines is applied to the 3D medical image It may further include a landmark display unit displayed on the.

또한, 피시술자를 촬영하여 2차원 의료 영상을 생성하는 단계와, 피시술자를 촬영하여 3차원 의료 영상을 생성하는 단계와, 2차원 의료 영상의 촬영 조건에서 3차원 의료 영상을 촬영하여 변환 영상을 생성하는 단계와, 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성하는 단계를 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법을 제공한다.In addition, the steps of generating a two-dimensional medical image by photographing the subject, generating a three-dimensional medical image by photographing the subject, and generating a transformed image by photographing a three-dimensional medical image under the shooting conditions of the two-dimensional medical image Provided is a dental treatment planning method using registration of a 2D medical image and a 3D medical image, comprising the steps of: generating a registered image by registering the transformed image with one region of the 2D medical image.

또한, 시술자가 정합 영상을 이용하여 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다.The method may further include performing at least one of an image analysis of the subject, establishment of a treatment plan, and design of a treatment device by an operator using the matched image.

또한, 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단하는 단계를 더 포함할 수 있다.The method may further include determining a registration tolerance between the 2D medical image and the transformed image.

본 발명에 따르면, 정합 영상을 이용하여 영상 분석이 이루어지기 때문에 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공할 수 있는 효과가 있다.According to the present invention, since the image analysis is performed using the matched image, the analysis information of the 2D medical image is applied to the analysis of the 3D medical image or the analysis information of the 3D medical image is applied to the analysis of the 2D medical image. It has the effect of providing an integrated process that can

또한, 본 발명에 따르면, 정합 영상을 이용하여 치료 계획을 수립하기 때문에 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공할 수 있는 효과가 있다.In addition, according to the present invention, since a treatment plan is established using a matched image, it is possible to provide an integrated process for establishing a treatment plan on a 2D medical image and at the same time establishing a treatment plan on a 3D medical image there is

또한, 수립된 치료 계획에 따라 치료 장치 예컨대, 교정 장치, 간접 부착 트레이, 악수술 웨이퍼, 틀니 등을 설계할 수 있다.In addition, according to the established treatment plan, a treatment device, for example, an orthodontic device, an indirect attachment tray, a jaw surgery wafer, dentures, etc. may be designed.

또한, 본 발명에 따르면 정합 영상을 기초로 영상 분석, 치료 계획 수립 및 치료 장치 설계를 하나의 통합 프로세스를 통해 수행되기 때문에 치료 상담 및 치료 시간을 단축시킬 수 있는 효과가 있다.In addition, according to the present invention, since image analysis, treatment plan establishment, and treatment device design are performed through one integrated process based on the matched image, treatment consultation and treatment time can be shortened.

아울러, X-ray 및 CT 촬영 횟수를 줄일 수 있어 피시술자의 X선 노출을 최소화할 수 있는 효과가 있다.In addition, since the number of X-ray and CT scans can be reduced, there is an effect of minimizing the X-ray exposure of the recipient.

도 1은 본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치의 블록도이다.
도 2는 도 1의 2차원 영상 촬영부의 블록도이다.
도 3은 도 1의 2차원 영상 촬영부(110)가 피시술자를 촬영하여 생성한 2차원 의료 영상의 예시적인 도면이다.
도 4는 3차원 영상 촬영부(120)가 피시술자를 촬영하여 생성한 3차원 의료 영상의 예시적인 도면이다.
도 5는 도 1의 영상 변환부의 구체적인 블록도이다.
도 6은 도 1의 영상 정합부(140)에 의해 생성된 정합 영상의 예시적인 도면이다.
도 7은 도 1의 치료 계획부(160)의 구체적인 블록도이다.
도 8은 도 7의 랜드 마크 표시부의 랜드 마크 표시 방법을 설명하기 위한 도면이다.
도 9(a) 및 도 9(b)는 도 7의 랜드 마크 표시부가 정합 영상에 표시한 랜드 마크를 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 방법의 순서도이다.
1 is a block diagram of a dental treatment planning apparatus using image registration according to an embodiment of the present invention.
FIG. 2 is a block diagram of the 2D image capturing unit of FIG. 1 .
FIG. 3 is an exemplary diagram of a two-dimensional medical image generated by the two-dimensional image capturing unit 110 of FIG. 1 by photographing a subject.
FIG. 4 is an exemplary diagram of a 3D medical image generated by the 3D image capturing unit 120 photographing a subject.
FIG. 5 is a detailed block diagram of the image converter of FIG. 1 .
FIG. 6 is an exemplary diagram of a registered image generated by the image matching unit 140 of FIG. 1 .
7 is a detailed block diagram of the treatment planning unit 160 of FIG. 1 .
FIG. 8 is a view for explaining a landmark display method of the landmark display unit of FIG. 7 .
9(a) and 9(b) are diagrams illustrating landmarks displayed on the matching image by the landmark display unit of FIG. 7 .
10 is a flowchart of a dental treatment planning method using image registration according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted.

도 1은 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치의 블록도이고, 도 2는 도 1의 2차원 영상 촬영부의 블록도이다.1 is a block diagram of a dental treatment planning apparatus using registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention, and FIG. 2 is a block diagram of the 2D image capturing unit of FIG. 1 .

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치는 2차원 영상 촬영부(110), 3차원 영상 촬영부(120), 영상 변환부(130), 영상 정합부(140) 및 치료 계획부(160)를 포함하여 구성될 수 있다.As shown in FIG. 1 , the dental treatment planning apparatus using the registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention includes a 2D image capturing unit 110 and a 3D image capturing unit 120 . , the image conversion unit 130 , the image matching unit 140 , and the treatment planning unit 160 may be included.

2차원 영상 촬영부(110)는 특정 촬영 조건에서 피시술자를 촬영하여 2차원 의료 영상을 생성한다. 여기서, 2차원 영상 촬영부(110)는 Ceph(cephalometrics) 촬영 장치일 수 있으나, 이에 한정되는 것은 아니며 피시술자를 촬영하여2차원 영상을 생성하는 장치이면 족하다.The two-dimensional image capturing unit 110 generates a two-dimensional medical image by photographing a subject under a specific photographing condition. Here, the two-dimensional image capturing unit 110 may be a Ceph (cephalometrics) photographing device, but is not limited thereto, and any device that generates a two-dimensional image by photographing a subject is sufficient.

구체적으로, 도 2에 도시한 바와 같이, 2차원 영상 촬영부(110)는, 피시술자(예컨대, 두부)에 X선을 조사하는 X선 소스(111)와 X선 조사에 의해 피시술자(예컨대, 두부)가 투영되어 2차원 의료 영상을 검출하는 제2 영상 검출부(112)를 포함하여 구성될 수 있다.Specifically, as shown in FIG. 2 , the two-dimensional image capturing unit 110 includes an X-ray source 111 that irradiates X-rays to the subject (eg, the head) and the subject (eg, the head) by X-ray irradiation. ) may be projected to include a second image detector 112 that detects a two-dimensional medical image.

도 3은 도 1의 2차원 영상 촬영부(110)가 피시술자를 촬영하여 생성한 2차원 의료 영상의 예시적인 도면이고, 도 4는 3차원 영상 촬영부(120)가 피시술자를 촬영하여 생성한 3차원 의료 영상의 예시적인 도면이다.FIG. 3 is an exemplary diagram of a two-dimensional medical image generated by the two-dimensional image capturing unit 110 of FIG. 1 by photographing the subject, and FIG. 4 is a 3D image capturing unit 120 generated by capturing the subject. It is an exemplary diagram of a dimensional medical image.

도 3에 도시한 바와 같이, 2차원 영상 촬영부(110)는, 피시술자의 두부 일 측면을 촬영하여 측면 2차원 의료 영상을 생성하고(a), 피시술자의 두부 전면을 촬영하여 전면 2차원 의료 영상을 생성할 수 있다.As shown in FIG. 3 , the 2D image capturing unit 110 generates a side 2D medical image by photographing one side of the subject's head (a), and photographing the front of the subject's head to create a front 2D medical image can create

그리고, 도 4에 도시한 바와 같이, 3차원 영상 촬영부(120)는 피시술자의 치아 영역을 촬영하여 3차원 의료 영상을 생성한다. 여기서, 3차원 영상 촬영부(120)는 CT(Computed Tomography) 촬영 장치일 수 있으나, 이에 한정되는 것은 아니며 피시술자를 촬영하여 3차원 영상을 생성하는 장치이면 족하다.And, as shown in FIG. 4 , the 3D image capturing unit 120 generates a 3D medical image by photographing a dental area of a recipient. Here, the 3D image capturing unit 120 may be a computed tomography (CT) imaging device, but is not limited thereto, and any device that generates a 3D image by imaging a subject is sufficient.

한편, 비교적 넓은 시야(Fields OF View; FOV)를 커버하는 대면적 CT촬영 장치는 피시술자의 치아뿐만 아니라 피시술자의 두부 전체를 촬영하여 3차원 두부 영상을 생성하지만 비교적 고가이기 때문에 대규모 병원에서만 구비하고 있는 것이 일반적이다.On the other hand, a large-area CT imaging device that covers a relatively wide field of view (FOV) generates a three-dimensional head image by imaging the entire head of the recipient as well as the teeth of the recipient, but because it is relatively expensive, it is only available in large hospitals. it is common

본 발명의 실시예에 따른 3차원 영상 촬영부(120)는 비교적 좁은 시야(Fields OF View; FOV)를 커버하는 소면적 CT촬영 장치를 이용해 피시술자의 치아영역을 촬영하여 3차원 의료 영상을 생성하고 이를 2차원 영상 촬영부(110)가 생성한 2차원 의료 영상에 정합함으로써, 비교적 저비용으로 대면적 CT촬영 장치와 유사한 효과를 달성할 수 있다. The three-dimensional image capturing unit 120 according to an embodiment of the present invention generates a three-dimensional medical image by photographing a dental area of a subject using a small-area CT imaging device that covers a relatively narrow field of view (FOV). By matching this to the two-dimensional medical image generated by the two-dimensional imaging unit 110, an effect similar to that of a large-area CT imaging apparatus can be achieved at a relatively low cost.

한편, 2차원 영상 촬영부(110)가 생성한 2차원 의료 영상은 전술한 바와 같이, X선 소스(111)와 제2 영상 검출부(112) 사이에 피시술자를 위치시켜 촬영하여 생성된 영상이기 때문에 촬영 왜곡이 발생한다. 그러나, 3차원 영상 촬영부(120)가 촬영한 3차원 의료 영상은 3차원 영상 촬영부(120) 자체에서 촬영 왜곡이 보정되어 재구성되기 때문에 이론적으로 촬영 왜곡이 발생하지 않는다. 따라서, 촬영 왜곡이 발생한 2차원 의료 영상과 촬영 왜곡이 보정된 3차원 의료 영상을 정합하는 것은 어렵다.On the other hand, as described above, the 2D medical image generated by the 2D image capturing unit 110 is an image generated by positioning a subject between the X-ray source 111 and the second image detecting unit 112 and capturing it. Shooting distortion occurs. However, since the 3D medical image captured by the 3D image capturing unit 120 is reconstructed by correcting the photographing distortion in the 3D image capturing unit 120 itself, there is theoretically no photographing distortion. Therefore, it is difficult to match the 2D medical image in which the imaging distortion occurs and the 3D medical image in which the imaging distortion is corrected.

이와 같은 문제점을 해결하기 위해, 본 발명의 실시예에 따른 영상 변환부(130)는 뷰잉 카메라를 이용하여 2차원 의료 영상 촬영 조건을 추정하고, 3차원 의료 영상을 투영하여 변환 영상을 생성하고, 이 변환 영상을 2차원 의료 영상에 정합한다.In order to solve this problem, the image conversion unit 130 according to an embodiment of the present invention estimates a 2D medical image shooting condition using a viewing camera, projects a 3D medical image to generate a transformed image, This transformed image is matched to a 2D medical image.

도 5는 도 1의 영상 변환부의 구체적인 블록도이다.FIG. 5 is a detailed block diagram of the image converter of FIG. 1 .

구체적으로, 도 5에 도시한 바와 같이, 영상 변환부(130)는 3차원 의료 영상이 투영되어 변환 영상을 검출하는 제1 영상 검출부(132)와, 3차원 의료 영상을 제1 영상 검출부(132)에 투영시키는 뷰잉 카메라(131)를 포함하여 구성될 수 있다.Specifically, as shown in FIG. 5 , the image converter 130 includes a first image detector 132 that detects a transformed image by projecting a 3D medical image, and a first image detector 132 that detects a 3D medical image. ) may be configured to include a viewing camera 131 for projecting it.

영상 변환부(130)는 2차원 영상 촬영부(110)가 피술자 촬영시 X선 소스(111), 피술자 및 제2 영상 검출부(112) 간 간격 정보를 뷰잉 카메라의 조작을 통해 2차원 영상 촬영부(110)의 촬영 조건에 부합시킬 수 있다.The image conversion unit 130 is a two-dimensional image capturing unit through the operation of the viewing camera to the two-dimensional image capturing unit 110, the X-ray source 111, the subject and the second image detection unit 112 gap information when the subject is photographed. It is possible to meet the shooting conditions of (110).

또한, 영상 변환부(130)는 뷰잉 카메라(131) 위치 및 각도, 제1 영상 검출부(132)의 위치 중 적어도 하나를 조절하여 피시술자의 두부 촬영 조건에 부합시킬 수 있다.Also, the image conversion unit 130 may adjust at least one of the position and angle of the viewing camera 131 and the position of the first image detection unit 132 to match the head photographing condition of the subject.

구체적으로, 영상 변환부(130)는 2차원 영상 촬영부(110)가 피술자의 두부 촬영시 X선 소스(111), 피술자 및 제2 영상 검출부(112) 간 간격과 동일한 간격으로 뷰잉 카메라(131)를 위치시킴으로써 제1 영상 검출부(132)를 통해 검출된 변환 영상을 2차원 의료 영상 촬영의 촬영 조건에 부합시킬 수 있다.Specifically, the image conversion unit 130 is the viewing camera 131 at the same interval as the interval between the X-ray source 111, the subject, and the second image detector 112 when the two-dimensional image capturing unit 110 captures the subject's head. ), the converted image detected by the first image detection unit 132 may be matched with the shooting condition of 2D medical imaging.

도 6은 도 1의 영상 정합부(140)에 의해 생성된 정합 영상의 예시적인 도면이다.FIG. 6 is an exemplary diagram of a registered image generated by the image matching unit 140 of FIG. 1 .

도 6에 도시한 바와 같이, 영상 정합부(140)는 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성한다. 여기서, 정합 영상은 2차원 영상과 3차원 영상이 결합된 영상으로 피시술자의 일 영역(예컨대, 치아 영역)에는 3차원 의료 영상이 배치되고, 그 이외의 영역에는 2차원 의료 영상이 배치된다.As shown in FIG. 6 , the image matching unit 140 generates a registered image by registering the transformed image with one region of the 2D medical image. Here, the registered image is an image in which a 2D image and a 3D image are combined, and a 3D medical image is disposed in one area (eg, a tooth area) of the recipient, and a 2D medical image is disposed in other areas.

도 1을 참조하면, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치는, 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단하는 정합 오차 판단부(150)를 더 포함하여 구성될 수 있다.Referring to FIG. 1 , a dental treatment planning apparatus using registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention includes a registration error determining unit that determines a registration tolerance between a 2D medical image and a converted image. It may be configured to further include (150).

영상 변환부(130)는 정합 오차 판단부(150)에 의해 판단된 정합 허용 오차가 기준값 이상이면 3차원 의료 영상에 대해 뷰잉 카메라를 조정 후 투영하여 변환 영상을 재생성할 수 있다. 이와 같은 과정은 정합 허용 오차가 기준값 미만이 될 때가지 반복적으로 수행할 수 있다. 즉, 영상 변환부(130)는 2차원 의료 영상을 기준으로 반복 수렴 정합 방법을 통해 2차원 의료 영상에 변환 영상을 정합한다.If the matching tolerance determined by the matching error determining unit 150 is equal to or greater than the reference value, the image converter 130 may regenerate the converted image by adjusting and projecting the viewing camera on the 3D medical image. Such a process may be repeatedly performed until the matching tolerance becomes less than the reference value. That is, the image converter 130 matches the transformed image to the 2D medical image through the iterative convergence matching method based on the 2D medical image.

도 3을 참조하면, 2차원 영상 촬영부(110)가 촬영하여 생성한 2차원 의료 영상은 정면 2차원 의료 영상 및 측면 2차원 의료 영상을 포함할 수 있다. 이에 따라, 전술한 정합 과정은 정면 2차원 의료 영상 및 측면 2차원 의료 영상을 중심으로 두 번에 걸쳐 진행될 수 있다.Referring to FIG. 3 , the 2D medical image generated by the 2D image capturing unit 110 may include a front 2D medical image and a side 2D medical image. Accordingly, the above-described registration process may be performed twice based on the front 2D medical image and the side 2D medical image.

치료 계획부(160)는 시술자가 정합 영상을 이용하여 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행할 수 있도록 사용자 인터페이스를 제공할 수 있다. 여기서, 치료 계획부(160)는 정합 허용 오차가 기준값 미만이면 정합 오차 판단부(150)로부터 정합 영상을 제공 받을 수 있다.The treatment planning unit 160 may provide a user interface so that the operator may perform at least one of an image analysis of a subject, a treatment plan establishment, and a treatment device design using the matched image. Here, the treatment planning unit 160 may receive the matching image from the matching error determining unit 150 when the matching tolerance is less than the reference value.

한편, 2차원 영상 촬영부(110)와 3차원 영상 촬영부(120)는 하나의 장비에 함께 구비되거나 각각 별개의 모듈로 형성될 수 있다. 그리고, 영상 변환부(130), 영상 정합부(140) 및 정합 오차 판단부(150)는 하나의 모듈로 형성되어 치료 계획부(160)에 구비되거나 2차원 및 3차원 영상 촬영부(110, 120)에 구비될 수 있으며, 이와 달리 각각 별개의 모듈로 구비될 수도 있다. 그리고, 각 구성 요소들은 통신을 통해 영상 데이터를 주고 받을 수 있다.Meanwhile, the 2D image capturing unit 110 and the 3D image capturing unit 120 may be provided together in one device or may be formed as separate modules. In addition, the image conversion unit 130 , the image matching unit 140 , and the registration error determining unit 150 are formed as one module and are provided in the treatment planning unit 160 or the 2D and 3D image capturing unit 110 , 120), or alternatively, each may be provided as a separate module. In addition, each component may send and receive image data through communication.

도 7은 도 1의 치료 계획부(160)의 구체적인 블록도이다.7 is a detailed block diagram of the treatment planning unit 160 of FIG. 1 .

구체적으로, 도 7에 도시한 바와 같이, 치료 계획부(160)는 입력부(161), 표시부(162), 인터페이스부(163), 메모리(164), 랜드 마크 표시부(165), 영상 분석부(166), 치료 계획 수립부(167) 및 치료 장치 설계부(168)를 포함하여 구성될 수 있다.Specifically, as shown in FIG. 7 , the treatment planning unit 160 includes an input unit 161 , a display unit 162 , an interface unit 163 , a memory 164 , a landmark display unit 165 , and an image analysis unit ( 166), a treatment plan establishment unit 167 and a treatment device design unit 168 may be included.

여기서, 치료 계획부(160)는 피시술자를 시술하고자 하는 시술자가 이용하는 전자 장치로, 태블릿 PC, 컴퓨터, 랩탑 등일 수 있다. Here, the treatment planning unit 160 is an electronic device used by the operator who wants to treat the operator, and may be a tablet PC, a computer, a laptop, or the like.

아울러, 치료 계획부(160)는 전술한 2차원 및 3차원 영상 촬영부(110, 120)와 메인 서버(미도시)와 통신을 수행할 수 있다. 여기서, 치료 계획부(160)는 메인 서버를 통해 영상 데이터 및 치료 계획을 외부 장치로 전송할 수 있다. 이를 위해, 치료 계획부(160)는 5G(fifth generation mobile telecommunication), LTE-A(long term evolution-advanced), LTE(long term evolution), WCDMA(wideband code division multiple access) 및 wifi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 또한, 치료 계획부(160)는 USB(universal serial bus), HDMI(high definition multimedia interface), DVI(digital video interactive) 케이블 등의 유선 통신을 수행할 수 있다.In addition, the treatment planning unit 160 may communicate with the above-described 2D and 3D image capturing units 110 and 120 and a main server (not shown). Here, the treatment planner 160 may transmit image data and a treatment plan to an external device through the main server. To this end, the treatment planning unit 160 is 5G (fifth generation mobile telecommunication), LTE-A (long term evolution-advanced), LTE (long term evolution), WCDMA (wideband code division multiple access) and wifi (wireless fidelity) It is possible to perform wireless communication, such as. In addition, the treatment planner 160 may perform wired communication such as a universal serial bus (USB), a high definition multimedia interface (HDMI), and a digital video interactive (DVI) cable.

입력부(161)는 시술자의 입력에 대응하여, 입력 데이터를 발생시킨다. 그리고, 입력부(161)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 조그 셔틀(jog & shuttle), 센서(sensor), 터치 키(touch key) 및 메뉴 버튼(menu button) 등을 포함한다.The input unit 161 generates input data in response to the operator's input. In addition, the input unit 161 includes a key pad, a dome switch, a touch panel, a jog & shuttle, a sensor, a touch key, and a menu button. (menu button) and the like.

표시부(162)는 치료 계획부(160)의 동작에 따른 표시 데이터를 표시한다. 특히, 표시부(162)는 피시술자에 대한 영상 분석, 치료 계획 수립 및 치료 장치 설계를 수행하기 위한 어플리케이션, 웹 페이지 등의 실행 및 동작에 따른 화면을 표시한다. The display unit 162 displays display data according to the operation of the treatment planning unit 160 . In particular, the display unit 162 displays a screen according to the execution and operation of an application, a web page, etc. for performing image analysis, treatment plan establishment, and treatment device design for the subject.

이를 위해, 표시부(162)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 여기서, 표시부(162)는 입력부(161)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.To this end, the display unit 162 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electro mechanical system (MEMS). systems) displays and electronic paper displays. Here, the display unit 162 may be combined with the input unit 161 to be implemented as a touch screen.

메모리(164)는 치료 계획 수립부(160)의 동작 프로그램들을 저장하고, 피시술자에 대한 영상 분석 치료 계획 수립 및 치료 장치 설계를 수행하기 위한 어플리케이션 등의 설치 파일을 저장하거나, 웹 페이지 등의 접속 주소 등을 저장할 수 있다. The memory 164 stores operation programs of the treatment plan establishment unit 160, and stores installation files such as applications for performing image analysis treatment plan establishment and treatment device design for the recipient, or access addresses such as web pages. etc. can be saved.

또한, 메모리(164)는 피시술자에 대한 영상 데이터와, 영상 데이터와 관련하여 수립된 치료 계획을 저장한다. 여기서, 영상 데이터는, 픽셀 형식 이미지인 Ceph, Panorama 형식의 이미지, IO Sensor에서 획득된 이미지, X-ray를 통해 획득된 이미지 등의 2차원 영상 데이터일 수 있고, Volume 형식의 이미지, Voxel 형식의 이미지, CT 촬영을 통해 획득된 이미지, MRI 촬영을 통해 획득된 이미지, 초음파 촬영을 통해 획득된 이미지 등의 3차원 영상 데이터일 수 있고, 2차원 영상 데이터와 3차원 영상 데이터가 정합된 정합 영상 데이터일 수 있다. In addition, the memory 164 stores image data for the subject and a treatment plan established in relation to the image data. Here, the image data may be two-dimensional image data such as a pixel format image, Ceph, Panorama format image, an image acquired from an IO sensor, an image acquired through X-ray, etc., a volume format image, a Voxel format image, etc. It may be 3D image data such as an image, an image acquired through CT imaging, an image acquired through MRI imaging, or an image acquired through ultrasound imaging, and registered image data in which 2D image data and 3D image data are registered can be

도 8은 도 7의 랜드 마크 표시부의 랜드 마크 표시 방법을 설명하기 위한 도면이고, 도 9(a) 및 도 9(b)는 도 7의 랜드 마크 표시부가 정합 영상에 표시한 랜드 마크를 도시한 도면이다.8 is a view for explaining a landmark display method of the landmark display unit of FIG. 7, and FIGS. 9 (a) and 9 (b) show the landmarks displayed by the landmark display unit of FIG. 7 in the matching image. It is a drawing.

도 8 및 도 9를 참조하면, 랜드 마크 표시부(165)는 정면 및 측면 2차원 의료 영상의 치아 이외의 영역에 각각 표시된 랜드 마크(Land Mark)를 3차원 의료 영상에 각각 적용하여 2개의 랜드 마크 라인을 형성하고, 2개의 랜드 마크 라인의 교차점을 3차원 의료 영상에 표시한다. 여기서, 랜드 마크는 영상 분석에 필요한 특정 포인트이다.Referring to FIGS. 8 and 9 , the landmark display unit 165 applies each of the landmarks displayed in areas other than the teeth of the front and side 2D medical images to the 3D medical image to form two landmarks. A line is formed, and the intersection of two landmark lines is displayed on a 3D medical image. Here, the landmark is a specific point required for image analysis.

영상 분석부(166)는 정합 영상에 표시된 랜드 마크를 피시술자의 성별과 치령의 평균적인 정상치와 비교하여 분석 결과를 생성한다.The image analysis unit 166 compares the landmarks displayed on the matched image with the average normal values of the sex and age of the recipient to generate an analysis result.

본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치는, 정합 영상을 이용하여 영상 분석이 이루어지기 때문에 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공할 수 있다.In the dental treatment planning apparatus using image registration according to an embodiment of the present invention, since image analysis is performed using the registered image, the analysis information of the 2D medical image is applied to the analysis of the 3D medical image, or the analysis of the 3D medical image is performed. An integrated process capable of applying the analysis information to analysis of a 2D medical image may be provided.

치료 계획 수립부(167)는 정합 영상을 기반으로 복수의 치료 계획을 수립하고, 수립된 복수의 치료 계획 중 적어도 하나의 치료 계획을 변경할 수 있다. 한편, 치료 계획 수립부(167)에서 수립된 치료 계획은 외부 장치(예컨대, 기공소에서 사용하는 단말 등)로 전송될 수 있다. The treatment plan establishment unit 167 may establish a plurality of treatment plans based on the matched image, and may change at least one treatment plan among the established plurality of treatment plans. Meanwhile, the treatment plan established by the treatment plan establishment unit 167 may be transmitted to an external device (eg, a terminal used in a laboratory, etc.).

본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치는 정합 영상을 이용하여 치료 계획을 수립하기 때문에 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공할 수 있다.Since the dental treatment planning apparatus using image registration according to an embodiment of the present invention establishes a treatment plan using a registered image, it is possible to establish a treatment plan on a 2D medical image and a treatment plan on a 3D medical image at the same time. An integrated process can be provided.

치료 장치 설계부(168)는 치료 계획 관리부(167)에 의해 수립된 치료 계획에 따라 치료 장치 예컨대, 교정 장치, 간접 부착 트레이, 악수술 웨이퍼, 틀니 등을 설계할 수 있다.The treatment device design unit 168 may design a treatment device, for example, an orthodontic device, an indirect attachment tray, a jaw surgery wafer, dentures, etc. according to the treatment plan established by the treatment plan management unit 167 .

본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치는 정합 영상을 기초로 영상 분석, 치료 계획 수립 및 치료 장치 설계를 하나의 통합 프로세스를 통해 수행되기 때문에 치료 상담 및 치료 시간을 단축시킬 수 있다.The dental treatment planning apparatus using image registration according to an embodiment of the present invention can reduce treatment consultation and treatment time because image analysis, treatment plan establishment, and treatment device design are performed through one integrated process based on the registered image. have.

아울러, X-ray 및 CT 촬영 횟수를 줄일 수 있어 피시술자의 X선 노출을 최소화할 수 있다.In addition, it is possible to reduce the number of X-ray and CT scans, thereby minimizing the X-ray exposure of the recipient.

인터페이스부(163)는 입력부(161)로부터 피시술자에 대한 치료계획을 수립하기 위한 수립 신호가 수신되면 영상 분석, 치료 계획 수립 및 치료 장치 설계를 위한 인터페이스를 호출하여 표시부(162)에 메인 화면을 표시한다. The interface unit 163 displays the main screen on the display unit 162 by calling an interface for image analysis, treatment plan establishment, and treatment device design when receiving a setup signal for establishing a treatment plan for the recipient from the input unit 161 . do.

여기서, 인터페이스는 영상 분석, 치료 계획 수립 및 치료 장치 설계를 수행하기 위한 어플리케이션, 웹 페이지 등의 실행 및 동작을 통해 사용자가 확인할 수 있는 사용자 인터페이스를 의미한다.Here, the interface refers to a user interface that a user can check through the execution and operation of an application, a web page, etc. for performing image analysis, treatment plan establishment, and treatment device design.

인터페이스부(163)는 입력부(161)를 통해 수신되는 제어 신호를 영상 분석부(166), 치료 계획 수립부(167) 및 치료 장치 설계부(168) 등으로 적절히 제공하여 제어 신호에 대응되는 동작을 수행하도록 한다.The interface unit 163 appropriately provides the control signal received through the input unit 161 to the image analysis unit 166 , the treatment plan establishment unit 167 , the treatment device design unit 168 , and the like to perform an operation corresponding to the control signal. to do it

인터페이스부(163)는 입력부(161)로부터 피시술자에 대한 영상 데이터를 호출하기 위한 호출 신호가 수신되면 호출 신호를 기반으로 메모리(164)에 저장된 영상 데이터의 검색을 수행한다. 그리고, 피시술자와 관련된 영상 데이터를 호출하여 메인 화면에 표시한다. 이때, 호출 신호는, 피시술자의 이름 또는 환자 번호 등을 포함할 수 있다. When a call signal for calling image data for a recipient is received from the input unit 161 , the interface unit 163 searches for image data stored in the memory 164 based on the call signal. Then, the image data related to the subject is called and displayed on the main screen. In this case, the call signal may include the name of the recipient or the patient number.

아울러, 본 발명의 실시 예에서는 메모리(164)에 영상 데이터를 저장하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니며, 영상 데이터는 메인 서버에 저장될 수 있다. 이와 같이, 영상 데이터가 메인 서버에 저장된 경우, 치료 계획 수립부(160)는 메인 서버로부터 영상 데이터를 호출하여 영상 분석, 치료 계획 수립 및 치료 장치 설계를 수행할 수 있다.In addition, although it is described that the image data is stored in the memory 164 in the embodiment of the present invention, the present invention is not necessarily limited thereto, and the image data may be stored in the main server. As such, when the image data is stored in the main server, the treatment plan establishment unit 160 may call the image data from the main server to perform image analysis, treatment plan establishment, and treatment device design.

도 10은 본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 방법의 순서도이다.10 is a flowchart of a dental treatment planning method using image registration according to an embodiment of the present invention.

이하, 도 1 내지 도 10을 참조하여 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법을 설명하되, 전술한 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치와 동일한 내용에 대해서는 생략하겠다.Hereinafter, a dental treatment planning method using registration of a two-dimensional medical image and a three-dimensional medical image according to an embodiment of the present invention will be described with reference to FIGS. 1 to 10, but the two-dimensional medical treatment according to the embodiment of the present invention described above The same content as the dental treatment planning apparatus using the registration of the image and the 3D medical image will be omitted.

본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은, 2차원 의료 영상을 생성하는 단계(S10)와, 3차원 의료 영상을 생성하는 단계(S20)와, 변환 영상을 생성하는 단계(S30)와, 정합 영상을 생성하는 단계(S40)와, 정합 허용 오차를 판단하는 단계(S50)와, 정합 영상을 이용하여 치료 계획을 수립하는 단계(S60)를 포함하여 구성될 수 있다.A dental treatment planning method using registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention includes the steps of generating a 2D medical image (S10) and generating a 3D medical image (S20) And, generating a transformed image (S30), generating a registered image (S40), determining a registration tolerance (S50), and establishing a treatment plan using the registered image (S60) It may be composed of

먼저, 2차원 영상 촬영부(110)가 특정 촬영 조건에서 피시술자를 촬영하여 2차원 의료 영상을 생성한다(S10).First, the two-dimensional image capturing unit 110 generates a two-dimensional medical image by photographing a subject under a specific photographing condition (S10).

구체적으로, X선 소스(111)가 피시술자의 두부에 X선을 조사하면 제2 영상 검출부(112)에 피시술자의 두부가 투영되어 2차원 의료 영상이 생성된다.Specifically, when the X-ray source 111 irradiates X-rays to the head of the recipient, the head of the recipient is projected by the second image detector 112 to generate a two-dimensional medical image.

다음, 3차원 영상 촬영부(120)가 2차원 의료 영상의 촬영 조건에서 피시술자를 촬영하여 3차원 의료 영상을 생성한다(S20).Next, the 3D image capturing unit 120 generates a 3D medical image by photographing the subject under the conditions for capturing the 2D medical image ( S20 ).

본 발명의 실시예에 따른 3차원 영상 촬영부(120)는 비교적 좁은 시야(Fields OF View; FOV)를 커버하는 소면적 CT촬영 장치를 이용해 피시술자의 치아영역을 촬영하여 3차원 의료 영상을 생성하고 이를 2차원 영상 촬영부(110)가 생성한 2차원 의료 영상에 정합함으로써, 비교적 저비용으로 대면적 CT촬영 장치와 유사한 효과를 달성할 수 있다.The three-dimensional image capturing unit 120 according to an embodiment of the present invention generates a three-dimensional medical image by photographing a dental area of a subject using a small-area CT imaging device that covers a relatively narrow field of view (FOV). By matching this to the two-dimensional medical image generated by the two-dimensional imaging unit 110, an effect similar to that of a large-area CT imaging apparatus can be achieved at a relatively low cost.

다음, 영상 변환부(130)가 2차원 의료 영상의 촬영 조건에 부합하도록 3차원 의료 영상을 투영하여 변환 영상을 생성한다(S30).Next, the image converting unit 130 generates a transformed image by projecting the 3D medical image to meet the shooting conditions of the 2D medical image ( S30 ).

구체적으로, 뷰잉 카메라(131)가 3차원 의료 영상을 제1 영상 검출부(132)에 투영시키면 제1 영상 검출부(132)에 3차원 의료 영상이 투영되어 변환 영상이 생성된다.Specifically, when the viewing camera 131 projects the 3D medical image onto the first image detector 132 , the 3D medical image is projected onto the first image detector 132 to generate a transformed image.

이와 같이 변환 영상은 2차원 의료 영상의 촬영 조건에 부합한 촬영 왜곡을 갖게 되기 때문에 2차원 의료 영상과 3차원 의료 영상의 정합을 비교적 쉽게 수행할 수 있다.As described above, since the transformed image has a photographing distortion that meets the photographing conditions of the 2D medical image, it is possible to relatively easily perform the registration of the 2D medical image and the 3D medical image.

다음, 영상 정합부가 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성한다(S40). 여기서, 정합 영상은 2차원 영상과 3차원 영상이 결합된 영상으로 피시술자의 일 영역(예컨대, 치아 영역)에는 3차원 의료 영상이 배치되고, 그 이외의 영역에는 2차원 의료 영상이 배치된다.Next, the image matching unit generates a registered image by registering the transformed image with one region of the 2D medical image (S40). Here, the registered image is an image in which a 2D image and a 3D image are combined, and a 3D medical image is disposed in one area (eg, a tooth area) of the recipient, and a 2D medical image is disposed in other areas.

다음, 정합 오차 판단부(150)가 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단한다(S50).Next, the registration error determination unit 150 determines a registration tolerance between the 2D medical image and the transformed image ( S50 ).

여기서, 영상 변환부(130)는 정합 오차 판단부(150)에 의해 판단된 정합 허용 오차가 기준값 이상이면 3차원 의료 영상에 대해 제1 영상 검출부(132) 및 뷰잉 카메라(131)의 위치를 조정 후 투영하여 변환 영상을 재생성할 수 있다(S30). 이와 같은 과정은 정합 허용 오차가 기준값 미만이 될 때가지 반복적으로 수행할 수 있다. 즉, 영상 변환부(130)는 2차원 의료 영상을 기준으로 반복 수렴 정합 방법을 통해 2차원 의료 영상에 변환 영상을 정합한다.Here, the image converter 130 adjusts the positions of the first image detector 132 and the viewing camera 131 with respect to the 3D medical image when the matching tolerance determined by the matching error determiner 150 is equal to or greater than the reference value. The converted image may be regenerated by post-projection (S30). Such a process may be repeatedly performed until the matching tolerance becomes less than the reference value. That is, the image converter 130 matches the transformed image to the 2D medical image through the iterative convergence matching method based on the 2D medical image.

다음, 정합 오차 판단부(150)에 의해 판단된 정합 허용 오차가 기준값 미만이면 시술자가 정합 영상을 이용하여 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행한다(S60).Next, if the matching tolerance determined by the matching error determining unit 150 is less than the reference value, the operator performs at least one of image analysis of the subject, treatment plan establishment, and treatment device design using the matching image (S60).

이와 같이, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은, 정합 영상을 이용하여 영상 분석이 이루어지기 때문에 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공할 수 있다.As described above, in the dental treatment planning method using the registration of the 2D medical image and the 3D medical image according to the embodiment of the present invention, since the image analysis is performed using the registration image, the analysis information of the 2D medical image is converted into 3D An integrated process that can be applied to analysis of a medical image or applied to analysis of a 3D medical image to analysis of a 2D medical image may be provided.

또한, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은 정합 영상을 이용하여 치료 계획을 수립하기 때문에 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공할 수 있다.In addition, since the dental treatment planning method using the registration of the 2D medical image and the 3D medical image according to the embodiment of the present invention establishes the treatment plan using the registration image, the treatment plan is established on the 2D medical image and at the same time. It is possible to provide an integrated process for establishing a treatment plan on a 3D medical image.

또한, 수립된 치료 계획에 따라 치료 장치 예컨대, 교정 장치, 간접 부착 트레이, 악수술 웨이퍼, 틀니 등을 설계할 수 있다.In addition, a treatment device such as an orthodontic device, an indirect attachment tray, a maxillary surgery wafer, dentures, etc. may be designed according to the established treatment plan.

또한, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은 정합 영상을 기초로 영상 분석, 치료 계획 수립 및 치료 장치 설계를 하나의 통합 프로세스를 통해 수행되기 때문에 치료 상담 및 치료 시간을 단축시킬 수 있다.In addition, the dental treatment planning method using the registration of the 2D medical image and the 3D medical image according to the embodiment of the present invention performs image analysis, treatment plan establishment, and treatment device design based on the registered image through one integrated process. Therefore, treatment consultation and treatment time can be shortened.

아울러, X-ray 및 CT 촬영 횟수를 줄일 수 있어 피시술자의 X선 노출을 최소화할 수 있다.In addition, the number of X-ray and CT scans can be reduced, thereby minimizing the X-ray exposure of the recipient.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are merely presented as specific examples to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. That is, it will be apparent to those of ordinary skill in the art to which the present invention pertains that other modified examples can be implemented based on the technical idea of the present invention.

100: 치과 치료 계획 장치
110: 2차원 영상 촬영부
120: 3차원 영상 촬영부
130: 영상 변환부
140: 영상 정합부
150: 정합 오차 판단부
160: 치료 계획부
100: dental treatment planning device
110: 2D image capturing unit
120: 3D image capturing unit
130: image conversion unit
140: image matching unit
150: matching error determination unit
160: treatment planning department

Claims (9)

피시술자를 촬영하여 촬영 왜곡이 발생된 2차원 의료 영상을 생성하는 2차원 영상 촬영부;
상기 피시술자를 촬영하여 촬영 왜곡이 보정된 3차원 의료 영상을 생성하는 3차원 영상 촬영부;
상기 3차원 의료 영상을 투영하여 변환 영상을 생성하되, 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 상기 3차원 의료 영상을 투영하여 상기 변환 영상을 생성하는 영상 변환부; 및
상기 2차원 의료 영상의 일 영역에 상기 변환 영상을 정합하여 정합 영상을 생성하는 영상 정합부를 포함하고,
상기 영상 변환부는
상기 변환 영상을 검출하는 제1 영상 검출부의 위치, 상기 3차원 의료 영상을 상기 제1 영상 검출부에 투영시키는 뷰잉 카메라의 위치 및 각도 중 적어도 하나를 조절하여 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 하되,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차가 기준값 미만이 될 때까지 상기 변환 영상을 재생성하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
a two-dimensional image capturing unit generating a two-dimensional medical image in which photographing distortion is generated by photographing a subject;
a three-dimensional image capturing unit for generating a three-dimensional medical image in which photographing distortion is corrected by photographing the subject;
an image conversion unit generating a transformed image by projecting the 3D medical image, and projecting the 3D medical image so that the transformed image has the same photographing distortion as the 2D medical image to generate the transformed image; and
and an image matching unit configured to generate a registered image by registering the transformed image with one region of the two-dimensional medical image,
The image conversion unit
The converted image is identical to the 2D medical image by adjusting at least one of a position of a first image detector detecting the transformed image, and a position and an angle of a viewing camera that projects the 3D medical image to the first image detector to have shooting distortion,
A dental treatment planning apparatus using the registration of the 2D medical image and the 3D medical image to regenerate the transformed image until the matching tolerance between the 2D medical image and the transformed image is less than a reference value.
제 1 항에 있어서,
시술자가 상기 정합 영상을 이용하여 상기 피시술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행할 수 있도록 인터페이스를 제공하는 치료 계획부
를 더 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
A treatment planning unit that provides an interface so that the operator can perform at least one of image analysis, treatment plan establishment, and treatment device design of the recipient by using the matched image
Dental treatment planning apparatus using the registration of the 2D medical image and the 3D medical image further comprising a.
제 1 항에 있어서,
상기 2차원 영상 촬영부는,
상기 피시술자에 X선을 조사하는 X선 소스; 및
상기 X선 조사에 의해 상기 피시술자가 투영되어 상기 2차원 의료 영상을 검출하는 제2 영상 검출부를 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
The two-dimensional image capturing unit,
an X-ray source for irradiating X-rays to the subject; and
and a second image detector configured to detect the two-dimensional medical image by projecting the subject by the X-ray irradiation
A dental treatment planning device using the registration of a 2D medical image and a 3D medical image.
제 1 항에 있어서,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차를 판단하는 정합 오차 판단부를 더 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
Further comprising a matching error determining unit for determining a matching tolerance between the two-dimensional medical image and the transformed image
A dental treatment planning device using the registration of a 2D medical image and a 3D medical image.
제 1 항에 있어서,
상기 2차원 의료 영상은
정면 및 측면 2차원 의료 영상을 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
The two-dimensional medical image is
Including frontal and lateral two-dimensional medical images
A dental treatment planning device using the registration of a 2D medical image and a 3D medical image.
제 5 항에 있어서,
상기 정면 및 측면 2차원 의료 영상의 상기 일 영역 이외의 영역에 각각 표시된 랜드 마크를 상기 3차원 의료 영상에 각각 적용하여 2개의 랜드 마크 라인을 형성하고, 상기 2개의 랜드 마크 라인의 교차점을 상기 3차원 의료 영상에 표시하는 랜드 마크 표시부를 더 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
6. The method of claim 5,
Landmarks respectively displayed in areas other than the one area of the front and side 2D medical images are applied to the 3D medical image to form two landmark lines, and the intersection of the two landmark lines is defined as the 3 Further comprising a landmark display unit displayed on the dimensional medical image
A dental treatment planning device using the registration of a 2D medical image and a 3D medical image.
피시술자를 촬영하여 촬영 왜곡이 발생된 2차원 의료 영상을 생성하는 단계;
상기 피시술자를 촬영하여 촬영 왜곡이 보정된 3차원 의료 영상을 생성하는 단계;
상기 3차원 의료 영상을 투영하여 변환 영상을 생성하되, 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 상기 3차원 의료 영상을 투영하여 상기 변환 영상을 생성하는 단계; 및
상기 2차원 의료 영상의 일 영역에 상기 변환 영상을 정합하여 정합 영상을 생성하는 단계를 포함하고,
상기 변환 영상을 생성하는 단계는
상기 변환 영상을 검출하는 제1 영상 검출부의 위치, 상기 3차원 의료 영상을 상기 제1 영상 검출부에 투영시키는 뷰잉 카메라의 위치 및 각도 중 적어도 하나를 조절하여 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 하되,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차가 기준값 미만이 될 때까지 상기 변환 영상을 재생성하는 단계인
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법.
generating a two-dimensional medical image in which photographing distortion is generated by photographing the subject;
generating a three-dimensional medical image in which photographing distortion is corrected by photographing the subject;
generating a transformed image by projecting the 3D medical image, projecting the 3D medical image so that the transformed image has the same photographing distortion as the 2D medical image to generate the transformed image; and
generating a registered image by registering the transformed image with one region of the two-dimensional medical image;
The step of generating the converted image is
The converted image is identical to the 2D medical image by adjusting at least one of a position of a first image detector detecting the transformed image, and a position and an angle of a viewing camera that projects the 3D medical image to the first image detector to have shooting distortion,
Regenerating the transformed image until the matching tolerance between the 2D medical image and the transformed image is less than a reference value
A dental treatment planning method using registration of a 2D medical image and a 3D medical image.
제 7 항에 있어서,
시술자가 상기 정합 영상을 이용하여 상기 피시술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행하는 단계
를 더 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법.
8. The method of claim 7,
performing at least one of image analysis, treatment plan establishment, and treatment device design of the subject by using the matched image by the operator
A dental treatment planning method using registration of a two-dimensional medical image and a three-dimensional medical image further comprising a.
제 7 항에 있어서,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차를 판단하는 단계를 더 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법.
8. The method of claim 7,
Further comprising the step of determining a registration tolerance of the 2D medical image and the transformed image
A dental treatment planning method using registration of a 2D medical image and a 3D medical image.
KR1020210049171A 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof KR102278040B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210049171A KR102278040B1 (en) 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180164498A KR20200075623A (en) 2018-12-18 2018-12-18 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof
KR1020210049171A KR102278040B1 (en) 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164498A Division KR20200075623A (en) 2018-12-18 2018-12-18 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Publications (2)

Publication Number Publication Date
KR20210047835A KR20210047835A (en) 2021-04-30
KR102278040B1 true KR102278040B1 (en) 2021-07-19

Family

ID=75740852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049171A KR102278040B1 (en) 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Country Status (1)

Country Link
KR (1) KR102278040B1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252278B1 (en) * 2010-06-10 2013-04-29 주식회사 오라픽스 Methodm for providing the wafer production service for dental treatment, and server and terminal thereof
KR101954868B1 (en) * 2016-05-03 2019-03-08 재단법인대구경북과학기술원 Navigation system for vascular intervention and method for generaing virtual x-ray image

Also Published As

Publication number Publication date
KR20210047835A (en) 2021-04-30

Similar Documents

Publication Publication Date Title
JP6945101B2 (en) Dental treatment planning device and method using matching of 2D medical images and 3D medical images
US11832021B2 (en) Control apparatus, control method, and storage medium
US10542960B2 (en) Wireless X-ray system
US10485505B2 (en) Radiographing apparatus, control apparatus, stitch imaging system, control method
US10420524B2 (en) Radiographing apparatus, control apparatus, control method, and storage medium
US10368823B2 (en) Radiographing apparatus, control apparatus, control method, and storage medium
CN105266837B (en) A kind of body surface location method and device
KR20160118868A (en) System and method for displaying panorama image using single look-up table
US11083423B2 (en) Image processing device and method for operating image processing device
JP2016189986A (en) Radiation imaging system and radiographic system
US9000393B2 (en) X-ray imaging apparatus and method for outputting X-ray images
US11047809B2 (en) Radiation imaging system, radiation imaging method, control apparatus, and computer-readable medium
JP2012071039A (en) Image processing apparatus, radiographic image system, and image processing method and program
KR102278040B1 (en) Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof
US10891733B2 (en) Radiographing system, radiographing method, control apparatus, and storage medium
KR20160124512A (en) Apparatus for x-ray image acquisition and x-ray image system using mobile device
JP2018089307A (en) Device for controlling radiographic system
CN110881989B (en) Radiography system, radiography method, and storage medium
JP2021027908A (en) Radiographic system, image processing apparatus, radiographic method, processing method, and program
KR20220050604A (en) Method providing information to assist with dental consultation
KR200361649Y1 (en) X-ray view box and digital x-ray picture translator with cmos image sensor
US20120051503A1 (en) Stereoscopic image displaying method and apparatus
US20130245354A1 (en) Automated method and apparatus for the verification of treatment parameters prior to delivery of radiaiton to patient
JP2007267780A (en) Diagnostic imaging support equipment and its data processing method

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right