KR20210047835A - Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof - Google Patents

Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof Download PDF

Info

Publication number
KR20210047835A
KR20210047835A KR1020210049171A KR20210049171A KR20210047835A KR 20210047835 A KR20210047835 A KR 20210047835A KR 1020210049171 A KR1020210049171 A KR 1020210049171A KR 20210049171 A KR20210049171 A KR 20210049171A KR 20210047835 A KR20210047835 A KR 20210047835A
Authority
KR
South Korea
Prior art keywords
image
medical
medical image
unit
matching
Prior art date
Application number
KR1020210049171A
Other languages
Korean (ko)
Other versions
KR102278040B1 (en
Inventor
임용현
송욱
Original Assignee
(주)제노레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180164498A external-priority patent/KR20200075623A/en
Application filed by (주)제노레이 filed Critical (주)제노레이
Priority to KR1020210049171A priority Critical patent/KR102278040B1/en
Publication of KR20210047835A publication Critical patent/KR20210047835A/en
Application granted granted Critical
Publication of KR102278040B1 publication Critical patent/KR102278040B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/14Applications or adaptations for dentistry
    • A61B6/51
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002Orthodontic computer assisted systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Abstract

The present invention provides a dental treatment planning apparatus and method using image matching, wherein the apparatus comprises: a 2D image photographing unit for generating a 2D medical image by photographing the head of a person to be treated; a 3D image photographing unit for generating a 3D medical image by photographing a teeth region of the person to be treated; an image conversion unit for generating a converted image by adjusting and projecting a viewing camera on the 3D medical image to match photographing conditions of the 2D medical image; and an image matching unit for generating a matched image by matching the converted image to a region of the 2D medical image.

Description

2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법{Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof}Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof}

본 발명은 치과 치료 계획 장치 및 그 방법에 관한 것으로, 특히, 2차원 의료 영상 및 3차원 의료 영상의 정합을 치과 치료 계획 장치 및 그 방법에 관한 것이다. The present invention relates to a dental treatment planning apparatus and method thereof, and more particularly, to a dental treatment planning apparatus and method for matching a 2D medical image and a 3D medical image.

비교적 넓은 시야(Fields OF View; FOV)를 커버하는 대면적 CT(Computed Tomography) 촬영 장치는 피시술자의 치아뿐만 아니라 피시술자의 두부 전체를 촬영하기 때문 시술자의 치료 계획을 효율적으로 수립할 수 있는 장점이 있는 반면 대면적 CT 촬영 장치는 비교적 고가이기 때문에 대규모 병원에서만 구비하고 있는 것이 일반적이다.A large-area CT (Computed Tomography) imaging device that covers a relatively wide field of view (FOV) has the advantage of efficiently establishing a treatment plan for the operator because it photographs not only the patient's teeth but also the patient's head. On the other hand, large-area CT imaging devices are relatively expensive, so they are generally provided only in large hospitals.

따라서, 대부분의 소규모 병원에서는 비용 측면을 고려하여 비교적 적은 시야를 커버하는 소면적 CT 촬영 장치를 이용하여 피시술자의 치아 영역만 촬영하여 시술자의 치료 계획을 수립하고 있다.Therefore, in most small hospitals, taking into account the cost aspect, using a small-area CT imaging device that covers a relatively small field of view, only the patient's tooth area is photographed to establish a treatment plan for the operator.

이에, 본 발명에서는 Ceph(cephalometrics) 촬영 장치가 피시술자의 두부를 촬영하여 생성한 2차원 의료 영상에 CT 촬영 장치가 피시술자의 치아 영역을 촬영하여 생성한 3차원 의료 영상을 정합하는 방법을 제안하고자 한다.Accordingly, the present invention proposes a method of matching the 3D medical image generated by the CT imaging apparatus photographing the patient's tooth area with the 2D medical image generated by the Ceph (cephalometrics) imaging device photographing the head of the person to be treated. .

그러나, Ceph(cephalometrics) 촬영 장치가 피시술자의 두부를 촬영하여 생성한 2차원 의료 영상은 X선 소스와 영상 검출부 사이에 피시술자의 두부를 위치시켜 촬영하여 생성된 영상이기 때문에 촬영 왜곡이 발생한다. 반면, CT촬영 장치가 촬영한 3차원 의료 영상은 CT촬영 장치 자체에서 촬영 왜곡이 보정되어 재구성되기 때문에 이론적으로 촬영 왜곡이 발생하지 않는다.However, since the 2D medical image generated by the Ceph (cephalometrics) imaging apparatus photographing the head of the subject to be treated is an image generated by photographing the head of the subject between the X-ray source and the image detector, photographing distortion occurs. On the other hand, since the 3D medical image captured by the CT imaging device is reconstructed by correcting the imaging distortion by the CT imaging device itself, the imaging distortion does not occur theoretically.

따라서, 촬영 왜곡이 발생한 2차원 의료 영상과 촬영 왜곡이 보정된 3차원 의료 영상을 정합하는 것은 어려운 문제점이 있다.Therefore, it is difficult to match a 2D medical image in which photographing distortion has occurred and a 3D medical image in which photographing distortion has been corrected.

본 발명은, 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an integrated process capable of applying analysis information of a 2D medical image to analysis of a 3D medical image or applying the analysis information of a 3D medical image to an analysis of a 2D medical image.

또한, 본 발명은, 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide an integrated process capable of establishing a treatment plan on a 2D medical image and at the same time establishing a treatment plan on a 3D medical image.

전술한 과제를 해결하기 위해, 본 발명은 피시술자를 촬영하여 2차원 의료 영상을 생성하는 2차원 영상 촬영부와, 피시술자를 촬영하여 3차원 의료 영상을 생성하는 3차원 영상 촬영부와, 3차원 의료 영상에 대해 뷰잉 카메라를 조정하고 투영하여 2차원 의료 영상과 동일한 촬영 왜곡을 갖는 변환 영상을 생성하는 영상 변환부와, 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성하는 영상 정합부를 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치를 제공한다.In order to solve the above-described problems, the present invention provides a two-dimensional image photographing unit for photographing a person to be treated and generating a two-dimensional medical image, a three-dimensional image photographing unit for photographing a subject to generate a three-dimensional medical image, and a three-dimensional medical treatment An image conversion unit that adjusts and projects a viewing camera on an image to generate a transformed image having the same shooting distortion as a 2D medical image, and an image registration that creates a matched image by matching the transformed image to a region of the 2D medical image. It provides a dental treatment planning apparatus using registration of a 2D medical image including a unit and a 3D medical image.

또한, 시술자가 정합 영상을 이용하여 상기 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행할 수 있도록 인터페이스를 제공하는 치료 계획부를 더 포함할 수 있다.In addition, it may further include a treatment planning unit that provides an interface so that the operator can perform at least one of image analysis, treatment plan establishment, and treatment device design of the subject by using the matched image.

또한, 2차원 영상 촬영부는, 피술자에 X선을 조사하는 X선 소스와, X선 조사에 의해 피술자가 투영되어 2차원 의료 영상을 검출하는 제2 영상 검출부를 포함할 수 있다.In addition, the 2D image capturing unit may include an X-ray source for irradiating X-rays onto the subject, and a second image detection unit for detecting a 2D medical image by projecting the subject by X-ray irradiation.

또한, 영상 변환부는 3차원 의료 영상이 투영되어 변환 영상을 검출하는 제1 영상 검출부와, 3차원 의료 영상을 제1 영상 검출부에 투영시키는 뷰잉 카메라를 포함할 수 있다.In addition, the image conversion unit may include a first image detection unit that detects a converted image by projecting a 3D medical image, and a viewing camera that projects the 3D medical image to the first image detection unit.

또한, 영상 변환부는 뷰잉 카메라의 위치 및 각도, 제1 영상 검출부의 위치, 3차원 의료 영상의 위치 및 뷰잉 각도 중 적어도 하나를 조절 및 반복 수렴하여 2차원 의료 영상의 촬영 조건에 부합시킬 수 있다.In addition, the image conversion unit may adjust and repeatedly converge at least one of the position and angle of the viewing camera, the position of the first image detection unit, the position of the 3D medical image, and the viewing angle to match the shooting condition of the 2D medical image.

또한, 영상 변환부는 X선 소스, 피술자 및 제2 영상 검출부 간 간격 정보를 기초로 2차원 의료 영상의 촬영 조건에 부합시킬 수 있다.In addition, the image conversion unit may match the photographing condition of the 2D medical image based on information on the distance between the X-ray source, the subject, and the second image detection unit.

또한, 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단하는 정합 오차 판단부를 더 포함할 수 있다.In addition, a matching error determination unit may be further included to determine a matching tolerance between the 2D medical image and the transformed image.

또한, 영상 변환부는 정합 허용 오차가 기준값 이상이면 3차원 의료 영상에 대해 뷰잉 카메라를 조정하고 투영하여 변환 영상을 재생성할 수 있다.또한, 2차원 의료 영상은 정면 및 측면 2차원 의료 영상을 포함할 수 있다.In addition, if the matching tolerance is greater than or equal to the reference value, the image conversion unit may regenerate the converted image by adjusting and projecting the viewing camera on the 3D medical image. In addition, the 2D medical image includes front and side 2D medical images. I can.

또한, 정면 및 측면 2차원 의료 영상의 일 영역 이외의 영역에 각각 표시된 랜드 마크를 3차원 의료 영상에 각각 적용하여 2개의 랜드 마크 라인을 형성하고, 2개의 랜드 마크 라인의 교차점을 3차원 의료 영상에 표시하는 랜드 마크 표시부를 더 포함할 수 있다.In addition, two landmark lines are formed by applying landmarks respectively displayed in areas other than one area of the front and side 2D medical images to the 3D medical image, and the intersection of the two landmark lines is a 3D medical image. It may further include a landmark display unit to be displayed on.

또한, 피시술자를 촬영하여 2차원 의료 영상을 생성하는 단계와, 피시술자를 촬영하여 3차원 의료 영상을 생성하는 단계와, 2차원 의료 영상의 촬영 조건에서 3차원 의료 영상을 촬영하여 변환 영상을 생성하는 단계와, 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성하는 단계를 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법을 제공한다.In addition, the steps of generating a 2D medical image by photographing the person to be treated, generating a 3D medical image by photographing the person to be treated, and generating a transformed image by photographing a 3D medical image under the conditions of the 2D medical image. It provides a dental treatment planning method using registration of a 2D medical image and a 3D medical image including the steps of and generating a registration image by matching a transformed image to a region of the 2D medical image.

또한, 시술자가 정합 영상을 이용하여 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다.In addition, the method may further include performing at least one of an image analysis of the subject, establishment of a treatment plan, and design of a treatment device by the operator using the matched image.

또한, 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단하는 단계를 더 포함할 수 있다.In addition, the step of determining a matching tolerance between the 2D medical image and the transformed image may be further included.

본 발명에 따르면, 정합 영상을 이용하여 영상 분석이 이루어지기 때문에 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공할 수 있는 효과가 있다.According to the present invention, since image analysis is performed using a matched image, the analysis information of the 2D medical image may be applied to the analysis of the 3D medical image or the analysis information of the 3D medical image may be applied to the analysis of the 2D medical image. There is an effect that can provide an integrated process that can be done.

또한, 본 발명에 따르면, 정합 영상을 이용하여 치료 계획을 수립하기 때문에 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공할 수 있는 효과가 있다.In addition, according to the present invention, since a treatment plan is established using a matched image, it is possible to provide an integrated process for establishing a treatment plan on a 2D medical image and at the same time setting a treatment plan on a 3D medical image. There is.

또한, 수립된 치료 계획에 따라 치료 장치 예컨대, 교정 장치, 간접 부착 트레이, 악수술 웨이퍼, 틀니 등을 설계할 수 있다.In addition, treatment devices such as orthodontic devices, indirect attachment trays, shake wafers, dentures, and the like may be designed according to the established treatment plan.

또한, 본 발명에 따르면 정합 영상을 기초로 영상 분석, 치료 계획 수립 및 치료 장치 설계를 하나의 통합 프로세스를 통해 수행되기 때문에 치료 상담 및 치료 시간을 단축시킬 수 있는 효과가 있다.In addition, according to the present invention, since image analysis, treatment plan establishment, and treatment device design are performed through a single integrated process based on the matched image, treatment consultation and treatment time can be shortened.

아울러, X-ray 및 CT 촬영 횟수를 줄일 수 있어 피시술자의 X선 노출을 최소화할 수 있는 효과가 있다.In addition, it is possible to reduce the number of X-rays and CT scans, thereby minimizing X-ray exposure of the person to be treated.

도 1은 본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치의 블록도이다.
도 2는 도 1의 2차원 영상 촬영부의 블록도이다.
도 3은 도 1의 2차원 영상 촬영부(110)가 피시술자를 촬영하여 생성한 2차원 의료 영상의 예시적인 도면이다.
도 4는 3차원 영상 촬영부(120)가 피시술자를 촬영하여 생성한 3차원 의료 영상의 예시적인 도면이다.
도 5는 도 1의 영상 변환부의 구체적인 블록도이다.
도 6은 도 1의 영상 정합부(140)에 의해 생성된 정합 영상의 예시적인 도면이다.
도 7은 도 1의 치료 계획부(160)의 구체적인 블록도이다.
도 8은 도 7의 랜드 마크 표시부의 랜드 마크 표시 방법을 설명하기 위한 도면이다.
도 9(a) 및 도 9(b)는 도 7의 랜드 마크 표시부가 정합 영상에 표시한 랜드 마크를 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 방법의 순서도이다.
1 is a block diagram of a dental treatment planning apparatus using image registration according to an embodiment of the present invention.
2 is a block diagram of a 2D image capturing unit of FIG. 1.
FIG. 3 is an exemplary diagram of a 2D medical image generated by the 2D image capturing unit 110 of FIG. 1 by photographing a person to be treated.
4 is an exemplary diagram of a 3D medical image generated by the 3D image capturing unit 120 by photographing a person to be treated.
5 is a detailed block diagram of an image conversion unit of FIG. 1.
6 is an exemplary diagram of a registered image generated by the image matching unit 140 of FIG. 1.
7 is a detailed block diagram of the treatment plan unit 160 of FIG. 1.
FIG. 8 is a diagram for explaining a landmark display method of the landmark display unit of FIG. 7.
9(a) and 9(b) are diagrams illustrating landmarks displayed by the landmark display unit of FIG. 7 on a matched image.
10 is a flowchart of a dental treatment planning method using image registration according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as possible. In addition, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted.

도 1은 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치의 블록도이고, 도 2는 도 1의 2차원 영상 촬영부의 블록도이다.1 is a block diagram of a dental treatment planning apparatus using registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention, and FIG. 2 is a block diagram of a 2D image capturing unit of FIG. 1.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치는 2차원 영상 촬영부(110), 3차원 영상 촬영부(120), 영상 변환부(130), 영상 정합부(140) 및 치료 계획부(160)를 포함하여 구성될 수 있다.As shown in FIG. 1, a dental treatment planning apparatus using matching of a 2D medical image and a 3D medical image according to an embodiment of the present invention includes a 2D image capture unit 110 and a 3D image capture unit 120. , An image conversion unit 130, an image matching unit 140, and a treatment plan unit 160 may be included.

2차원 영상 촬영부(110)는 특정 촬영 조건에서 피시술자를 촬영하여 2차원 의료 영상을 생성한다. 여기서, 2차원 영상 촬영부(110)는 Ceph(cephalometrics) 촬영 장치일 수 있으나, 이에 한정되는 것은 아니며 피시술자를 촬영하여2차원 영상을 생성하는 장치이면 족하다.The 2D image capturing unit 110 generates a 2D medical image by photographing a person to be treated under a specific photographing condition. Here, the 2D image capturing unit 110 may be a Ceph (cephalometrics) photographing device, but the present invention is not limited thereto, and a device capable of generating a 2D image by photographing a subject to be treated is sufficient.

구체적으로, 도 2에 도시한 바와 같이, 2차원 영상 촬영부(110)는, 피시술자(예컨대, 두부)에 X선을 조사하는 X선 소스(111)와 X선 조사에 의해 피시술자(예컨대, 두부)가 투영되어 2차원 의료 영상을 검출하는 제2 영상 검출부(112)를 포함하여 구성될 수 있다.Specifically, as shown in FIG. 2, the two-dimensional image capturing unit 110 includes an X-ray source 111 that irradiates an X-ray to a person to be treated (for example, the head) and a person to be treated (for example, the head) by X-ray irradiation. ) May be projected to include a second image detection unit 112 that detects a 2D medical image.

도 3은 도 1의 2차원 영상 촬영부(110)가 피시술자를 촬영하여 생성한 2차원 의료 영상의 예시적인 도면이고, 도 4는 3차원 영상 촬영부(120)가 피시술자를 촬영하여 생성한 3차원 의료 영상의 예시적인 도면이다.FIG. 3 is an exemplary diagram of a 2D medical image generated by the 2D image capture unit 110 of FIG. 1 by photographing a person to be treated, and FIG. 4 is a 3D image generated by the 3D image capture unit 120 by photographing a person to be treated. It is an exemplary diagram of a dimensional medical image.

도 3에 도시한 바와 같이, 2차원 영상 촬영부(110)는, 피시술자의 두부 일 측면을 촬영하여 측면 2차원 의료 영상을 생성하고(a), 피시술자의 두부 전면을 촬영하여 전면 2차원 의료 영상을 생성할 수 있다.As shown in FIG. 3, the 2D image capturing unit 110 generates a side 2D medical image by photographing one side of the head of the person to be treated (a), and photographs the front of the head of the person to be treated to create a front 2D medical image. Can be created.

그리고, 도 4에 도시한 바와 같이, 3차원 영상 촬영부(120)는 피시술자의 치아 영역을 촬영하여 3차원 의료 영상을 생성한다. 여기서, 3차원 영상 촬영부(120)는 CT(Computed Tomography) 촬영 장치일 수 있으나, 이에 한정되는 것은 아니며 피시술자를 촬영하여 3차원 영상을 생성하는 장치이면 족하다.In addition, as shown in FIG. 4, the 3D image capturing unit 120 generates a 3D medical image by capturing a tooth area of a person to be treated. Here, the 3D imaging unit 120 may be a CT (Computed Tomography) imaging device, but is not limited thereto, and any device capable of generating a 3D image by photographing a person to be treated is sufficient.

한편, 비교적 넓은 시야(Fields OF View; FOV)를 커버하는 대면적 CT촬영 장치는 피시술자의 치아뿐만 아니라 피시술자의 두부 전체를 촬영하여 3차원 두부 영상을 생성하지만 비교적 고가이기 때문에 대규모 병원에서만 구비하고 있는 것이 일반적이다.On the other hand, a large-area CT imaging device that covers a relatively wide field of view (FOV) creates a 3D head image by photographing not only the patient's teeth but also the patient's head, but it is relatively expensive, so it is only available in large hospitals. It is common.

본 발명의 실시예에 따른 3차원 영상 촬영부(120)는 비교적 좁은 시야(Fields OF View; FOV)를 커버하는 소면적 CT촬영 장치를 이용해 피시술자의 치아영역을 촬영하여 3차원 의료 영상을 생성하고 이를 2차원 영상 촬영부(110)가 생성한 2차원 의료 영상에 정합함으로써, 비교적 저비용으로 대면적 CT촬영 장치와 유사한 효과를 달성할 수 있다. The 3D image capture unit 120 according to an embodiment of the present invention generates a 3D medical image by photographing a tooth area of a person to be treated using a small area CT imaging device covering a relatively narrow field of view (FOV). By matching this to the 2D medical image generated by the 2D imaging unit 110, an effect similar to that of a large area CT imaging apparatus can be achieved at a relatively low cost.

한편, 2차원 영상 촬영부(110)가 생성한 2차원 의료 영상은 전술한 바와 같이, X선 소스(111)와 제2 영상 검출부(112) 사이에 피시술자를 위치시켜 촬영하여 생성된 영상이기 때문에 촬영 왜곡이 발생한다. 그러나, 3차원 영상 촬영부(120)가 촬영한 3차원 의료 영상은 3차원 영상 촬영부(120) 자체에서 촬영 왜곡이 보정되어 재구성되기 때문에 이론적으로 촬영 왜곡이 발생하지 않는다. 따라서, 촬영 왜곡이 발생한 2차원 의료 영상과 촬영 왜곡이 보정된 3차원 의료 영상을 정합하는 것은 어렵다.On the other hand, since the 2D medical image generated by the 2D image capture unit 110 is an image generated by photographing a person to be treated between the X-ray source 111 and the second image detection unit 112 as described above, Shooting distortion occurs. However, since the 3D medical image captured by the 3D image capturing unit 120 is reconstructed by correcting and reconstructing the capturing distortion by the 3D image capturing unit 120 itself, the capturing distortion does not occur theoretically. Therefore, it is difficult to match a 2D medical image in which photographic distortion has occurred and a 3D medical image in which photographic distortion has been corrected.

이와 같은 문제점을 해결하기 위해, 본 발명의 실시예에 따른 영상 변환부(130)는 뷰잉 카메라를 이용하여 2차원 의료 영상 촬영 조건을 추정하고, 3차원 의료 영상을 투영하여 변환 영상을 생성하고, 이 변환 영상을 2차원 의료 영상에 정합한다.In order to solve such a problem, the image conversion unit 130 according to an embodiment of the present invention estimates a 2D medical image capturing condition using a viewing camera, and generates a converted image by projecting a 3D medical image, This transformed image is matched to a 2D medical image.

도 5는 도 1의 영상 변환부의 구체적인 블록도이다.5 is a detailed block diagram of an image conversion unit of FIG. 1.

구체적으로, 도 5에 도시한 바와 같이, 영상 변환부(130)는 3차원 의료 영상이 투영되어 변환 영상을 검출하는 제1 영상 검출부(132)와, 3차원 의료 영상을 제1 영상 검출부(132)에 투영시키는 뷰잉 카메라(131)를 포함하여 구성될 수 있다.Specifically, as shown in FIG. 5, the image conversion unit 130 includes a first image detection unit 132 that detects a converted image by projecting a 3D medical image, and a first image detection unit 132 that detects a 3D medical image. ) May be configured to include a viewing camera 131 to be projected on.

영상 변환부(130)는 2차원 영상 촬영부(110)가 피술자 촬영시 X선 소스(111), 피술자 및 제2 영상 검출부(112) 간 간격 정보를 뷰잉 카메라의 조작을 통해 2차원 영상 촬영부(110)의 촬영 조건에 부합시킬 수 있다.The image conversion unit 130 is a two-dimensional image capturing unit through the operation of the viewing camera to obtain the distance information between the X-ray source 111, the subject, and the second image detection unit 112 when the 2D image capturing unit 110 photographs the subject. It can meet the shooting conditions of (110).

또한, 영상 변환부(130)는 뷰잉 카메라(131) 위치 및 각도, 제1 영상 검출부(132)의 위치 중 적어도 하나를 조절하여 피시술자의 두부 촬영 조건에 부합시킬 수 있다.In addition, the image conversion unit 130 may adjust at least one of the position and angle of the viewing camera 131 and the position of the first image detection unit 132 to meet the conditions for capturing the head of the person to be treated.

구체적으로, 영상 변환부(130)는 2차원 영상 촬영부(110)가 피술자의 두부 촬영시 X선 소스(111), 피술자 및 제2 영상 검출부(112) 간 간격과 동일한 간격으로 뷰잉 카메라(131)를 위치시킴으로써 제1 영상 검출부(132)를 통해 검출된 변환 영상을 2차원 의료 영상 촬영의 촬영 조건에 부합시킬 수 있다.Specifically, the image conversion unit 130 includes the viewing camera 131 at the same interval as the interval between the X-ray source 111, the subject, and the second image detector 112 when the 2D image capturing unit 110 captures the head of the subject. By positioning ), the transformed image detected by the first image detector 132 may be matched with a photographing condition for 2D medical image capturing.

도 6은 도 1의 영상 정합부(140)에 의해 생성된 정합 영상의 예시적인 도면이다.6 is an exemplary diagram of a registered image generated by the image matching unit 140 of FIG. 1.

도 6에 도시한 바와 같이, 영상 정합부(140)는 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성한다. 여기서, 정합 영상은 2차원 영상과 3차원 영상이 결합된 영상으로 피시술자의 일 영역(예컨대, 치아 영역)에는 3차원 의료 영상이 배치되고, 그 이외의 영역에는 2차원 의료 영상이 배치된다.As shown in FIG. 6, the image matching unit 140 generates a matched image by matching the transformed image to a region of the 2D medical image. Here, the registration image is an image in which a 2D image and a 3D image are combined, and a 3D medical image is disposed in one area (eg, a tooth area) of the person to be treated, and a 2D medical image is disposed in the other areas.

도 1을 참조하면, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치는, 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단하는 정합 오차 판단부(150)를 더 포함하여 구성될 수 있다.Referring to FIG. 1, a dental treatment planning apparatus using matching of a 2D medical image and a 3D medical image according to an embodiment of the present invention includes a matching error determination unit that determines a matching tolerance between a 2D medical image and a converted image. It may be configured to further include 150.

영상 변환부(130)는 정합 오차 판단부(150)에 의해 판단된 정합 허용 오차가 기준값 이상이면 3차원 의료 영상에 대해 뷰잉 카메라를 조정 후 투영하여 변환 영상을 재생성할 수 있다. 이와 같은 과정은 정합 허용 오차가 기준값 미만이 될 때가지 반복적으로 수행할 수 있다. 즉, 영상 변환부(130)는 2차원 의료 영상을 기준으로 반복 수렴 정합 방법을 통해 2차원 의료 영상에 변환 영상을 정합한다.The image conversion unit 130 may regenerate the converted image by adjusting and projecting the viewing camera on the 3D medical image if the matching tolerance determined by the matching error determination unit 150 is greater than or equal to a reference value. This process can be repeatedly performed until the matching tolerance is less than the reference value. That is, the image conversion unit 130 matches the transformed image to the 2D medical image through an iterative convergence matching method based on the 2D medical image.

도 3을 참조하면, 2차원 영상 촬영부(110)가 촬영하여 생성한 2차원 의료 영상은 정면 2차원 의료 영상 및 측면 2차원 의료 영상을 포함할 수 있다. 이에 따라, 전술한 정합 과정은 정면 2차원 의료 영상 및 측면 2차원 의료 영상을 중심으로 두 번에 걸쳐 진행될 수 있다.Referring to FIG. 3, a 2D medical image captured and generated by the 2D image capturing unit 110 may include a front 2D medical image and a side 2D medical image. Accordingly, the above-described registration process may be performed twice, centering on the front 2D medical image and the side 2D medical image.

치료 계획부(160)는 시술자가 정합 영상을 이용하여 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행할 수 있도록 사용자 인터페이스를 제공할 수 있다. 여기서, 치료 계획부(160)는 정합 허용 오차가 기준값 미만이면 정합 오차 판단부(150)로부터 정합 영상을 제공 받을 수 있다.The treatment planning unit 160 may provide a user interface so that a practitioner may perform at least one of image analysis of a subject, establishment of a treatment plan, and design of a treatment device using a matched image. Here, the treatment planning unit 160 may receive a matching image from the matching error determining unit 150 when the matching tolerance is less than the reference value.

한편, 2차원 영상 촬영부(110)와 3차원 영상 촬영부(120)는 하나의 장비에 함께 구비되거나 각각 별개의 모듈로 형성될 수 있다. 그리고, 영상 변환부(130), 영상 정합부(140) 및 정합 오차 판단부(150)는 하나의 모듈로 형성되어 치료 계획부(160)에 구비되거나 2차원 및 3차원 영상 촬영부(110, 120)에 구비될 수 있으며, 이와 달리 각각 별개의 모듈로 구비될 수도 있다. 그리고, 각 구성 요소들은 통신을 통해 영상 데이터를 주고 받을 수 있다.Meanwhile, the 2D image capturing unit 110 and the 3D image capturing unit 120 may be provided together in one device or may be formed as separate modules. In addition, the image conversion unit 130, the image matching unit 140, and the matching error determination unit 150 are formed as one module and provided in the treatment planning unit 160, or the 2D and 3D image capturing unit 110, 120) may be provided, and differently, may be provided as separate modules. In addition, each component may exchange image data through communication.

도 7은 도 1의 치료 계획부(160)의 구체적인 블록도이다.7 is a detailed block diagram of the treatment plan unit 160 of FIG. 1.

구체적으로, 도 7에 도시한 바와 같이, 치료 계획부(160)는 입력부(161), 표시부(162), 인터페이스부(163), 메모리(164), 랜드 마크 표시부(165), 영상 분석부(166), 치료 계획 수립부(167) 및 치료 장치 설계부(168)를 포함하여 구성될 수 있다.Specifically, as shown in FIG. 7, the treatment plan unit 160 includes an input unit 161, a display unit 162, an interface unit 163, a memory 164, a landmark display unit 165, and an image analysis unit ( 166), a treatment plan establishment unit 167, and a treatment device design unit 168 may be included.

여기서, 치료 계획부(160)는 피시술자를 시술하고자 하는 시술자가 이용하는 전자 장치로, 태블릿 PC, 컴퓨터, 랩탑 등일 수 있다. Here, the treatment planning unit 160 is an electronic device used by a practitioner who wishes to perform the treatment, and may be a tablet PC, a computer, a laptop, or the like.

아울러, 치료 계획부(160)는 전술한 2차원 및 3차원 영상 촬영부(110, 120)와 메인 서버(미도시)와 통신을 수행할 수 있다. 여기서, 치료 계획부(160)는 메인 서버를 통해 영상 데이터 및 치료 계획을 외부 장치로 전송할 수 있다. 이를 위해, 치료 계획부(160)는 5G(fifth generation mobile telecommunication), LTE-A(long term evolution-advanced), LTE(long term evolution), WCDMA(wideband code division multiple access) 및 wifi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 또한, 치료 계획부(160)는 USB(universal serial bus), HDMI(high definition multimedia interface), DVI(digital video interactive) 케이블 등의 유선 통신을 수행할 수 있다.In addition, the treatment planning unit 160 may communicate with the above-described 2D and 3D image capture units 110 and 120 and a main server (not shown). Here, the treatment plan unit 160 may transmit the image data and the treatment plan to the external device through the main server. To this end, the treatment planning unit 160 includes fifth generation mobile telecommunication (5G), long term evolution-advanced (LTE-A), long term evolution (LTE), wideband code division multiple access (WCDMA), and wireless fidelity (wifi). Wireless communication such as can be performed. In addition, the treatment planning unit 160 may perform wired communication such as a universal serial bus (USB), a high definition multimedia interface (HDMI), and a digital video interactive (DVI) cable.

입력부(161)는 시술자의 입력에 대응하여, 입력 데이터를 발생시킨다. 그리고, 입력부(161)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 조그 셔틀(jog & shuttle), 센서(sensor), 터치 키(touch key) 및 메뉴 버튼(menu button) 등을 포함한다.The input unit 161 generates input data in response to the operator's input. In addition, the input unit 161 includes a key pad, a dome switch, a touch panel, a jog & shuttle, a sensor, a touch key, and a menu button. Includes (menu button), etc.

표시부(162)는 치료 계획부(160)의 동작에 따른 표시 데이터를 표시한다. 특히, 표시부(162)는 피시술자에 대한 영상 분석, 치료 계획 수립 및 치료 장치 설계를 수행하기 위한 어플리케이션, 웹 페이지 등의 실행 및 동작에 따른 화면을 표시한다. The display unit 162 displays display data according to the operation of the treatment plan unit 160. In particular, the display unit 162 displays a screen according to the execution and operation of an application for performing image analysis, treatment plan establishment, and treatment device design for a person to be treated, a web page, and the like.

이를 위해, 표시부(162)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 여기서, 표시부(162)는 입력부(161)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.To this end, the display unit 162 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electro mechanical system (MEMS). systems) displays and electronic paper displays. Here, the display unit 162 may be combined with the input unit 161 to be implemented as a touch screen.

메모리(164)는 치료 계획 수립부(160)의 동작 프로그램들을 저장하고, 피시술자에 대한 영상 분석 치료 계획 수립 및 치료 장치 설계를 수행하기 위한 어플리케이션 등의 설치 파일을 저장하거나, 웹 페이지 등의 접속 주소 등을 저장할 수 있다. The memory 164 stores operation programs of the treatment plan establishment unit 160, and stores installation files such as an application for performing image analysis treatment plan establishment and treatment device design for the patient, or access address of a web page, etc. Etc. can be stored.

또한, 메모리(164)는 피시술자에 대한 영상 데이터와, 영상 데이터와 관련하여 수립된 치료 계획을 저장한다. 여기서, 영상 데이터는, 픽셀 형식 이미지인 Ceph, Panorama 형식의 이미지, IO Sensor에서 획득된 이미지, X-ray를 통해 획득된 이미지 등의 2차원 영상 데이터일 수 있고, Volume 형식의 이미지, Voxel 형식의 이미지, CT 촬영을 통해 획득된 이미지, MRI 촬영을 통해 획득된 이미지, 초음파 촬영을 통해 획득된 이미지 등의 3차원 영상 데이터일 수 있고, 2차원 영상 데이터와 3차원 영상 데이터가 정합된 정합 영상 데이터일 수 있다. In addition, the memory 164 stores image data for a person to be treated and a treatment plan established in connection with the image data. Here, the image data may be 2D image data such as a Ceph, which is a pixel type image, an image of a Panorama type, an image acquired from an IO sensor, an image acquired through X-ray, and the like, a volume type image, and a Voxel type image. It may be 3D image data such as an image, an image acquired through a CT scan, an image acquired through an MRI scan, an image acquired through an ultrasound scan, etc., and the matched image data in which the 2D image data and the 3D image data are matched. Can be

도 8은 도 7의 랜드 마크 표시부의 랜드 마크 표시 방법을 설명하기 위한 도면이고, 도 9(a) 및 도 9(b)는 도 7의 랜드 마크 표시부가 정합 영상에 표시한 랜드 마크를 도시한 도면이다.FIG. 8 is a diagram for explaining a method of displaying a landmark by the landmark display unit of FIG. 7, and FIGS. 9(a) and 9(b) illustrate landmarks displayed by the landmark display unit of FIG. 7 on a matched image. It is a drawing.

도 8 및 도 9를 참조하면, 랜드 마크 표시부(165)는 정면 및 측면 2차원 의료 영상의 치아 이외의 영역에 각각 표시된 랜드 마크(Land Mark)를 3차원 의료 영상에 각각 적용하여 2개의 랜드 마크 라인을 형성하고, 2개의 랜드 마크 라인의 교차점을 3차원 의료 영상에 표시한다. 여기서, 랜드 마크는 영상 분석에 필요한 특정 포인트이다.Referring to FIGS. 8 and 9, the landmark display unit 165 applies a landmark displayed on an area other than a tooth of a front and side 2D medical image to a 3D medical image, respectively, to provide two landmarks. A line is formed, and the intersection of two landmark lines is displayed on a 3D medical image. Here, a landmark is a specific point necessary for image analysis.

영상 분석부(166)는 정합 영상에 표시된 랜드 마크를 피시술자의 성별과 치령의 평균적인 정상치와 비교하여 분석 결과를 생성한다.The image analysis unit 166 generates an analysis result by comparing the landmark displayed in the matched image with an average normal value of the sex and age of the patient to be treated.

본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치는, 정합 영상을 이용하여 영상 분석이 이루어지기 때문에 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공할 수 있다.In the dental treatment planning apparatus using image registration according to an embodiment of the present invention, since image analysis is performed using the registration image, the analysis information of the 2D medical image is applied to the analysis of the 3D medical image. An integrated process that can apply the analysis information to the analysis of 2D medical images can be provided.

치료 계획 수립부(167)는 정합 영상을 기반으로 복수의 치료 계획을 수립하고, 수립된 복수의 치료 계획 중 적어도 하나의 치료 계획을 변경할 수 있다. 한편, 치료 계획 수립부(167)에서 수립된 치료 계획은 외부 장치(예컨대, 기공소에서 사용하는 단말 등)로 전송될 수 있다. The treatment plan establishment unit 167 may establish a plurality of treatment plans based on the matched image, and may change at least one treatment plan among the established plurality of treatment plans. Meanwhile, the treatment plan established by the treatment plan establishment unit 167 may be transmitted to an external device (eg, a terminal used in a laboratory).

본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치는 정합 영상을 이용하여 치료 계획을 수립하기 때문에 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공할 수 있다.Since the dental treatment planning apparatus using image registration according to an embodiment of the present invention establishes a treatment plan using the registration image, it is possible to establish a treatment plan on a 2D medical image and at the same time set a treatment plan on a 3D medical image. Can provide an integrated process.

치료 장치 설계부(168)는 치료 계획 관리부(167)에 의해 수립된 치료 계획에 따라 치료 장치 예컨대, 교정 장치, 간접 부착 트레이, 악수술 웨이퍼, 틀니 등을 설계할 수 있다.The treatment device design unit 168 may design a treatment device, such as an orthodontic device, an indirect attachment tray, a handshake wafer, a denture, and the like, according to a treatment plan established by the treatment plan management unit 167.

본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 장치는 정합 영상을 기초로 영상 분석, 치료 계획 수립 및 치료 장치 설계를 하나의 통합 프로세스를 통해 수행되기 때문에 치료 상담 및 치료 시간을 단축시킬 수 있다.The dental treatment planning apparatus using image registration according to an embodiment of the present invention can shorten treatment consultation and treatment time because image analysis, treatment plan establishment, and treatment device design are performed through one integrated process based on the registration image. have.

아울러, X-ray 및 CT 촬영 횟수를 줄일 수 있어 피시술자의 X선 노출을 최소화할 수 있다.In addition, it is possible to reduce the number of X-rays and CT scans, thereby minimizing X-ray exposure of the recipient.

인터페이스부(163)는 입력부(161)로부터 피시술자에 대한 치료계획을 수립하기 위한 수립 신호가 수신되면 영상 분석, 치료 계획 수립 및 치료 장치 설계를 위한 인터페이스를 호출하여 표시부(162)에 메인 화면을 표시한다. The interface unit 163 displays the main screen on the display unit 162 by calling an interface for image analysis, treatment plan establishment, and treatment device design when a setup signal for establishing a treatment plan for a person to be treated is received from the input unit 161 do.

여기서, 인터페이스는 영상 분석, 치료 계획 수립 및 치료 장치 설계를 수행하기 위한 어플리케이션, 웹 페이지 등의 실행 및 동작을 통해 사용자가 확인할 수 있는 사용자 인터페이스를 의미한다.Here, the interface refers to a user interface that the user can check through the execution and operation of an application, web page, etc. for performing image analysis, treatment plan establishment, and treatment device design.

인터페이스부(163)는 입력부(161)를 통해 수신되는 제어 신호를 영상 분석부(166), 치료 계획 수립부(167) 및 치료 장치 설계부(168) 등으로 적절히 제공하여 제어 신호에 대응되는 동작을 수행하도록 한다.The interface unit 163 properly provides the control signal received through the input unit 161 to the image analysis unit 166, the treatment plan establishment unit 167, the treatment device design unit 168, and the like to perform an operation corresponding to the control signal. Let's do it.

인터페이스부(163)는 입력부(161)로부터 피시술자에 대한 영상 데이터를 호출하기 위한 호출 신호가 수신되면 호출 신호를 기반으로 메모리(164)에 저장된 영상 데이터의 검색을 수행한다. 그리고, 피시술자와 관련된 영상 데이터를 호출하여 메인 화면에 표시한다. 이때, 호출 신호는, 피시술자의 이름 또는 환자 번호 등을 포함할 수 있다. When a call signal for calling image data for a person to be treated is received from the input unit 161, the interface unit 163 searches for image data stored in the memory 164 based on the call signal. Then, the image data related to the person to be treated is called and displayed on the main screen. In this case, the call signal may include the name of the person to be treated or the patient number.

아울러, 본 발명의 실시 예에서는 메모리(164)에 영상 데이터를 저장하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니며, 영상 데이터는 메인 서버에 저장될 수 있다. 이와 같이, 영상 데이터가 메인 서버에 저장된 경우, 치료 계획 수립부(160)는 메인 서버로부터 영상 데이터를 호출하여 영상 분석, 치료 계획 수립 및 치료 장치 설계를 수행할 수 있다.In addition, in the embodiment of the present invention, it is described that image data is stored in the memory 164, but the present invention is not limited thereto, and the image data may be stored in the main server. In this way, when the image data is stored in the main server, the treatment plan establishment unit 160 may call the image data from the main server to analyze the image, establish a treatment plan, and design a treatment device.

도 10은 본 발명의 실시예에 따른 영상 정합을 이용한 치과 치료 계획 방법의 순서도이다.10 is a flowchart of a dental treatment planning method using image registration according to an embodiment of the present invention.

이하, 도 1 내지 도 10을 참조하여 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법을 설명하되, 전술한 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치와 동일한 내용에 대해서는 생략하겠다.Hereinafter, a method of planning a dental treatment using matching of a 2D medical image and a 3D medical image according to an embodiment of the present invention will be described with reference to FIGS. 1 to 10, but the 2D medical treatment according to the embodiment of the present invention described above. The same contents as the dental treatment planning apparatus using the registration of images and 3D medical images will be omitted.

본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은, 2차원 의료 영상을 생성하는 단계(S10)와, 3차원 의료 영상을 생성하는 단계(S20)와, 변환 영상을 생성하는 단계(S30)와, 정합 영상을 생성하는 단계(S40)와, 정합 허용 오차를 판단하는 단계(S50)와, 정합 영상을 이용하여 치료 계획을 수립하는 단계(S60)를 포함하여 구성될 수 있다.A dental treatment planning method using matching of a 2D medical image and a 3D medical image according to an embodiment of the present invention includes generating a 2D medical image (S10) and generating a 3D medical image (S20). Wow, generating a transformed image (S30), generating a matched image (S40), determining a matching tolerance (S50), and establishing a treatment plan using the matched image (S60). It can be configured to include.

먼저, 2차원 영상 촬영부(110)가 특정 촬영 조건에서 피시술자를 촬영하여 2차원 의료 영상을 생성한다(S10).First, the 2D image capturing unit 110 generates a 2D medical image by photographing a person to be treated under a specific photographing condition (S10).

구체적으로, X선 소스(111)가 피시술자의 두부에 X선을 조사하면 제2 영상 검출부(112)에 피시술자의 두부가 투영되어 2차원 의료 영상이 생성된다.Specifically, when the X-ray source 111 irradiates X-rays onto the head of the subject, the second image detector 112 projects the head of the subject to generate a 2D medical image.

다음, 3차원 영상 촬영부(120)가 2차원 의료 영상의 촬영 조건에서 피시술자를 촬영하여 3차원 의료 영상을 생성한다(S20).Next, the 3D image capturing unit 120 photographs the person to be treated under the conditions for capturing the 2D medical image to generate a 3D medical image (S20).

본 발명의 실시예에 따른 3차원 영상 촬영부(120)는 비교적 좁은 시야(Fields OF View; FOV)를 커버하는 소면적 CT촬영 장치를 이용해 피시술자의 치아영역을 촬영하여 3차원 의료 영상을 생성하고 이를 2차원 영상 촬영부(110)가 생성한 2차원 의료 영상에 정합함으로써, 비교적 저비용으로 대면적 CT촬영 장치와 유사한 효과를 달성할 수 있다.The 3D image capture unit 120 according to an embodiment of the present invention generates a 3D medical image by photographing a tooth area of a person to be treated using a small area CT imaging device covering a relatively narrow field of view (FOV). By matching this to the 2D medical image generated by the 2D imaging unit 110, an effect similar to that of a large area CT imaging apparatus can be achieved at a relatively low cost.

다음, 영상 변환부(130)가 2차원 의료 영상의 촬영 조건에 부합하도록 3차원 의료 영상을 투영하여 변환 영상을 생성한다(S30).Next, the image conversion unit 130 generates a transformed image by projecting a 3D medical image to meet the photographing condition of the 2D medical image (S30).

구체적으로, 뷰잉 카메라(131)가 3차원 의료 영상을 제1 영상 검출부(132)에 투영시키면 제1 영상 검출부(132)에 3차원 의료 영상이 투영되어 변환 영상이 생성된다.Specifically, when the viewing camera 131 projects a 3D medical image onto the first image detection unit 132, the 3D medical image is projected onto the first image detection unit 132 to generate a converted image.

이와 같이 변환 영상은 2차원 의료 영상의 촬영 조건에 부합한 촬영 왜곡을 갖게 되기 때문에 2차원 의료 영상과 3차원 의료 영상의 정합을 비교적 쉽게 수행할 수 있다.As described above, since the converted image has a photographic distortion that meets the photographing conditions of the 2D medical image, it is relatively easy to match the 2D medical image and the 3D medical image.

다음, 영상 정합부가 2차원 의료 영상의 일 영역에 변환 영상을 정합하여 정합 영상을 생성한다(S40). 여기서, 정합 영상은 2차원 영상과 3차원 영상이 결합된 영상으로 피시술자의 일 영역(예컨대, 치아 영역)에는 3차원 의료 영상이 배치되고, 그 이외의 영역에는 2차원 의료 영상이 배치된다.Next, the image matching unit generates a matching image by matching the transformed image to a region of the 2D medical image (S40). Here, the registration image is an image in which a 2D image and a 3D image are combined, and a 3D medical image is disposed in one area (eg, a tooth area) of the person to be treated, and a 2D medical image is disposed in the other areas.

다음, 정합 오차 판단부(150)가 2차원 의료 영상 및 변환 영상의 정합 허용 오차를 판단한다(S50).Next, the matching error determination unit 150 determines a matching allowable error between the 2D medical image and the transformed image (S50).

여기서, 영상 변환부(130)는 정합 오차 판단부(150)에 의해 판단된 정합 허용 오차가 기준값 이상이면 3차원 의료 영상에 대해 제1 영상 검출부(132) 및 뷰잉 카메라(131)의 위치를 조정 후 투영하여 변환 영상을 재생성할 수 있다(S30). 이와 같은 과정은 정합 허용 오차가 기준값 미만이 될 때가지 반복적으로 수행할 수 있다. 즉, 영상 변환부(130)는 2차원 의료 영상을 기준으로 반복 수렴 정합 방법을 통해 2차원 의료 영상에 변환 영상을 정합한다.Here, the image conversion unit 130 adjusts the positions of the first image detection unit 132 and the viewing camera 131 with respect to the 3D medical image when the matching tolerance determined by the matching error determination unit 150 is greater than or equal to the reference value. Then, the converted image may be regenerated by projecting it (S30). This process can be repeatedly performed until the matching tolerance is less than the reference value. That is, the image conversion unit 130 matches the transformed image to the 2D medical image through an iterative convergence matching method based on the 2D medical image.

다음, 정합 오차 판단부(150)에 의해 판단된 정합 허용 오차가 기준값 미만이면 시술자가 정합 영상을 이용하여 피술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행한다(S60).Next, when the matching tolerance determined by the matching error determination unit 150 is less than the reference value, the operator performs at least one of image analysis of the subject, establishing a treatment plan, and designing a treatment device using the matching image (S60).

이와 같이, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은, 정합 영상을 이용하여 영상 분석이 이루어지기 때문에 2차원 의료 영상의 분석 정보를 3차원 의료 영상의 분석에 적용하거나 3차원 의료 영상의 분석 정보를 2차원 의료 영상의 분석에 적용할 수 있는 통합 프로세스를 제공할 수 있다.As described above, in the dental treatment planning method using registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention, since image analysis is performed using the registration image, the analysis information of the 2D medical image is 3D. It is possible to provide an integrated process that can be applied to the analysis of a medical image or the analysis information of a 3D medical image can be applied to the analysis of a 2D medical image.

또한, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은 정합 영상을 이용하여 치료 계획을 수립하기 때문에 2차원 의료 영상에 치료 계획을 수립함과 동시에 3차원 의료 영상에 치료 계획을 수립할 수 있는 통합 프로세스를 제공할 수 있다.In addition, the dental treatment planning method using the registration of the 2D medical image and the 3D medical image according to the embodiment of the present invention establishes a treatment plan using the registration image, so that the treatment plan is established on the 2D medical image and at the same time. It can provide an integrated process to establish a treatment plan for 3D medical images.

또한, 수립된 치료 계획에 따라 치료 장치 예컨대, 교정 장치, 간접 부착 트레이, 악수술 웨이퍼, 틀니 등을 설계할 수 있다.In addition, treatment devices such as orthodontic devices, indirect attachment trays, handshake wafers, dentures, and the like may be designed according to the established treatment plan.

또한, 본 발명의 실시예에 따른 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법은 정합 영상을 기초로 영상 분석, 치료 계획 수립 및 치료 장치 설계를 하나의 통합 프로세스를 통해 수행되기 때문에 치료 상담 및 치료 시간을 단축시킬 수 있다.In addition, the dental treatment planning method using registration of a 2D medical image and a 3D medical image according to an embodiment of the present invention performs image analysis, treatment plan establishment, and treatment device design based on the registration image through a single integrated process. Therefore, treatment consultation and treatment time can be shortened.

아울러, X-ray 및 CT 촬영 횟수를 줄일 수 있어 피시술자의 X선 노출을 최소화할 수 있다.In addition, it is possible to reduce the number of X-rays and CT scans, thereby minimizing X-ray exposure of the person to be treated.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are only provided specific examples to easily explain the technical content of the present invention and to aid understanding of the present invention, and are not intended to limit the scope of the present invention. That is, that other modified examples based on the technical idea of the present invention can be implemented is obvious to those of ordinary skill in the technical field to which the present invention pertains.

100: 치과 치료 계획 장치
110: 2차원 영상 촬영부
120: 3차원 영상 촬영부
130: 영상 변환부
140: 영상 정합부
150: 정합 오차 판단부
160: 치료 계획부
100: dental treatment planning device
110: 2D image capture unit
120: 3D imaging unit
130: image conversion unit
140: image matching unit
150: matching error determination unit
160: treatment planning department

Claims (9)

피시술자를 촬영하여 촬영 왜곡이 발생된 2차원 의료 영상을 생성하는 2차원 영상 촬영부;
상기 피시술자를 촬영하여 촬영 왜곡이 보정된 3차원 의료 영상을 생성하는 3차원 영상 촬영부;
상기 3차원 의료 영상을 투영하여 변환 영상을 생성하되, 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 상기 3차원 의료 영상을 투영하여 상기 변환 영상을 생성하는 영상 변환부; 및
상기 2차원 의료 영상의 일 영역에 상기 변환 영상을 정합하여 정합 영상을 생성하는 영상 정합부를 포함하고,
상기 영상 변환부는
상기 변환 영상을 검출하는 제1 영상 검출부의 위치, 상기 3차원 의료 영상을 상기 제1 영상 검출부에 투영시키는 뷰잉 카메라의 위치 및 각도 중 적어도 하나를 조절하여 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 하되,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차가 기준값 미만이 될 때까지 상기 변환 영상을 재생성하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
A two-dimensional image photographing unit that photographs a person to be treated and generates a two-dimensional medical image in which photographing distortion is generated;
A 3D image capturing unit that photographs the person to be treated and generates a 3D medical image in which the photographing distortion is corrected;
An image conversion unit generating a transformed image by projecting the 3D medical image, and generating the transformed image by projecting the 3D medical image so that the transformed image has the same photographic distortion as the 2D medical image; And
An image matching unit for generating a matched image by matching the transformed image to a region of the 2D medical image,
The image conversion unit
The converted image is the same as the 2D medical image by adjusting at least one of a position of the first image detector detecting the converted image and a position and an angle of a viewing camera that projects the 3D medical image to the first image detector. Try to have the shooting distortion,
A dental treatment planning apparatus using matching of a 2D medical image and a 3D medical image to regenerate the converted image until a matching tolerance between the 2D medical image and the converted image is less than a reference value.
제 1 항에 있어서,
시술자가 상기 정합 영상을 이용하여 상기 피시술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행할 수 있도록 인터페이스를 제공하는 치료 계획부
를 더 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
A treatment planning unit that provides an interface so that a practitioner can perform at least one of image analysis, treatment plan establishment, and treatment device design of the subject using the matched image
Dental treatment planning apparatus using the registration of the 2D medical image and the 3D medical image further comprising a.
제 1 항에 있어서,
상기 2차원 영상 촬영부는,
상기 피시술자에 X선을 조사하는 X선 소스; 및
상기 X선 조사에 의해 상기 피시술자가 투영되어 상기 2차원 의료 영상을 검출하는 제2 영상 검출부를 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
The two-dimensional image capture unit,
An X-ray source for irradiating X-rays to the subject; And
And a second image detector configured to detect the two-dimensional medical image by projecting the person to be treated by the X-ray irradiation.
A dental treatment planning device using the registration of 2D medical images and 3D medical images.
제 1 항에 있어서,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차를 판단하는 정합 오차 판단부를 더 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
Further comprising a matching error determination unit for determining a matching tolerance error between the 2D medical image and the transformed image.
A dental treatment planning device using the registration of 2D medical images and 3D medical images.
제 1 항에 있어서,
상기 2차원 의료 영상은
정면 및 측면 2차원 의료 영상을 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 1,
The 2D medical image is
Including front and side 2D medical images
A dental treatment planning device using the registration of 2D medical images and 3D medical images.
제 5 항에 있어서,
상기 정면 및 측면 2차원 의료 영상의 상기 일 영역 이외의 영역에 각각 표시된 랜드 마크를 상기 3차원 의료 영상에 각각 적용하여 2개의 랜드 마크 라인을 형성하고, 상기 2개의 랜드 마크 라인의 교차점을 상기 3차원 의료 영상에 표시하는 랜드 마크 표시부를 더 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치.
The method of claim 5,
Two landmark lines are formed by applying landmarks respectively displayed in regions other than the one region of the front and side 2D medical images to the 3D medical image, and the intersection of the two landmark lines is 3 Further comprising a landmark display to display on the dimensional medical image
A dental treatment planning device using the registration of 2D medical images and 3D medical images.
피시술자를 촬영하여 촬영 왜곡이 발생된 2차원 의료 영상을 생성하는 단계;
상기 피시술자를 촬영하여 촬영 왜곡이 보정된 3차원 의료 영상을 생성하는 단계;
상기 3차원 의료 영상을 투영하여 변환 영상을 생성하되, 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 상기 3차원 의료 영상을 투영하여 상기 변환 영상을 생성하는 단계; 및
상기 2차원 의료 영상의 일 영역에 상기 변환 영상을 정합하여 정합 영상을 생성하는 단계를 포함하고,
상기 변환 영상을 생성하는 단계는
상기 변환 영상을 검출하는 제1 영상 검출부의 위치, 상기 3차원 의료 영상을 상기 제1 영상 검출부에 투영시키는 뷰잉 카메라의 위치 및 각도 중 적어도 하나를 조절하여 상기 변환 영상이 상기 2차원 의료 영상과 동일한 촬영 왜곡을 갖도록 하되,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차가 기준값 미만이 될 때까지 상기 변환 영상을 재생성하는 단계인
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법.
Generating a 2D medical image in which photographing distortion is generated by photographing a person to be treated;
Generating a 3D medical image in which photographing distortion is corrected by photographing the person to be treated;
Generating a transformed image by projecting the 3D medical image, and generating the transformed image by projecting the 3D medical image so that the transformed image has the same photographic distortion as the 2D medical image; And
And generating a matched image by matching the transformed image to a region of the 2D medical image,
Generating the transformed image
The converted image is the same as the 2D medical image by adjusting at least one of a position of the first image detector detecting the converted image and a position and an angle of a viewing camera that projects the 3D medical image to the first image detector. Try to have the shooting distortion,
Regenerating the transformed image until a matching tolerance between the 2D medical image and the transformed image is less than a reference value
Dental treatment planning method using the registration of 2D medical images and 3D medical images.
제 7 항에 있어서,
시술자가 상기 정합 영상을 이용하여 상기 피시술자의 영상 분석, 치료 계획 수립 및 치료 장치 설계 중 적어도 하나를 수행하는 단계
를 더 포함하는 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법.
The method of claim 7,
Performing at least one of image analysis, treatment plan establishment, and treatment device design by the operator using the matched image
Dental treatment planning method using the registration of the 2D medical image and the 3D medical image further comprising a.
제 7 항에 있어서,
상기 2차원 의료 영상 및 상기 변환 영상의 정합 허용 오차를 판단하는 단계를 더 포함하는
2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 방법.
The method of claim 7,
Further comprising determining a matching tolerance error between the 2D medical image and the transformed image
Dental treatment planning method using the registration of 2D medical images and 3D medical images.
KR1020210049171A 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof KR102278040B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210049171A KR102278040B1 (en) 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180164498A KR20200075623A (en) 2018-12-18 2018-12-18 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof
KR1020210049171A KR102278040B1 (en) 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164498A Division KR20200075623A (en) 2018-12-18 2018-12-18 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Publications (2)

Publication Number Publication Date
KR20210047835A true KR20210047835A (en) 2021-04-30
KR102278040B1 KR102278040B1 (en) 2021-07-19

Family

ID=75740852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049171A KR102278040B1 (en) 2018-12-18 2021-04-15 Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof

Country Status (1)

Country Link
KR (1) KR102278040B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110135323A (en) * 2010-06-10 2011-12-16 주식회사 오라픽스 Imaginary operation apparatus and method thereof for dental treatment, and method for making a wafer using the same
KR20170124962A (en) * 2016-05-03 2017-11-13 재단법인대구경북과학기술원 Navigation system for vascular intervention and method for generaing virtual x-ray image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110135323A (en) * 2010-06-10 2011-12-16 주식회사 오라픽스 Imaginary operation apparatus and method thereof for dental treatment, and method for making a wafer using the same
KR20170124962A (en) * 2016-05-03 2017-11-13 재단법인대구경북과학기술원 Navigation system for vascular intervention and method for generaing virtual x-ray image

Also Published As

Publication number Publication date
KR102278040B1 (en) 2021-07-19

Similar Documents

Publication Publication Date Title
JP6945101B2 (en) Dental treatment planning device and method using matching of 2D medical images and 3D medical images
US11832021B2 (en) Control apparatus, control method, and storage medium
US10485505B2 (en) Radiographing apparatus, control apparatus, stitch imaging system, control method
US10420524B2 (en) Radiographing apparatus, control apparatus, control method, and storage medium
JP6278348B2 (en) Medical image display program, medical image display method, medical image display apparatus, and medical image display system
JP3862681B2 (en) X-ray imaging device
US10368823B2 (en) Radiographing apparatus, control apparatus, control method, and storage medium
US8238633B2 (en) Image processing apparatus, radiographic image system, and image processing method and program
WO2014053063A1 (en) Method and apparatus for changing a perspective of a video
CN112401919B (en) Auxiliary positioning method and system based on positioning model
US9000393B2 (en) X-ray imaging apparatus and method for outputting X-ray images
US20160349195A1 (en) Image processing devices, image processing system, image processing method, and non-transitory recording medium
KR20140102141A (en) Multiple image generation from a single patient scan
KR102278040B1 (en) Dental Treatment Planning Apparatus Using Matching Of 2D Medical Image And 3D Medical Image And Method Thereof
US10891733B2 (en) Radiographing system, radiographing method, control apparatus, and storage medium
US20190304107A1 (en) Additional information display device, additional information display method, and additional information display program
KR20160124512A (en) Apparatus for x-ray image acquisition and x-ray image system using mobile device
US20180153496A1 (en) Control apparatus for radiographic system
CN110881989B (en) Radiography system, radiography method, and storage medium
CN113129239B (en) Image correction method, device, electronic equipment and storage medium
KR20220050604A (en) Method providing information to assist with dental consultation
JP2021027908A (en) Radiographic system, image processing apparatus, radiographic method, processing method, and program
US20120051503A1 (en) Stereoscopic image displaying method and apparatus
KR20190113248A (en) Method and Apparatus for Controlling of Collimator When Acquiring an X-ray Image
US20130245354A1 (en) Automated method and apparatus for the verification of treatment parameters prior to delivery of radiaiton to patient

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right