KR101439283B1 - Medical/Dental Treating Simulation Method And System For The Same - Google Patents

Medical/Dental Treating Simulation Method And System For The Same Download PDF

Info

Publication number
KR101439283B1
KR101439283B1 KR1020120086797A KR20120086797A KR101439283B1 KR 101439283 B1 KR101439283 B1 KR 101439283B1 KR 1020120086797 A KR1020120086797 A KR 1020120086797A KR 20120086797 A KR20120086797 A KR 20120086797A KR 101439283 B1 KR101439283 B1 KR 101439283B1
Authority
KR
South Korea
Prior art keywords
image
face
deformation
dimensional
screen
Prior art date
Application number
KR1020120086797A
Other languages
Korean (ko)
Other versions
KR20140020124A (en
Inventor
권순용
Original Assignee
권순용
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권순용 filed Critical 권순용
Priority to KR1020120086797A priority Critical patent/KR101439283B1/en
Publication of KR20140020124A publication Critical patent/KR20140020124A/en
Application granted granted Critical
Publication of KR101439283B1 publication Critical patent/KR101439283B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones

Abstract

본 발명은: 가상 의료 시뮬레이션을 위한 의료용 가상 시술방법으로서, 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지의 정합에 의해 생성되는 3차원 정합 이미지를 화면 상에 출력하는 (a)단계; 상기 화면의 정합 이미지를 통해 상기 3차원 두개골 이미지의 변형이 입력되면, 상기 3차원 두개골 이미지의 변형에 맞추어 상기 3차원 얼굴 이미지의 변형을 산출하는 (b)단계; 그리고 상기 3차원 안면 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 의료시술방법 및 이를 위한 의료용 컴퓨터시스템을 제공한다. 본 발명에 따르면, 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지를 정합한 정합 이미지를 이용하여 가상 성형시술, 가상 교정시술 또는 가상 턱수술 등 다양한 의료시술이 수행될 수 있고, 시술자가 연조직 변화와 경조직 변화의 상관관계를 용이하게 파악할 수 있으므로 시술계획에 맞게 얼굴 변화를 일으킬 수 있는 경조직 부위를 용이하게 파악할 수 있다.The present invention provides a medical virtual surgery method for virtual medical simulation, comprising: (a) outputting on a screen a three-dimensional registered image generated by matching a three-dimensional face image and a three-dimensional skull image of a subject; (B) calculating a deformation of the 3D face image in accordance with deformation of the 3D skull image when deformation of the 3D skull image is inputted through the matching image of the screen; And (c) displaying a correction image on the screen by outputting a deformation of the 3D facial image, and a medical computer system therefor. According to the present invention, it is possible to perform various medical procedures such as a virtual molding operation, a virtual orthodontic operation, or a virtual jaw operation using a matching image obtained by matching a 3D facial image of a patient and a 3D skull image, Since the correlation between hard tissue changes can be easily grasped, it is possible to easily grasp hard tissue sites that can cause a face change according to a treatment plan.

Description

가상 의료시술방법/치과시술방법 및 이를 위한 시스템{Medical/Dental Treating Simulation Method And System For The Same}TECHNICAL FIELD [0001] The present invention relates to a virtual medical treatment method, a dental treatment method,

본 발명은 가상 의료시술방법 및 이를 위한 가상시술시스템에 관한 것으로서, 보다 상세하게는 두개골의 변화에 따른 얼굴 변화를 시뮬레이션하여 변화된 얼굴 이미지를 화면상에 보여주거나 얼굴 변화에 따른 두개골 변화를 예측하여 화면상에 보여주는 가상 의료시술 또는 가상 치과시술방법 및 이를 위한 시스템에 관한 것이다.The present invention relates to a virtual medical treatment method and a virtual surgery system for the same, and more particularly, to a virtual medical treatment method and a virtual treatment system for the same, To a virtual medical procedure or a virtual dental procedure method and system therefor.

의료분야, 특히 치과분야나 성형외과분야에서는 교정이나 성형 후의 얼굴 변화를 미리 피시술자에게 보여주는 진료/상담이 필요하며, 이를 위하여 시술자는 피시술자의 얼굴 사진을 컴퓨터 모니터에 띄우고 이를 기초로 시술 후의 얼굴 변화를 보여주고 시술과정을 설명하면서 수술 계획을 세우거나, 피시술자(환자)의 두개골, 특히 악골(턱뼈)의 석고 모델을 이용하여 성형이나 교정에 대한 예측, 즉 시뮬레이션을 진행하기도 한다.In the medical field, especially in the dental field or plastic surgery field, a consultation / consultation is required to show the face change to the physician in advance before the correction or the molding. For this purpose, the operator places the face photograph of the patient on the computer monitor, It is also possible to make a plan of operation while explaining the procedure, or to make a prediction or simulation of the molding or calibration using the skeleton of the patient (patient), especially the jaw bone (jaw bone).

근래에 들어서는 특히 성형이나 교정에 대한 사회적 인식이 바뀜에 따라 성형수술이나 치열교정시술 및 턱수술(예를 들면 양악수술) 등 다양한 성형/교정시술이 성행하고 있으며, 이러한 시술을 위해서는 전술한 바와 같이 충분한 사전 상담과 성형이나 교정 후의 얼굴 변화에 대한 예측이 필요하지만, 예측된 얼굴 형상이 시술 후의 실제 모습과 차이가 있을 뿐만 아니라 경조직의 변화에 따른 얼굴 변화를 정확하게 예측하기 어렵다.In recent years, various forms / orthodontic procedures such as plastic surgery, orthodontic treatment, and jaw surgery (for example, amniocentesis surgery) have become popular due to a change in social awareness of molding or correction. It is difficult to predict the face change due to the change of the hard tissue as well as the difference between the predicted face shape and the actual post-procedure face.

그리고, 시술계획에 적합하게 얼굴 변화를 일으키는 경조직 부위를 판단할 때 시술자의 해부학적 지식과 경험에 크게 의존하게 되고, 이로 인해 성형/교정을 위한 시뮬레이션이 수차례 반복적으로 수행되어야 하며, 진료/상담에 소요되는 시간이 오래 걸리고 시뮬레이션의 정확도가 저하되는 문제가 있다.And, when judging the part of the hard tissue that causes facial change in accordance with the procedure plan, it depends heavily on the anatomical knowledge and experience of the practitioner. Therefore, the simulation for forming / correcting should be repeated several times, It takes a long time and the accuracy of the simulation is deteriorated.

대한민국 공개특허공보 제10-2002-0008260호, 통신망을 이용한 가상성형수술 시뮬레이션 시스템 및 방법, 2002년 1월 30일 공개Korean Patent Laid-Open No. 10-2002-0008260, a virtual cosmetic surgery simulation system and method using a communication network, disclosed on January 30, 2002 대한민국 공개특허공보 제10-2011-0135323호, 치과 치료용 가상 수술장치 및 그 방법과 이를 이용한 웨이퍼 제작방법, 2011년 12월 16일 공개Korean Patent Laid-Open Publication No. 10-2011-0135323, a virtual surgical apparatus for dental treatment and its method, and a wafer manufacturing method using the same, and disclosed on December 16, 2011

본 발명은 상술한 문제를 해결하기 위해 창안된 것으로서, 3차원으로 구축된 3D 두개골 이미지(경조직 이미지)와 3D 얼굴 이미지를 정합하여 화면상에 입체적인 영상을 보여줌으로써 정확도가 높은 가상시술을 가능케하고 연조직 변화와 경조직 변화의 상관관계를 용이하게 파악할 수 있는 가상 의료시술방법 및 가상 치과시술방법, 그리고 이를 위한 시스템을 제공한다.Disclosure of Invention Technical Problem [7] Accordingly, the present invention has been made to solve the above-described problems, and it is an object of the present invention to provide a 3D virtual image processing apparatus and a 3D virtual image processing method, A virtual medical treatment method, a virtual dental treatment method, and a system therefor that can easily grasp a correlation between change and hard tissue change.

본 발명은: 가상 의료 시뮬레이션을 위한 의료용 가상 시술방법으로서, 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지의 정합에 의해 생성되는 3차원 정합 이미지를 화면 상에 출력하는 (a)단계; 상기 화면의 정합 이미지를 통해 상기 3차원 두개골 이미지의 변형이 입력되면, 상기 3차원 두개골 이미지의 변형에 맞추어 상기 3차원 얼굴 이미지의 변형을 산출하는 (b)단계; 그리고 상기 3차원 안면 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 의료시술방법 및 이를 위한 의료용 가상시술시스템을 제공한다.The present invention provides a medical virtual surgery method for virtual medical simulation, comprising: (a) outputting on a screen a three-dimensional registered image generated by matching a three-dimensional face image and a three-dimensional skull image of a subject; (B) calculating a deformation of the 3D face image in accordance with deformation of the 3D skull image when deformation of the 3D skull image is inputted through the matching image of the screen; And displaying a correction image on the screen by outputting a deformation of the 3-dimensional facial image, and a medical virtual surgery system for the method.

다른 형태로서 본 발명은: 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지의 정합에 의해 생성되는 3차원 정합 이미지를 화면 상에 출력하는 (a)단계; 상기 화면의 정합 이미지를 통해 상기 3차원 얼굴 이미지의 변형이 입력되면, 상기 3차원 얼굴 이미지의 변형에 맞추어 상기 3차원 두개골 이미지의 변형을 산출하는 (b)단계; 그리고 상기 3차원 경조직 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 의료시술방법 및 이를 위한 의료용 가상시술시스템을 제공한다.According to another aspect of the present invention, there is provided an image processing method comprising the steps of: (a) outputting on a screen a three-dimensional registered image generated by matching a three-dimensional face image and a three-dimensional skull image of a subject; (B) calculating a deformation of the 3D skull image in accordance with the deformation of the 3D face image when deformation of the 3D face image is input through the matching image of the screen; And displaying a correction image on the screen by outputting a modification of the 3D hard tissue image, and a medical virtual surgery system for the same.

또 다른 일 형태로서 본 발명은: 치과시술에서 경조직 변화에 따른 피시술자의 얼굴 외관 변화를 시뮬레이션하기 위하여, 피시술자의 3차원 얼굴 이미지의 내부에 피시술자의 치아 및 턱뼈 이미지를 갖는 3차원 경조직 이미지를 정합한 정합 이미지를 화면 상에 출력하는 (a)단계; 상기 화면의 정합 이미지를 통해 입력되는 상기 치아 또는 턱뼈 이미지의 변형에 맞추어 상기 상기 3차원 얼굴 이미지의 변형을 산출하는 (b)단계; 그리고 상기 3차원 얼굴 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 치과시술방법 및 이를 위한 가상 치과시술시스템을 제공한다.In another aspect, the present invention provides a method for simulating a change in facial appearance of a patient by changing a hard tissue in a dental procedure, the method comprising: matching a three-dimensional hard tissue image having a tooth and jawbone image of a patient with a three- (A) outputting a matching image on a screen; (B) calculating deformation of the 3D face image in accordance with deformation of the tooth or jaw bone image inputted through the matching image of the screen; And displaying a correction image on the screen by outputting a deformation of the three-dimensional face image. The present invention also provides a virtual dental treatment method and a virtual dental treatment system therefor.

추가적인 일 형태로서 본 발명은: 치과시술에서 얼굴 변화를 위한 피시술자의 경조직 변화를 시뮬레이션하기 위하여, 피시술자의 3차원 얼굴 이미지의 내부에 피시술자의 치아 및 턱뼈 이미지를 갖는 3차원 경조직 이미지를 정합한 정합 이미지를 화면 상에 출력하는 (a)단계; 상기 화면의 정합 이미지를 통해 입력되는 상기 3차원 얼굴 이미지의 변형에 맞추어 상기 치아 또는 턱뼈 이미지의 변형을 산출하는 (b)단계; 그리고 상기 3차원 경조직 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 치과시술방법 및 이를 위한 치과 가상 치과시술시스템을 제공한다.As a further aspect, the present invention provides a method for simulating a change in the hard tissue of a subject by changing a facial image in a dental procedure, the method comprising the steps of: comparing a 3D hard tissue image having a subject's teeth and a jaw bone image, (A) on the screen; (B) calculating deformation of the tooth or jaw bone image in accordance with deformation of the 3D face image input through the matching image of the screen; And (c) displaying a correction image on the screen by outputting a modification of the 3D hard tissue image, and a dental virtual dental treatment system for the same.

상기 3차원 얼굴 이미지와 상기 3차원 두개골 이미지(3차원 경조직 이미지)는 두개골의 측면 엑스레이 영상을 매개로 상호 정합되는 것을 특징으로 한다.The 3D face image and the 3D skull image (3D hard tissue image) are mutually registered through a side X-ray image of the skull.

그리고 상기 보정 이미지는, 복수의 각도에서 보여질 수 있도록 상기 화면에 입체적 이미지로 회전 가능하게 출력되는 것을 특징으로 한다.And the correction image is rotatably outputted as a three-dimensional image on the screen so that it can be viewed at a plurality of angles.

또한, 상기 (a)단계의 정합 이미지의 상기 3차원 얼굴 이미지는 투명도 조절이 가능한 것을 특징으로 한다.In addition, the 3D face image of the matching image of step (a) can be controlled in transparency.

본 발명에 따르면, 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지를 정합한 정합 이미지를 이용하여 가상 성형시술, 가상 교정시술 또는 가상 턱수술 등 다양한 의료시술이 수행될 수 있고, 시술자가 연조직 변화와 경조직 변화의 상관관계를 용이하게 파악할 수 있으므로 시술계획에 맞게 얼굴 변화를 일으킬 수 있는 경조직 부위를 용이하게 파악할 수 있다.According to the present invention, it is possible to perform various medical procedures such as a virtual molding operation, a virtual orthodontic operation, or a virtual jaw operation using a matching image obtained by matching a three-dimensional facial image and a three-dimensional skull image of a physician with each other, Since the correlation between hard tissue changes can be easily grasped, it is possible to easily grasp hard tissue sites that can cause a face change according to a treatment plan.

그리고 본 발명은 상술한 정합 이미지를 이용하여 실제 시술 이전에 가상 시술을 수행함으로써, 피시술자가 시술 후의 모습을 보다 정확하게 예측할 수 있는 동시에 시술자는 수술 이전에 수술이 필요한 경조직 부위를 설정하고 시술계획을 보다 정확하게 수립할 수 있다.Further, according to the present invention, the virtual procedure is performed prior to the actual operation using the above-described matching image, so that the physician can more accurately predict the post-operation state. At the same time, the operator sets the hard tissue site requiring surgery before surgery, Can be established accurately.

또한, 시술자 및 피시술자가 경조직 변화, 예를 들면 치열교정시술의 결과에 따른 얼굴 변화를 예측할 수 있고, 더 나아가 시술자가 특정 형태로의 얼굴 변화에 필요한 경조직 변화를 입체적 화상 이미지(정합 이미지)를 통해 미리 판단할 수 있으므로 시술계획 수립에 크게 도움이 되며, 진료/상담에 필요한 시간이 단축되고 피시술자가 시술진행방향을 이해하는 데 크게 도움이 된다.In addition, the practitioner and the physician can predict a change in the hard tissue, for example, a change in the face according to the result of the orthodontic treatment, and furthermore, the hard tissue change necessary for the change in the face in a specific form Because it can be judged in advance, it greatly helps to establish a treatment plan, shortens the time required for consultation / consultation, and greatly helps the physician to understand the direction of the procedure.

더 나아가 본 발명은 시술자가 목표하는 형태로 얼굴 라인의 변화를 가져다 주는 경조직의 변형 위치와 변위값을 보정 이미지의 생성과정에서 획득하여 실제 시술시에 이용할 수 있으므로 시술계획에 일치하는 시술을 수행할 수 있게 된다.Furthermore, since the deformed position and the displacement value of the hard tissue, which cause the change of the facial line in the form desired by the operator, can be acquired in the process of generating the corrected image and used in the actual operation, .

도 1은 입체적으로 생성된 피시술자의 3차원 두개골 이미지를 나타낸 사시도이다.
도 2는 도 1의 정면를 나타낸 도면이다.
도 3은 도 1의 측면을 나타낸 도면이다.
도 4는 입체적으로 생성된 피시술자의 3차원 얼굴 이미지를 나타낸 사시도이다.
도 5는 도 4의 정면 이미지이다.
도 6은 도 4의 측면 이미지이다.
도 7은 피시술자의 측면 엑스레이 영상이다.
도 8은 3차원 두개골 이미지와 3차원 얼굴 이미지를 정합한 정합 이미지의 일 예를 나타낸 도면이다.
도 9는 정합 이미지의 생성을 위한 과정의 일 예를 나타낸 도면이다.
도 10은 정합 이미지의 정면 이미지이다.
도 11은 정합 이미지의 측면 이미지이다. 1 is a perspective view showing an image of a three-dimensional skull of a three-dimensional created patient.
Fig. 2 is a front view of Fig. 1. Fig.
3 is a side view of Fig. 1. Fig.
4 is a perspective view showing a three-dimensional face image of a three-dimensional created physician.
5 is a frontal view of Fig.
Figure 6 is a side view of Figure 4;
7 is a side x-ray image of the subject.
8 is a view showing an example of a matching image obtained by matching a three-dimensional skull image and a three-dimensional face image.
9 is a diagram illustrating an example of a process for generating a matched image.
Figure 10 is a frontal view of the matched image.
11 is a side view of the registration image.

이하, 본 발명의 구체적인 실시 형태가 첨부도면을 참조하여 상세하게 설명된다. Hereinafter, specific embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 성형 시뮬레이션이나 치과교정 시뮬레이션 등에 적용 가능한 가상 의료시술방법에 관한 것으로서, 본 실시예에서는 치과교정시술, 예를 들면 상악 및/또는 하악수술과 같은 턱수술이나 치아나 턱뼈의 이동에 의한 교정시술 등과 같은 치과교정시술을 실제로 수행하기 이전에 경조직(hard tissue)의 변화에 따른 연조직(soft tissue)의 변화를 예측해서 영상을 통해 미리 보여주는 가상 의료시술방법, 특히 가상 치과시술방법이 설명된다.The present invention relates to a virtual medical treatment method applicable to a molding simulation or a dental correction simulation. In the present embodiment, the dental orthodontic treatment, for example, a jaw surgery such as an upper and / or lower jaw surgery, A virtual dental treatment method, particularly a virtual dental treatment method, which predicts a change of a soft tissue according to a change of a hard tissue and displays it in advance through an image before a dental orthodontic treatment such as an operation is actually performed is described.

본 발명에 따른 가상 의료시술방법은, 피시술자의 3차원(3D) 두개골 이미지와 3차원 얼굴 이미지의 정합에 의해 생성되는 정합 이미지를 화면(예를 들면 모니터 등의 디스플레이장치)에 출력하고, 상기 화면에 출력되어 있는 정합 이미지의 두개골 이미지에 변형이 가해지면 상기 두개골 이미지에 가해지는 변형을 입력받아서 상기 두개골 이미지의 변형에 맞추어 상기 얼굴 이미지의 변형을 산출한 후에, 상기 얼굴 이미지가 보정된 보정 이미지를 화면상에 디스플레이해서 시술 후의 모습을 미리 보여주게 된다.The virtual medical treatment method according to the present invention outputs a matched image generated by matching a three-dimensional (3D) skull image of a client and a three-dimensional face image to a screen (for example, a display device such as a monitor) The deformation applied to the skull image is inputted to calculate the deformation of the face image in accordance with the deformation of the skull image, and then the deformation applied to the skull image is calculated, It is displayed on the screen and shows the state after the operation in advance.

물론, 상기 화면에 출력되어 있는 정합 이미지의 얼굴 이미지에 변형을 가하는 시술명령이 입력되면, 상기 얼굴 이미지의 변형에 맞추어 상기 두개골 이미지의 변형을 산출한 후 상기 두개골 이미지가 보정된 보정 이미지를 화면상에 디스플레이해서 시술 후의 두개골 이미지를 미리 보여줄 수도 있다.If a manipulation command for deforming the face image of the matching image output on the screen is inputted, the deformation of the skull image is calculated in accordance with the deformation of the face image, and the deformation of the skull image is displayed on the screen To display an image of the skull after the operation in advance.

상술한 가상 의료시술을 위한 의료용 가상시술시스템은, 각종 이미지의 처리를 제어하는 제어부와 상기 정합 이미지와 보정 이미지 등을 생성하는 이미지 처리부와 각종의 이미지를 화면상에 출력하는 이미지 출력부와 데이터나 이미지등 각종의 정보를 저장하는 데이터 저장부를 포함하여 구성될 수 있다.The medical virtual surgery system for virtual medical procedures includes a control unit for controlling the processing of various images, an image processing unit for generating the matching image and the corrected image, an image output unit for outputting various images on the screen, And a data storage unit for storing various kinds of information such as an image.

상기 가상시술시스템은 상술한 피시술자의 두개골 이미지와 얼굴 이미지가 저장되며 각종의 이미지를 처리하는 컴퓨터시스템으로 구현될 수도 있는데, 데이터나 명령 등의 입력을 위한 키보드나 마우스 등의 입력장치와, 3차원화상을 표시하는 디스플레이장치를 포함하여 구성된다.The virtual surgery system may be implemented by a computer system that stores a skull image and a face image of the above-described physician and processes various images. The virtual surgery system includes an input device such as a keyboard or a mouse for inputting data or commands, And a display device for displaying an image.

상술한 가상 의료시술을 위해서 피시술자의 두개골 이미지, 즉 3차원 두개골 이미지가 준비되어야 하는데, CT장치나 MRI장치 등의 영상촬영장치에 의해 취득되는 다단층 화상데이터를 입체적으로 구축함으로써 상기 3D 두개골 이미지는 획득될 수 있으며, 상기 3D 두개골 이미지가 도 1 내지 도 3에 표시되어 있다.For the above-described virtual medical procedure, the skull image of the client, that is, the 3D skull image must be prepared. By constructing the multi-layer image data obtained by the imaging apparatus such as the CT apparatus or the MRI apparatus stereoscopically, And the 3D skull image is shown in Figures 1-3.

그리고 피시술자의 얼굴 이미지, 즉 3차원 얼굴 이미지는 피시술자의 안면을 촬영, 보다 상세하게는 스캐닝(Scanning)함으로써 획득될 수 있으며, 상기 3D 얼굴 이미지가 도 4 내지 도 6에 도시되어 있다.The face image of the client, that is, the 3D face image can be obtained by photographing the face of the client, more specifically, by scanning the 3D face image, and the 3D face image is shown in FIG. 4 to FIG.

상기 가상 의료시술시스템의 이미지 처리부는 CT나 MRI 데이터로부터 3D 두개골 이미지를 생성하며, 사용자에 의해 상기 3D 두개골 이미지와 상기 3D 얼굴 이미지의 출력명령이 상기 시스템에 입력되면 상기 이미지 출력부가 상기 3D 두개골 이미지와 상기 3D 얼굴 이미지를 상기 디스플레이장치에 출력해서 시술자나 피시술자가 볼 수 있게 한다. Wherein the image processing unit of the virtual medical treatment system generates a 3D skull image from CT or MRI data, and when the user inputs the 3D skull image and the output instruction of the 3D face image to the system, And the 3D face image are displayed on the display device so that the practitioner or the physician can view the 3D face image.

여기서, 상기 3D 두개골 이미지와 상기 3D 얼굴 이미지는 화면에 입체적인 이미지로 출력되며, 시술자(사용자)가 복수의 각도에서 볼 수 있도록 회전 가능한 이미지로 화면상에 출력될 수 있는데, 예를 들면, 현존하는 CAD/CAM 기술이나 기타 그래픽 기술를 이용하여 구현될 수 있다.Here, the 3D skull image and the 3D face image are outputted as stereoscopic images on the screen, and can be outputted on the screen as a rotatable image so that a practitioner (user) can view the images at a plurality of angles. For example, CAD / CAM technology or other graphics technology.

그리고, 상기 이미지 처리부는 상기 데이터 저장부에 저장되어 있는 상기 두개골 이미지와 상기 얼굴 이미지를 중첩하여 상술한 정합 이미지와 보정 이미지를 생성하며, 상기 데이터 저장부에는 상술한 각종의 이미지가 저장된다. 그리고 상기 이미지 출력부는 상기 두개골 이미지와 얼굴 이미지와 정합 이미지와 보정 이미지 등을 이미지 처리결과에 의해 자동으로 또는 사용자의 요구가 있는 경우에 화면상에 출력한다.The image processing unit generates the matching image and the correction image by superimposing the skull image stored in the data storage unit and the face image, and the above-described various images are stored in the data storage unit. The image output unit outputs the skull image, the face image, the matching image, the correction image, and the like on the screen automatically or automatically when the user requests the image.

상기 정합 이미지 및/또는 보정 이미지 역시 입체적인 이미지로 화면상에 출력될 수 있으며, 더 나아가 상기 정합 이미지 및/또는 보정 이미지는 시술자(사용자)가 마우스 등의 UI(User Interface)를 이용하여 복수의 각도에서 볼 수 있도록 회전 가능한 이미지로 화면상에 출력될 수도 있다. 상기 정합 이미지의 예가 도 8과 도 10과 도 11에 도시되어 있다.The matched image and / or the corrected image may also be outputted as stereoscopic images on the screen. Further, the matched image and / or the corrected image may be displayed on the screen by using a user interface (UI) The image can be displayed on the screen as a rotatable image for viewing on the screen. An example of the matching image is shown in Figs. 8, 10 and 11.

상기 얼굴 이미지와 상기 두개골 이미지는 엑스레이 영상(엑스레이사진), 특히 도 7의 측면 엑스레이 영상(Lateral Cephalometric X-Ray Image)을 매개로 상호 정합되는 예가 개시된다. An example in which the face image and the skull image are mutually registered via an X-ray image (X-ray image), particularly a lateral Cephalometric X-ray image in FIG. 7, is disclosed.

상기 엑스레이 영상에서 경조직 부분(뼈와 치아)과 연조직 부분은 X선의 흡수차이에 의해 투명도가 서로 다르게 나타나며, 따라서 얼굴 피부를 구성하는 연조직은 경조직의 외곽에 상대적으로 투명한 윤곽을 형성하게 된다.In the x-ray image, the hard tissue part (bone and teeth) and the soft tissue part have different transparency due to the absorption difference of X-rays, and thus the soft tissue constituting the facial skin forms a relatively transparent contour on the outer surface of the hard tissue.

도 9를 참조하면, 상기 두개골 이미지와 얼굴 이미지의 정합을 위하여, 상기 두개골 이미지가 상기 엑스레이 영상의 경조직 부분에 중첩되고 상기 얼굴 이미지는 상기 엑스레이 영상의 연조직 부분에 중첩된다. Referring to FIG. 9, in order to match the skull image with the face image, the skull image is superimposed on the hard tissue portion of the x-ray image, and the face image is superimposed on the soft tissue portion of the x-ray image.

보다 구체적으로 설명하면, 측면에서 바라본 3차원 두개골 이미지(도 3)를 상기 측면 엑스레이 영상(도 7)의 경조직 부분에 일치시키고, 측면에서 바라본 얼굴 이미지(도 6)를 상기 측면 엑스레이 영상의 연조직 부분, 특히 연조직 부분의 윤곽에 일치시켜서 중첩시킨다.More specifically, a three-dimensional skull image (Fig. 3) viewed from the side is matched to the hard tissue portion of the side x-ray image (Fig. 7), and a facial image viewed from the side , In particular the outline of the soft tissue part.

상기 얼굴 이미지와 상기 엑스레이 영상의 정합을 위하여, 상기 엑스레이 영상의 프로파일(윤곽)에 두개 이상의 기준 마크(C1, C2)을 설정하고, 상기 얼굴 이미지의 측면 프로파일(얼굴를 좌우로 양분하는 선이 됨)에도 상기 기준 마크와 동일한 위치에 정합 마크(S1, S2)를 설정한다. 그리고 상기 기준 마크(C1, C2)와 정합 마크(S1, S2)를 일치시키면 상기 얼굴 이미지와 상기 엑스레이 영상의 정합이 완료된다.In order to match the face image with the x-ray image, two or more reference marks (C 1 , C 2 ) are set in the profile (outline) of the x-ray image and a side profile of the face image (S 1 , S 2 ) at the same position as the reference mark. When the reference marks C 1 and C 2 are matched with the matching marks S 1 and S 2 , matching of the face image and the X-ray image is completed.

상기 정합 이미지의 생성과정에서 상기 두개골 이미지가 상기 얼굴 이미지보다 먼저 상기 엑스레이 영상과 정합될 수도 있고, 상기 얼굴 이미지가 상기 두개골 이미지보다 먼저 상기 엑스레이 영상과 정합될 수도 있다. In the process of generating the matching image, the skull image may be matched with the X-ray image before the face image, and the face image may be matched with the X-ray image before the skull image.

그리고 상기 3차원 두개골 이미지와 얼굴 이미지의 정합이 완료된 후에는 상기 엑스레이 영상이 제거될 수도 있다. 상기 엑스레이 영상에 나타난 이미지와 상기 얼굴 이미지의 크기나 기울기(고개를 숙인 정도)가 다른 경우에는 상기 기준 마크(C1, C2)를 잇는 벡터와 상기 정렬 마크(S1, S2)를 잇는 벡터가 동일한 크기와 방향을 갖도록 조절해서 상기 엑스레이 영상에 나타난 이미지와 상기 얼굴 이미지의 크기/기울기를 동일하게 할 수 있다. After the matching of the 3D skull image and the face image is completed, the X-ray image may be removed. When the image displayed on the X-ray image is different from the size or slope of the face image (the degree to which the head is bowed), a vector connecting the reference marks C 1 and C 2 and the alignment mark S 1 and S 2 The size and the slope of the face image can be equalized by adjusting the vectors to have the same size and orientation.

한편, 도 8과 도 10과 도 11에 도시된 바와 같이, 상기 정합 이미지에서 상기 얼굴 이미지는 화면상에서 적어도 일부의 투명도 조절이 가능하게 출력될 수 있으며, 도 8에서와 같이 상기 얼굴 이미지의 좌측 영역과 우측 영역의 투명도가 다르게 화면상에 출력할 수도 있고, 특히 상기 얼굴 이미지의 좌우 양측부분 중 일측 부분을 투명하게 출력할 수도 있으며, 화면상에 출력된 상태에서 사용자가 원하는 상태로 상기 얼굴 이미지의 투명도 조절하여 상기 얼굴 이미지의 내부에 정합되어 있는 상기 두개골 이미지가 보여지게 할 수도 있다.8, 10 and 11, in the matching image, the face image may be outputted so that at least a part of the face image can be adjusted on the screen, and as shown in FIG. 8, The left side and the right side of the face image may be displayed on the screen with different transparency. Particularly, one side of the left and right side portions of the face image may be transparently displayed. And the transparency is adjusted so that the skull image registered in the inside of the face image is displayed.

상술한 바와 같이 상기 정합 이미지가 화면상에 출력되면, 시술자는 마우스나 키보드 등의 입력장치를 이용하여 화면상에 나타나 있는 상기 정합 이미지의 두개골 이미지에 변형을 가한다. 본 발명에서는 3D 두개골 이미지와 3D 얼굴 이미지가 중첩되어 상술한 정합 이미지를 형성하고 이를 화면상에 출력하여 (피)시술자에게 보여주므로, 시술자는 숙련도나 경험 기타 해부학적 지식에 상관없이 특정 부분의 연조직 변형을 수반하는 경조직 영역을 쉽게 파악할 수 있다.As described above, when the matching image is displayed on the screen, the practitioner deforms the skull image of the matching image displayed on the screen using an input device such as a mouse or a keyboard. In the present invention, the 3D skull image and the 3D face image are superimposed on each other to form the above-described matched image, and the stereoscopic image is output to the (p) practitioner so that the surgeon can easily recognize the soft tissue The hard tissue area accompanying deformation can be easily grasped.

예를 들면, 피시술자가 돌출입인 경우에 시술자는 돌출입을 야기하는 경조직 영역과 그 원인, 연조직과 경조직의 상관 관계 그리고 해부학적 구조를 상기 3D 두개골 이미지와 3D 얼굴 이미지가 중첩된 정합 이미지를 통해 보다 쉽게 파악할 수 있다. For example, when a physician is in or out of the stomach, the practitioner can determine the hard tissue area causing the protrusion and its cause, the correlation between the soft tissues and the hard tissue, and the anatomical structure through the matching image in which the 3D skull image and the 3D face image are superimposed It is easy to grasp.

보다 상세하게 설명하면, 얼굴라인의 개선을 위해 변형이 필요한 연조직 영역의 직하방 경조직 영역을 상기 3D 두개골 이미지와 3D 얼굴 이미지가 중첩된 정합 이미지를 통해 시술자가 입체적으로 보다 쉽게 파악할 수 있으므로, 피시술자가 원하는 얼굴형으로 외관을 변화시키기 위해서는 경조직 중에 어느 영역에 어느 정도의 변형이 가해질 필요가 있는지에 대해 판단하고 확인하기 쉽다.More specifically, the practitioner can more easily grasp the hard tissue area of the soft tissue region of the soft tissue region requiring the transformation to improve the face line in a stereoscopic manner through the matching image in which the 3D skull image and the 3D face image are superimposed, In order to change the appearance of a desired face shape, it is easy to judge and confirm to what degree the deformation should be applied to which region of the hard tissue.

또한, 부정교합의 개선을 위한 교정시술의 결과 반사적으로 야기되는 얼굴 외관의 변화를 미리 볼 수 있으므로, 치열의 기능적 개선과 얼굴라인의 변화를 동시에 시뮬레이션할 수 있게 된다.In addition, as a result of the orthodontic treatment for the improvement of malocclusion, the change of the facial appearance caused by the reflex can be previewed, so that it is possible to simultaneously simulate the functional improvement of the dentition and the change of the face line.

즉, 얼굴의 피부를 구성하는 연조직은 경조직(뼈, 치아)의 표면에 밀착되어 상기 경조직에 의해 지지되는 조직이므로, 정합 이미지에서 경조직의 윤곽이 변형되도록 가상시술명령이 입력되면 변형된 경조직의 윤곽에 접촉되게 상기 연조직(얼굴 이미지)을 변형시킨 형상의 보정 이미지가 화면상에 출력됨으로써, (피)시술자는 경조직 변화에 의한 연조직 변화를 화면을 통해 확인할 수 있으며, 더 나아가 상기 보정 이미지와 함께 또는 순차적으로 변형된 경조직 영역의 위치와 변위가 화면상에 출력되어 실제 시술시에서 사용될 수 있다. 3차원 경조직 이미지(두개골 이미지)와 3차원 연조직 이미지(얼굴 이미지)가 입체적으로 정합된 상태에서 가상시술이 수행되고, 이때 3차원 경조직 이미지와 3차원 연조직 이미지가 동일 좌표계에 구현되어 있으므로, 가상 시술의 수행 및 결과의 도출이 보다 용이하게 수행될 수 있다.That is, since the soft tissue constituting the skin of the face is closely attached to the surface of the hard tissue (bone, tooth) and is supported by the hard tissue, when the virtual procedure command is inputted so that the contour of the hard tissue is transformed in the matching image, (Facial image) deformed to come into contact with the soft tissue (face image) is outputted on the screen, so that the (p) operator can confirm the soft tissue change due to the hard tissue change through the screen and furthermore, The positions and displacements of the sequentially deformed hard tissue regions are displayed on the screen and can be used in actual practice. Since the virtual surgery is performed in a state in which the 3D hard tissue image (skull image) and the 3D soft tissue image (face image) are three-dimensionally matched and the 3D hard tissue image and the 3D soft tissue image are implemented in the same coordinate system, And the derivation of the results can be performed more easily.

상기 경조직의 변위에 따른 연조직의 변위 또는 그 역방향을 시뮬레이션할 때, 다양한 환자들의 실제 시술 데이터를 바탕으로 산출된 경조직과 연조직의 상관관계와 대응 변위값과 대응 영역을 이용하여 상기 경조직의 변화에 따른 연조직의 변화가 산출될 수도 있다. 예를 들어, 상악 전치의 이동에 따른 입모양의 변화를 시뮬레이션할 때 다양한 시술 데이터의 평균 변위값를 기준으로 입술의 변형률이 산출되고 상기 입술의 변형률을 바탕으로 입모양이 변화된 보정 이미지가 화면상에 출력될 수도 있다. 또한 특정 경조직 영역, 예를 들면 상악 전치 영역의 변형에 따른 얼굴 이미지의 변화을 산출할 때 변형이 가해지는 경조직 영역(상악 전치 영역)을 덮는 직상방 연조직 영역(윗 입술 중앙부위)의 변위와 그 주변 연조직 영역의 변위가 다양한 환자들의 시술 데이터를 바탕으로 실제 변형에 근접하게 만들어진 산출수식에 의해 자동으로 산출될 수도 있으므로 다양한 방법으로 구현될 수 있다.When simulating the displacement or the opposite direction of the soft tissue according to the displacement of the hard tissue, the correlation between the hard tissue and the soft tissue calculated based on the actual operation data of various patients and the corresponding displacement value and the corresponding region, Changes in the soft tissues may be calculated. For example, when simulating changes in the mouth shape due to the movement of the upper incisors, the strain of the lips is calculated on the basis of the average displacement values of various operation data, and the correction images whose mouth shapes are changed based on the strain of the lips are displayed on the screen May be output. In addition, when calculating the change of the facial image due to the deformation of the specific hard tissue area, for example, the upper incisor area, the displacement of the upper soft tissue area (upper lip center area) covering the hard tissue area (upper incisor area) The displacement of the soft tissue region may be automatically calculated by a calculation formula made close to the actual deformation based on the operation data of various patients, so that it can be implemented in various ways.

반대로, 상기 정합 이미지에서 연조직의 윤곽이 변형되도록 가상시술명령이 입력되면 연조직의 변화에 맞추어 경조직이 변형된 형상의 보정 이미지가 화면상에 출력됨으로써, (피)시술자가 연조직 변화에 위한 경조직 변화를 화면을 통해 확인할 수도 있는데, 상기 경조직의 변화에 대응하여 연조직의 변화를 산출하는 방법의 역방향 산출법에 의해 수행될 수 있으며, 이 경우에도 상기 보정 이미지와 함께 또는 순차적으로 (피)시술자가 원하는 형태로 연조직 변화를 야기하는 경조직 영역의 위치와 변위가 화면상에 출력되어 실제 시술시에서 사용될 수 있다.In contrast, when a virtual procedure command is input to deform the contour of the soft tissue in the matched image, a corrected image of the deformed hard tissue is output on the screen in accordance with the change of the soft tissue, so that the (p) And may be performed by a reverse calculation method of calculating the change of the soft tissue corresponding to the change of the hard tissue. In this case, the (p) The position and displacement of the hard tissue area causing soft tissue changes can be displayed on the screen and used in practice.

도 11을 참조하여 정합 이미지의 측면 영상을 사용하여 가상시술을 수행하는 과정을 보면, 무턱이나 주걱턱을 개선하기 위하여 화면상의 정합 이미지에서 아래턱(하악)을 화살표(1) 방향으로 전진/후퇴시키면 연조직이 화살표(2)의 방향으로 변형되면서 얼굴 이미지의 형상이 변화된 보정 이미지가 출력될 수 있다.Referring to FIG. 11, in the process of performing the virtual procedure using the side image of the matching image, when the lower jaw (mandible) is advanced / retracted in the direction of the arrow 1 in the matched image on the screen to improve the cochlea or the jaw, A correction image in which the shape of the face image is changed while being deformed in the direction of the arrow 2 can be outputted.

반대로, 화살표(2)의 방향으로 연조직의 윤곽을 개선하면 아래턱 영역이 화살표(1)의 방향으로 변형되면서 경조직의 변화가 확인될 수 있다.Conversely, if the outline of the soft tissue is improved in the direction of the arrow 2, the change of the hard tissue can be confirmed while the lower jaw region is deformed in the direction of the arrow 1.

그리고 도 11에서 화살표(3)의 방향으로 경조직, 특히 상악 전치부 영역을 움직이면 인중 부분의 윤곽이 화살표(4)의 방향으로 변화되는 것을 확인할 수 있고 그 반대과정도 확인될 수 있음을 알 수 있으며, 화면상에서 보정 이미지를 회전시키면서 여러각도에서 확인할 수도 있다. 또한, 본 발명에 따른 가상 의료시술방법에서는, (피)시술자가 가상시술 전과 후의 모습이 화면상에 동시에 출력하거나 순차적으로 출력될 수도 있다.11, it can be seen that the contour of the finger portion is changed in the direction of the arrow 4 when the hard tissue, in particular, the upper anterior portion region is moved in the direction of arrow 3, and the opposite process can be confirmed, You can also view the calibration image from various angles while rotating the image on the screen. Further, in the virtual medical treatment method according to the present invention, the (p) operator may simultaneously output the images before and after the virtual procedure on the screen or sequentially.

상기 두개골 이미지는 복수의 섹션으로 지정될 수도 있는데, 예를 들면, 하악영역과 상악 영역과 개별 치아 영역 등으로 구분되어 지정되고, 특정 경조직 영역이 마우스 등의 인터페이스를 통해 클릭되면 그 영역의 경계가 활성화되고 마우스나 키보드를 이용하여 해당 영역의 이동이 구현될 수 있다. The skull image may be designated as a plurality of sections, for example, divided into a mandible region, an upper region, and an individual tooth region, and when a specific hard tissue region is clicked through an interface such as a mouse, And the movement of the corresponding area can be implemented using a mouse or a keyboard.

여기서, 상기 경조직의 각 구분 영역은 더 세분화될 수도 있는데, 예를 들어 상기 두개골 이미지의 하악영역은 하악골체 영역과 하악골 상행지 영역으로 더 세분화될 수도 있다. 상기 두개골 이미지에서 특정 영역의 변위가 이루어지면 그 변위값(크기, 방향, 회전 등)이 상기 보정 이미지의 출력 전이나 후 또는 동시에 화면에 표시될 수 있으며, 시술자는 이를 통해 시술방법을 결정할 수도 있다. Here, each of the divisional regions of the hard tissue may be further subdivided. For example, the mandible region of the skull image may be further subdivided into a mandible body region and a mandible upper body region. If a displacement of a specific region is made in the skull image, the displacement value (size, direction, rotation, etc.) may be displayed on the screen before or after the output of the corrected image, and the operator may determine the procedure .

본 발명에 따른 가상 의료시술방법 및 그 시스템은 가상 치과시술방법 및 그 시스템의 형태로 제공될 수도 있다.The virtual medical treatment method and the system according to the present invention may be provided in the form of a virtual dental treatment method and its system.

즉, 피시술자의 3차원 얼굴 이미지의 내부에 피시술자의 치아 및 턱뼈 이미지를 갖는 3차원 경조직을 정합해서 정합 이미지를 생성하고, 상기 정합 이미지상에서 경조직에 변화를 가해지면 상기 경조직(특히 턱뼈 및/또는 치아)의 변화에 따른 연조직의 변화가 화면상에 보정 이미지로 출력되거나, 연조직의 변화에 따른 경조직의 변화가 화면상에 보정 이미지로 출력될 수 있다.That is, a three-dimensional facial image of a physician is mated with a three-dimensional hard tissue having an image of a subject and a jawbone to generate a matching image, and when a change is made to the hard tissue on the matching image, ) May be output as a corrected image on the screen, or a change in the hard tissue due to a change in the soft tissue may be output as a corrected image on the screen.

한편, 상기 이미지 처리부와 이미지 출력부 및 데이터 저장부는 컴퓨터를 이미지 처리수단과 이미지 출력수단 및 이미지 저장수단으로 기능시킬 수 있다.The image processing unit, the image output unit, and the data storage unit may function as image processing means, image output means, and image storing means.

그리고 본 발명은, 컴퓨터를, 이미지 처리수단과 이미지 출력수단으로 기능시키기 위한 가상시술 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 또는 상기 프로그램을 네트워크을 통해 제공하는 시스템 서버 등의 장치로 제공될 수도 있다. The present invention may also be provided in an apparatus such as a computer-readable recording medium having recorded thereon a virtual procedure program for causing a computer to function as image processing means and image output means, or a system server for providing the program via a network.

이상에서는 본 발명을 특정의 바람직한 실시예를 예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 취지나 범주를 벗어나지 않는 한 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다. 그리고 본 발명에 상술된 실시 예에 의해 본 발명의 권리범위가 한정되는 것이 아님은 자명한 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Various changes and modifications may be made by those skilled in the art. It is to be understood that the scope of the present invention is not limited by the embodiments described above.

Claims (7)

가상 의료 시뮬레이션을 위하여, 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지를 중첩하여 상기 3차원 얼굴 이미지와 3차원 두개골 이미지의 정합에 의해 생성되는 3차원 정합 이미지를 화면 상에 출력하는 (a)단계;
상기 3차원 두개골 이미지의 변형이 입력되면, 상기 3차원 두개골 이미지의 변형에 맞추어 상기 3차원 얼굴 이미지의 변형을 산출하는 (b)단계; 그리고
상기 3차원 얼굴 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 의료시술방법에 있어서,
상기 (a)단계의 3차원 얼굴 이미지와 상기 3차원 두개골 이미지는 얼굴의 측면 엑스레이 영상을 매개로 상호 정합되는 것을 특징으로 하는 가상 의료시술방법.(A) for outputting on the screen a three-dimensional matching image generated by matching the three-dimensional face image and the three-dimensional skull image by superimposing the three-dimensional face image and the three- ;
(B) calculating a deformation of the 3D face image in accordance with deformation of the 3D skull image when a deformation of the 3D skull image is input; And
(C) displaying a correction image on the screen by outputting a deformation of the 3D face image, the method comprising:
Wherein the 3D face image and the 3D skull image in step (a) are mutually matched through a side X-ray image of a face. 가상 의료 시뮬레이션을 위하여, 피시술자의 3차원 얼굴 이미지와 3차원 두개골 이미지를 중첩하여 상기 3차원 얼굴 이미지와 3차원 두개골 이미지의 정합에 의해 생성되는 3차원 정합 이미지를 화면 상에 출력하는 (a)단계;
상기 3차원 얼굴 이미지의 변형이 입력되면, 상기 3차원 얼굴 이미지의 변형에 맞추어 상기 3차원 두개골 이미지의 변형을 산출하는 (b)단계; 그리고
상기 3차원 두개골 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 의료시술방법에 있어서,
상기 (a)단계의 3차원 얼굴 이미지와 상기 3차원 두개골 이미지는 얼굴의 측면 엑스레이 영상을 매개로 상호 정합되는 것을 특징으로 하는 가상 의료시술방법.(A) for outputting on the screen a three-dimensional matching image generated by matching the three-dimensional face image and the three-dimensional skull image by superimposing the three-dimensional face image and the three- ;
(B) calculating a deformation of the 3D skull image in accordance with the deformation of the 3D face image, when deformation of the 3D face image is inputted; And
(C) outputting a deformation of the 3D skull image and displaying a correction image on the screen,
Wherein the 3D face image and the 3D skull image in step (a) are mutually matched through a side X-ray image of a face. 삭제delete 제1항 또는 제2항에 있어서,
상기 보정 이미지는, 복수의 각도에서 보여질 수 있도록 상기 화면에 입체적 이미지로 회전 가능하게 출력되는 것을 특징으로 하는 가상 의료시술방법.3. The method according to claim 1 or 2,
Wherein the corrected image is rotatably displayed as a three-dimensional image on the screen so that it can be viewed from a plurality of angles. 제1항 또는 제2항에 있어서,
상기 (a)단계에서의 정합 이미지를 구성하는 상기 3차원 얼굴 이미지는 투명도 조절이 가능한 것을 특징으로 하는 가상 의료시술방법.3. The method according to claim 1 or 2,
Wherein the 3D face image forming the matching image in the step (a) is adjustable in transparency. 치과시술에서 경조직 변화에 따른 피시술자의 얼굴 외관 변화를 시뮬레이션하기 위하여, 피시술자의 3차원 얼굴 이미지의 내부에 피시술자의 치아 및 턱뼈 이미지를 갖는 3차원 경조직 이미지를 중첩하여 상기 3차원 얼굴 이미지와 3차원 경조직 이미지의 정합에 의해 생성되는 정합 이미지를 화면 상에 출력하는 (a)단계;
상기 3차원 경조직 이미지의 변형이 입력되면, 상기 치아 또는 턱뼈 이미지의 변형에 맞추어 상기 상기 3차원 얼굴 이미지의 변형을 산출하는 (b)단계; 그리고
상기 3차원 얼굴 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 치과시술방법에 있어서,
상기 (a)단계의 3차원 얼굴 이미지와 상기 3차원 경조직 이미지는 얼굴의 측면 엑스레이 영상을 매개로 상호 정합되는 것을 특징으로 하는 가상 치과시술방법.In order to simulate the change of the facial appearance of the patient according to the change of the hard tissue in the dental procedure, a three dimensional facial image having the teeth and jawbone image of the patient is superimposed on the inside of the facial image, (A) outputting a matching image generated by matching of images on a screen;
(B) calculating a deformation of the three-dimensional facial image in accordance with deformation of the tooth or jaw bone image, when the deformation of the three-dimensional hard tissue image is inputted; And
(C) displaying a correction image on the screen by outputting a deformation of the three-dimensional face image, the virtual dental treatment method comprising:
Wherein the 3D face image and the 3D hard tissue image of step (a) are mutually registered through a side X-ray image of the face. 치과시술에서 얼굴 변화를 위한 피시술자의 경조직 변화를 시뮬레이션하기 위하여, 피시술자의 3차원 얼굴 이미지의 내부에 피시술자의 치아 및 턱뼈 이미지를 갖는 3차원 경조직 이미지를 중첩하여 3차원 얼굴 이미지와 3차원 경조직 이미지의 정합에 의해 생성되는 정합 이미지를 화면 상에 출력하는 (a)단계;
상기 3차원 얼굴 이미지의 변형이 입력되면, 상기 3차원 얼굴 이미지의 변형에 맞추어 상기 치아 또는 턱뼈 이미지의 변형을 산출하는 (b)단계; 그리고
상기 3차원 경조직 이미지의 변형을 출력하여 상기 화면상에 보정 이미지를 디스플레이하는 (c)단계를 포함하여 이루어지는 가상 치과시술방법에 있어서,
상기 (a)단계의 3차원 얼굴 이미지와 상기 3차원 경조직 이미지는 얼굴의 측면 엑스레이 영상을 매개로 상호 정합되는 것을 특징으로 하는 가상 치과시술방법.In order to simulate the change of the hard tissue of the physician for the face change in the dental procedure, the 3D physiological image having the image of the patient and the jawbone of the physician is superimposed on the inside of the 3D face image of the physician and the 3D face image and the 3D hard tissue image (A) outputting a matching image generated by matching on a screen;
(B) calculating a deformation of the tooth or jaw bone image in accordance with the deformation of the 3D face image when the deformation of the 3D face image is inputted; And
(C) displaying a correction image on the screen by outputting a modification of the 3D hard tissue image, the method comprising:
Wherein the 3D face image and the 3D hard tissue image of step (a) are mutually registered through a side X-ray image of the face.
KR1020120086797A 2012-08-08 2012-08-08 Medical/Dental Treating Simulation Method And System For The Same KR101439283B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120086797A KR101439283B1 (en) 2012-08-08 2012-08-08 Medical/Dental Treating Simulation Method And System For The Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120086797A KR101439283B1 (en) 2012-08-08 2012-08-08 Medical/Dental Treating Simulation Method And System For The Same

Publications (2)

Publication Number Publication Date
KR20140020124A KR20140020124A (en) 2014-02-18
KR101439283B1 true KR101439283B1 (en) 2014-09-11

Family

ID=50267295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120086797A KR101439283B1 (en) 2012-08-08 2012-08-08 Medical/Dental Treating Simulation Method And System For The Same

Country Status (1)

Country Link
KR (1) KR101439283B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438363B2 (en) 2016-11-01 2019-10-08 Korea Institute Of Science And Technology Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model
CN112288797A (en) * 2020-10-30 2021-01-29 李艳 Skull correction scheme generation system, construction method, acquisition method and device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879169B1 (en) 2016-11-22 2018-07-17 오주영 Radiography guide system and method using camera image
KR101918119B1 (en) * 2017-03-10 2019-02-08 주식회사 모르페우스 Method, system and non-transitory computer-readable recording medium for estimating anatomical layer of face

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090115884A (en) * 2001-10-31 2009-11-09 이마그노시스 가부시키가이샤 Medical simulation apparatus
KR20100025810A (en) * 2008-08-28 2010-03-10 (주)이우테크놀로지 Method and apparatus for generating virtual teeth, and the recording media storing the program performing the said method
KR20110135322A (en) * 2010-06-10 2011-12-16 주식회사 오라픽스 Imaginary overlay apparatus and method for dental treatment
KR20120096238A (en) * 2011-02-22 2012-08-30 주식회사 모르페우스 Face image correcting simulation method and system using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090115884A (en) * 2001-10-31 2009-11-09 이마그노시스 가부시키가이샤 Medical simulation apparatus
KR20100025810A (en) * 2008-08-28 2010-03-10 (주)이우테크놀로지 Method and apparatus for generating virtual teeth, and the recording media storing the program performing the said method
KR20110135322A (en) * 2010-06-10 2011-12-16 주식회사 오라픽스 Imaginary overlay apparatus and method for dental treatment
KR20120096238A (en) * 2011-02-22 2012-08-30 주식회사 모르페우스 Face image correcting simulation method and system using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438363B2 (en) 2016-11-01 2019-10-08 Korea Institute Of Science And Technology Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model
CN112288797A (en) * 2020-10-30 2021-01-29 李艳 Skull correction scheme generation system, construction method, acquisition method and device

Also Published As

Publication number Publication date
KR20140020124A (en) 2014-02-18

Similar Documents

Publication Publication Date Title
US8805048B2 (en) Method and system for orthodontic diagnosis
JP6273149B2 (en) Facial correction image providing method and system
KR101252278B1 (en) Methodm for providing the wafer production service for dental treatment, and server and terminal thereof
JP6827659B2 (en) Virtual model of occlusion from intraoral scan
US8177551B2 (en) Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
US7717708B2 (en) Method and system for integrated orthodontic treatment planning using unified workstation
US11154379B2 (en) Method for implant surgery using augmented visualization
US20100009308A1 (en) Visualizing and Manipulating Digital Models for Dental Treatment
US20140379356A1 (en) Method and system for integrated orthodontic treatment planning using unified workstation
EP3503837A1 (en) Method to visualize and manufacture aligner by modifying tooth position
Schendel et al. Three-dimensional imaging and computer simulation for office-based surgery
WO2012140021A2 (en) Modeling and manufacturing orthodontic appliances
KR20160004862A (en) Patient specific virtual set-up and its simulation and the method manufacturing Orthodontics device or Orthodontics guidance
WO2003037204A1 (en) Medical simulation apparatus and method for controlling 3-dimensional image display in the medical simulation apparatus
KR20100016180A (en) Method for deriving shape information
KR20150039028A (en) Simulation method and system for orthodontic treatment
KR101439283B1 (en) Medical/Dental Treating Simulation Method And System For The Same
Lee et al. Virtual skeletal complex model-and landmark-guided orthognathic surgery system
KR20130008238A (en) Image matching data creation method for orthognathic surgery and orthodontic treatment simulation and manufacturing information providing method for surgey device using the same
US20240065807A1 (en) 3d facial reconstruction and visualization in dental treatment planning
TW201225022A (en) Intergrated method of adapting guide-navigation systems and bio-prosthesis fabrication for dental implantation
TWI552729B (en) A system and method for image correction design of jaw jaw surgery
CN113226186B (en) Device for visualizing in real time the movement of the lower jaw relative to the upper jaw in the craniomaxillofacial region of a patient in dental diagnosis
Sinthanayothin et al. Skull Simulation from 2 View X-ray Projections using 3D Warping Technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170905

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 6