WO2017171295A1 - 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법 - Google Patents

환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법 Download PDF

Info

Publication number
WO2017171295A1
WO2017171295A1 PCT/KR2017/003037 KR2017003037W WO2017171295A1 WO 2017171295 A1 WO2017171295 A1 WO 2017171295A1 KR 2017003037 W KR2017003037 W KR 2017003037W WO 2017171295 A1 WO2017171295 A1 WO 2017171295A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
image
augmented reality
movement
point
Prior art date
Application number
PCT/KR2017/003037
Other languages
English (en)
French (fr)
Inventor
홍종락
안재명
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Publication of WO2017171295A1 publication Critical patent/WO2017171295A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image

Definitions

  • the present invention relates to an augmented reality system and a method of providing the augmented reality reflecting the movement estimation of the jawbone of the patient.
  • Orthognathic surgery refers to surgery performed to correct this form and size variation when the maxilla or mandibular growth is out of normal and has an excess, lack, or asymmetry. Because orthognathic surgery results in a change in the position of the jawbone (eg, upper jawbone or lower jawbone), orthodontic treatment is usually accompanied before and after surgery. All stages of preparation and postoperative adjustment of the occlusion are long and complex to treat, which is different from general surgery. Orthodontic treatment to align the teeth may be preceded by orthodontic treatment prior to orthognathic surgery. If extraction is required, extraction may be performed. In addition, impression taking, photography, and X-ray imaging may be performed. Surgical wafers to be used at the time of surgery may be pre-fabricated to suit the oral structure of the patient. Orthognathic surgery may take several hours, depending on the type of surgery, and after correcting the orthodontics based on the upper and lower jaw bone repositioned after surgery, orthodontic treatment may be performed.
  • the present invention relates to an augmented reality system reflecting the movement of the jaw bone of a patient and a method of providing the augmented reality, and to indicate the augmented reality system in real time by estimating the movement of the jaw bone of the patient during surgery to indicate the user's current position and
  • the present invention proposes an augmented reality system and a method of providing the augmented reality for intuitively grasping a target position.
  • an Augmented Reality (AR) system and AR method reflecting motion estimation of the jaw of a patient may be disclosed.
  • Augmented Reality (AR) system reflecting the movement of the jaw of the patient in accordance with an embodiment of the present invention
  • the image acquisition unit for obtaining a CT image of the head and neck of the patient, the obtained CT image 3D image
  • An image converter for converting the image into a coordinate system
  • a coordinate system setting unit for defining a coordinate system for the patient using a plurality of points included in the converted image
  • a plurality of markers attached to the patient for estimating the movement of the jawbone of the patient
  • the patient Marker recognition unit for recognizing the plurality of markers attached to the coordinates
  • Coordinate estimation for estimating the coordinates for each of the recognized plurality of markers based on the defined coordinate system
  • It may include an augmented reality image generation unit for displaying and a display unit for displaying the generated augmented reality image.
  • the image converter may convert a CT image of the head and neck of the patient into a 3D image by using digital imaging and communications in medicine (DICOM) data.
  • DICOM digital imaging and communications in medicine
  • the coordinate system setting unit generates a Frankfort Horizontal (FH) plane for the patient using three or more points in the three-dimensional image, Nasion and the base point (Basion) is used to create a midsagittal reference (MSR) plane, and the coordinate system for the patient can be defined at the center point where the two planes intersect.
  • FH Frankfort Horizontal
  • MSR midsagittal reference
  • a plurality of markers according to an embodiment of the present invention is in the form of a polygonal pattern with a different pattern on each side, the first marker (M P ) that can be disposed adjacent to the forehead of the patient, manufactured along the shape of the patient's teeth And a second marker M M attachable to the wafer, a third marker M R for pointing a reference point of tracking the movement of the jaw of the patient.
  • the marker recognition unit may be a dual camera for acquiring an image for each marker on which a different pattern is displayed.
  • the third marker (M R ) can be used for the point (pointing) of the point of reference of the movement of the jaw of the patient, the point between the middle incisor of the patient, the right canine point
  • the left canine point, the right first molar point and the left first molar point may be included.
  • a change in coordinates of a point corresponding to a designated point on the wafer that can move corresponding to the movement of the jawbone of the patient is estimated based on the second marker M M .
  • the change in coordinates can be estimated with the travel distance value from the designated point.
  • the information on the coordinates estimated by the coordinate estimation according to an embodiment of the present invention is displayed through the display unit in different colors according to the range of the movement distance value, and if the movement distance value is 0 or more and 1 millimeter or less, it is green. Information about the coordinates may be displayed in yellow if less than 1.5 millimeters, orange if less than 1.5 millimeters and less than 2 millimeters, and red in the range from greater than 2 seconds to the limit value of the travel distance value.
  • Augmented reality providing method reflecting the movement of the jaw of the patient according to an embodiment of the present invention, obtaining a CT image of the head and neck of the patient, converting the obtained CT image into a three-dimensional image, Defining a coordinate system for the patient using a plurality of points included in the converted image, recognizing a plurality of markers attached to the patient for estimating movement of the jawbone of the patient, and recognizing the plurality of markers based on the defined coordinate system Estimating coordinates for each of the two markers, generating an augmented reality image of the jawbone with respect to the estimated coordinates, and displaying the generated augmented reality image.
  • AR Augmented reality
  • a computer-readable recording medium having recorded thereon a program for executing the above method on a computer may be provided.
  • the movement of the jaw of the patient estimated in real time during surgery may appear as augmented reality, the user is present Intuitively identify locations and target locations.
  • the user can monitor the movement and position of the jawbone through monitoring the augmented reality image of the jawbone. It is predictable and can quickly and accurately find the exact location of the jaw bone (eg, the target location).
  • FIG. 1 is a block diagram showing an augmented reality system reflecting the movement estimation of the jaw bone of a patient according to an embodiment of the present invention.
  • Figure 2 is a schematic diagram of the augmented reality system reflecting the movement estimation of the jawbone of the patient according to an embodiment of the present invention.
  • 4A and 4B are examples of markers according to an embodiment of the present invention.
  • 5 is an example of obtaining coordinate information of a marker according to an embodiment of the present invention.
  • FIG. 6 is an example of a marker recognition unit according to an embodiment of the present invention.
  • FIG. 7 is an example of a screen illustrating a reference point designation process according to an embodiment of the present invention.
  • FIG. 8 illustrates a designated reference point in accordance with one embodiment of the present invention.
  • 9A is an example of providing augmented reality using a marker according to an embodiment of the present invention.
  • 9B is an example of providing estimated motion information of a jawbone according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method of providing augmented reality (AR) in which movement estimation of a jawbone of a patient is reflected according to an embodiment of the present invention.
  • AR augmented reality
  • FIG 11 is an example of augmented reality (AR) screen reflecting the estimated movement of the jaw bone of the patient provided according to an embodiment of the present invention.
  • AR augmented reality
  • an Augmented Reality (AR) system and AR method reflecting motion estimation of the jaw of a patient may be disclosed.
  • Augmented Reality (AR) system reflecting the movement of the jaw of the patient in accordance with an embodiment of the present invention
  • the image acquisition unit for obtaining a CT image of the head and neck of the patient, the obtained CT image 3D image
  • An image converter for converting the image into a coordinate system
  • a coordinate system setting unit for defining a coordinate system for the patient using a plurality of points included in the converted image
  • a plurality of markers attached to the patient for estimating the movement of the jawbone of the patient
  • the patient Marker recognition unit for recognizing the plurality of markers attached to the coordinates
  • Coordinate estimation for estimating the coordinates for each of the recognized plurality of markers based on the defined coordinate system
  • It may include an augmented reality image generation unit for displaying and a display unit for displaying the generated augmented reality image.
  • the image converter may convert a CT image of the head and neck of the patient into a 3D image by using digital imaging and communications in medicine (DICOM) data.
  • DICOM digital imaging and communications in medicine
  • the coordinate system setting unit generates a Frankfort Horizontal (FH) plane for the patient using three or more points in the three-dimensional image, Nasion and the base point (Basion) is used to create a midsagittal reference (MSR) plane, and the coordinate system for the patient can be defined at the center point where the two planes intersect.
  • FH Frankfort Horizontal
  • MSR midsagittal reference
  • a plurality of markers according to an embodiment of the present invention is in the form of a polygonal pattern with a different pattern on each side, the first marker (M P ) that can be disposed adjacent to the forehead of the patient, manufactured along the shape of the patient's teeth And a second marker M M attachable to the wafer, a third marker M R for pointing a reference point of tracking the movement of the jaw of the patient.
  • the marker recognition unit may be a dual camera for acquiring an image for each marker on which a different pattern is displayed.
  • the third marker (M R ) can be used for the point (pointing) of the point of reference of the movement of the jaw of the patient, the point between the middle incisor of the patient, the right canine point
  • the left canine point, the right first molar point and the left first molar point may be included.
  • a change in coordinates of a point corresponding to a designated point on the wafer that can move corresponding to the movement of the jawbone of the patient is estimated based on the second marker M M .
  • the change in coordinates can be estimated with the travel distance value from the designated point.
  • the information on the coordinates estimated by the coordinate estimation according to an embodiment of the present invention is displayed through the display unit in different colors according to the range of the movement distance value, and if the movement distance value is 0 or more and 1 millimeter or less, it is green. Information about the coordinates may be displayed in yellow if less than 1.5 millimeters, orange if less than 1.5 millimeters and less than 2 millimeters, and red in the range from greater than 2 seconds to the limit value of the travel distance value.
  • Augmented reality providing method reflecting the movement of the jaw of the patient according to an embodiment of the present invention, obtaining a CT image of the head and neck of the patient, converting the obtained CT image into a three-dimensional image, Defining a coordinate system for the patient using a plurality of points included in the converted image, recognizing a plurality of markers attached to the patient for estimating movement of the jawbone of the patient, and recognizing the plurality of markers based on the defined coordinate system Estimating coordinates for each of the two markers, generating an augmented reality image of the jawbone with respect to the estimated coordinates, and displaying the generated augmented reality image.
  • AR Augmented reality
  • a computer-readable recording medium having recorded thereon a program for executing the above method on a computer may be provided.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • the terms “... unit”, “module”, etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
  • a part of the specification is “connected” to another part, this includes not only “directly connected”, but also “connected with other elements in the middle”.
  • image may mean multi-dimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image).
  • image may include a medical image of the object obtained by the CT imaging apparatus.
  • a "computed tomography (CT) image” may mean a composite image of a plurality of X-ray images obtained by photographing an object while rotating about at least one axis of the object.
  • an "object” may include a person or animal, or part of a person or animal.
  • the subject may include organs such as bone, liver, heart, uterus, brain, breast, abdomen, or blood vessels.
  • a "user” may be a doctor, a nurse, a clinical pathologist, a medical imaging professional, or the like, and may be a technician who repairs a medical device, but is not limited thereto.
  • FIG. 1 is a block diagram showing an augmented reality system reflecting the movement estimation of the jaw bone of a patient according to an embodiment of the present invention.
  • Augmented Reality (AR) system 1000 reflecting the movement of the jaw of the patient according to an embodiment of the present invention
  • the image acquisition unit 100 for obtaining a CT image of the head and neck of the patient, obtained Image converter 200 for converting a CT image into a three-dimensional image, a coordinate system setting unit 300 for defining a coordinate system for the patient using a plurality of points included in the converted image, motion estimation of the jaw of the patient
  • a plurality of markers (10, 20, 30) attached to the patient for the marker recognition unit 400 for recognizing the plurality of markers attached to the patient, on each of the plurality of markers recognized based on the defined coordinate system
  • a coordinate estimator 500 for estimating the coordinates for the coordinates
  • an augmented reality image generator 600 for generating an augmented reality image of the jawbone with respect to the estimated coordinates
  • a display unit 700 for displaying the generated augmented reality image.
  • the image converting unit 200 may convert a CT image of the head and neck of the patient into a 3D image using DICOM (Digital Imaging and Communications in Medicine) data.
  • DICOM Digital Imaging and Communications in Medicine
  • the CT image of the head and neck of the patient may be converted into a 3D image.
  • the user may perform a surgical simulation on the patient by using the 3D image converted by the image converter 200.
  • the user may estimate in advance the target position of the patient's jawbone (eg, a point, a direction, etc. to be positioned through the surgery) through the surgery simulation on the patient.
  • Figure 2 is a schematic diagram of the augmented reality system reflecting the movement estimation of the jawbone of the patient according to an embodiment of the present invention.
  • the first marker 10 may be disposed on the support of the forehead area of the patient 1 located on the table for surgery.
  • the real-time movement path of the jawbone may be recognized (estimated) through the coordinate estimation 500 based on the second marker 20 attached to the wafer.
  • the augmented reality image generator 600 may generate an augmented reality image along the estimated movement path.
  • the reference point for the movement path tracking may be set by the third marker 30, and the movement path tracking of the markers 10, 20, and 30 may be performed in real time through the marker recognition unit 400.
  • the image converting unit 200, the coordinate system setting unit 300, the coordinate estimating unit 500, and the augmented reality image generating unit 600 may be configured to be included in a user device provided with the display unit 700.
  • the user device may be a personal computer (PC), a tablet PC, a notebook, a smartphone, or the like, but is not limited thereto.
  • the user device may be an electronic device capable of wired / wireless communication with another device.
  • the user device may be wired or wirelessly connected to a server provided in a medical institution such as a hospital.
  • the user device may be connected to a server 2000 such as a picture archiving and communication system (PACS), an electronic medical record (EMR), a personal health record (PHR), a radiology information system (RIS), and the like to allow the server to transmit patient information. Read, save, update, etc. can be performed.
  • PACS picture archiving and communication system
  • EMR electronic medical record
  • PHR personal health record
  • RIS radiology information system
  • the coordinate system setting unit 300 generates a Frankfort Horizontal Plane (FHP) for a patient by using three or more points in a 3D image, and generates a nasal point and a plane.
  • a midsagittal reference plane (MSRP) is generated using a basin, and a spatial coordinate of a patient may be defined at a center point at which two generated planes intersect.
  • the coordinate system according to an embodiment of the present invention may be newly defined using various points in addition to the above-described method.
  • the points for creating the Frankfort horizontal plane may include Porion, Obitale, and the like.
  • the point for generating the median sagittal plane may include Crista galli, Anterior nasal spine, Posterior nasal spine, Basion, Opisthion, Nasion, etc., and Crista galli, Anterior nasal spine, Basion or Crista galli, Anterior nasal spine, Opisthion Using the median sagittal reference plane may be generated.
  • 4A and 4B are examples of markers according to an embodiment of the present invention.
  • a plurality of markers according to one embodiment of the invention (10, 20, 30) is in the form of a polygon having different patterns displayed on each surface, a deployable first marker (M P) (10 adjacent to the forehead of the patient ), A second marker (M M ) 20 attachable to a wafer fabricated along the shape of the patient's teeth, and a third marker (M R ) for pointing a reference point for tracking the movement of the patient's jawbone ( 30).
  • Each surface of the markers may be marked with a different pattern as shown in FIG. 4A, and the pattern may perform an identifier function for each side of the marker.
  • each marker may be distinguished through a pattern included in the image acquired through the marker recognition unit 400, and the position (eg, coordinate information) of each marker may be recognized.
  • the first marker (MP) 10 may be disposed adjacent to the forehead of the patient 1. For example, it may be coupled to one end of the endotracheal intubation tube fixation support attached to the forehead of the patient 1 as in FIG. 2 of the patient 1.
  • the first marker (MP) 10 may be located on the top of the skull modeled as in FIG. 4A. In other words, the first marker (MP) 10 of FIG. 4A shows an example of a state attached to the forehead of the patient 1.
  • the second marker 20 may be attached to a wafer 21 manufactured along the shape of the tooth of the patient 1.
  • a surgical wafer to be used at the time of surgery may be prepared in advance using a synthetic material or the like suitable for the oral structure of a patient.
  • the second marker 20 attached to the wafer 21 may be a reference body for producing an augmented reality image of the maxilla of the patient 1.
  • the maxillary motion of the patient 1 may be estimated based on the motion information of the second marker 20 attached to the wafer 21, and an augmented reality image may be generated according to the estimated motion.
  • the third marker 30 may be used for the point (point of reference) to be a reference for tracking the movement of the jaw of the patient (1).
  • One end of the third marker 30 may have a pointed shape and may be used to designate a predetermined point (eg, a point between central incisors, etc.) in the patient's mouth.
  • 5 is an example of obtaining coordinate information of a marker according to an embodiment of the present invention.
  • the relationship between the patient 1 and the first marker 10 may be determined as shown in FIG. 5 based on the coordinate system defined by the coordinate system setting unit 300.
  • the relationship between the patient 1 and the second marker 20 can also be determined based on the defined coordinate system.
  • the coordinate value of the first marker 10 may be determined based on the center point of the coordinate system defined for the patient (eg ⁇ p ⁇ ), and the coordinate value of the second marker 20 may also be determined.
  • the initial coordinate value determination of the markers 10, 20, 30 may be referred to as registration.
  • the markers 10, 20, 30 may be registered on the system 1000 in the order of the first marker 10, the third marker 30, and the second marker 20.
  • the first marker 10 disposed adjacent to the forehead of the patient 1 is recognized by the marker recognition unit 400 and registered through the coordinate estimation unit 500 (eg, the marker recognition unit 400 is registered). After the coordinates are estimated according to the acquired image), a predetermined point in the oral cavity of the patient 1 is registered based on the third marker 30, and then the wafer on which the second marker 20 is attached.
  • the second marker 20 may be registered in a state in which 21 is in contact with the mouth of the patient 1.
  • FIG. 6 is an example of a marker recognition unit according to an embodiment of the present invention.
  • the marker recognition unit 400 may be a dual camera for acquiring an image for each marker on which a different pattern is displayed.
  • the marker recognition unit 400 may be a single camera.
  • System 1000 can determine the location of the head and neck, jaw, etc. of the patient in real time using a marker, the image obtained through the marker recognition unit 400 for real-time grasp of such a location This can be utilized.
  • the image captured by the marker recognition unit 400 may be used as a reference image for generating an augmented reality image.
  • the marker recognition unit 400 may be a camera including a plurality of photographing modules arranged side by side, preferably a dual camera.
  • the marker recognition unit 400 may be a combination of a plurality of photographing modules arranged horizontally or vertically.
  • the operation of the dual camera may be the same as the operation principle of the general dual camera.
  • FIG. 7 is an example of a screen illustrating a reference point designation process according to an embodiment of the present invention
  • FIG. 8 illustrates a reference point designated according to an embodiment of the present invention
  • 9A is an example of providing augmented reality using a marker according to an embodiment of the present invention
  • FIG. 9B is an example of providing estimated motion information of a jawbone according to an embodiment of the present invention.
  • a third marker (MR) 30 can be used for the point (pointing) of the reference point of the movement of the jaw of the patient (point), as shown in Figure 8 of the patient
  • the middle incisor may include a point P1, a right canine point P2, a left canine point P3, a right first molar point P4 and a left first molar point P5.
  • the point of FIG. 8 is an example for description, and the designation of the reference point may be differently determined by a surgical site, a bone cutting site, or the like.
  • the user may directly designate a reference point by using the third marker 30.
  • the reference point may be predetermined based on the surgical site, bone cutting site, and the like.
  • Information (eg, coordinate values) for the designated point may be displayed on the screen as shown in FIG. 7.
  • a change in coordinates of a point corresponding to a designated point on the wafer 21 that can move in correspondence with the movement of the jaw of the patient is transmitted to the second marker 20. Estimating based on this, the change in coordinates can be estimated by the distance value d from the designated point. The moving distance of each point may be different.
  • Information about the coordinates estimated by the coordinate estimator 500 according to an embodiment of the present invention is displayed through the display unit 700 in different colors according to the range of the movement distance value, and the movement distance value is 0 or more 1
  • Information about the coordinates may be displayed in green if less than millimeters, yellow if less than 1 millimeter and 1.5 millimeters, orange if less than 1.5 millimeters and less than 2 millimeters, and red in the range from greater than 2 millimeters to the travel value.
  • the motion information may be expressed in color according to the movement distance value. The user can intuitively grasp the movement amount through the expressed color.
  • FIG. 9B the motion information may be expressed in color according to the movement distance value. The user can intuitively grasp the movement amount through the expressed color.
  • distance represents a moving distance of each point from a reference point (for example, an initial position) according to the movement of the wafer, and offset represents each point in the x, y, and z axes in three-dimensional space. Indicates the distance traveled.
  • an augmented reality image VI_2 may be generated according to the movement estimated by the reference point and the second marker 20 as in 9a.
  • the generated augmented reality image VI_2 may be displayed through the display unit 700 together with the augmented reality image VI_1 of the patient's skull as described below with reference to FIG. 11.
  • FIG. 10 is a flowchart illustrating a method of providing augmented reality (AR) in which movement estimation of a jawbone of a patient is reflected according to an embodiment of the present invention.
  • AR augmented reality
  • Augmented reality providing method reflecting the movement of the jaw bone of the patient according to an embodiment of the present invention, obtaining a CT image of the head and neck of the patient (S100), converts the obtained CT image into a three-dimensional image Step S200, defining a coordinate system for the patient using a plurality of points included in the converted image (S300), recognizing a plurality of markers attached to the patient for estimating the movement of the jaw bone of the patient ( S400), estimating coordinates for each of the recognized plurality of markers based on the defined coordinate system (S500), generating an augmented reality image of the jawbone with respect to the estimated coordinates (S600) and the generated augmented reality image It may include the step (S700) to display.
  • FIG 11 is an example of augmented reality (AR) screen reflecting the estimated movement of the jaw bone of the patient provided according to an embodiment of the present invention.
  • AR augmented reality
  • the augmented reality image VI_1 of the patient's skull and the augmented reality image VI_2 based on the second marker 20 may be output together through the display unit 700.
  • the movement of the jaw of the patient estimated in real time is VI_2, which can be represented by an augmented reality image.
  • VI_1 and VI_2 are simultaneously provided, the user intuitively displays the current position and the target position of the jaw. Quick and accurate identification
  • the augmented reality image VI_2 may be output through the display unit 700 in correspondence with the movement.
  • the user can move the wafer and track in real time how the position of the jaw changes.
  • the movement information of the jaw bone is displayed in color as well as the numerical value
  • the user can predict the movement and position of the jaw bone by monitoring the movement of the augmented reality image VI_2 on the wafer corresponding to the jaw bone to be operated on.
  • the exact location of the jaw bone (eg, the last position of surgery) can be quickly and accurately detected.
  • Computer readable media can be any available media that can be accessed by a computer and includes both nonvolatile media, removable and non-removable media.
  • Computer readable media may include all computer storage media.
  • Computer storage media includes both non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예로써, 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템 및 증강현실 제공 방법이 개시될 수 있다. 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 시스템은, 환자의 두경부에 대한 CT 영상을 획득하기 위한 영상획득부, 획득된 CT 영상을 3차원 영상으로 변환하기 위한 영상변환부, 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하기 위한 좌표계설정부, 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들, 환자에 부착된 복수개의 마커들을 인식하기 위한 마커인식부, 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하기 위한 좌표추정부, 추정된 좌표에 대한 악골의 증강현실 영상을 생성하기 위한 증강현실 영상생성부 및 생성된 증강현실 영상을 디스플레이하기 위한 디스플레이부를 포함할 수 있다.

Description

환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
본 발명은 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 그 증강현실의 제공 방법에 관한 것이다.
악교정수술(orthognathic surgery)은 상악골이나 하악골의 성장이 정상에서 벗어나 과잉, 부족, 혹은 비대칭적인 상태를 가지고 있을 때 이러한 형태와 크기의 변이를 바로 잡기 위하여 행해지는 수술을 지칭한다. 악교정수술은 턱뼈(예컨대, 위 턱뼈 또는 아래 턱뼈)의 위치 변화를 가져오기 때문에 수술 전후에 교정 치료가 수반되는 것이 일반적이다. 수술의 모든 준비 단계와 수술 후의 교합을 조절하는 단계의 기간이 길고 치료도 복잡하므로 일반적인 수술과는 차이가 있다. 악교정수술 전 교정치료로 치아를 정렬하기 위한 치열교정 치료가 선행될 수 있다. 발치가 필요한 경우 발치가 수행될 수도 있다. 또한, 인상 채득, 사진 및 엑스선 촬영 등이 수행될 수 있다. 수술 시에 사용될 교합장치(surgical wafer)가 환자의 구강 구조 등에 적합하게 사전 제작될 수 있다. 악교정수술은 수술의 종류에 따라 수 시간 정도가 소요될 수 있고, 수술 후 재위치된 위아래 턱뼈를 기준으로 치열이 고른지, 기능상에 문제가 있지는 않은지를 검사한 후 교정치료가 수행될 수 있다.
악교정수술 준비 및 수행 과정이 까다롭고, 수술 시 소요 시간을 단축시키기 위하여 악교정수술 시 턱뼈가 교정 목표 위치에 빠르고 정확하게 위치하도록 할 필요가 있다.
본 발명은 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 그 증강현실의 제공 방법에 관한 것으로, 수술 시 환자의 악골의 움직임을 실시간으로 추정하여 증강현실 시스템으로 나타냄으로써 사용자가 악골의 현재 위치 및 목표 위치 등을 직관적으로 파악할 수 있도록 하기 위한 증강현실 시스템 및 그 증강현실의 제공 방법을 제안하고자 한다.
본 발명의 일 실시예로써, 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템 및 증강현실 제공 방법이 개시될 수 있다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템은, 환자의 두경부에 대한 CT 영상을 획득하기 위한 영상획득부, 획득된 CT 영상을 3차원 영상으로 변환하기 위한 영상변환부, 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하기 위한 좌표계설정부, 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들, 환자에 부착된 복수개의 마커들을 인식하기 위한 마커인식부, 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하기 위한 좌표추정부, 추정된 좌표에 대한 악골의 증강현실 영상을 생성하기 위한 증강현실 영상생성부 및 생성된 증강현실 영상을 디스플레이하기 위한 디스플레이부를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상변환부에서는 DICOM(Digital Imaging and Communications in Medicine) 데이터를 이용하여 환자의 두경부에 대한 CT 영상을 3차원 영상으로 변환할 수 있다.
또한, 본 발명의 일 실시예에 따른 좌표계설정부에서는 3차원 영상에서 3개 이상의 점들을 이용하여 환자에 대한 프랑크포트 수평(Frankfort Horizontal, FH)면을 생성하고, 비근점(Nasion)과 기저점(Basion)을 이용하여 정중시상 기준(midsagittal reference, MSR)면을 생성하며, 생성된 두 면이 교차하는 중심 지점에 환자에 대한 좌표계를 정의할 수 있다.
본 발명의 일 실시예에 따른 복수개의 마커들은 각각의 면에 상이한 패턴이 표시된 다각형의 형태이고, 환자의 이마에 인접하여 배치 가능한 제 1 마커(MP), 환자의 치아의 형상을 따라 제작된 웨이퍼에 부착 가능한 제 2 마커(MM), 환자의 악골의 움직임 추적의 기준지점의 지정(pointing)을 위한 제 3 마커(MR)일 수 있다.
본 발명의 일 실시예에 따른 마커인식부는 상이한 패턴이 표시된 각각의 마커에 대한 영상을 획득하기 위한 듀얼(dual) 카메라일 수 있다.
본 발명의 일 실시예에 따른 제 3 마커(MR)는 환자의 악골의 움직임 추적의 기준이 되는 지점의 지정(pointing)을 위하여 사용 가능하고, 지정된 지점에는 환자의 중절치 사이 지점, 우측 송곳니 지점, 좌측 송곳니 지점, 우측 제1대구치 지점 및 좌측 제1대구치 지점이 포함될 수 있다.
본 발명의 일 실시예에 따른 좌표추정부에서는 환자의 악골의 움직임과 상응하게 움직일 수 있는 웨이퍼 상에서의 지정된 지점과 상응하는 지점의 좌표의 변화를 제 2 마커(MM)에 기초하여 추정하고, 좌표의 변화는 지정된 지점으로부터의 이동거리 값으로 추정될 수 있다.
본 발명의 일 실시예에 따른 좌표추정부에 의하여 추정된 좌표에 대한 정보는 이동거리 값의 범위에 따라 상이한 컬러로 디스플레이부를 통하여 디스플레이되고, 이동거리 값이 0 이상 1 밀리미터 이하라면 녹색, 1초과 1.5 밀리미터 이하라면 노란색, 1.5초과 2밀리미터 이하라면 주황색, 2초과부터 이동거리 값의 한계값까지의 범위에서는 적색으로 좌표에 대한 정보가 디스플레이될 수 있다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 제공 방법은, 환자의 두경부에 대한 CT 영상을 획득하는 단계, 획득된 CT 영상을 3차원 영상으로 변환하는 단계, 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하는 단계, 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들을 인식하는 단계, 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하는 단계, 추정된 좌표에 대한 악골의 증강현실 영상을 생성하는 단계 및 생성된 증강현실 영상을 디스플레이하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 그 방법을 이용하면, 수술 시 실시간으로 추정된 환자의 악골의 움직임이 증강현실로 나타날 수 있고, 사용자는 악골의 현재 위치 및 목표 위치 등을 직관적으로 파악할 수 있다.
또한, 본 발명의 일 실시예에 따른 증강현실 시스템 및 그 방법을 이용하면, 악골의 이동 정보가 수치뿐만 아니라 컬러로 표시됨에 따라 사용자는 악골의 증강현실 영상의 모니터링을 통하여 악골의 움직임 및 위치를 예상할 수 있고, 악골의 정위치(예컨대, 목표 위치)를 빠르고 정확하게 탐색해낼 수 있다.
도 1은 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실 시스템의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 좌표계 정의의 일 예이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 마커의 일 예이다.
도 5는 본 발명의 일 실시예에 따른 마커의 좌표 정보 획득의 일 예이다.
도 6은 본 발명의 일 실시예에 따른 마커인식부의 일 예이다.
도 7은 본 발명의 일 실시예에 따른 기준 지점 지정 과정을 나타낸 화면의 일 예이다.
도 8은 본 발명의 일 실시예에 따라 지정된 기준 지점을 나타낸다.
도 9a는 본 발명의 일 실시예에 따른 마커를 이용한 증강현실 제공의 일 예이다.
도 9b는 본 발명의 일 실시예에 따른 악골의 추정된 움직임 정보 제공의 일 예이다.
도 10은 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 제공 방법을 나타낸 순서도이다.
도 11은 본 발명의 일 실시예에 따라 제공되는 환자의 추정된 악골의 움직임이 반영된 증강현실(AR) 화면의 일 예이다.
본 발명의 일 실시예로써, 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템 및 증강현실 제공 방법이 개시될 수 있다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템은, 환자의 두경부에 대한 CT 영상을 획득하기 위한 영상획득부, 획득된 CT 영상을 3차원 영상으로 변환하기 위한 영상변환부, 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하기 위한 좌표계설정부, 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들, 환자에 부착된 복수개의 마커들을 인식하기 위한 마커인식부, 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하기 위한 좌표추정부, 추정된 좌표에 대한 악골의 증강현실 영상을 생성하기 위한 증강현실 영상생성부 및 생성된 증강현실 영상을 디스플레이하기 위한 디스플레이부를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상변환부에서는 DICOM(Digital Imaging and Communications in Medicine) 데이터를 이용하여 환자의 두경부에 대한 CT 영상을 3차원 영상으로 변환할 수 있다.
또한, 본 발명의 일 실시예에 따른 좌표계설정부에서는 3차원 영상에서 3개 이상의 점들을 이용하여 환자에 대한 프랑크포트 수평(Frankfort Horizontal, FH)면을 생성하고, 비근점(Nasion)과 기저점(Basion)을 이용하여 정중시상 기준(midsagittal reference, MSR)면을 생성하며, 생성된 두 면이 교차하는 중심 지점에 환자에 대한 좌표계를 정의할 수 있다.
본 발명의 일 실시예에 따른 복수개의 마커들은 각각의 면에 상이한 패턴이 표시된 다각형의 형태이고, 환자의 이마에 인접하여 배치 가능한 제 1 마커(MP), 환자의 치아의 형상을 따라 제작된 웨이퍼에 부착 가능한 제 2 마커(MM), 환자의 악골의 움직임 추적의 기준지점의 지정(pointing)을 위한 제 3 마커(MR)일 수 있다.
본 발명의 일 실시예에 따른 마커인식부는 상이한 패턴이 표시된 각각의 마커에 대한 영상을 획득하기 위한 듀얼(dual) 카메라일 수 있다.
본 발명의 일 실시예에 따른 제 3 마커(MR)는 환자의 악골의 움직임 추적의 기준이 되는 지점의 지정(pointing)을 위하여 사용 가능하고, 지정된 지점에는 환자의 중절치 사이 지점, 우측 송곳니 지점, 좌측 송곳니 지점, 우측 제1대구치 지점 및 좌측 제1대구치 지점이 포함될 수 있다.
본 발명의 일 실시예에 따른 좌표추정부에서는 환자의 악골의 움직임과 상응하게 움직일 수 있는 웨이퍼 상에서의 지정된 지점과 상응하는 지점의 좌표의 변화를 제 2 마커(MM)에 기초하여 추정하고, 좌표의 변화는 지정된 지점으로부터의 이동거리 값으로 추정될 수 있다.
본 발명의 일 실시예에 따른 좌표추정부에 의하여 추정된 좌표에 대한 정보는 이동거리 값의 범위에 따라 상이한 컬러로 디스플레이부를 통하여 디스플레이되고, 이동거리 값이 0 이상 1 밀리미터 이하라면 녹색, 1초과 1.5 밀리미터 이하라면 노란색, 1.5초과 2밀리미터 이하라면 주황색, 2초과부터 이동거리 값의 한계값까지의 범위에서는 적색으로 좌표에 대한 정보가 디스플레이될 수 있다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 제공 방법은, 환자의 두경부에 대한 CT 영상을 획득하는 단계, 획득된 CT 영상을 3차원 영상으로 변환하는 단계, 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하는 단계, 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들을 인식하는 단계, 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하는 단계, 추정된 좌표에 대한 악골의 증강현실 영상을 생성하는 단계 및 생성된 증강현실 영상을 디스플레이하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
명세서 전체에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3차원 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.
본 명세서에서 "CT(Computed Tomography) 영상"란 대상체에 대한 적어도 하나의 축을 중심으로 회전하며 대상체를 촬영함으로써 획득된 복수개의 엑스레이 영상들의 합성 영상을 의미할 수 있다.
본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 뼈, 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다.
본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실 시스템을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템(1000)은, 환자의 두경부에 대한 CT 영상을 획득하기 위한 영상획득부(100), 획득된 CT 영상을 3차원 영상으로 변환하기 위한 영상변환부(200), 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하기 위한 좌표계설정부(300), 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들(10, 20, 30), 환자에 부착된 복수개의 마커들을 인식하기 위한 마커인식부(400), 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하기 위한 좌표추정부(500), 추정된 좌표에 대한 악골의 증강현실 영상을 생성하기 위한 증강현실 영상생성부(600) 및 생성된 증강현실 영상을 디스플레이하기 위한 디스플레이부(700)를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상변환부(200)에서는 DICOM(Digital Imaging and Communications in Medicine) 데이터를 이용하여 환자의 두경부에 대한 CT 영상을 3차원 영상으로 변환할 수 있다. 다시 말해서, 영상변환부(200)에서는 환자의 두경부에 대한 CT 영상이 3차원 영상으로 변환될 수 있다. 사용자는 영상변환부(200)를 통하여 변환된 3차원 영상을 이용하여 환자에 대한 수술 시뮬레이션을 수행해볼 수 있다. 사용자는 환자에 대한 수술 시뮬레이션을 통하여 환자의 턱뼈의 목표 위치(예컨대, 수술을 통하여 위치시키고자 하는 지점, 방향 등)를 미리 추정해볼 수 있다.
도 2는 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실 시스템의 개략도이다.
수술을 위한 테이블 상에 위치한 환자(1)의 이마 부위의 지지대 상에 제 1 마커(10)가 배치될 수 있다. 또한, 웨이퍼에 부착된 제 2 마커(20)에 기초하여 좌표추정부(500)를 통하여 턱뼈의 실시간 이동 경로가 인식(추정)될 수 있다. 추정된 이동 경로를 따라 증강현실 영상생성부(600)에서는 증강현실 영상이 생성될 수 있다. 제 3 마커(30)에 의하여 이동 경로 추적을 위한 기준 지점이 설정될 수 있으며, 마커들(10, 20 및 30)의 이동 경로 추적은 마커인식부(400)를 통하여 실시간으로 수행될 수 있다. 영상변환부(200), 좌표계설정부(300), 좌표추정부(500) 및 증강현실 영상생성부(600)는 디스플레이부(700)가 구비된 사용자 디바이스에 포함되도록 구성될 수 있다. 사용자 디바이스는 개인용 컴퓨터(PC), 태블릿 PC, 노트북, 또는 스마트폰 등일 수 있으나, 이에 한정되지는 않는다. 다시 말해서, 사용자 디바이스는 타 디바이스와 유/무선 통신이 가능한 전자 기기일 수 있다. 또한, 사용자 디바이스는 병원 등의 의료 기관에 마련된 서버와 유선 또는 무선으로 연결될 수 있다. 다시 말해서, 사용자 디바이스는 PACS(Picture Archiving and Communication System), EMR(Electronic Medical Record), PHR(Personal Health Record), RIS(Radiology Information System) 등과 같은 서버(2000) 등과 연결되어 서버로 하여금 환자 정보를 독출, 저장, 갱신 등을 수행하게 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 좌표계 정의의 일 예이다.
본 발명의 일 실시예에 따른 좌표계설정부(300)에서는 3차원 영상에서 3개 이상의 점들을 이용하여 환자에 대한 프랑크포트 수평면(Frankfort Horizontal Plane, FHP)을 생성하고, 비근점(Nasion)과 기저점(Basion)을 이용하여 정중시상 기준면(Midsagittal Reference Plane, MSRP)을 생성하며, 생성된 두 면이 교차하는 중심 지점에 환자에 대한 좌표계(patient coordinate)를 정의할 수 있다. 또한, 본 발명의 일 실시예에 따른 좌표계는 전술한 방식 이외에도 다양한 지점을 이용하여 새롭게 정의될 수 있다. 예를 들면, 프랑크포트 수평면 생성을 위한 점에는 Porion, Obitale 등이 포함될 수 있다. 또한, 정중시상기준면의 생성을 위한 점에는 Crista galli, Anterior nasal spine, Posterior nasal spine, Basion, Opisthion, Nasion 등이 포함될 수 있고, Crista galli, Anterior nasal spine, Basion 또는 Crista galli, Anterior nasal spine, Opisthion 을 이용하여 정중시상기준면이 생성될 수도 있다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 마커의 일 예이다.
본 발명의 일 실시예에 따른 복수개의 마커들(10, 20, 30)은 각각의 면에 상이한 패턴이 표시된 다각형의 형태이고, 환자의 이마에 인접하여 배치 가능한 제 1 마커(MP)(10), 환자의 치아의 형상을 따라 제작된 웨이퍼에 부착 가능한 제 2 마커(MM)(20), 환자의 악골의 움직임 추적의 기준지점의 지정(pointing)을 위한 제 3 마커(MR)(30)일 수 있다.
도 4a에서와 같이 마커들의 각각의 면에는 상이한 패턴이 표시되어 있을 수 있고, 이러한 패턴은 마커의 각면에 대한 식별자 기능을 수행할 수 있다. 다시 말해서, 마커인식부(400)를 통하여 획득된 영상에 포함된 패턴을 통하여 각각의 마커는 구별될 수 있고, 각각의 마커의 위치(예컨대, 좌표 정보)가 인식될 수 있다.
제 1 마커(MP)(10)는 환자(1)의 이마에 인접하여 배치될 수 있다. 예를 들면, 환자(1)의 도 2에서와 같이 환자(1)의 이마에 부착된 비기관내 삽관 튜브 고정용 지지대의 일 단에 결합될 수 있다. 설명의 편의 및 본 발명의 이해를 돕기 위하여 도 4a에서와 같이 모형으로 제작된 두개골 상단에 제 1 마커(MP)(10)가 위치할 수 있다. 다시 말해서, 도 4a의 제 1 마커(MP)(10)는 환자(1)의 이마에 부착된 상태의 예를 보여주고 있다.
또한, 제 2 마커(20)는 환자(1)의 치아의 형상을 따라 제작된 웨이퍼(21)(wafer)에 부착될 수 있다. 전술한 바와 같이 악교정수술 전, 수술 시에 사용될 교합장치(surgical wafer)가 환자의 구강 구조 등에 적합하게 합성소재 등을 이용하여 미리 제작될 수 있다. 웨이퍼(21)에 부착된 제 2 마커(20)는 환자(1)의 상악에 대한 증강현실 영상을 만들어 내기 위한 기준체가 될 수 있다. 다시 말해서, 웨이퍼(21)에 부착된 제 2 마커(20)의 움직임 정보에 기초하여 환자(1)의 상악 움직임이 추정될 수 있고, 추정된 움직임에 따라 증강현실 영상이 생성될 수 있다.
또한, 제 3 마커(30)는 환자(1)의 악골의 움직임 추적을 위하여 기준이 될 지점(예컨대, 기준지점)의 지정(pointing)을 위하여 사용될 수 있다. 제 3 마커(30)의 일 단부는 뾰족한 형상으로 환자의 구강 내 소정의 지점(예컨대, 중절치 사이 지점 등)을 지정에 활용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 마커의 좌표 정보 획득의 일 예이다.
환자(1)와 제 1 마커(10)와의 관계는 좌표계설정부(300)에 의하여 정의된 좌표계에 기초하여 도 5에서와 같이 결정될 수 있다. 또한, 환자(1)와 제 2 마커(20)와의 관계도 정의된 좌표계에 기초하여 결정될 수 있다. 다시 말해서, 환자에 대하여 정의된 좌표계(예컨대, {p})의 중심점에 기초하여 제 1 마커(10)의 좌표 값이 결정될 수 있고, 제 2 마커(20)의 좌표 값도 결정될 수 있다. 마커들(10, 20, 30)의 최초 좌표 값 결정은 등록(registration)이라고 지칭될 수 있다. 마커들(10, 20, 30)은 제 1 마커(10), 제 3 마커(30), 제 2 마커(20)의 순서로 시스템(1000) 상에 등록될 수 있다. 다시 말해서, 환자(1)의 이마에 인접하여 배치된 제 1 마커(10)가 마커인식부(400)를 통하여 인식되어 좌표추정부(500)를 통하여 등록(예컨대, 마커인식부(400)를 통하여 획득된 영상에 따라 좌표가 추정되는 과정)된 후, 제 3 마커(30)에 기초하여 환자(1)의 구강 내의 소정의 지점이 등록되고, 그리고 나서 제 2 마커(20)가 부착된 웨이퍼(21)가 환자(1)의 구강에 접촉된 상태로 제 2 마커(20)가 등록될 수 있다.
도 6은 본 발명의 일 실시예에 따른 마커인식부의 일 예이다.
본 발명의 일 실시예에 따른 마커인식부(400)는 상이한 패턴이 표시된 각각의 마커에 대한 영상을 획득하기 위한 듀얼(dual) 카메라일 수 있다. 또한, 마커인식부(400)는 싱글 카메라일 수도 있다. 본 발명의 일 실시에에 따른 시스템(1000)은 마커를 이용하여 환자의 두경부, 악골 등의 위치를 실시간으로 파악할 수 있고, 이러한 위치의 실시간 파악을 위하여 마커인식부(400)를 통하여 획득된 영상이 활용될 수 있다. 다시 말해서, 마커인식부(400)를 통하여 촬영된 영상은 증강현실 영상을 생성하기 위한 기준영상으로 활용될 수 있다.
본 발명의 일 실시예에 따르면, 마커인식부(400)는 나란히 배열된 복수개의 촬영 모듈을 포함하는 카메라일 수 있고, 바람직하게는 듀얼 카메라일 수 있다. 다시 말해서, 마커인식부(400)는 수평적 또는 수직적으로 배열된 복수개의 촬영 모듈들의 결합체일 수 있다. 듀얼 카메라의 동작은 일반적인 듀얼 카메라의 동작 원리와 동일할 수 있다.
도 7은 본 발명의 일 실시예에 따른 기준 지점 지정 과정을 나타낸 화면의 일 예이고, 도 8은 본 발명의 일 실시예에 따라 지정된 기준 지점을 나타낸다. 또한, 도 9a는 본 발명의 일 실시예에 따른 마커를 이용한 증강현실 제공의 일 예이고, 도 9b는 본 발명의 일 실시예에 따른 악골의 추정된 움직임 정보 제공의 일 예이다.
본 발명의 일 실시예에 따른 제 3 마커(MR)(30)는 환자의 악골의 움직임 추적의 기준이 되는 지점의 지정(pointing)을 위하여 사용 가능하고, 지정된 지점에는 도 8에서와 같이 환자의 중절치 사이 지점(P1), 우측 송곳니 지점(P2), 좌측 송곳니 지점(P3), 우측 제1대구치 지점(P4) 및 좌측 제1대구치 지점(P5)이 포함될 수 있다. 다만, 도 8의 지점은 설명을 위한 예시적인 것으로, 기준지점의 지정은 수술 부위, 골 절단 부위 등에 의하여 상이하게 결정될 수 있다. 도 7에서와 같이 사용자는 제 3 마커(30)를 이용하여 기준지점을 직접 지정할 수 있다. 또한 이러한 기준지점은 수술 부위, 골 절단 부위 등에 기초하여 미리 결정되어 있을 수도 있다. 지정된 지점에 대한 정보(예컨대, 좌표 값)는 도 7에서와 같이 화면에 표시될 수 있다.
본 발명의 일 실시예에 따른 좌표추정부(500)에서는 환자의 악골의 움직임과 상응하게 움직일 수 있는 웨이퍼(21) 상에서의 지정된 지점과 상응하는 지점의 좌표의 변화를 제 2 마커(20)에 기초하여 추정하고, 좌표의 변화는 지정된 지점으로부터의 이동거리 값(d)으로 추정될 수 있다. 각 지점의 이동거리는 상이할 수 있다.
본 발명의 일 실시예에 따른 좌표추정부(500)에 의하여 추정된 좌표에 대한 정보는 이동거리 값의 범위에 따라 상이한 컬러로 디스플레이부(700)를 통하여 디스플레이되고, 이동거리 값이 0 이상 1 밀리미터 이하라면 녹색, 1초과 1.5 밀리미터 이하라면 노란색, 1.5초과 2밀리미터 이하라면 주황색, 2초과부터 이동거리 값의 한계값까지의 범위에서는 적색으로 좌표에 대한 정보가 디스플레이될 수 있다. 도 9b에서와 같이 이동거리 값에 따라 움직임 정보가 컬러로 표현될 수 있다. 사용자는 표현된 컬러를 통하여 이동량을 직관적으로 파악할 수 있다. 도 9b에서 distance는 웨이퍼의 움직임에 따른 기준지점(예컨대, 초기위치)으로부터 각각의 지점들의 이동 거리를 나타내고, offset은 3차원 공간 상에서 각각의 지점들이 x축, y축, z축의 각각의 방향으로 이동한 거리를 나타낸다.
또한, 9a에서와 같이 기준지점과 제 2 마커(20)에 의하여 추정된 움직임에 따라 증강현실 영상(VI_2)이 생성될 수 있다. 생성된 증강현실 영상(VI_2)은 도 11과 관련하여 후술되는 바와 같이 환자의 두개골의 증강현실 영상(VI_1)과 함께 디스플레이부(700)를 통하여 디스플레이될 수 있다.
도 10은 본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 제공 방법을 나타낸 순서도이다.
본 발명의 일 실시예에 따른 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 제공 방법은, 환자의 두경부에 대한 CT 영상을 획득하는 단계(S100), 획득된 CT 영상을 3차원 영상으로 변환하는 단계(S200), 변환된 영상에 포함된 복수개의 점들을 이용하여 환자에 대한 좌표계를 정의하는 단계(S300), 환자의 악골의 움직임 추정을 위한 환자에 부착된 복수개의 마커들을 인식하는 단계(S400), 정의된 좌표계에 기초하여 인식된 복수개의 마커들 각각에 대한 좌표를 추정하는 단계(S500), 추정된 좌표에 대한 악골의 증강현실 영상을 생성하는 단계(S600) 및 생성된 증강현실 영상을 디스플레이하는 단계(S700)를 포함할 수 있다.
도 11은 본 발명의 일 실시예에 따라 제공되는 환자의 추정된 악골의 움직임이 반영된 증강현실(AR) 화면의 일 예이다.
환자의 두개골의 증강현실 영상(VI_1)과 제 2 마커(20)에 기초한 증강현실 영상(VI_2)은 디스플레이부(700)를 통하여 함께 출력될 수 있다. 본 발명의 일 실시예에 따라 실시간으로 추정된 환자의 악골의 움직임은 VI_2로서, 증강현실 영상으로 나타날 수 있고, VI_1과 VI_2가 동시에 제공됨에 따라 사용자는 악골의 현재 위치 및 목표 위치 등을 직관적으로 빠르고 정확하게 파악할 수 있다.
또한, 사용자가 웨이퍼를 움직임에 따라 이러한 움직임에 상응하게 이동되어 증강현실 영상(VI_2)이 디스플레이부(700)를 통하여 출력될 수 있다. 사용자는 웨이퍼를 움직여 가며 악골의 위치가 어떻게 변화하는지를 실시간으로 추적해가며 파악할 수 있다. 다시 말해서, 악골의 이동 정보가 수치뿐만 아니라 컬러로 표시됨에 따라 사용자는 수술 대상이 될 악골과 상응하는 웨이퍼 상의 증강현실 영상(VI_2)의 움직임 모니터링을 통하여 악골의 움직임 및 위치를 예상할 수 있고, 악골의 정위치(예컨대, 수술 최종 위치)를 빠르고 정확하게 탐색해낼 수 있다.
본 발명의 일 실시예에 따른 방법과 관련하여서는 전술한 시스템에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 시스템에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 환자의 악골의 움직임 추정이 반영된 증강현실(Augmented Reality, AR) 시스템으로서,
    상기 환자의 두경부에 대한 CT 영상을 획득하기 위한 영상획득부;
    상기 획득된 CT 영상을 3차원 영상으로 변환하기 위한 영상변환부;
    상기 변환된 영상에 포함된 복수개의 점들을 이용하여 상기 환자에 대한 좌표계를 정의하기 위한 좌표계설정부;
    상기 환자의 악골의 움직임 추정을 위한 상기 환자에 부착된 복수개의 마커들;
    상기 환자에 부착된 복수개의 마커들을 인식하기 위한 마커인식부;
    상기 정의된 좌표계에 기초하여 상기 인식된 복수개의 마커들 각각에 대한 좌표를 추정하기 위한 좌표추정부;
    상기 추정된 좌표에 대한 악골의 증강현실 영상을 생성하기 위한 증강현실 영상생성부; 및
    상기 생성된 증강현실 영상을 디스플레이하기 위한 디스플레이부를 포함하는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  2. 제 1 항에 있어서,
    상기 영상변환부에서는 DICOM(Digital Imaging and Communications in Medicine) 데이터를 이용하여 환자의 두경부에 대한 CT 영상을 3차원 영상으로 변환하는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  3. 제 2 항에 있어서,
    상기 좌표계설정부에서는 상기 3차원 영상에서 3개 이상의 점들을 이용하여 상기 환자에 대한 프랑크포트 수평(Frankfort Horizontal, FH)면을 생성하고, 비근점(Nasion)과 기저점(Basion)을 이용하여 정중시상 기준(midsagittal reference, MSR)면을 생성하며, 상기 생성된 두 면이 교차하는 중심 지점에 상기 환자에 대한 좌표계를 정의하는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  4. 제 1 항에 있어서,
    상기 복수개의 마커들은 각각의 면에 상이한 패턴이 표시된 다각형의 형태이고, 상기 환자의 이마에 인접하여 배치 가능한 제 1 마커(MP), 상기 환자의 치아의 형상을 따라 제작된 웨이퍼에 부착 가능한 제 2 마커(MM), 상기 환자의 악골의 움직임 추적의 기준지점의 지정(pointing)을 위한 제 3 마커(MR)인 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  5. 제 4 항에 있어서,
    상기 마커인식부는 상기 상이한 패턴이 표시된 각각의 마커에 대한 영상을 획득하기 위한 듀얼(dual) 카메라인 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  6. 제 4 항에 있어서,
    상기 제 3 마커(MR)는 상기 환자의 악골의 움직임 추적의 기준이 되는 지점의 지정(pointing)을 위하여 사용 가능하고, 상기 지정된 지점에는 상기 환자의 중절치 사이 지점, 우측 송곳니 지점, 좌측 송곳니 지점, 우측 제1대구치 지점 및 좌측 제1대구치 지점이 포함되는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  7. 제 6 항에 있어서,
    상기 좌표추정부에서는 상기 환자의 악골의 움직임과 상응하게 움직일 수 있는 상기 웨이퍼 상에서의 상기 지정된 지점과 상응하는 지점의 좌표의 변화를 상기 제 2 마커(MM)에 기초하여 추정하고, 상기 좌표의 변화는 상기 지정된 지점으로부터의 이동거리 값으로 추정되는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  8. 제 7 항에 있어서,
    상기 좌표추정부에 의하여 추정된 좌표에 대한 정보는 상기 이동거리 값의 범위에 따라 상이한 컬러로 상기 디스플레이부를 통하여 디스플레이되고,
    상기 이동거리 값이 0 이상 1 밀리미터 이하라면 녹색, 1초과 1.5 밀리미터 이하라면 노란색, 1.5초과 2밀리미터 이하라면 주황색, 2초과부터 이동거리 값의 한계값까지의 범위에서는 적색으로 상기 좌표에 대한 정보가 디스플레이되는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 시스템.
  9. 환자의 악골의 움직임 추정이 반영된 증강현실(AR) 제공 방법으로서,
    상기 환자의 두경부에 대한 CT 영상을 획득하는 단계;
    상기 획득된 CT 영상을 3차원 영상으로 변환하는 단계;
    상기 변환된 영상에 포함된 복수개의 점들을 이용하여 상기 환자에 대한 좌표계를 정의하는 단계;
    상기 환자의 악골의 움직임 추정을 위한 상기 환자에 부착된 복수개의 마커들을 인식하는 단계;
    상기 정의된 좌표계에 기초하여 상기 인식된 복수개의 마커들 각각에 대한 좌표를 추정하는 단계;
    상기 추정된 좌표에 대한 악골의 증강현실 영상을 생성하는 단계; 및
    상기 생성된 증강현실 영상을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 환자의 악골의 움직임 추정이 반영된 증강현실 제공 방법.
  10. 제 9 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2017/003037 2016-03-29 2017-03-21 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법 WO2017171295A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0037671 2016-03-29
KR1020160037671A KR101831514B1 (ko) 2016-03-29 2016-03-29 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법

Publications (1)

Publication Number Publication Date
WO2017171295A1 true WO2017171295A1 (ko) 2017-10-05

Family

ID=59966108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003037 WO2017171295A1 (ko) 2016-03-29 2017-03-21 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법

Country Status (2)

Country Link
KR (1) KR101831514B1 (ko)
WO (1) WO2017171295A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112113502A (zh) * 2020-09-10 2020-12-22 杭州三坛医疗科技有限公司 一种骨折块定位方法及装置
CN113470168A (zh) * 2021-06-30 2021-10-01 福建医科大学附属第一医院 基于增强现实的多维度颌骨虚实配准误差检测装置及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102082290B1 (ko) 2017-12-06 2020-02-27 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
KR102210341B1 (ko) * 2019-02-26 2021-02-01 오스템임플란트 주식회사 영상처리 및 시뮬레이션을 이용한 신경관 자동 검출방법 및 그 장치
KR102373429B1 (ko) * 2020-03-20 2022-03-15 부산대학교 산학협력단 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템
KR102373428B1 (ko) * 2020-03-20 2022-03-15 부산대학교 산학협력단 3차원 세팔로메트리를 위한 기준점 결정 방법 및 시스템
KR102378114B1 (ko) * 2020-04-01 2022-03-24 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018641A (ko) * 2002-08-26 2004-03-04 한국과학기술연구원 턱 운동 측정장치 및 측정방법
KR20050055035A (ko) * 2002-10-25 2005-06-10 시로나 덴탈 시스템스 게엠베하 파노라마 엑스레이 장치와 함께 사용되는 교합장치
KR20100119109A (ko) * 2009-04-30 2010-11-09 주식회사 서울씨앤제이 방사선 치료 이미지 생성시스템
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018641A (ko) * 2002-08-26 2004-03-04 한국과학기술연구원 턱 운동 측정장치 및 측정방법
KR20050055035A (ko) * 2002-10-25 2005-06-10 시로나 덴탈 시스템스 게엠베하 파노라마 엑스레이 장치와 함께 사용되는 교합장치
KR20100119109A (ko) * 2009-04-30 2010-11-09 주식회사 서울씨앤제이 방사선 치료 이미지 생성시스템
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHO, JIN HYUNG ET AL.: "Comparison of Midsagittal Reference Plane in PA Cephaiogram and 3D CT", THE KOREAN JOURNAL OF ORTHODONTICS, vol. 40, no. 1, February 2010 (2010-02-01), pages 6 - 15 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112113502A (zh) * 2020-09-10 2020-12-22 杭州三坛医疗科技有限公司 一种骨折块定位方法及装置
CN113470168A (zh) * 2021-06-30 2021-10-01 福建医科大学附属第一医院 基于增强现实的多维度颌骨虚实配准误差检测装置及方法
CN113470168B (zh) * 2021-06-30 2024-05-14 福建医科大学附属第一医院 基于增强现实的多维度颌骨虚实配准误差检测装置及方法

Also Published As

Publication number Publication date
KR20170111707A (ko) 2017-10-12
KR101831514B1 (ko) 2018-02-26

Similar Documents

Publication Publication Date Title
WO2017171295A1 (ko) 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
Somogyi‐Ganss et al. Accuracy of a novel prototype dynamic computer‐assisted surgery system
WO2016003255A2 (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
WO2016003257A2 (ko) 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
US11229503B2 (en) Implant surgery guiding method
US7133042B2 (en) Systems and methods for generating an appliance with tie points
EP1124487B1 (en) Dental image processing method and system
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
Ahn et al. Tracking accuracy of a stereo camera-based augmented reality navigation system for orthognathic surgery
WO2020133868A1 (zh) 一种牙科种植导航手术的标定、追踪方法和装置
KR20170091847A (ko) 임플란트 수술 가이드 방법
Lee et al. Virtual skeletal complex model-and landmark-guided orthognathic surgery system
JPH07311834A (ja) 画像処理装置及びその補助具
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
Tsuji et al. A new navigation system based on cephalograms and dental casts for oral and maxillofacial surgery
WO2001080763A2 (en) Systems and methods for generating an appliance with tie points
CN107802276B (zh) 头颅影像的描迹图绘制装置和方法
CN210784765U (zh) 兼具光学导航功能的数字化种植导板及种植系统
US11654002B2 (en) Method for determining and visualizing tooth movements and planned instances of tooth repositioning
CN114343906B (zh) 咬合垂直距离的获取方法、装置、介质及电子设备
WO2019199191A1 (en) Device and method for the recording of relative spatial movements of the upper and lower jaws
Otake et al. Real‐time mandibular movement analysis system using four‐dimensional cranial bone model
US12023191B2 (en) Apparatus for real-time visualizing a movement of a lower jaw versus an upper jaw in a craniomaxillofacial area of a patient in dental diagnostics
WO2023195576A1 (ko) Ai 기술을 활용한 치과 치료 시스템 및 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17775720

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17775720

Country of ref document: EP

Kind code of ref document: A1