WO2016200177A1 - 드릴링 가이드 장치 및 방법 - Google Patents

드릴링 가이드 장치 및 방법 Download PDF

Info

Publication number
WO2016200177A1
WO2016200177A1 PCT/KR2016/006127 KR2016006127W WO2016200177A1 WO 2016200177 A1 WO2016200177 A1 WO 2016200177A1 KR 2016006127 W KR2016006127 W KR 2016006127W WO 2016200177 A1 WO2016200177 A1 WO 2016200177A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
coordinate system
drill
drilling
tooth
Prior art date
Application number
PCT/KR2016/006127
Other languages
English (en)
French (fr)
Inventor
김건태
허다솜
Original Assignee
(주)시원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150162401A external-priority patent/KR101678910B1/ko
Application filed by (주)시원 filed Critical (주)시원
Publication of WO2016200177A1 publication Critical patent/WO2016200177A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08—Machine parts specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C3/00—Dental tools or instruments
    • A61C3/02—Tooth drilling or cutting instruments; Instruments acting like a sandblast machine

Definitions

  • Dental implants also known as an endosseous implants or fixtures interface with the jawbone or skull to support or correct crowns, bridges, dentures, facial prosthesis, etc.
  • a surgical structure that functions as an orthodontic anchor is also known as an endosseous implants or fixtures.
  • the process of placing the implant in the alveolar bone is based on the relationship between the adjacent and opposing teeth, the condition of the alveolar bone, and the exact depth and size according to the planed implant position and orientation based on the arch model and tomography (CT) images. drilling by diameter, and placing the implant in place. If this is not done correctly, it can be placed too close or too far from adjacent teeth, damaging adjacent roots or nerves, and increasing the risk of placing the implant out of the alveolar bone. Therefore, the drilling process must be performed accurately to improve the stability and / or functionality of the implant. In some cases, drilling plans that were planned prior to implant surgery through computerized tomography (CT) or X-ray imaging may need to be modified to suit the patient's condition as seen during surgery.
  • CT computerized tomography
  • X-ray imaging may need to be modified to suit the patient's condition as seen during surgery.
  • Patent Document 1 As a technique currently used in clinical practice, there is a guide production method of Patent Document 1 below. This method utilizes a tool that physically and structurally guides the drilling according to the preoperative planning, and there is a procedural inconvenience and inconvenience in that a separate mold must be manufactured. In addition, the drilling position, direction, etc. may need to be corrected according to the judgment of the medical person. The once manufactured frame is difficult to be modified within a short time.
  • Patent Document 2 a technique for electronically guiding a drilling direction using an acceleration sensor and a gyro sensor has been conceptually proposed. Measuring is not accurate. Given that the accuracy and speed of drilling angle tracking required during implantation is higher than those in other industries, a method that relies solely on gyro sensors or acceleration sensors may not be reliable.
  • a guide device that is at least temporarily implemented by a computing terminal.
  • the apparatus comprises: a processor for determining, from an input image provided by photographing a drilling bit, a first position and a first direction corresponding to a state in which the drilling bit is currently aligned with an object; And calculating at least one of a difference between a second position corresponding to a criterion set to drill the object and the first position, and a difference between a second direction and the first direction corresponding to the criterion according to the surgical planning. It includes a control unit for outputting.
  • the processor identifies a plurality of points associated with the object in the input image, and determines the first position and the first direction using the plurality of points.
  • the plurality of points is a feature point included in at least one of a gum and a tooth.
  • the plurality of points may be three points by way of example, but not limitation.
  • at least one of the plurality of points corresponds to a radiopaque material disposed on the gum or tooth.
  • at least one of the plurality of points corresponds to a gutta percha head disposed on the gum or tooth.
  • at least one of the plurality of points corresponds to a tattoo point pre-colored on the gum or tooth.
  • the processor converts the first position and the first direction into a coordinate system that is the same as the second position and the second direction and provides the same.
  • the processor uses the position of the plurality of points and the normal direction of a plane formed by the plurality of points, between the reference coordinate system associated with the surgical planning and the object coordinate system associated with the camera viewpoint for capturing the input image.
  • the conversion can be performed by calculating the conversion function of.
  • the processor may render the augmented reality image by converting the second position and the second direction into the object coordinate system and outputting the guide portion in the form of a guide line. By this rendering, the drilling guide may be presented in the form of an augmented reality image.
  • the control unit releases the lock when the difference between the second position and the first position is equal to or less than a position threshold value and the difference between the second direction and the first direction is equal to or less than a direction threshold value.
  • the drill drive is controlled to enable rotational driving of the drilling bit.
  • the controller may be configured such that the difference between the second position and the first position exceeds the position threshold value or the difference between the second direction and the first direction is the direction threshold value during the rotational driving of the drilling bit. When exceeding, it is possible to control the drill drive so that the drilling drive is impossible by giving a warning sound or by setting the lock.
  • the controller may be configured such that the difference between the second position and the first position exceeds the position threshold value or the difference between the second direction and the first direction occurs during the rotational driving of the drilling bit.
  • the drill drive may be controlled such that the drilling drive proceeds in the reverse direction.
  • the processor may identify the remaining length of the drilling bit remaining in the alveolar bone as an image. And it can be judged by image recognition whether this residual length reaches the predetermined depth.
  • the controller may remove the drill by stopping the drill or applying reverse torque while giving feedback such as giving a warning sound.
  • the controller may gradually reduce the number of revolutions of the drill while switching to the reverse torque while the depth is approaching the threshold.
  • the controller may be configured to determine whether the difference between the second position and the first position is equal to or less than a position threshold value and whether the difference between the second direction and the first direction is equal to or less than a direction threshold value. At least one piece of information may be output to the user as feedback.
  • the type of feedback may be various, but illustratively, but not limited to, the feedback may include at least one of visual feedback with differential color values, auditory feedback via a beep alarm, and tactile haptic feedback using a vibration motor. It may include.
  • a guide apparatus is provided that is at least temporarily implemented by a computing terminal.
  • the apparatus includes: a reference coordinate system that identifies a plurality of points associated with the object from an input image, and uses the plurality of points to present an object coordinate system associated with the object and a criterion set to drill for the object in accordance with surgical planning
  • a control unit converting the drilling guide set on the reference coordinate system into the object coordinate system using the conversion function and outputting the converted guide.
  • the processor may calculate the transform function using the positions of the plurality of points and the normal direction of the plane of the plurality of points.
  • the plurality of points is a feature point included in at least one of a gum and a tooth.
  • at least one of the plurality of points corresponds to a radiofacial material (such as a barium additive) or a gata capturer disposed on the gum or tooth.
  • at least one of the plurality of points corresponds to a positive protrusion or a negative depression disposed on the gum or tooth.
  • at least one of the plurality of points corresponds to a tattoo point pre-colored on the gum or tooth. In another embodiment, it may correspond to a scratch or pin point inserted into soft or hard tissue. As described above, these embodiments are illustrative rather than limiting.
  • a method of performing a drilling guide by a computing terminal includes: identifying a reference position and a reference direction set for drilling an object in accordance with surgical planning, wherein the reference position and the reference direction are represented in a reference coordinate system; Obtaining a conversion function between an object coordinate system and the reference coordinate system from an input image provided by photographing the object in real time, and converting the reference position and the reference direction into a value on the object coordinate system; And visually synthesizing and outputting at least one of the reference position and the reference direction on the input image.
  • the method may further include identifying an alignment position and a direction of a drilling bit included in the input image, and comparing the difference between the reference position and the reference direction converted into a value on the object coordinate system to determine a drill alignment state. Confirming; And controlling to approve driving of the drill when the drill alignment state is aligned below a threshold.
  • the method may further comprise controlling the drill drive to prevent drilling if the drill alignment condition exceeds the threshold while the drill drive is in progress.
  • FIG. 1 illustrates a guide apparatus according to an embodiment.
  • FIG. 2 is a view for explaining the operation of the guide apparatus according to an embodiment.
  • 3A is a view illustrating a guide implemented as augmented reality on a display device by a guide device according to an embodiment.
  • 3B illustrates an embodiment in which a structure around an implant, such as a neural tube, a root, or a maxillary sinus boundary, is displayed in the form of a cross-sectional view by a guide device according to an embodiment.
  • an implant such as a neural tube, a root, or a maxillary sinus boundary
  • FIG. 4 illustrates a process in which a difference between a direction of a drilling bit and a guide direction is calculated and fed back according to an embodiment.
  • FIG. 5A is a diagram for explaining feature point extraction in a dental dental jaw (partial edentulous) oral cavity according to one embodiment.
  • FIG. 5B is a view for explaining feature point extraction in a completely edentulous oral cavity according to another embodiment.
  • 6A and 6B illustrate resin blocks and pins that may be used as markers in accordance with embodiments.
  • FIG. 7 is a diagram for describing a process of identifying an object coordinate system, according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a method of operating a guide apparatus, according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating an embodiment in which a drill is directly controlled according to a drill alignment state in a guide apparatus according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a process of performing drill control when a drill alignment state is not good during a drill operation according to an embodiment.
  • the apparatus 100 may include a processor 110 and a controller 120.
  • Apparatus 100 may be implemented at least temporarily by a computing terminal.
  • the computing terminal includes any type of electronic device, such as a personal computer, medical device, smartphone, tablet computer, wearable device.
  • the processor 110 and the controller 120 may each be a physical and / or logical element included in such an electronic device.
  • the processor 110 and the controller 120 may be implemented by dedicated hardware or general purpose computing resources controlled by software or an operating system.
  • the processor 110 and the controller 120 may be implemented together in one chip, and thus may be physically indistinguishable.
  • the implementation of such hardware resources may be changed by technology development or design change. Therefore, although it is understood that the functions, operations, and structures of the processor 110 and the controller 120 are distinguished from each other, the division may be interpreted differently according to embodiments.
  • an image is input to the device.
  • the input image is an example, but not limited to, an image of an oral cavity of an implant patient waiting for drilling.
  • the input image may be an image of photographing the oral cavity of the patient in real time at the time when the device 100 operates.
  • Implant position and orientation may be preplanned for this patient. Such planning may be automatically generated by the software using medical image data of the patient's oral cavity, and / or may include a surgical plan manually generated by a medical person with reference to such data.
  • a medical practitioner acquires an oral impression, builds a model, and obtains scan data. At this time, if necessary, attach the radio fake point.
  • CT imaging is performed, and the scan data and CT imaging results are matched to plan the implant position. While there are many ways of planning, it is understood throughout this specification that planning includes planning on where and how deep to drill in which direction. In addition, if there is only one location to be implanted, each planning will be done by location (or by tooth number).
  • a matching marker may be attached to the surgical site immediately before surgery. After the impression is taken, scan or oral scan to obtain the data, and match this data with the matching of the scan data and CT scan result. Later, during the actual operation, the captured image is matched with this data and displayed as an image.
  • the apparatus 100 recognizes a difference between a coordinate system of a camera viewpoint (called an object viewpoint) and a reference coordinate system which is a reference of 3D coordinates in the planning, by using an oral image which is currently captured and input.
  • This process can be understood as calculating a coordinate transformation function (or transformation vector) between the reference coordinate system and the object coordinate system.
  • coordinate transformation is performed to synthesize virtual information on a real object or an image of an object so that augmented reality may be precisely provided. Coordinate transformation will be described later in detail with reference to FIGS. 5 to 7. First, reference is made to FIG. 2 to describe the operation of the apparatus 100.
  • FIG. 2 is a view for explaining the operation of the guide apparatus according to an embodiment.
  • the oral part of the patient is photographed at the medical point of view.
  • Such photographing may be performed by a stand alone camera, but according to an embodiment, may be performed by a camera attached to glasses for augmented reality worn by a medical person.
  • the present invention is not limited to photographing an image in a wearable device, such as a wearable device in glasses, and providing augmented reality in the device.
  • the wearable device in the form of glasses will be described below. Again, these wearable devices are just one example application.
  • a device in the form of a transparent display is also possible.
  • the transparent display positioned between the medical practitioner and the patient conducting the surgery allows the medical practitioner to operate more freely and comfortably.
  • FIG. 3A shows a drilling guide in an augmented reality technique in a spectacle wearable device in accordance with this exemplary application.
  • the apparatus 100 recognizes an object coordinate system at the camera viewpoint using a plurality of feature points included in the image.
  • Feature points for this recognition can be either marker-based or markerless based.
  • the plurality of points is a feature point included in at least one of a gum and a tooth.
  • the gum generally refers to soft tissue surrounding the alveolar bone, but may also mean both soft tissue and hard tissue.
  • a feature point may be a corner of a tooth, an interdental point between a tooth and a tooth, a palatal rugae, and a palatal incisal paplla.
  • This markerless-based embodiment is possible because the implant part is localized, and in the case of patients with other teeth (children's teeth), multidimensional feature points are extracted to a very precise level from existing teeth without any markers. .
  • teeth protrude outwards and are commonly present in 3D data such as X-rays and CTs, it is very easy to extract tooth feature points from input images and match them with 3D data.
  • marker based recognition is also possible. Since the image of the patient's mouth is taken by X-ray or CT to facilitate the matching and coordinate transformation of feature points only when the marker is taken, the material used may be a material having radiopaque or radiocontrast characteristics. For example, these points may be points of radiopaque material previously placed by a medical person on the patient's gum or palate. For example, it is a gta capture or an impermeable resin block.
  • the points at which the medical person has previously tattooed a tattoo on the gum or tooth may be used.
  • the enumerations are illustrative rather than limiting.
  • the markers can be precisely aligned between the real-time image and the CT image data during surgery by additionally placing the marker and performing the scan again.
  • the processor may provide the position and direction of the implant at a specific position as a guide according to the planning as shown in the image 310 of FIG. 3.
  • the drilling plan of the medical person in the 3D data is displayed as an image 310 on the real object (gum). Will be.
  • Implant locations and orientations are also shown on CT cross-sections and X-rays, where the angle and location of the drill can be displayed in real time. The coordinate transformation will be described later in more detail, and the guidelines will be further described herein.
  • the guide image 310 may be in the form of an actual implant or an arrow, or may be in various forms such as a dashed line or a solid line. Only the depth (length) to be drilled may be marked separately. In addition to the image 310, various pieces of information may be displayed together with text or an image. For example, the patient's name, sex, age, disease classification, number of teeth that are currently being drilled, and comments on specifics previously left by the healthcare provider may optionally be presented.
  • the color of the image 310 is displayed differently according to the position of the teeth (whether the upper teeth or the lower teeth) or the type of teeth (such as the incisors or molar teeth) so that the system assists the medical personnel not to confuse the position. You may.
  • the image 310 may be animation or the like which is guided without stopping and moves in a direction in which the drill enters. These various visual processes can be prepared in a variety of ways to assist the caregiver and to prevent any possible medical mistakes.
  • the guide information may be presented together with the visual guideline or optionally voice. Embodiments in the case of a medical practitioner bringing the drill close to the gums will be described.
  • 3B illustrates not only an implant and a drill bit, but also a structure around the implant, such as a neural tube, a root, or a maxillary sinus boundary, such that a cross-sectional shape may be displayed on one side.
  • Drilling bit 401 is photographed and recognized in the course of the medical personnel to take the drill 400 in accordance with the image 310 provided as a guide.
  • image processing techniques such as Principal Component Analysis (PCA)
  • PCA Principal Component Analysis
  • the processor 110 recognizes the position where the drill is currently aligned and the axial direction 410, and automatically identifies which tooth part the drill is to be inserted in, and loads and provides an image 310 corresponding thereto.
  • the guide planned for tooth 12 (and optionally implant placement located in the axis image, position, CT section, standard X-ray, panorama) Virtual shapes, etc.), and when the drill is moved and aligned near the position of the tooth drill point 14, a guide planned for tooth 14 is displayed.
  • a guide planned for tooth 14 is displayed.
  • the process of presenting a drilling guide and feeding back alignment will be explained on the assumption that a particular tooth has been selected.
  • the controller 120 compares the direction of the guide image 310 with the position and direction of the central axis direction 410 in which the current drilling bit is aligned. As a result of this comparison, when the difference between the two is less than the threshold, it can be determined that the two match.
  • the controller 120 may visually present the comparison result. For example, by displaying the image 310 and the position and axial direction 410 of the implant together, it is possible for a medical person to immediately observe the degree of discrepancy / match between the two.
  • the color may be displayed in green if the difference between the two is less than or equal to the threshold, and in red if the difference exceeds the threshold.
  • Such feedback may be given instead of or in addition to auditory feedback and tactile feedback.
  • the auditory feedback may be an indication of whether the match is made through a beep sound or a voice
  • the tactile feedback may be haptic feedback using a vibration motor.
  • Various feedbacks, such as visual, tactile, auditory, etc. may be used selectively or together, as long as the medical personnel can intuitively recognize whether the drilling bit alignment direction coincides with the reference direction according to planning.
  • control unit 120 may further control the drilling drive in addition to the feedback of the drilling alignment state to the medical person.
  • the controller 120 may unlock the drill 400 when the difference between the center axis direction 410 of the drill bit and the guide image 310 is less than or equal to the threshold.
  • the drill is normally locked so that the drill drive cannot be triggered (so that the drill does not turn unless the drill is aligned properly even if the medical staff steps on the drill drive pedal), and the control unit 120 When it judges that it is good, it can be driven.
  • the control unit 120 may be connected to the driving unit of the drill 400 by wire or wirelessly to perform such control by sending a control command.
  • such guide presentation and feedback may be continuously performed while drilling is performed.
  • the controller 120 directly controls the drill to perform forward drilling. You can stop immediately. You can simply stop, but you can remove the drill by applying reverse torque.
  • living parts such as the human alveolar bone, it may be helpful to remove the drill immediately by applying reverse torque with a beep, as the drill may become lodged in the alveolar bone and difficult to remove.
  • feedback on the drilling situation can be performed in various ways using visual, auditory or tactile elements.
  • the processor 110 which performs image recognition may enter the gum and identify the length of the remaining drilling bit as an image to determine whether the drill has been entered by a predetermined depth. If the drilling part can tell the depth to be drilled in real time from the point where the drilling starts, or if it is recognized that it has been drilled to a predetermined depth, that is, if the remaining length of the drilling bit reaches the predetermined remaining length
  • the controller 120 may remove the drill by stopping the drill or applying reverse torque. In this process, the processor 110 and the control unit 120 do not move in the reverse direction at full rpm, but while the depth is approaching the threshold, while gradually decreasing the RPM while decreasing the ALMP, a warning sound and It is also possible to switch to reverse torque together.
  • the operator can visually see the drilling movements displayed by synthesizing the surrounding structures, such as neural tube, root, or maxillary sinus boundary, on the X-ray image, so that the preoperative plan can be modified or changed at any time during surgery. will be. It is also possible to determine the best implant position. Since the drilling in the living body and is used for medical activities that need to prevent the driving shock or operation error as much as possible, this technical consideration can contribute to the commercialization of the device (100). Hereinafter, the content of performing coordinate transformation using feature points will be described.
  • FIG. 5A is a diagram for explaining feature point extraction in a dental arch (partial dental cavity) oral cavity according to an embodiment.
  • FIG. An oral cavity of a dental clinic patient is shown.
  • the plurality of points used for image recognition are feature points included in at least one of a gum and a tooth. These feature points may be the corners of the teeth, the interdental points between the teeth, the palatal rugae, the palatal incisal papllia.
  • This markerless-based embodiment is possible because the implant part is localized, and in the case of patients with other teeth (children's teeth), multidimensional feature points are extracted to a very precise level from existing teeth without any markers. .
  • teeth are common in 3D data of medical images such as X-rays or CTs, and it is very easy to extract tooth feature points from input images and match them with 3D data. It should be noted, however, that when the tooth extraction is performed, the placement of the peripheral teeth that are not extracted may be slightly distorted, and thus, even in case of dental teeth, it may be necessary to additionally mark the marker feature points. Alternatively, a method of attaching the protruding marker to the teeth close to the sulcus for more precise matching may be useful.
  • 5B is a view for explaining feature point extraction in a (complete) edentulous oral cavity according to another embodiment.
  • This form may be used for the oral cavity of the illustrated edentulous patient, or for marking markers for improving accuracy even in the case of dental teeth.
  • the shape or number of markers may vary and the illustrated embodiments are exemplary only.
  • a marker in the form of being attached to a tooth or soft tissue is also possible on the part that is taken by the oral camera during surgery, and if the shape is special, it may be possible for one embodiment instead of a plurality.
  • three or more points are disposed on the same line that is not on the same line, they are reflected in the 3D data and also in the real-time photographed image, thereby enabling direction recognition by matching the two.
  • markers may be displayed at each vertex in the form of an equilateral triangle in order to reduce the amount of calculation and to be accurate.
  • the accuracy of image recognition may be improved by placing two or more marker portions of the equilateral triangle shape.
  • the material used as a marker may be a material having radiopaque or radiocontrast characteristics. .
  • these points may be points of radiopaque material previously placed by a medical person on the patient's gum or palate.
  • 6A and 6B illustrate a gtaporter and pin that may be used as a marker in accordance with embodiments.
  • 6A is used as a conventional dental article, but may be used as a marker according to embodiments.
  • a pin having a radiopaid material disposed on the head portion may be used. If it is difficult to inject the physical shape shown in Figure 6a and 6b into the patient's gums, the points that the medical person has previously tattooed the tattoo on the gum or teeth may be used. As such various embodiments exist, the enumerations are illustrative rather than limiting.
  • Position vector of the camera providing the input image for augmented reality
  • vector The direction vector from the position 710 of the first marker to The direction vector to the position 720 of the second marker
  • the scalar values r, s and t are the distance between the camera position and the markers.
  • these vectors may correspond to a plurality of points in the marker.
  • Principal vector as above Is computed for one or more, and is compared to a vector in the reference coordinate system in which the original 3D data was constructed, the vector transforms between coordinate systems using vector operations. Can be obtained. This To convert the object coordinate system to the reference coordinate system, and vice versa. Inverse of Using a transforming the planning guide on the reference coordinate system to the real object coordinate system may be used.
  • step 810 the reference position and reference direction set to drill the object in accordance with the surgical planning is identified.
  • a reference position and reference direction may be represented by a reference coordinate system.
  • operation 820 a transformation function between an object coordinate system and the reference coordinate system is obtained from an input image provided by photographing an object in real time. The process of calculating the coordinate transformation has been described above with reference to FIG. 7.
  • the guide is visually synthesized and output on the input image and / or the live image in operation 830. This process has been described above with reference to FIGS. 3 to 4.
  • step 9 is a flowchart illustrating an embodiment in which a drill is directly controlled according to a drill alignment state in a guide apparatus according to an exemplary embodiment.
  • the controller 120 determines whether the difference between the central axis direction 410 of the drill bit and the guide image 310 is equal to or less than a threshold, that is, whether the drill alignment is good (920). If it is determined that the drill alignment state is good according to this determination, the controller 120 may approve the driving so that the drill 400 can be driven (940). Otherwise, if the drill alignment state is not good, the driving is disapproved and the drill is kept locked, so that the drill driving is not triggered (930). Then, even if a medical person attempts to drive the drill, the drill does not rotate, thereby preventing a medical mistake.
  • FIG. 10 is a flowchart illustrating a process of performing drill control when a drill alignment state is not good during a drill operation according to an embodiment.
  • Guide presentation and feedback can be performed continuously while the drill is running. While the drilling bit is rotated and driven in step 1010, it is monitored whether the direction of the central axis of the current drilling bit is different from the direction of the guide image by more than a threshold, that is, the drill alignment is good. If the drill alignment state is not good because the difference is more than the threshold value, and / or the drill depth reaches the designated depth, the controller 120 directly controls the drill (1020). This direct control can be a stopping that immediately stops forward drilling. Furthermore, the drill can be removed by simply applying reverse torque without stopping. Detailed drill control has been described above with reference to FIG. 4.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

영상 장비를 이용하여 증강 현실 방식으로 드릴링 가이드를 수행하는 장치 및 방법이 제시된다. 수술 플래닝에 따라 오브젝트에 대한 드릴링을 하도록 설정된 기준 위치 및 기준 방향이 있는 경우, 이를 현재 촬영되는 오브젝트에 대해 오브젝트 좌표계로 변환하여 영상에 합성한다. 증강 현실 방식으로 드릴링 위치와 방향이 제시되어 의료인의 판단을 돕는다.

Description

드릴링 가이드 장치 및 방법
드릴 가이드 장치에 연관되며, 보다 상세하게는 수술을 위한 드릴링, 이를테면 치과 임플란트 드릴링 과정에서 의료인에게 시각적 가이드와 피드백을 제공하는 장치에 연관된다.
치과용 임플란트(dental implant; also known as an endosseous implant or fixture)는 턱뼈나 두개골과 인터페이스하여 크라운(crown), 브릿지(bridge), 덴처(denture), 안면 보철물(facial prosthesis) 등을 지지하거나, 교정 앵커(orthodontic anchor)로 기능하는 수술용 구조이다.
임플란트를 치조골에 식립하는 과정은 인접치나 대항치 관계, 치조골의 상태 등을 고러하고 악궁모형과 단층촬영(CT) 영상을 기반으로 하여 플래닝(planning) 된 임플란트 위치와 방향에 따라 정확한 깊이와 크기(diameter)로 드릴링을 하는 과정, 그리고 임플란트를 그 위치에 식립하는 과정을 포함한다. 이러한 드릴링이 정확히 되지 않는 경우 인접치아와 너무 가깝거나 멀게 식립될 수 있고, 인접치근 또는 신경을 손상시킬 수 있으며, 치조골 밖으로 임플란트가 위치될 위험성이 높아진다. 그러므로, 임플란트의 안정성 및/또는 기능성 향상을 위해서는 드릴링 과정이 정확하게 수행되어야 한다. 또한 경우에 따라서는 컴퓨터 단층촬영(CT: computerized tomography)이나 X-선 촬영 영상을 통해 임플란트 수술 전에 플래닝 했던 드릴링 계획이 수술 중에 확인되는 환자의 상태에 맞게 수정되어야 하는 경우도 있다.
최근 임상에서 사용되고 있는 기술로는 아래의 특허문헌 1의 가이드 제작 방법이 있다. 이러한 방법은 수술 전 플래닝에 따른 드릴링을 물리적이고 구조적으로 가이드 하는 도구를 활용하는 것인데, 별도의 틀을 제작해야 하는 절차적 번거로움과 불편이 있다. 더욱이 의료인의 판단에 따라 드릴링 위치, 방향 등이 수정되어야 하는 경우도 있는데, 한 번 제작된 틀은 짧은 시간 내에 수정되기 어렵다.
한편 아래 특허문헌 2와 같이 드릴링 방향을 가속도 센서, 자이로 센서 등을 활용하여 전자적으로 가이드하고자 하는 기술도 개념상으로 제시된 바 있으나, 자이로 센서와 가속도 센서를 통해 핸드피스 하우징의 각도나 환자 머리 방향을 측정하는 것은 정확도가 떨어진다. 임플란트를 하는 과정에서 요구되는 드릴링 각도 추적의 정확성과 신속성은 다른 산업의 그것들보다 높은 수준임을 고려하면 자이로 센서나 가속도 센서에만 의존하는 방법은 신뢰도가 높지 않을 수 있다.
일측에 따르면, 컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치가 제공된다. 장치는: 드릴링 비트를 촬영하여 제공되는 입력 영상으로부터, 상기 드릴링 비트가 오브젝트에 현재 정렬된 상태에 대응하는 제1 위치 및 제1 방향을 결정하는 프로세서; 및 수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준에 대응하는 제2 위치와 상기 제1 위치의 차이 및 상기 기준에 대응하는 제2 방향과 상기 제1 방향의 차이 중 적어도 하나를 계산한 결과를 출력하는 제어부를 포함한다. 일실시예에 따르면 상기 프로세서는 상기 입력 영상에서 상기 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 제1 위치 및 상기 제1 방향을 결정한다.
일실시예에 따르면 상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 상기 복수 개의 포인트들은 예시적으로, 그러나 한정되지 않게 3개의 포인트들일 수 있다. 그리고, 3 개의 포인트는 서로 크게 이격될수록, 다시 말해 3 개의 포인트가 이루는 삼각형 면적이 클수록 정확도가 높을 수 있다. 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 래이디오패이크 물질(radiopaque material)에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 가타포처(gutta percha) 헤드에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 미리 착색되는 타투 포인트에 대응한다. 또 다른 일실시예에 따르면 잇몸 또는 뼈 속에 삽입하는 스크류나 핀일 수 있다. 이러한 실시예들은 한정적인 것이 아니라 예시적인 것이며, 다른 형태로 포인트들이 식별될 수 있다.
한편 일실시예에 따르면 상기 프로세서는 상기 제1 위치 및 상기 제1 방향을 상기 제2 위치 및 상기 제2 방향과 동일한 좌표계로 변환하여 제공한다. 이 경우, 상기 프로세서는 상기 복수 개의 포인트들의 위치 및 상기 복수 개의 포인트들이 이루는 평면의 노말 방향을 이용하여, 상기 수술 플래닝에 연관되는 기준 좌표계와 상기 입력 영상을 촬영하는 카메라 시점에 연관되는 오브젝트 좌표계 사이의 변환 함수를 계산함으로써 상기 변환을 수행할 수 있다. 일실시예에 따르면 상기 프로세서는 상기 제2 위치 및 상기 제2 방향을 상기 오브젝트 좌표계로 변환하여 가이드 라인 형태로 디스플레이부에 출력함으로써 증강현실 영상을 렌더할 수 있다. 이러한 렌더링에 의해 증강현실 영상의 형태로 드릴링 가이드가 제시될 수 있다.
일실시예에 따르면 상기 제어부는 상기 제2 위치와 상기 제1 위치의 상기 차이가 위치 임계 값 이하이고 및 상기 제2 방향과 상기 제1 방향의 상기 차이가 방향 임계 값 이하인 경우 락을 해제하여 상기 드릴링 비트의 회전 구동이 가능하도록 드릴 구동부를 제어한다. 이 경우 상기 제어부는 상기 드릴링 비트의 회전 구동 중에 상기 제2 위치와 상기 제1 위치의 상기 차이가 상기 위치 임계 값을 초과하거나 또는 상기 제2 방향과 상기 제1 방향의 상기 차이가 상기 방향 임계 값을 초과하는 경우, 경계음을 주거나 상기 락을 설정하여 상기 드릴링 구동이 불가능하도록 상기 드릴 구동부를 제어할 수 있다. 일실시예에 따르면 상기 제어부는 상기 드릴링 비트의 회전 구동 중에 상기 제2 위치와 상기 제1 위치의 상기 차이가 상기 위치 임계 값을 초과하거나 또는 상기 제2 방향과 상기 제1 방향의 상기 차이가 상기 방향 임계 값을 초과하는 경우, 상기 드릴링 구동이 역방향으로 진행하도록 상기 드릴 구동부를 제어할 수도 있다.
일실시예에 따르면 프로세서는 치조골로 들어가고 남은 상기 드릴링 비트의 잔여 길이를 영상으로 식별할 수 있다. 그리고 이 잔여 길이가, 미리 지정된 깊이에 도달하는 지를 영상 인식으로 판단할 수 있다. 판단 결과에 따라 미리 지정된 깊이만큼 드릴링 비트가 잇몸으로 들어갔다고 인식되는 경우, 상기 제어부는 경계음을 주는 것과 같은 피드백을 하면서, 드릴을 스토핑 하거나 역방향 토크를 가해 드릴을 뺄 수 있다. 일실시예에 따르면 상기 드릴을 빼는 과정에서 제어부는 상기 깊이가 상기 임계치에 가까이 가고 있는 중에, 드릴의 회전수를 점차적으로 줄여 나아가다가 역방향 토크로 전환할 수 있다.
일실시예에 따르면 상기 제어부는 상기 제2 위치와 상기 제1 위치의 상기 차이가 위치 임계 값 이하인지의 여부 및 상기 제2 방향과 상기 제1 방향의 상기 차이가 방향 임계 값 이하인지의 여부 중 적어도 하나의 정보를 사용자에게 피드백으로 출력할 수 있다. 피드백의 종류는 여러 가지일 수 있는데, 예시적으로 그러나 한정되지 않게, 상기 피드백은 칼라 값을 차등화한 시각적 피드백, 경고 음 알람을 통한 청각적 피드백 및 진동 모터를 이용한 촉각적 햅틱 피드백 중 적어도 하나를 포함할 수 있다.
다른 일측에 따르면, 컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치가 제공된다. 장치는: 입력 영상으로부터 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 오브젝트에 연관되는 오브젝트 좌표계 및 수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준을 제시하는 기준 좌표계 사이의 변환 함수를 계산하는 프로세서; 및 상기 변환 함수를 이용하여 상기 기준 좌표계 상에서 설정된 드릴링 가이드를 상기 오브젝트 좌표계로 변환하여 디스플레이부를 통해 출력하는 제어부를 포함한다. 일실시예에 따르면 상기 프로세서는 상기 복수 개의 포인트들의 위치 및 상기 복수 개의 포인트들이 이루는 평면의 노말 방향을 이용하여, 상기 변환 함수를 계산할 수 있다.
일실시예에 따르면 상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 래이디오패이크 물질 (바륨 첨가물 등)이나 가타포처에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 양형의 돌출부 또는 음형의 함몰부에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 미리 착색되는 타투 포인트에 대응한다. 또 다른 실시예에서는 연조직이나 경조직에 삽입되는 스크률나 핀 포인트에 대응할 수도 있다. 상기한 바와 같이 이러한 실시예들은 한정적인 것이 아니라 예시적인 것이다.
또 다른 일측에 따르면, 컴퓨팅 단말이 드릴링 가이드를 수행하는 방법이 제공된다. 방법은: 수술 플래닝에 따라 오브젝트에 대한 드릴링을 하도록 설정된 기준 위치 및 기준 방향을 식별하는 단계 - 상기 기준 위치 및 상기 기준 방향은 기준 좌표계로 표현되어 있음 -; 상기 오브젝트를 실시간으로 촬영하여 제공되는 입력 영상으로부터 오브젝트 좌표계와 상기 기준 좌표계 사이의 변환 함수를 구하여 상기 기준 위치 및 상기 기준 방향을 상기 오브젝트 좌표계 상의 값으로 변환하는 단계; 및 상기 기준 위치 및 상기 기준 방향 중 적어도 하나를 상기 입력 영상 위에 시각적으로 합성하여 출력하는 단계를 포함한다. 일실시예에 따르면 방법은, 상기 입력 영상에 포함되는 드릴링 비트의 정렬 위치 및 방향을 식별하여, 상기 오브젝트 좌표계 상의 값으로 변환된 상기 기준 위치 및 상기 기준 방향과의 차이를 비교하여 드릴 정렬 상태를 확인하는 단계; 및 상기 드릴 정렬 상태가 임계치 이하로 정렬된 것인 경우 상기 드릴의 구동을 승인하는 제어를 하는 단계를 더 포함한다. 일실시예에 따르면 방법은, 상기 드릴 구동이 진행되는 동안, 상기 드릴 정렬 상태가 상기 임계치를 초과하는 경우 드릴링을 저지하도록 상기 드릴 구동을 제어하는 단계를 더 포함할 수도 있다.
도 1은 일실시예에 따른 가이드 장치를 도시한다.
도 2는 일실시예에 따른 가이드 장치의 동작을 설명하기 위한 도면이다.
도 3a는 일실시예에 따른 가이드 장치에 의해 디스플레이 장치에 가이드가 증강현실로 구현되는 모습을 도시한다.
도 3b는 일실시예에 따른 가이드 장치에 의해 임플란트 주변의 구조물, 이를테면 신경관, 치근, 또는 상악동 경계 등을 단면도의 형태로 표시하는 실시예를 설명한다.
도 4는 일실시예에 따라 드릴링 비트의 방향과 가이드 방향의 차이가 계산되고 피드백되는 과정을 도시한다.
도 5a는 일실시예에 따라 유치악(부분 무치악) 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다.
도 5b는 다른 일실시예에 따른 완전 무치악 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다.
도 6a 및 도 6b는 실시예들에 따라 마커로 이용될 수 있는 레진 블럭 및 핀을 도시한다.
도 7은 일실시예에 따른 오브젝트 좌표계의 식별 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 가이드 장치 동작 방법을 도시하는 흐름도이다.
도 9는 일실시예에 따른 가이드 장치에서 드릴 정렬 상태에 따라 드릴을 직접 제어하는 실시예를 도시하는 흐름도이다.
도 10은 일실시예에 따라 드릴 동작 중 드릴 정렬 상태가 좋지 않은 경우 드릴 제어를 수행하는 과정을 도시하는 흐름도이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 가이드 장치(100)를 도시한다. 장치(100)는 프로세서(110) 및 제어부(120)를 포함할 수 있다. 장치(100)는 컴퓨팅 단말에 의해 적어도 일시적으로 구현될 수 있다. 컴퓨팅 단말은 퍼스널 컴퓨터, 의료용 기기, 스마트폰, 태블릿 컴퓨터, 웨어러블 디바이스 등 임의의 형태의 전자 기기를 포함한다. 프로세서(110) 및 제어부(120)는 각각 이러한 전자 기기에 포함되는 물리적 및/또는 논리적 엘리먼트일 수 있다. 이를테면 전용 하드웨어(dedicated hardware) 또는 소프트웨어나 오퍼레이팅 시스템에 의해 제어되는 범용 연산 자원에 의해 프로세서(110) 및 제어부(120)가 구현될 수 있다. 또한 프로세서(110)와 제어부(120)가 하나의 칩에서 함께 구현되는, 따라서 물리적으로 구분되지 않는 것일 수도 있으며, 이러한 하드웨어 자원의 구현은 기술의 발달이나 설계 변경에 의해 얼마든지 변경될 수 있다. 따라서 프로세서(110)와 제어부(120)의 기능과 동작 및 구조가 서로 구분되는 것으로 이해되지만 실시예에 따라 이러한 구분이 다르게 해석되는 경우도 있을 수 있다.
일실시예에 따르면 장치에 영상이 입력된다. 입력되는 영상은 예시적으로, 그러나 한정되지 않게, 드릴링을 기다리고 있는 임플란트 환자의 구강을 촬영한 영상이다. 입력 영상은 장치(100)가 동작하고 있는 순간 실시간으로 환자의 구강을 촬영하고 있는 영상일 수 있다.
이 환자에 대해 임플란트 위치와 방향은 미리 플래닝되어 있을 수 있다. 이러한 플래닝은 환자의 구강 상태를 촬영한 의료 영상 데이터를 이용하여 소프트웨어에 의해 자동으로 생성된 것일 수도 있고, 및/또는 의료인이 이러한 데이터를 참고하여 매뉴얼하게 생성해 놓은 수술 계획을 포함하기도 한다.
수술 전까지의 과정에서, 의료인이 구강 인상을 채득하고 모델을 제작한 다음 스캔 데이터를 확보한다. 이 때 필요 시 래이디오패이크 포인트를 부착하여 진행한다. 그리고 CT 촬영을 하고, 스캔 데이터와 CT 촬영 결과를 정합하여 임플란트 위치 방향을 플래닝 하는 것이다. 플래닝에는 여러 가지가 있지만 본 명세서 전반적으로는 플래닝이, 어느 위치에 어떤 방향으로 얼마나 깊이 드릴을 할 것인지에 대한 계획을 포함하는 것으로 이해된다. 또한 임플란트를 할 위치가 하나가 아닐 때는 위치 별로 (또는 치아 번호 별로) 각각의 플래닝이 이루어져 있을 것이다.
한편 이렇게 플래닝이 되고 나면 수술 직전 수술 부위에 매칭 마커가 부착될 수 있다. 인상 채득 후 스캔 하거나 구강 스캔하여 데이터를 확보하고 이 데이터를 앞서 말한 스캔 데이터와 CT 촬영 결과의 매칭과 일치시킨다. 나중에 실제 수술 시에는 촬영된 영상이 이 데이터와 정합되어 영상으로 나타난다.
장치(100)는 현재 촬영되어 입력되고 있는 구강 영상을 이용하여 카메라 시점 (오브젝트 시점이라고 한다)의 좌표계와 상기 플래닝에서의 3D 좌표의 기준이 되는 기준 좌표계 사이의 차이를 인식한다. 이러한 과정은 상기 기준 좌표계와 상기 오브젝트 좌표계 사이의 좌표 변환 함수 (또는 변환 벡터)를 계산하는 것으로 이해될 수 있다. 증강 현실이 정밀하게 제공되기 위해 실제 오브젝트 또는 오브젝트의 영상 위에 가상 정보를 합성하여 제공하기 위해 이러한 좌표 변환을 하는 것이다. 좌표 변환에 대해서는 도 5 내지 도 7을 참조하여 상세히 후술할 것이다. 먼저, 장치(100)의 동작을 설명하기 위해 도 2 를 참조한다.
도 2는 일실시예에 따른 가이드 장치의 동작을 설명하기 위한 도면이다. 환자가 진료 의자에 누워 입을 벌리면 의료인 시점에서 이 환자의 구강 부분이 촬영된다. 이러한 촬영은 따로 배치된(stand alone) 카메라에 의해서 수행될 수도 있으나, 일실시예에 따르면 의료인이 착용하는 증강현실용 안경에 부착된 카메라에서 수행될 수도 있다. 본 발명이 웨어러블 기기, 이를테면 안경 형태의 웨어러블 기기에서 영상을 촬영하고 증강현실을 이 기기에서 제공하는 것에 한정되는 것은 아니다. 그러나 하나의 구현 가능한 실시예로서 안경 형태의 웨어러블 기기를 이하에서 설명하기로 한다. 다시 강조하건대 이러한 웨어러블 기기는 하나의 예시적 응용에 불과하다.
한편, 다른 응용에서는 투명한 디스플레이(transparent display) 형태의 기기도 가능하다. 수술을 집도하는 의료인과 환자 사이에 위치하는 투명한 디스플레이 형태가 되면 의료인은 더욱 자유롭고 편하게 수술할 수 있다.
도 3a는 이러한 예시적인 응용에 따라 안경형 웨어러블 기기에서 증강 현실 기법으로 드릴링 가이드가 이루어지는 모습이 도시된다. 웨어러블 기기에 연동되는 카메라가 환자의 구강 영상을 촬영하여 보내오면, 장치(100)는 영상에 포함된 복수 개의 특징점들을 이용하여 카메라 시점의 오브젝트 좌표계를 인식한다. 이러한 인식을 위한 특징점들은 마커 기반의 인식 또는 마커리스 기반의 인식 어느 쪽도 가능하다.
먼저 마커리스 기반의 인식을 설명한다. 일실시예에 따르면 상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 참고로 잇몸은 통상적으로 치조골을 싸고 있는 연조직을 의미하나, 연조직(soft tissue)과 치조골(hard tissue) 둘 다를 의미할 수도 있다. 상기와 같은 특징점은 치아의 모서리, 치아와 치아 사이의 치간 포인트, 입천장의 루게(palatal rugae), 파필라(palatal incisal paplla) 일 수 있다. 임플란트를 할 부분이 국부적이라서, 다른 치아가 있는 환자 (유치악 환자)의 경우 별다른 마커를 하지 않아도 현재 존재하는 치아들에서 다차원의 특징점들이 꽤 정교한 정도로 추출되기 때문에 이러한 마커리스 기반의 실시예가 가능하다. 특히 치아는 외부로 돌출되어 있고 그 자체로 X-레이나 CT 등 의료 영상을 3D로 구현한 데이터 내에도 공통적으로 존재하므로, 입력 영상에서 치아 특징점들을 추출해서 3D 데이터와 매칭하는 것이 매우 쉽다.
한편, 이러한 마커리스 기반의 인식을 대신하여 또는 이와 함께, 마커 기반의 인식도 가능하다. 환자의 구강을 X-레이나 CT로 촬영해도 이러한 마커가 촬영 되어야 특징점의 매칭 및 좌표 변환이 용이하기 때문에, 사용되는 물질은 방사선 불투과성 또는 방사선 컨트라스트 특성을 갖는 물질일 수 있다. 이를테면 이러한 포인트는 의료인이 환자의 잇몸이나 입천장 등에 미리 배치시켜 놓은 래이디오패이크 물질(radiopaque material)로 된 포인트들일 수 있다. 예를 들면 가타포처나 불투과성 레진 블록(resin block) 등이다.
또 다른 실시예에서는 의료인이 잇몸 또는 치아에 미리 타투(tattoo)를 착색시켜 놓은 포인트들이 이용될 수도 있다. 이처럼 다양한 실시예들이 존재하므로 열거된 것들은 한정적인 것이 아니라 예시적인 것이다.
이러한 마커들에 있어서, CT 영상과 구강 이미지 스캔 영상은 정합되어 있으므로, 수술 전에 이렇게 마커를 추가 배치하고 스캔을 다시 함으로써 수술 중 실시간 촬영되는 영상과 CT 영상 데이터 사이의 정합이 정교하게 이루어질 수 있다.
한편 일실시예에 따르면 상기 프로세서는 플래닝에 따라 특정 위치에 임플란트의 위치와 방향을 도 3의 이미지(310)과 같이 가이드로 제공할 수 있다. 상기와 같이 특징점들을 이용하여 기준 좌표계 상에 플래닝 된 임플란트의 위치와 방향이 카메라 시점에서 오브젝트를 바라본 오브젝트 좌표계로 변환되면 3D 데이터 내의 의료인의 드릴링 계획이 실제 오브젝트 (잇몸) 위에 이미지(310)로 표시되는 것이다. 또한 CT 단면도와 X-ray 상에 임플란트 위치와 방향이 도시되고 그 위에 드릴의 각도와 위치가 실시간으로 나타날 수 있다. 좌표 변환에 대해서는 더 상세히 후술하고, 여기서는 가이드라인에 대해 더 설명한다.
이러한 가이드 이미지(310)는 실제 임플란트 모양, 또는 화살표 모양일 수도 있고, 대시 라인, 실선 등 다양한 형태일 수 있다. 드릴이 되어야 할 깊이 (길이) 만큼만 표시가 따로 될 수도 있다. 또한, 이미지(310) 외에도 다양한 정보들이 함께 텍스트나 이미지로 표시될 수도 있다. 예를 들어, 환자의 이름, 성별, 나이, 질병 분류, 현재 드릴링이 되는 부분이 몇 번 치아 번호인지, 이전에 의료인이 남겨 둔 특이사항의 코멘트 등이 선택적으로 제시될 수도 있다.
또한, 치아의 위치 (상악의 치아 부분인지 하악의 치아 부분인지)나 치아의 종류(앞니인지 어금니인지 등)에 따라 이미지(310)의 색상이 다르게 표시되어 의료인이 위치를 혼동하지 않도록 시스템이 보조할 수도 있다. 또한 이미지(310)는 정지되지 않고 가이드 되어 드릴이 들어가는 방향으로 움직이는 애니매이션 등일 수도 있다. 이러한 다양한 시각적 처리는 의료인의 치료를 보조하고 혹시 있을 지 모를 의료적인 실수를 방지하기 위해 여러 가지로 준비될 수 있다. 나아가 시각적 가이드 라인과 함께 또는 선택적으로 음성으로 가이드라인 정보가 제시될 수도 있다. 의료인이 드릴을 잇몸에 가까이 가져가는 경우의 실시예들을 계속 설명한다.
도 3b는 일실시예에 따르면, 임플란트, 드릴 비트뿐만 아니라, 임플란트 주변의 구조물, 이를테면 신경관, 치근, 또는 상악동 경계 등을 단면도의 형태를 일측에 표시할 수 있다.
도 4는 일실시예에 따라 드릴링 비트의 방향과 가이드 방향의 차이가 계산되고 피드백되는 과정을 도시한다. 의료인이 드릴(400)을 가이드로 제공되는 이미지(310)에 맞게 가져가는 과정에서 드릴링 비트(401)가 촬영되어 인식된다. 주성분 분석(PCA: Principal Component Analysis) 등의 영상 처리 기법들을 이용하여 드릴링 비트의 중심 축 방향(410)과 위치, 그리고 길이 등이 인식될 수 있다.
현재 드릴링을 수행하려고 하는 위치가 어디인지, 몇 번 치아 위치인지는 의료인이 판단하고 의도하여 조작할 수 있다. 이를테면 의료인이 12번 치아 위치를 선택하면 12번 치아 위치에 대해 플래닝 된 이미지(310)가 표시되고 의료인이 드릴을 12번 치아 위치에 가까이 가져감으로써 이러한 인식과 비교가 수행되는 것이다. 그런데 다른 예에서, 임플란트를 위한 드릴링 위치가 복수 개인 환자의 경우, 드릴링 위치가 서로 혼동되어서는 안 된다. 따라서 프로세서(110)가 현재 드릴이 정렬된 위치와 축 방향(410)을 인식하여 지금 드릴이 들어갈 부분이 어떤 치아 부분인지를 자동으로 식별하여 그에 맞는 이미지(310)를 로드해서 제공하는 것이다. 구체적으로 말하면, 드릴이 12번 치아 드릴 포인트 위치 근처에 정렬되면 12번 치아에 대해 플래닝 된 가이드가 (또한 선택적으로는, 축 이미지, 위치, CT 단면도, 표준 X-ray, 파노라마 속에 위치된 임플란트 식립 가상 모양 등이 함께) 표시되고, 드릴을 옮겨서 14번 치아 드릴 포인트 위치 근처에 정렬되면 14번 치아에 대해 플래닝 된 가이드가 표시되는 것이다. 이러한 경우 의료인이 착각하여 12번에 대한 가이드가 제공되었을 때 우연히 방향이 비슷한 다른 치아의 드릴로 착각하여 조작 오류를 하는 실수가 방지된다. 다시 특정 치아에 대해 선택이 된 것을 전제하여 드릴링 가이드가 제시되고 정렬 정도가 피드백 되는 과정을 설명한다.
프로세서(110)에 의해 드릴 비트의 정렬 방향이 인식되면 제어부(120)는 가이드 이미지(310)의 방향과 현재 드릴링 비트가 정렬된 중심 축 방향(410)의 위치 및 방향을 비교한다. 이러한 비교 결과 양쪽의 차이가 임계치 이하가 되면 둘 사이는 일치하는 것으로 판단될 수 있다. 제어부(120)는 이러한 비교 결과를 시각적으로 제시할 수 있다. 이를테면 이미지(310)와 임플란트의 위치 및 축 방향(410)을 함께 디스플레이 함으로써 의료인이 둘 간의 불일치/일치 정도를 바로 관찰할 수 있도록 하는 것이 가능하다. 또한 색상을 이용하여 둘 사이의 차이가 임계치 이하이면 녹색으로, 차이가 임계치를 초과하면 빨간색으로 표시하는 것도 가능하다.
이러한 피드백은 시각적인 것 외에 이를 대신하거나 병행하여 청각적 피드백, 촉각적 피드백 등이 주어질 수도 있다. 청각적 피드백은 비프음이나 음성을 통해 상기 일치 여부를 알려주는 것일 수 있고, 촉각적 피드백은 진동 모터를 이용하여 햅틱 피드백을 주는 것일 수 있다. 드릴링 비트 정렬 방향이 플래닝에 따른 기준 방향과 일치하는지를 의료인이 직관적으로 인식하게 할 수 있는 것이라면, 시각, 촉각, 청각 등 다양한 피드백이 선택적으로 또는 함께 이용될 수 있다.
한편, 제어부(120)는 이렇게 의료인에게 드릴링 정렬 상태를 피드백하는 것에서 더 나아가 드릴 구동을 직접 제어할 수도 있다. 일실시예에 따르면 제어부(120)는 드릴 비트의 중심 축 방향(410)과 가이드 이미지(310)의 차이가 임계치 이하일 때 드릴(400)이 구동 가능하도록 언락(unlock)을 할 수 있다. 드릴은 평소에 락(lock)된 상태로 되어 드릴 구동이 트리거되지 못하고 있다가 (따라서 의료인이 드릴 구동 패달을 밟아도 드릴 정렬 상태가 좋지 않으면 드릴이 돌아가지 않음), 제어부(120)가 정렬 상태가 좋은 것으로 판단하는 경우에 구동 가능한 상태로 될 수 있다. 제어부(120)는 유선 또는 무선으로 드릴(400)의 구동부에 연결되어 제어 명령을 보내서 이러한 제어를 할 수 있다.
이상에서는 드릴링이 시작되기 전까지의 동작을 설명하였다. 일실시예에 따르면 이러한 가이드 제시 및 피드백은 드릴링이 수행되는 중에도 지속적으로 수행될 수 있다. 이를테면, 드릴링 비트가 회전하여 구동되는 중에, 현재 드릴링 비트의 중심 축 방향(410)이 가이드 이미지(310)의 방향과 상기 임계치 이상 차이가 나거나 하면 제어부(120)는 드릴을 직접 제어하여 정방향 드릴링을 즉시 멈출 수 있다. 단순히 스토핑(stopping)을 할 수도 있지만 역방향 토크를 가하여 드릴을 빼 낼 수 있다. 사람의 치조골과 같은 생체 부분에서는 드릴이 멈출 경우, 드릴이 치조골에 박혀서 빼기 어려워질 수 있기 때문에 즉시 경고음과 함께 역방향 토크를 가해서 드릴을 빼는 것이 도움이 될 수 있다. 이러한 직접 제어와 함께 또는 이를 대신하여 드릴링 상황에 대한 피드백은 시각적 요소, 청각적 또는 촉각적 요소를 이용하여 다양하게 수행될 수 있다.
또한, 영상 인식을 수행하는 프로세서(110)가 잇몸으로 들어가고 남은 드릴링 비트의 길이를 영상으로 식별하여, 미리 지정된 깊이만큼 드릴이 들어 갔는지를 판단하는 것도 가능하다. 치조정부에 드릴링이 시작되는 지점부터 드릴링 되는 깊이를 실시간으로 음성으로 또는 문자로 알려줄 수 있고, 미리 지정된 깊이만큼 드릴링 되었다고 인식되는 경우, 다시 말해 드릴링 비트의 잔여 길이가 미리 지정된 잔여 길이에 도달하는 경우, 제어부(120)는 드릴을 스토핑 하거나 역방향 토크를 가해 드릴을 뺄 수 있다. 프로세서(110)와 제어부(120)는 이 과정에서 풀 알피엠(full rpm)에서 바로 역방향으로 움직이는 것이 아니라, 깊이가 임계치에 가까이 가고 있는 중에, 알피엠을 줄여 나가면서 서서히 회전수를 감소 시키다가 경고음과 함께 역방향 토크로 전환하는 것도 가능하다. 물론 의료인 스스로 원래 계획된 깊이보다 더 드릴링 하고자 할 때는 수술 중에도 더 드릴링하고자 하는 깊이를 추가 입력 할 수도 있고, 수술 전에 이 플래닝을 수정하여 입력하면 그것이 반영된다. 실시예들에 따르면 술자는 시각적으로 주변 구조물, 이를테면 신경관, 치근, 또는 상악동 경계 등을 X-ray 영상 위에 합성되어 표시되는 드릴링의 움직을 볼 수 있으므로, 수술 중에라도 언제든지 술전 계획을 수정하거나 변경 가능한 것이다. 또한 최상의 임플란트 위치를 결정할 수 있다. 생체에 드릴링을 하는 것이고 구동 충격이나 조작 실수를 최대한 방지하는 것이 필요한 의료 행위에 사용되는 것이므로, 이러한 기술적 배려는 장치(100)의 상용화에 기여할 수 있다. 이하에서는 특징점들을 이용하여 좌표 변환을 수행하는 내용을 서술한다.
도 5a는 일실시예에 따라 유치악 (부분 무치악) 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다. 유치악 환자의 구강이 도시되었다. 일실시예에 따르면 영상 인식에 이용되는 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 이러한 특징점은 치아의 모서리, 치아와 치아 사이의 치간 포인트, 입천장의 루게(palatal rugae), 파필리아(palatal incisal papllia) 일 수 있다. 임플란트를 할 부분이 국부적이라서, 다른 치아가 있는 환자 (유치악 환자)의 경우 별다른 마커를 하지 않아도 현재 존재하는 치아들에서 다차원의 특징점들이 꽤 정교한 정도로 추출되기 때문에 이러한 마커리스 기반의 실시예가 가능하다. 특히 치아는 그 자체로 X-레이나 CT 등 의료 영상을 3D로 구현한 데이터 내에도 공통적으로 존재하므로, 입력 영상에서 치아 특징점들을 추출해서 3D 데이터와 매칭하는 것이 매우 쉽다. 다만 주의할 점은 발치(이를 뺌)를 하는 경우 발치하지 않은 주변 치아의 배치는 약간 틀어질 수 있으므로 유치악 환자의 경우에도 보조적으로 마커 방식의 특징점 표시가 필요할 수 있다. 또는 더욱 정밀한 매칭을 위해 술부에 가까운 치아에 돌출 마커를 부착하는 방법이 유용할 수 있다.
도 5b는 다른 일실시예에 따른 (완전) 무치악 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다. 도시된 무치악 환자의 구강의 경우, 또는 유치악인 경우에도 정확도 향상을 위해 마커를 표시하는 경우에 이러한 형태를 이용할 수 있다. 마커 형태나 개수는 다양할 수 있으며 도시된 실시예는 예시적인 것에 불과하다. 이를테면 수술 중에도 구강 카메라로 촬영이 되는 부위에 치아나 연조직에 부착되는 형태의 마커도 가능하며, 모양이 특수하다면 복수 개가 아니라 한 개인 실시예도 가능할 것이다. 동일한 선상에 있지 않은 곳에 세 개 이상의 포인트를 배치하는 경우, 이들이 3D 데이터에 반영되고 실시간 촬영 영상에도 반영 됨으로써, 양자의 매칭에 의한 방향 인식이 가능하다. 일실시예에 따르면 연산양을 줄이고 계산이 정확하게 되기 위해 정삼각형 형태로 각 꼭지점에 마커를 표시할 수 있다. 그리고 이러한 정삼각형 형태의 마커 부분을 두 곳 이상 두어서 영상 인식의 정확도를 높일 수 있다. 상술한 바와 같이 환자의 구강을 X-레이나 CT로 촬영해도 이러한 마커가 촬영 되어야 특징점의 매칭 및 좌표 변환이 용이하기 때문에, 마커로 사용되는 물질은 방사선 불투과성 또는 방사선 컨트라스트 특성을 갖는 물질일 수 있다. 이를테면 이러한 포인트는 의료인이 환자의 잇몸이나 입천장 등에 미리 배치시켜 놓은 래이디오패이크 물질(radiopaque material)로 된 포인트들일 수 있다.
프로세서(110)가 영상 인식을 할 때 특징점들의 복잡도가 높아질수록 인식 정확도가 높아진다. 도 6a 및 도 6b는 실시예들에 따라 마커로 이용될 수 있는 가타포처 및 핀을 도시한다. 도 6a에 도시된 가타포처는 종래 치과 용품으로 사용되는 것인데 실시예들에 따른 마커로 이용될 수 있다. 또한 도 6b에 도시된 형태와 같이 헤드 부분에 래이디오패이크 물질이 배치된 핀이 활용될 수도 있다. 도 6a와 6b에서 도시된 물리적 형태를 환자 잇몸에 박아 넣는 것이 어려운 경우에는 의료인이 잇몸 또는 치아에 미리 타투(tattoo)를 착색시켜 놓은 포인트들이 이용될 수도 있다. 이처럼 다양한 실시예들이 존재하므로 열거된 것들은 한정적인 것이 아니라 예시적인 것이다.
도 7은 일실시예에 따른 오브젝트 좌표계의 식별 과정을 설명하기 위한 도면이다. 입력 영상에서 프로세서(110)에 의해 특징점들이 인식되면 이들의 노말 방향이 계산될 수 있다. 증강현실을 위해 입력 영상을 제공하는 카메라의 위치 벡터
Figure PCTKR2016006127-appb-I000001
라고 하고, 벡터
Figure PCTKR2016006127-appb-I000002
로부터 제1 마커의 위치(710)로의 방향 벡터를
Figure PCTKR2016006127-appb-I000003
제2 마커의 위치(720) 로의 방향 벡터를
Figure PCTKR2016006127-appb-I000004
제3 마커의 위치(730)로의 방향 벡터를
Figure PCTKR2016006127-appb-I000005
으로 표현하면, 각 마커들의 위치 벡터
Figure PCTKR2016006127-appb-I000006
및
Figure PCTKR2016006127-appb-I000007
는 아래 수학식과 같이 표현된다. 스칼라 값 r, s 및 t는 카메라 위치와 마커들 사이의 거리이다. 물론 마커가 하나인 예에서 이 벡터들은 마커 내의 복수 개의 포인트들에 대응할 수도 있다.
Figure PCTKR2016006127-appb-I000008
그러면, 스칼라 r, s 및 t는 아래 수학식 2의 방정식을 풀어서 구할 수 있다.
Figure PCTKR2016006127-appb-I000009
이렇게 마커의 위치 벡터들
Figure PCTKR2016006127-appb-I000010
및
Figure PCTKR2016006127-appb-I000011
가 구해지면, 포인팅 위치의 위치 벡터
Figure PCTKR2016006127-appb-I000012
가 구해질 수 있다. 그러면, 마커들 위치의 중심점으로부터, 노말(normal) 방향으로 h 만큼 떨어져 있다. 벡터
Figure PCTKR2016006127-appb-I000013
는 마커들 위치가 이루는 평면의 노말 벡터이다. 그리고 아래 수학식을 참조하면 마커의 위치 벡터들
Figure PCTKR2016006127-appb-I000014
및
Figure PCTKR2016006127-appb-I000015
로부터 주방향 벡터
Figure PCTKR2016006127-appb-I000016
를 구할 수 있다.
Figure PCTKR2016006127-appb-I000017
Figure PCTKR2016006127-appb-I000018
상기와 같이 주방향 벡터
Figure PCTKR2016006127-appb-I000019
를 하나 이상에 대해 구하고, 원래 3D 데이터가 구축된 기준 좌표계에서의 벡터와 비교하면 벡터 연산을 이용하여 좌표계 간의 변환 벡터
Figure PCTKR2016006127-appb-I000020
를 구할 수 있다. 이
Figure PCTKR2016006127-appb-I000021
를 이용하여 오브젝트 좌표계를 기준 좌표계로 변환할 수 있고, 반대로
Figure PCTKR2016006127-appb-I000022
의 역인
Figure PCTKR2016006127-appb-I000023
을 이용하여 기준 좌표계 상의 플래닝 가이드를 현실의 오브젝트 좌표계 쪽으로 변환할 수도 있다.
도 8은 일실시예에 따른 가이드 장치 동작 방법을 도시하는 흐름도이다. 일실시예에 따르면 단계(810)에서, 수술 플래닝에 따라 오브젝트에 대한 드릴링을 하도록 설정된 기준 위치 및 기준 방향을 식별한다. 이러한 기준 위치 및 기준 방향은 기준 좌표계로 표현되어 있는 것일 수 있다. 그리고 단계(820)에서 오브젝트를 실시간으로 촬영하여 제공되는 입력 영상으로부터 오브젝트 좌표계와 상기 기준 좌표계 사이의 변환 함수를 구한다. 좌표 변환을 계산하는 과정은 도 7을 참조하여 상술하였다. 그리고 기준 위치 및 기준 방향이 오브젝트 좌표계 상의 값으로 변환이 되면, 입력 영상 및/또는 실사 위에 가이드를 시각적으로 합성하여 출력한다(830). 이러한 과정은 도 3 내지 도 4를 참조하여 상술하였다.
도 9는 일실시예에 따른 가이드 장치에서 드릴 정렬 상태에 따라 드릴을 직접 제어하는 실시예를 도시하는 흐름도이다. 단계(910)에서 가이드가 제시되면 제어부(120)는 드릴 비트의 중심 축 방향(410)과 가이드 이미지(310)의 차이가 임계치 이하인지, 다시 말해 드릴 정렬 상태가 좋은지 판단한다(920). 이 판단에 따라 드릴 정렬 상태가 좋다고 판단되면, 제어부(120)는 드릴(400)이 구동 가능하도록 구동 승인을 할 수 있다(940). 그렇지 않고 드릴 정렬 상태가 좋지 않으면 구동 불승인이 되고 드릴은 계속 락(lock)된 상태로 되어 드릴 구동이 트리거되지 못하고 있다(930). 그러면 의료인이 드릴 구동을 시키려 해도 드릴이 돌아가지 않아 의료적 실수를 방지할 수 있다.
도 10은 일실시예에 따라 드릴 동작 중 드릴 정렬 상태가 좋지 않은 경우 드릴 제어를 수행하는 과정을 도시하는 흐름도이다. 드릴이 구동되고 있는 중에도 가이드 제시 및 피드백은 지속적으로 수행될 수 있다. 단계(1010)에서 드릴링 비트가 회전하여 구동되는 중에, 현재 드릴링 비트의 중심 축 방향이 가이드 이미지의 방향과 임계치 이상 차이가 나는지, 다시 말해 드릴 정렬 상태가 좋은지를 모니터 한다. 그리고 만약 임계치 이상 차이가 나서 드릴 정렬 상태가 좋지 않으면, 및/또는 드릴 깊이가 지정된 깊이에 도달하면 제어부(120)는 드릴을 직접 제어한다(1020). 이러한 직접 제어는 정방향 드릴링을 즉시 멈추는 스토핑(stopping)일 수 있다. 나아가, 단순히 멈추지 않고 역방향 토크를 가하여 드릴을 빼 낼 수도 있다. 상세한 드릴 제어에 대해서는 도 4를 참조하여 상술하였다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치에 있어서,
    드릴링 비트를 촬영하여 제공되는 입력 영상으로부터, 상기 드릴링 비트가 오브젝트에 현재 정렬된 상태에 대응하는 제1 위치 및 제1 방향을 결정하는 프로세서; 및
    수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준에 대응하는 제2 위치와 상기 제1 위치의 차이 및 상기 기준에 대응하는 제2 방향과 상기 제1 방향의 차이 중 적어도 하나를 계산한 결과를 출력하는 제어부
    를 포함하는 가이드 장치.
  2. 제1항에 있어서,
    상기 프로세서는 상기 입력 영상에서 상기 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 제1 위치 및 상기 제1 방향을 결정하는 가이드 장치.
  3. 제2항에 있어서,
    상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점인 가이드 장치.
  4. 제2항에 있어서,
    상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 래이디오패이크 물질(radiopaque material)에 대응하는 가이드 장치.
  5. 제2항에 있어서,
    상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 양형 돌출부 블록 또는 음형의 함몰부에 대응하는 가이드 장치.
  6. 제2항에 있어서,
    상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 미리 착색되는 타투 포인트 및 부착되는 칼라 테이프 중 적어도 하나에 대응하는 가이드 장치.
  7. 제2항에 있어서,
    상기 프로세서는 상기 제1 위치 및 상기 제1 방향을 상기 제2 위치 및 상기 제2 방향과 동일한 좌표계로 변환하여 제공하는 가이드 장치.
  8. 제7항에 있어서,
    상기 프로세서는 상기 복수 개의 포인트들의 위치 및 상기 복수 개의 포인트들이 이루는 평면의 노말 방향을 이용하여, 상기 수술 플래닝에 연관되는 기준 좌표계와 상기 입력 영상을 촬영하는 카메라 시점에 연관되는 오브젝트 좌표계 사이의 변환 함수를 계산함으로써 상기 변환을 수행하는 가이드 장치.
  9. 제8항에 있어서,
    상기 프로세서는 상기 제2 위치 및 상기 제2 방향을 상기 오브젝트 좌표계로 변환하여 가이드 라인 형태로 디스플레이부에 출력함으로써 증강현실 영상을 렌더하는 가이드 장치.
  10. 컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치에 있어서,
    제공되는 입력 영상으로부터 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 오브젝트에 연관되는 오브젝트 좌표계 및 수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준을 제시하는 기준 좌표계 사이의 변환 함수를 계산하는 프로세서; 및
    상기 변환 함수를 이용하여 상기 기준 좌표계 상에서 설정된 드릴링 가이드를 상기 오브젝트 좌표계로 변환하여 디스플레이부를 통해 출력하는 제어부
    를 포함하는 가이드 장치.
PCT/KR2016/006127 2015-06-09 2016-06-09 드릴링 가이드 장치 및 방법 WO2016200177A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0081373 2015-06-09
KR20150081373 2015-06-09
KR10-2015-0162401 2015-11-19
KR1020150162401A KR101678910B1 (ko) 2015-06-09 2015-11-19 드릴링 가이드 장치

Publications (1)

Publication Number Publication Date
WO2016200177A1 true WO2016200177A1 (ko) 2016-12-15

Family

ID=57504712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006127 WO2016200177A1 (ko) 2015-06-09 2016-06-09 드릴링 가이드 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2016200177A1 (ko)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106725909A (zh) * 2017-03-01 2017-05-31 尚汝成 口腔种植定位器钻孔的装置及制备该装置把手的方法
WO2019133583A1 (en) * 2017-12-29 2019-07-04 Align Technology, Inc. Augmented reality enhancements for dental practitioners
US10380212B2 (en) 2016-07-27 2019-08-13 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
US10383705B2 (en) 2016-06-17 2019-08-20 Align Technology, Inc. Orthodontic appliance performance monitor
US10390913B2 (en) 2018-01-26 2019-08-27 Align Technology, Inc. Diagnostic intraoral scanning
US10449016B2 (en) 2014-09-19 2019-10-22 Align Technology, Inc. Arch adjustment appliance
US10470847B2 (en) 2016-06-17 2019-11-12 Align Technology, Inc. Intraoral appliances with sensing
US10504386B2 (en) 2015-01-27 2019-12-10 Align Technology, Inc. Training method and system for oral-cavity-imaging-and-modeling equipment
US10548700B2 (en) 2016-12-16 2020-02-04 Align Technology, Inc. Dental appliance etch template
US10595966B2 (en) 2016-11-04 2020-03-24 Align Technology, Inc. Methods and apparatuses for dental images
US10613515B2 (en) 2017-03-31 2020-04-07 Align Technology, Inc. Orthodontic appliances including at least partially un-erupted teeth and method of forming them
US10639134B2 (en) 2017-06-26 2020-05-05 Align Technology, Inc. Biosensor performance indicator for intraoral appliances
US10779718B2 (en) 2017-02-13 2020-09-22 Align Technology, Inc. Cheek retractor and mobile device holder
US10813720B2 (en) 2017-10-05 2020-10-27 Align Technology, Inc. Interproximal reduction templates
US10885521B2 (en) 2017-07-17 2021-01-05 Align Technology, Inc. Method and apparatuses for interactive ordering of dental aligners
US11026831B2 (en) 2016-12-02 2021-06-08 Align Technology, Inc. Dental appliance features for speech enhancement
US11045283B2 (en) 2017-06-09 2021-06-29 Align Technology, Inc. Palatal expander with skeletal anchorage devices
US11096763B2 (en) 2017-11-01 2021-08-24 Align Technology, Inc. Automatic treatment planning
US11103330B2 (en) 2015-12-09 2021-08-31 Align Technology, Inc. Dental attachment placement structure
US11116605B2 (en) 2017-08-15 2021-09-14 Align Technology, Inc. Buccal corridor assessment and computation
US11123156B2 (en) 2017-08-17 2021-09-21 Align Technology, Inc. Dental appliance compliance monitoring
US11219506B2 (en) 2017-11-30 2022-01-11 Align Technology, Inc. Sensors for monitoring oral appliances
US11273011B2 (en) 2016-12-02 2022-03-15 Align Technology, Inc. Palatal expanders and methods of expanding a palate
US11376101B2 (en) 2016-12-02 2022-07-05 Align Technology, Inc. Force control, stop mechanism, regulating structure of removable arch adjustment appliance
US11419702B2 (en) 2017-07-21 2022-08-23 Align Technology, Inc. Palatal contour anchorage
US11432908B2 (en) 2017-12-15 2022-09-06 Align Technology, Inc. Closed loop adaptive orthodontic treatment methods and apparatuses
US11534974B2 (en) 2017-11-17 2022-12-27 Align Technology, Inc. Customized fabrication of orthodontic retainers based on patient anatomy
US11534268B2 (en) 2017-10-27 2022-12-27 Align Technology, Inc. Alternative bite adjustment structures
US11554000B2 (en) 2015-11-12 2023-01-17 Align Technology, Inc. Dental attachment formation structure
US11564777B2 (en) 2018-04-11 2023-01-31 Align Technology, Inc. Releasable palatal expanders
US11576752B2 (en) 2017-10-31 2023-02-14 Align Technology, Inc. Dental appliance having selective occlusal loading and controlled intercuspation
US11596502B2 (en) 2015-12-09 2023-03-07 Align Technology, Inc. Dental attachment placement structure
US11633268B2 (en) 2017-07-27 2023-04-25 Align Technology, Inc. Tooth shading, transparency and glazing
US11931222B2 (en) 2015-11-12 2024-03-19 Align Technology, Inc. Dental attachment formation structures
US11937991B2 (en) 2018-03-27 2024-03-26 Align Technology, Inc. Dental attachment placement structure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110104230A (ko) * 2010-03-16 2011-09-22 서울대학교산학협력단 영상 유도 방법
US20140178832A1 (en) * 2012-12-21 2014-06-26 Anatomage Inc. System and method for providing compact navigation-based surgical guide in dental implant surgery
US20140186794A1 (en) * 2011-04-07 2014-07-03 3Shape A/S 3d system and method for guiding objects
KR101505785B1 (ko) * 2014-09-05 2015-03-25 남윤 치과 핸드피스용 드릴의 3차원 공간적 각도의 보정 장치 및 보정 방법
US20150140507A1 (en) * 2010-01-22 2015-05-21 Precision Through Imaging, Inc. Dental implantation system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150140507A1 (en) * 2010-01-22 2015-05-21 Precision Through Imaging, Inc. Dental implantation system and method
KR20110104230A (ko) * 2010-03-16 2011-09-22 서울대학교산학협력단 영상 유도 방법
US20140186794A1 (en) * 2011-04-07 2014-07-03 3Shape A/S 3d system and method for guiding objects
US20140178832A1 (en) * 2012-12-21 2014-06-26 Anatomage Inc. System and method for providing compact navigation-based surgical guide in dental implant surgery
KR101505785B1 (ko) * 2014-09-05 2015-03-25 남윤 치과 핸드피스용 드릴의 3차원 공간적 각도의 보정 장치 및 보정 방법

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11744677B2 (en) 2014-09-19 2023-09-05 Align Technology, Inc. Arch adjustment appliance
US10449016B2 (en) 2014-09-19 2019-10-22 Align Technology, Inc. Arch adjustment appliance
US10504386B2 (en) 2015-01-27 2019-12-10 Align Technology, Inc. Training method and system for oral-cavity-imaging-and-modeling equipment
US11931222B2 (en) 2015-11-12 2024-03-19 Align Technology, Inc. Dental attachment formation structures
US11554000B2 (en) 2015-11-12 2023-01-17 Align Technology, Inc. Dental attachment formation structure
US11596502B2 (en) 2015-12-09 2023-03-07 Align Technology, Inc. Dental attachment placement structure
US11103330B2 (en) 2015-12-09 2021-08-31 Align Technology, Inc. Dental attachment placement structure
US10383705B2 (en) 2016-06-17 2019-08-20 Align Technology, Inc. Orthodontic appliance performance monitor
US10470847B2 (en) 2016-06-17 2019-11-12 Align Technology, Inc. Intraoral appliances with sensing
US10509838B2 (en) 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
US10528636B2 (en) 2016-07-27 2020-01-07 Align Technology, Inc. Methods for dental diagnostics
US10585958B2 (en) 2016-07-27 2020-03-10 Align Technology, Inc. Intraoral scanner with dental diagnostics capabilities
US10606911B2 (en) 2016-07-27 2020-03-31 Align Technology, Inc. Intraoral scanner with dental diagnostics capabilities
US10380212B2 (en) 2016-07-27 2019-08-13 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
US10595966B2 (en) 2016-11-04 2020-03-24 Align Technology, Inc. Methods and apparatuses for dental images
US11026831B2 (en) 2016-12-02 2021-06-08 Align Technology, Inc. Dental appliance features for speech enhancement
US11376101B2 (en) 2016-12-02 2022-07-05 Align Technology, Inc. Force control, stop mechanism, regulating structure of removable arch adjustment appliance
US11273011B2 (en) 2016-12-02 2022-03-15 Align Technology, Inc. Palatal expanders and methods of expanding a palate
US10548700B2 (en) 2016-12-16 2020-02-04 Align Technology, Inc. Dental appliance etch template
US10779718B2 (en) 2017-02-13 2020-09-22 Align Technology, Inc. Cheek retractor and mobile device holder
CN106725909A (zh) * 2017-03-01 2017-05-31 尚汝成 口腔种植定位器钻孔的装置及制备该装置把手的方法
US10613515B2 (en) 2017-03-31 2020-04-07 Align Technology, Inc. Orthodontic appliances including at least partially un-erupted teeth and method of forming them
US11045283B2 (en) 2017-06-09 2021-06-29 Align Technology, Inc. Palatal expander with skeletal anchorage devices
US10639134B2 (en) 2017-06-26 2020-05-05 Align Technology, Inc. Biosensor performance indicator for intraoral appliances
US10885521B2 (en) 2017-07-17 2021-01-05 Align Technology, Inc. Method and apparatuses for interactive ordering of dental aligners
US11419702B2 (en) 2017-07-21 2022-08-23 Align Technology, Inc. Palatal contour anchorage
US11633268B2 (en) 2017-07-27 2023-04-25 Align Technology, Inc. Tooth shading, transparency and glazing
US11116605B2 (en) 2017-08-15 2021-09-14 Align Technology, Inc. Buccal corridor assessment and computation
US11123156B2 (en) 2017-08-17 2021-09-21 Align Technology, Inc. Dental appliance compliance monitoring
US10813720B2 (en) 2017-10-05 2020-10-27 Align Technology, Inc. Interproximal reduction templates
US11534268B2 (en) 2017-10-27 2022-12-27 Align Technology, Inc. Alternative bite adjustment structures
US11576752B2 (en) 2017-10-31 2023-02-14 Align Technology, Inc. Dental appliance having selective occlusal loading and controlled intercuspation
US11096763B2 (en) 2017-11-01 2021-08-24 Align Technology, Inc. Automatic treatment planning
US11534974B2 (en) 2017-11-17 2022-12-27 Align Technology, Inc. Customized fabrication of orthodontic retainers based on patient anatomy
US11219506B2 (en) 2017-11-30 2022-01-11 Align Technology, Inc. Sensors for monitoring oral appliances
US11432908B2 (en) 2017-12-15 2022-09-06 Align Technology, Inc. Closed loop adaptive orthodontic treatment methods and apparatuses
US10980613B2 (en) 2017-12-29 2021-04-20 Align Technology, Inc. Augmented reality enhancements for dental practitioners
WO2019133583A1 (en) * 2017-12-29 2019-07-04 Align Technology, Inc. Augmented reality enhancements for dental practitioners
US10813727B2 (en) 2018-01-26 2020-10-27 Align Technology, Inc. Diagnostic intraoral tracking
US11013581B2 (en) 2018-01-26 2021-05-25 Align Technology, Inc. Diagnostic intraoral methods and apparatuses
US10390913B2 (en) 2018-01-26 2019-08-27 Align Technology, Inc. Diagnostic intraoral scanning
US11937991B2 (en) 2018-03-27 2024-03-26 Align Technology, Inc. Dental attachment placement structure
US11564777B2 (en) 2018-04-11 2023-01-31 Align Technology, Inc. Releasable palatal expanders

Similar Documents

Publication Publication Date Title
WO2016200177A1 (ko) 드릴링 가이드 장치 및 방법
KR101678910B1 (ko) 드릴링 가이드 장치
US11191617B2 (en) Methods and apparatuses for dental images
US20210298878A1 (en) Augmented reality enhancements for dental practitioners
KR102057207B1 (ko) 3차원 구강 모델 분석방법 및 이를 포함하는 보철물 디자인 방법
US11229503B2 (en) Implant surgery guiding method
US9936166B2 (en) Method for planning a dental treatment
ES2717447T3 (es) Creación asistida por ordenador de una preparación de diente habitual usando análisis facial
JP4446094B2 (ja) 人体情報抽出装置
BR112020026114B1 (pt) Método e sistema que utilizam visualização aumentada
US20140234804A1 (en) Assisted Guidance and Navigation Method in Intraoral Surgery
KR102221530B1 (ko) 인접치 및 대합치와의 관계를 반영하여 크라운 위치를 결정하는 치과 임플란트 수술용 가이드 디자인 방법 및 그 장치
WO2017171295A1 (ko) 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
WO2014073818A1 (ko) 임플란트 영상 생성방법 및 임플란트 영상 생성 시스템
KR20170091847A (ko) 임플란트 수술 가이드 방법
KR102243185B1 (ko) 인공지능을 이용한 임플란트 수술 계획 수립 방법 및 이를 위한 의료영상 처리장치
WO2016200167A1 (ko) 치아교정 가이드 장치 방법
CN112972027A (zh) 一种利用混合现实技术的正畸微种植体植入定位方法
US20180036097A1 (en) Dental Precision Procedural Method and System
WO2022171911A1 (es) Mentonera optoelectronica occipital
US20170265962A1 (en) Assisted guidance and navigation method in intraoral surgery
KR102490579B1 (ko) 치과 로봇
WO2023195576A1 (ko) Ai 기술을 활용한 치과 치료 시스템 및 방법
WO2020060020A1 (ko) 엑스선 촬영 방법, 엑스선 촬영 장치 및 컴퓨터 판독 가능한 기록 매체
KR20210024356A (ko) 의료영상 정합 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807817

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807817

Country of ref document: EP

Kind code of ref document: A1