WO2016043560A1 - 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법 - Google Patents

옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법 Download PDF

Info

Publication number
WO2016043560A1
WO2016043560A1 PCT/KR2015/009842 KR2015009842W WO2016043560A1 WO 2016043560 A1 WO2016043560 A1 WO 2016043560A1 KR 2015009842 W KR2015009842 W KR 2015009842W WO 2016043560 A1 WO2016043560 A1 WO 2016043560A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
unit
marker
coordinate transformation
shape measuring
Prior art date
Application number
PCT/KR2015/009842
Other languages
English (en)
French (fr)
Inventor
이현기
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Priority to JP2017515177A priority Critical patent/JP6475324B2/ja
Priority to EP15843042.1A priority patent/EP3195823B1/en
Priority to US15/512,273 priority patent/US11206998B2/en
Priority to EP21211617.2A priority patent/EP3998035A3/en
Priority to CN201580050352.0A priority patent/CN107072720B/zh
Publication of WO2016043560A1 publication Critical patent/WO2016043560A1/ko
Priority to US17/534,696 priority patent/US20220079465A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Definitions

  • the present invention relates to a coordinate system matching method of an optical tracking system and an optical tracking system, and more particularly, to an optical tracking system and an optical tracking system matching method for tracking a patient or a surgical tool.
  • the present invention is derived from a study conducted as part of the Ministry of Knowledge Economy's industrial source technology development project. [Project unique number: 10040097, Title: Minimally invasive surgical robot system for medical surgery robot image based otolaryngology and neurosurgery surgery. Technology development].
  • the pre-recorded image includes a three-dimensional image obtained by MRI, CT scan, etc., and at the start of surgery, a registration that matches the coordinate system of the pre-recorded three-dimensional image and the patient's coordinate system is During the operation, it is necessary to grasp the position and posture change according to the movement of the patient or the surgical tool in real time. In addition, if the patient's posture changes during surgery, it is necessary to re-registrate the patient's coordinate system to continuously track the patient or the affected area.
  • a dynamic reference base has been utilized for such matching and tracking. That is, after attaching the dynamic reference device to the patient in advance, taking a 3D image such as CT, matching the coordinate system of the 3D image and the patient's coordinate system at the start of surgery, and then performing the dynamic reference during the operation. By tracking the surgical instrument based on the device, the position of the surgical instrument relative to the affected part of the patient is tracked. In this case, the 3D image needs to be taken in advance with the dynamic reference device fixed to the patient for registration, and strictly fixed to the patient for accurate tracking.
  • a 3D image such as CT
  • the conventional methods such as the difficulty of attaching the marker and the side effects caused by the nailing, the accuracy and reliability of the marker position change that may occur due to the bite of the teeth, the hassle of having to manufacture expensive stamps before surgery
  • problems such as the time and cost involved in the production and production.
  • the conventional methods even if the dynamic reference device is strictly fixed to the patient, when the patient moves, the distance, posture, etc. between the dynamic reference device and the affected part of the patient may change, so that accurate tracking is not achieved.
  • the surgery is performed under the assumption that the patient is not moving, but in reality, since the patient is often moved during the operation, it is difficult to achieve substantially accurate tracking.
  • the problem to be solved by the present invention is to provide an optical tracking system that can accurately and easily track a patient or a surgical tool at a lower cost in a shorter time.
  • Another object of the present invention is to provide a method of matching an optical tracking system that can accurately and easily track a patient or a surgical tool at a lower cost in a shorter time.
  • An optical tracking system for tracking a patient or a procedure for treating the patient using a three-dimensional image obtained before the procedure for the patient.
  • the optical tracking system includes a reference marker unit, a shape measuring unit, a tracking sensor unit, and a processing unit.
  • the reference marker portion is fixedly positioned relative to the patient.
  • the shape measuring unit measures a three-dimensional shape with respect to a predetermined portion of the patient corresponding to the three-dimensional image.
  • the tracking sensor unit senses the reference marker unit and the shape measuring unit to track the reference marker unit and the shape measuring unit, respectively.
  • the processor acquires a coordinate transformation relationship between the reference marker unit and the tracking sensor unit and a coordinate transformation relationship between the shape measuring unit and the tracking sensor unit based on a result sensed by the tracking sensor unit, and measures the shape.
  • the coordinate transformation relationship between the predetermined portion of the patient and the shape measuring unit is obtained based on the result measured by the unit, and the coordinate system of the patient relative to the reference marker unit is defined from the obtained coordinate transformation relationships.
  • the shape measuring unit may include a measuring device for measuring a three-dimensional shape for a predetermined portion of the patient corresponding to the three-dimensional image and a marker provided in the measuring device, the tracking sensor unit is The marker of the shape measuring unit may be sensed.
  • the processing unit may acquire a coordinate transformation relationship between the marker of the shape measuring unit and the tracking sensor unit and a coordinate transformation relationship between the measuring device of the shape measuring unit and the marker.
  • the coordinate transformation relationships may be represented by a coordinate transformation matrix
  • the processor may define a coordinate system of the patient relative to the reference marker unit by the following equation.
  • PR is the coordinate transformation matrix of the patient with respect to the reference marker unit
  • T1 is the coordinate transformation matrix of the reference marker unit with respect to the tracking sensor unit
  • T2 is the coordinate transformation matrix of the marker of the shape measuring unit with respect to the tracking sensor unit
  • T3 is the coordinate transformation matrix of the measuring device for the marker of the shape measuring unit
  • T4 is the coordinate transformation matrix of the patient for the measuring device of the shape measuring unit
  • the tracking sensor unit measures information for obtaining a coordinate transformation matrix T1 of the reference marker unit for the tracking sensor unit and a coordinate transformation matrix T2 of the marker of the shape measuring unit for the tracking sensor unit.
  • the shape measuring unit may measure information for obtaining the coordinate transformation matrix T4 of the patient with respect to the measuring device of the shape measuring unit.
  • the processor acquires the coordinate transformation matrices T1, T2, and T4 using the measured information, and measures the marker for the marker of the shape measuring unit from the obtained coordinate transformation matrices T1, T2, and T4.
  • the coordinate transformation matrix T3 and the coordinate transformation matrix PR of the patient with respect to the reference marker unit may be calculated.
  • the tracking sensor unit and the shape measuring unit may be measured two or more times.
  • the processing unit is a coordinate system of the three-dimensional image previously obtained before the procedure for the patient and the coordinate system of the patient defined relative to the reference marker unit is a three-dimensional shape measured by the shape measuring unit Can match on the basis.
  • the optical tracking system may include a marker and further include a treatment tool for treating the patient.
  • the tracking sensor unit may sense the marker of the surgical tool to track the marker of the surgical tool, and the processing unit may be configured between the reference marker unit and the tracking sensor unit based on a result of sensing by the tracking sensor unit. Acquiring a coordinate transformation relationship and a coordinate transformation relationship between the marker of the procedure tool and the tracking sensor unit, and using the coordinate system of the patient defined relatively to the obtained coordinate transformation relations and the reference marker unit. The coordinate system of the treatment tool relative to.
  • the processing unit, the coordinate system of the three-dimensional image previously obtained before the procedure for the patient and the coordinate system of the treatment tool defined relative to the patient, the coordinate system of the three-dimensional image and the patient Matching can be performed based on the matching result of the coordinate system.
  • the processor may redefine the coordinate system of the patient automatically or manually when the patient moves.
  • Coordinate system registration method of the optical tracking system the step of acquiring the three-dimensional image of the patient before the procedure for the patient, the reference marker portion fixed relative to the patient and the 3 Sensing by a tracking sensor unit a shape measuring unit for measuring a 3D shape of a predetermined part of the patient corresponding to the 3D image, based on a result detected by the tracking sensor unit, the reference marker unit and the tracking sensor unit Acquire a coordinate transformation relationship between the coordinate measuring relationship between the shape measuring unit and the tracking sensor unit, and the coordinate conversion relationship between the predetermined portion of the patient and the shape measuring unit based on the result measured by the shape measuring unit. Acquiring a position of the patient relative to the reference marker part from the obtained coordinate transformation relations; And a step of defining the system.
  • a coordinate transformation relationship between the reference marker unit and the tracking sensor unit and a coordinate transformation relationship between the shape measuring unit and the tracking sensor unit may be obtained, and between the predetermined portion of the patient and the shape measuring unit.
  • the acquiring coordinate transformation relationship may include acquiring a coordinate transformation relationship between the reference marker unit and the tracking sensor unit and a coordinate transformation relationship between the marker of the shape measuring unit and the tracking sensor unit. Acquiring a coordinate transformation relationship between a device and the marker and acquiring a coordinate transformation relationship between the patient and the measuring device of the shape measuring unit.
  • the coordinate system matching method of the tracking system after the step of defining the coordinate system of the patient relative to the reference marker unit from the obtained coordinate transformation relations, the coordinate system of the obtained three-dimensional image and the defined patient
  • the method may further include matching a coordinate system based on the 3D shape measured by the shape measuring unit.
  • the step of matching the coordinate system of the acquired three-dimensional image and the coordinate system of the patient defined the step of sensing a marker of the treatment tool for the patient, the tracking sensor Acquiring a coordinate transformation relationship between the reference marker unit and the tracking sensor unit and a coordinate transformation relationship between the marker of the surgical tool and the tracking sensor unit based on the result sensed by the unit and the obtained coordinate transformation relations And defining a coordinate system of the surgical tool relative to the patient using the coordinate system of the patient defined relative to the reference marker unit.
  • the coordinate system matching method of the tracking system after the step of defining the coordinate system of the treatment tool relative to the patient, the coordinate system of the acquired three-dimensional image and the coordinate system of the defined surgical tool coordinate system of the three-dimensional image And matching based on a matching result of the coordinate system of the patient.
  • a tracking sensor unit When the patient moves, sensing by a tracking sensor unit a reference marker unit fixed relative to the patient and a shape measuring unit measuring a 3D shape with respect to a predetermined portion of the patient corresponding to the 3D image; Can be repeated.
  • the optical tracking system is provided with a shape measuring unit to measure a three-dimensional shape for a predetermined portion of the patient, and the tracking sensor unit by sensing the shape measuring unit and the reference marker unit from the coordinate transformation relationship therebetween
  • the patient's coordinate system relative to the reference marker portion can be defined, and the patient and the instrument can be tracked in real time during the procedure.
  • the coordinate system can be accurately reset even when the patient moves or posture changes, the patient and the treatment tool Can accurately track in real time.
  • the coordinate system of the three-dimensional image obtained before the procedure and the real time during the procedure without attaching the dynamic reference device (DRB) directly to the patient.
  • the coordinate system of the patient and the procedure tool which can be moved to each other may be matched with each other.
  • the reference marker part does not need to be strictly fixed to the patient.
  • DRB dynamic reference device
  • FIG. 1 is a conceptual diagram illustrating an optical tracking system according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating a modeling process of the optical tracking system of FIG. 1.
  • FIG. 3 is a conceptual diagram illustrating tracking and registration of a surgical tool in the optical tracking system of FIG. 1.
  • FIG. 4 is a flowchart illustrating a coordinate system matching method of an optical tracking system according to an exemplary embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a conceptual diagram illustrating an optical tracking system according to an embodiment of the present invention.
  • An optical tracking system for tracking a patient or a surgical tool for treating a patient using a three-dimensional image obtained before the procedure for the patient.
  • the 3D image is an image previously acquired before the procedure for the patient 10, and may be used as a reference image during the procedure for the patient 10.
  • the procedure includes the entire medical treatment for the patient including surgery.
  • the 3D image may include a computed tomography (CT) image which is generally obtained in a hospital for diagnosis and treatment.
  • the three-dimensional image may include another three-dimensional image, such as magnetic resonance imaging (MRI).
  • CT computed tomography
  • MRI magnetic resonance imaging
  • the three-dimensional image is a concept including a manipulation or reconstruction of the image directly taken, such as a CT image, a concept that includes both a multi-plane reconstruction image and a three-dimensional reconstruction image that is widely used during the actual procedure .
  • the optical tracking system 100 includes a reference marker unit 110, a shape measuring unit 120, a tracking sensor unit 130, and a processing unit 140.
  • the reference marker unit 110 is fixedly disposed relative to the patient 10.
  • a marker 112 is installed at the reference marker unit 110, and the marker 112 may generate energy or a signal to enable sensing in the tracking sensor unit 130 described later.
  • the marker 112 may generate energy or a signal to enable sensing in the tracking sensor unit 130 described later.
  • a plurality of markers may be installed in the reference marker unit 110, and one marker having a predetermined pattern may be installed.
  • the reference marker unit 110 corresponds to a conventional dynamic reference device (DBR), but the reference marker unit 110 does not become a matching standard unlike the conventional dynamic reference device, and thus, the 3D such as CT and MRI. It is not necessary to attach it to the patient 10 when taking an image.
  • the conventional dynamic reference device must be directly attached to the patient 10 and strictly fixed to the patient 10, while the reference marker portion 110 is directly attached to the patient 10. Although it may be, it may be attached to another fixed object such as a bed of the operating room because it only needs to be fixed relative to the patient 10, it does not need to be strictly fixed to the patient (10).
  • the shape measuring unit 120 measures a 3D shape with respect to a predetermined portion of the patient 10 corresponding to the 3D image.
  • the shape measuring unit 120 may include a measuring device 122 and a marker 124.
  • the measuring device 122 measures a three-dimensional shape with respect to a predetermined portion of the patient 10 corresponding to the three-dimensional image.
  • the measuring device 122 irradiates a grid patterned light to a predetermined portion of the patient 10, and acquires a reflection image of the predetermined portion of the patient 10 according to the grid patterned light.
  • a three-dimensional shape may be measured by applying a bucket algorithm to the obtained reflection image.
  • a 3D image may be obtained from the measured 3D shape.
  • the marker 124 is installed in the measuring device 122.
  • the marker 124 may generate energy or a signal to enable sensing in the tracking sensor unit 130 described later.
  • a plurality of markers may be installed in the shape measuring unit 120, and one marker having a predetermined pattern may be installed.
  • the tracking sensor unit 130 senses the reference marker unit 110 and the shape measuring unit 120 to track the reference marker unit 110 and the shape measuring unit 120, respectively. .
  • the tracking sensor unit 130 may sense the marker 112 of the reference marker unit 110 and may sense the marker 124 of the shape measuring unit 120. Accordingly, the position and / or posture of the reference marker unit 110 may be known, and the position and / or posture of the shape measuring unit 120 may be known.
  • the processing unit 140 may include, for example, a computer or a central processing unit of a computer.
  • the processing unit 140 coordinates the relationship between the reference marker unit 110 and the tracking sensor unit 130 based on the results detected by the tracking sensor unit 130 and the shape measuring unit 120 and the Acquire a coordinate transformation relationship between the tracking sensor unit 130.
  • the processing unit 140 obtains a coordinate transformation relationship between the predetermined portion of the patient 10 and the shape measuring unit 120 based on the result measured by the shape measuring unit 120.
  • the coordinate transformation relations may be defined, for example, in a matrix form.
  • the processor 140 defines a coordinate system of the patient 10 relative to the reference marker unit 110 from the obtained coordinate transformation relationships.
  • the coordinate system may be defined in the form of a matrix.
  • the measurement position of the measuring device 122 of the shape measuring unit 120 and the position of the marker 124 of the shape measuring unit 120 is slightly different, so that the measuring device ( The error according to the position difference between the 122 and the marker 124 may be calibrated.
  • the processing unit 140 is a coordinate transformation relationship between the marker 124 of the shape measuring unit 120 and the tracking sensor unit 130 and the measuring device 122 of the shape measuring unit 120. And the coordinate transformation relationship between the marker 124 may be separately obtained.
  • the coordinate transformation relationships may be represented by a coordinate transformation matrix.
  • FIG. 2 is a conceptual diagram illustrating a modeling process of the optical tracking system of FIG. 1.
  • the optical tracking system 100 may represent the coordinate transformation relationships as coordinate transformation matrices T1, T2, T3, T4, and PR, respectively.
  • PR is the coordinate transformation matrix of the patient 10 with respect to the reference marker unit 110
  • T1 is the coordinate transformation matrix of the reference marker unit 110 with respect to the tracking sensor unit 130
  • T2 is the tracking The coordinate transformation matrix of the marker 124 of the shape measuring unit 120 with respect to the sensor unit 130
  • T3 is the coordinate transformation matrix of the measuring device 122 with respect to the marker 124 of the shape measuring unit 120
  • T4 means a coordinate transformation matrix of the patient 10 with respect to the measuring device 122 of the shape measuring unit 120.
  • the coordinate transformation matrix PR of the patient 10 with respect to the reference marker unit 110 is represented by T1, T2, T3, and T4 to form a closed loop based on the arrow direction shown in FIG. Equation 1 can be obtained.
  • Equation 2 After forming two different paths from the tracking sensor unit 130 to the patient 10 so as to be a closed loop, Equation 2 can be obtained, and the same result can be obtained by Equation 1 being modified.
  • the processor 140 may define the coordinate system of the patient 10 relative to the reference marker unit 110 by obtaining the coordinate transformation matrix PR by Equation 1 (or Equation 2).
  • the tracking sensor unit 130 may include a coordinate transformation matrix T1 of the reference marker unit 110 with respect to the tracking sensor unit 130 and the shape measuring unit with respect to the tracking sensor unit 130.
  • Information for obtaining the coordinate transformation matrix T2 of the marker of 120 may be measured, and the shape measuring unit 120 transforms the coordinates of the patient 10 with respect to the measuring device of the shape measuring unit 120.
  • Information for obtaining the matrix T4 may be measured.
  • the processor 140 may obtain coordinate transformation matrices T1, T2, and T4 by using the measured information, and form the shape measuring unit from the obtained coordinate transformation matrices T1, T2, and T4.
  • the coordinate transformation matrix T3 of the measuring device 124 with respect to the marker 122 of 120 and the coordinate transformation matrix PR of the patient 10 with respect to the reference marker unit 110 may be calculated.
  • the coordinate transformation matrices T3 and PR may be obtained by applying the following mathematical scheme, and the processor 140 may implement the mathematical scheme to calculate the coordinate transformation matrices T3 and PR. can do.
  • the coordinate transformation matrices are configured to include the rotation transformation portion R and the position transformation portion t, and then substituted by Equation 2 to obtain Equation 3.
  • Equation 4 By arranging Equation 3, Equation 4 can be obtained.
  • Equation 5 When each component of Equation 4 is expressed by an equation, Equations 5 and 6 can be obtained.
  • Equation 5 can be obtained by arranging Equation 5 by defining R TT .
  • Equation 8 can be obtained by arranging Equation 6 by further defining t TT .
  • Equation 7 the rotation transformation matrix R has a 3 ⁇ 3 form, and the position transformation matrix t has a 3 ⁇ 1 form.
  • Equation 8 the rotation transformation matrix R has a 3 ⁇ 3 form, and the position transformation matrix t has a 3 ⁇ 1 form.
  • Equation 7 all components of R TT (ie, all components of R T1 and R T2 ) and all components of R T4 can be known from the measurements described above, and in addition to Equation 8 all components of t T4 are known.
  • the number of unknowns is 24, including nine components of R PR and R T3 and three components of t PR and t T4 .
  • Equations 7 and 8 are all 12 equations including 24 unknowns, more accurate solutions can be obtained by two or more measurements. Accordingly, the tracking sensor unit 130 and the shape measuring unit ( The measurement of 120 may be performed two or more times.
  • the coordinate system of the patient 10 may be defined using the coordinate transformation relationships measured as described above.
  • the above-described mathematical method may be replaced by another method to obtain the coordinate transformation matrices T3 and PR.
  • the processor 140 may calculate the coordinate transformation matrices T3 and PR by applying a dual quaternion scheme.
  • Equation 9 can be obtained from Equation 1 described above, and Equation 9 can be obtained by modifying Equation 9 below.
  • Equation 11 By developing Equation 10 to remove the higher order term, Equation 11 can be obtained.
  • Equations 9 and 11 can be modified by applying the dual quaternion method, respectively, to obtain Equation 12 and Equation 13 below.
  • Equation 14 By converting Equations 12 and 13 into a matrix equation form, Equation 14 can be obtained, and the coordinate transformation matrices T3 and PR can be calculated from Equation 14.
  • the processor 140 forms the coordinate system of the patient 10 defined relative to the reference marker unit 110 and the coordinate system of the 3D image previously obtained before the procedure for the patient 10. Matching may be performed based on the three-dimensional shape measured by the measuring unit 120.
  • the three-dimensional shape obtained as described above (or obtained therefrom).
  • the coordinate system of the 3D image and the coordinate system of the 3D image are matched using the 3D shape itself as a cover (natural landmark).
  • the processor 140 may define a coordinate system of the patient 10 relative to the reference marker unit 110 from the coordinate transformation relations and track the patient 10 in real time during the procedure. Can be.
  • the process of defining the coordinate system of the patient 10 relative to the reference marker unit 110 may be easily re-executed automatically or manually by a user. That is, the processor 140 may redefine the coordinate system of the patient automatically or manually when the patient 10 moves. In this case, even if the patient 10 does not move directly, when the distance between the patient 10 and the reference marker unit 110 changes, it may be regarded as the case where the patient 10 moves.
  • the process of defining the coordinate system of the patient 10 relative to the reference marker unit 110 by the processor 140 may be easily re-executed automatically or manually by a user.
  • the coordinate system can be accurately reset by acquiring the coordinate system again (acquiring a changed PR).
  • the optical tracking system 100 may include a motion detector (not shown) for detecting the movement of the patient 10, and instead of including the tracking sensor unit 130 separately In addition, the movement of the patient 10 may be detected.
  • the processor 140 may reset the coordinate system by performing the process of defining the coordinate system again.
  • the coordinate system of the patient 10 relative to the reference marker unit 110 may be defined in real time, even if the patient moves or posture changes during the procedure, the patient 10 may be accurately tracked in real time. Can be.
  • the patient 10 since the three-dimensional shape itself measured at the time of the procedure can be matched with a marker, the patient 10 may not be directly attached to the patient without attaching a dynamic reference device (DRB) such as a marker or a structure corresponding to the marker.
  • DRB dynamic reference device
  • the coordinate system of the 3D image obtained in advance and the coordinate system of the patient 10 which may be moved in real time at the time of the procedure may be matched with each other.
  • the reference marker unit 110 is rigid for the patient 10 because the coordinate system can be reset and re-aligned at any time. It doesn't have to be fixed.
  • FIG. 3 is a conceptual diagram illustrating tracking and registration of a surgical tool in the optical tracking system of FIG. 1.
  • the optical tracking system 100 may further include a surgical tool 150.
  • the surgical tool 150 is a tool for treating the patient 10 and includes a marker 152.
  • the marker 152 and the marker 112 may generate energy or a signal to enable sensing in the tracking sensor unit 130.
  • the marker 152 may be formed in plural and may include pattern information.
  • the tracking sensor unit 130 may track the surgical tool 150 by sensing the marker 152 of the surgical tool 150.
  • the processing unit 140 may perform a coordinate transformation relationship between the reference marker unit 110 and the tracking sensor unit 130 and the markers of the surgical tool 150 based on the results sensed by the tracking sensor unit 130. 152 and the coordinate transformation relationship between the tracking sensor unit 130 is obtained.
  • the coordinate transformation relations may be defined, for example, in a matrix form, and may be represented by a coordinate transformation matrix.
  • the processing unit 140 is the surgical tool 150 relative to the patient 10 using the coordinate system of the patient 10 defined relative to the obtained coordinate transformation relations and the reference marker unit 110.
  • the coordinate system may be defined in the form of a matrix.
  • the coordinate system of the patient 10 defined relative to the fiducial marker part 110 described above with reference to FIGS. 1 and 2. can be used. That is, by using the coordinate transformation matrix PR of the patient 10 with respect to the reference marker unit 110, and using the coordinate transformation matrices T1 'and T2' calculated by sensing by the tracking sensor 130, According to Equation 15 modified in Equation 1 and Equation 2, the coordinate transformation matrix T5 of the procedure tool 150 defined relative to the patient 10 can be known.
  • the coordinate system of the surgical tool 150 relative to the patient 10 may be defined using the coordinate transformation relations measured as described above.
  • the coordinate transformation matrix T5 of the surgical tool 150 is shown based on the marker 152, but the point where tracking is necessary, for example, an end portion of the surgical tool 150 (
  • the coordinate system of the surgical tool 150 may be defined based on the end 154.
  • the processor 140 is a coordinate system of the three-dimensional image previously obtained before the procedure for the patient 10 and the coordinate system of the surgical tool 150 defined relative to the patient 10 is the three-dimensional
  • the registration may be performed based on a matching result of the coordinate system of the image and the coordinate system of the patient.
  • the coordinate system of the three-dimensional image obtained before the procedure for the patient 10 and the relative position of the patient 10 defined relative to the reference marker part 110 since the coordinate system may be matched based on the three-dimensional shape measured by the shape measuring unit 120, and as described above, the coordinate system of the surgical tool 150 relative to the patient 10 may be defined. Accordingly, the coordinate system of the 3D image obtained before the procedure for the patient 10 and the coordinate system of the surgical tool 150 defined relative to the patient 10 may be matched with each other.
  • the optical tracking system 100 may further include a display unit (not shown) connected to the processing unit 140.
  • the display unit may include a three-dimensional image previously obtained before the procedure, an image of the three-dimensional shape measured by the shape measuring unit 120, an image of the treatment tool 150, and an overlap image in which the images are matched. Can be displayed.
  • the processor 140 may define a coordinate system of the surgical tool 150 relative to the patient 10 from the coordinate transformation relations, and track the surgical tool 150 in real time during the procedure. Can be.
  • the process of defining the coordinate system of the patient 10 relative to the reference marker unit 110 may be easily re-executed automatically or manually by a user. That is, the processor 140 may redefine the coordinate system of the patient automatically or manually when the patient 10 moves. In this case, even if the patient 10 does not move directly, when the distance between the patient 10 and the reference marker unit 110 changes, it may be regarded as the case where the patient 10 moves.
  • the coordinate system can be accurately reset by acquiring the coordinate system again (acquiring a changed PR).
  • the processor 140 may also reset the coordinate system of the surgical tool 150 relative to the patient 10, and track the surgical tool 150 in real time during the procedure.
  • the surgical tool 150 is accurately tracked in real time. can do.
  • a procedure that moves in real time at the time of the procedure and the coordinate system of the three-dimensional image obtained before the procedure without directly attaching a dynamic reference device (DRB) such as a marker or a structure corresponding to the marker to the patient 10 directly to the patient Coordinate systems of the tool 150 may be matched to each other.
  • DRB dynamic reference device
  • the reference marker unit 110 is rigid for the patient 10 because the coordinate system can be reset and re-aligned at any time. It doesn't have to be fixed.
  • FIG. 4 is a flowchart illustrating a coordinate system matching method of an optical tracking system according to an exemplary embodiment of the present invention.
  • a 3D image for example, a CT image of the patient 10 is obtained before the procedure for the patient 10 (S110).
  • a three-dimensional image such as a CT image obtained before the procedure may be stored in, for example, a computer.
  • the shape measuring unit 120 measuring the three-dimensional shape of a reference marker unit 110 fixed to the patient 10 and a predetermined portion of the patient 10 corresponding to the three-dimensional image is fixed. It is sensed by the tracking sensor unit 130 (S120).
  • the coordinate transformation relationship between the reference marker unit 110 and the tracking sensor unit 130 and the coordinate transformation relationship between the marker of the shape measuring unit 120 and the tracking sensor unit 130 are obtained.
  • the coordinate system of the acquired 3D image and the defined coordinate system of the patient 10 may be matched based on the 3D shape measured by the shape measuring unit 120 (S150).
  • the coordinate system of the patient 10 may be defined relative to the reference marker unit 110, and the coordinate system of the 3D image, such as a previously obtained CT image, and the coordinate system of the patient 10 may be matched. .
  • the surgical tool 150 is provided with a marker 152 attached to an operator such as a doctor, and the operator uses the surgical tool 150 for directly operating the patient 10 or using equipment such as a surgical robot. Operate. With respect to the surgical tool 150, the following steps for tracking are performed.
  • the tracking sensor unit 130 senses the marker 152 of the surgical tool 150 (S160).
  • the obtained coordinate system of the 3D image and the coordinate system of the defined surgical tool 150 are matched based on a result of matching of the coordinate system of the 3D image and the coordinate system of the patient (S190).
  • the coordinate system of the surgical tool 150 for treating the patient 10 is defined relative to the patient 10, and the coordinate system of the three-dimensional image such as a CT image obtained in advance and the surgical tool 10 ) Coordinate system can be matched.
  • the coordinate system of the patient may be automatically or manually redefined, and thus the process of sensing the previous shape measuring unit 120 by the tracking sensor unit 130 is repeated (S120) or less. can do.
  • the distance between the patient 10 and the reference marker unit 110 changes, it may be regarded as the case where the patient 10 moves.
  • a coordinate system matching method of the optical tracking system 100 is briefly described with reference to the flowchart of FIG. 4. However, specific operations of the optical tracking system 100 are described above with reference to FIGS. 1 to 3. Duplicate detailed description is omitted since it is substantially the same as.
  • the optical tracking system is provided with a shape measuring unit to measure a three-dimensional shape for a predetermined portion of the patient, and the tracking sensor unit by sensing the shape measuring unit and the reference marker unit from the coordinate transformation relationship therebetween
  • the patient's coordinate system relative to the reference marker portion can be defined, and the patient and the instrument can be tracked in real time during the procedure.
  • the coordinate system can be accurately reset even when the patient moves or posture changes, the patient and the treatment tool Can accurately track in real time.
  • the coordinate system of the three-dimensional image obtained before the procedure and the real time during the procedure without attaching the dynamic reference device (DRB) directly to the patient.
  • the coordinate system of the patient and the procedure tool which can be moved to each other may be matched with each other.
  • the reference marker part does not need to be strictly fixed to the patient.
  • DRB dynamic reference device

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

옵티컬 트래킹 시스템은 기준 마커부, 형상 측정부, 트래킹 센서부 및 처리부를 포함한다. 기준 마커부는 환자에 상대적으로 고정 배치된다. 형상 측정부는 3차원 영상에 대응하는 환자의 소정 부위에 대하여 3차원 형상을 측정한다. 트래킹 센서부는 기준 마커부 및 형상 측정부를 센싱한다. 처리부는 트래킹 센서부에서 센싱된 결과를 기초로 기준 마커부와 트래킹 센서부 사이의 좌표변환관계 및 형상 측정부와 트래킹 센서부 사이의 좌표변환관계를 획득하고, 형상 측정부에서 측정된 결과를 기초로 환자의 소정 부위와 형상 측정부 사이의 좌표변환관계를 획득하여, 획득된 좌표변환관계들로부터 기준 마커부에 대해 상대적인 환자의 좌표계를 정의한다. 이에 따라, 보다 짧은 시간에 적은 비용으로 정확하고 용이하게 환자나 시술도구를 트래킹할 수 있다.

Description

옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
본 발명은 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법에 관한 것으로, 더욱 상세하게는 환자나 시술도구를 트래킹하기 위한 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법에 관한 것이다.
본 발명은 지식경제부의 산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호:10040097, 과제명: 의료수술로봇영상기반 이비인후과 및 신경외과 수술용 최소침습 다자유도 수술로봇 시스템 기술 개발].
최근 환자의 환부를 치료하는 수술에 있어서 기 촬영된 영상을 이용한 영상유도 수술(image-guided surgery)이 많이 활용되고 있다. 특히, 환자 신체내의 중요한 신경과 주요 장기들을 회피하면서 수술을 진행하여야 하는 경우에는, 기 촬영된 영상을 기반으로 하여 높은 정확도를 갖는 수술을 진행할 것이 요구된다.
일반적으로, 기 촬영된 영상은 MRI 촬영, CT 촬영 등에 의해 획득된 3차원 영상을 포함하며, 수술 시작 시에는 이러한 기 촬영된 3차원 영상의 좌표계와 환자의 좌표계를 서로 일치시키는 정합(registration)이 필요하고, 수술 진행 중에는 환자나 수술도구의 움직임에 따른 위치 및 자세 변화를 실시간으로 파악하는 것이 필요하다. 또한, 수술 중에 환자의 자세가 변하는 경우, 환자의 좌표계를 재정합(re-registration)하여 환자 혹은 환부를 지속적으로 추적하는 것이 필요하다.
종래에는 이러한 정합 및 트래킹을 위하여 동적참조 장치(dynamic reference base, DRB)가 활용되어 왔다. 즉, 사전에 상기 동적참조 장치를 환자에 부착한 후 CT와 같은 3차원 영상을 촬영하고, 수술 시작 시에 상기 3차원 영상의 좌표계와 환자의 좌표계를 서로 정합한 후, 수술 진행 중에는 상기 동적참조 장치를 기초로 수술도구를 트래킹함으로써 환자의 환부에 대한 상대적인 수술도구의 위치 등을 트래킹한다. 이 경우, 정합을 위해서 상기 동적참조 장치가 환자에 고정된 채로 사전에 3차원 영상이 촬영될 필요가 있고, 정확한 트래킹을 위해서 엄격하게 환자에 고정될 필요가 있다.
이를 위해 종래에는, 예를 들면, 환자의 뼈 부분에 마커(marker)를 박은 후 이를 센싱하여 트래킹하는 방법, 환자의 치아에 마커가 부착된 템플릿(template)를 물린 후 이를 센싱하여 트래킹하는 방법 등이 채용되거나, 인공 구조물을 생성하여 가공된 스탬프(STAMP, Surface Template-Assisted Marker Position)를 이용하는 방법 등이 채용되어 왔다.
그러나, 상기와 같은 종래의 방법들은, 마커 부착의 어려움과 뼈에 박음으로써 생기는 부작용, 치아에 물림으로써 발생할 수 있는 마커 위치 변화에 따른 정확성 및 신뢰성 감소, 수술 전에 고가의 스탬프를 제작하여야 하는 번거로움과 제작에 소요되는 많은 시간과 비용 등과 같은 여러 가지 문제점들이 있다. 또한, 종래의 방법들의 경우, 동적참조 장치가 엄격하게 환자에게 고정된다고 하더라도, 환자가 움직일 경우에는 상기 동적참조 장치와 환자의 환부 사이의 거리, 자세 등이 변할 수 있으므로, 정확한 트래킹이 이루어지지 않고 재정합도 할 수 없어 이를 사용할 수 없는 문제가 있다. 따라서, 종래의 방법들의 경우, 환자가 움직이지 않는다는 가정을 하고 수술을 진행하지만, 현실적으로 수술 중에 환자가 움직이는 경우가 많으므로, 실질적으로 정확한 트래킹이 이루어지기에는 어려움이 있다.
따라서, 보다 짧은 시간에 적은 비용으로 정확한 정합 결과를 획득할 수 있는 정합 방법의 개발이 요청되고, 수술 중에 환자가 움직이거나 자세가 변하는 경우에도 트래킹이 비교적 정확하고 용이한 트래킹 시스템 및 트래킹 방법의 개발이 요청된다.
따라서, 본 발명이 해결하고자 하는 과제는, 보다 짧은 시간에 적은 비용으로 정확하고 용이하게 환자나 시술도구를 트래킹할 수 있는 옵티컬 트래킹 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 보다 짧은 시간에 적은 비용으로 정확하고 용이하게 환자나 시술도구를 트래킹할 수 있는 옵티컬 트래킹 시스템의 정합 방법을 제공하는 것이다.
본 발명의 예시적인 일 실시예에 따른 옵티컬 트래킹 시스템(optical tracking system)은 환자에 대한 시술 이전에 미리 획득된 3차원 영상을 이용하여 환자나 상기 환자를 시술하기 위한 시술도구를 트래킹하기 위해 제공된다. 상기 옵티컬 트래킹 시스템은, 기준 마커(marker)부, 형상 측정부, 트래킹 센서부 및 처리부를 포함한다. 상기 기준 마커부는 상기 환자에 상대적으로 고정 배치된다. 상기 형상 측정부는 상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정한다. 상기 트래킹 센서부는 상기 기준 마커부 및 상기 형상 측정부를 각각 트래킹할 수 있도록 상기 기준 마커부 및 상기 형상 측정부를 센싱(sensing)한다. 상기 처리부는 상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 형상 측정부에서 측정된 결과를 기초로 상기 환자의 소정 부위와 상기 형상 측정부 사이의 좌표변환관계를 획득하여, 상기 획득된 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의한다.
일 실시예로, 상기 형상 측정부는, 상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정하는 측정장치 및 상기 측정장치에 설치된 마커를 포함할 수 있고, 상기 트래킹 센서부는 상기 형상 측정부의 마커를 센싱할 수 있다. 상기 처리부는, 상기 형상 측정부의 마커와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부의 상기 측정장치와 상기 마커 사이의 좌표변환관계를 획득할 수 있다.
예를 들면, 상기 좌표변환관계들은 좌표변환행렬로 표현될 수 있고, 상기 처리부는 하기 수학식에 의해 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의할 수 있다.
Figure PCTKR2015009842-appb-I000001
(PR은 상기 기준 마커부에 대한 상기 환자의 좌표변환행렬, T1은 상기 트래킹 센서부에 대한 상기 기준 마커부의 좌표변환행렬, T2는 상기 트래킹 센서부에 대한 상기 형상 측정부의 마커의 좌표변환행렬, T3는 상기 형상 측정부의 마커에 대한 측정장치의 좌표변환행렬, T4는 상기 형상 측정부의 측정장치에 대한 상기 환자의 좌표변환행렬)
예를 들면, 상기 트래킹 센서부는 상기 트래킹 센서부에 대한 상기 기준 마커부의 좌표변환행렬(T1) 및 상기 트래킹 센서부에 대한 상기 형상 측정부의 마커의 좌표변환행렬(T2)을 획득하기 위한 정보를 측정할 수 있고, 상기 형상 측정부는 상기 형상 측정부의 측정장치에 대한 상기 환자의 좌표변환행렬(T4)을 획득하기 위한 정보를 측정할 수 있다. 상기 처리부는 상기 측정된 정보들을 이용하여 상기 좌표변환행렬들(T1, T2, T4)을 획득하고, 상기 획득된 좌표변환행렬들(T1, T2, T4)로부터 상기 형상측정부의 마커에 대한 측정장치의 좌표변환행렬(T3) 및 상기 기준 마커부에 대한 상기 환자의 좌표변환행렬(PR)을 산출할 수 있다. 상기 트래킹 센서부 및 상기 형상 측정부의 측정은 2회 이상 수행될 수 있다.
일 실시예로, 상기 처리부는 상기 환자에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 기준 마커부에 대해 상대적으로 정의된 상기 환자의 좌표계를 상기 형상 측정부에서 측정된 3차원 형상을 기초로 정합할 수 있다.
상기 옵티컬 트래킹 시스템은, 마커를 포함하고, 상기 환자를 시술하기 위한 시술도구를 더 포함할 수 있다. 상기 트래킹 센서부는 상기 시술도구의 마커를 트래킹할 수 있도록 상기 시술도구의 마커를 센싱할 수 있으며, 상기 처리부는 상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 시술도구의 마커와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 획득된 좌표변환관계들 및 상기 기준 마커부에 대해 상대적으로 정의된 상기 환자의 좌표계를 이용하여 상기 환자에 대해 상대적인 상기 시술도구의 좌표계를 정의할 수 있다.
일 실시예로, 상기 처리부는, 상기 환자에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 환자에 대해 상대적으로 정의된 상기 시술도구의 좌표계를, 상기 3차원 영상의 좌표계 및 상기 환자의 좌표계의 정합 결과를 기초로 정합할 수 있다.
상기 처리부는, 상기 환자가 움직이는 경우 자동 또는 수동으로 상기 환자의 좌표계를 재정의할 수 있다.
본 발명의 예시적인 다른 실시예에 따른 옵티컬 트래킹 시스템의 좌표계 정합 방법은, 환자에 대한 시술 이전에 상기 환자의 3차원 영상을 획득하는 단계, 상기 환자에 상대적으로 고정 배치된 기준 마커부 및 상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정하는 형상 측정부를 트래킹 센서부에 의해 센싱하는 단계, 상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 형상 측정부에서 측정된 결과를 기초로 상기 환자의 소정 부위와 상기 형상 측정부 사이의 좌표변환관계를 획득하는 단계 및 상기 획득된 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 단계를 포함한다.
일 실시예로, 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 환자의 소정 부위와 상기 형상 측정부 사이의 좌표변환관계를 획득하는 단계는, 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부의 마커와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하는 단계, 상기 형상 측정부의 상기 측정장치와 상기 마커 사이의 좌표변환관계를 획득하는 단계 및 상기 환자와 상기 형상 측정부의 상기 측정장치 사이의 좌표변환관계를 획득하는 단계를 포함할 수 있다.
상기 트래킹 시스템의 좌표계 정합 방법은, 상기 획득된 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 단계 이후에, 상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 환자의 좌표계를 상기 형상 측정부에서 측정된 3차원 형상을 기초로 정합하는 단계를 더 포함할 수 있다.
상기 트래킹 시스템의 좌표계 정합 방법은, 상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 환자의 좌표계를 정합하는 단계 이후에, 상기 환자를 시술하기 위한 시술도구의 마커를 센싱하는 단계, 상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 시술도구의 마커와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하는 단계 및 상기 획득된 좌표변환관계들 및 상기 기준 마커부에 대해 상대적으로 정의된 상기 환자의 좌표계를 이용하여 상기 환자에 대해 상대적인 상기 시술도구의 좌표계를 정의하는 단계를 더 포함할 수 있다.
상기 트래킹 시스템의 좌표계 정합 방법은, 상기 환자에 대해 상대적인 상기 시술도구의 좌표계를 정의하는 단계 이후에, 상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 시술도구의 좌표계를 상기 3차원 영상의 좌표계 및 상기 환자의 좌표계의 정합 결과를 기초로 정합하는 단계를 더 포함할 수 있다.
상기 환자가 움직이는 경우, 상기 환자에 상대적으로 고정 배치된 기준 마커부 및 상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정하는 형상 측정부를 트래킹 센서부에 의해 센싱하는 단계 이하는 반복 수행될 수 있다.
본 발명에 따르면, 옵티컬 트래킹 시스템이 형상 측정부를 구비하여 환자의 소정 부위에 대하여 3차원 형상을 측정하고, 트래킹 센서부에서 상기 형상 측정부와 기준 마커부를 센싱함으로써, 이들 사이의 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의할 수 있고, 시술 시에 실시간으로 상기 환자 및 시술도구를 트래킹할 수 있다.
또한, 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 과정이 용이하게 재수행될 수 있으므로, 상기 환자가 움직이거나 자세가 변하는 경우에도 정확하게 좌표계를 재설정할 수 있고, 상기 환자 및 상기 시술도구를 실시간으로 정확하게 트래킹할 수 있다.
또한, 시술 시에 측정된 상기 환자의 3차원 형상 자체를 표지로 정합이 가능하므로, 동적 참조장치(DRB)를 환자에 직접 부착하지 않고도 시술 전에 미리 획득된 3차원 영상의 좌표계와 시술 시에 실시간으로 이동될 수 있는 환자의 좌표계 및 시술도구의 좌표계를 서로 정합할 수 있다. 아울러, 사전에 상기 3차원 영상을 획득할 때에도 상기 동적 참조장치를 부착할 필요가 없고, 언제든지 좌표계의 재설정 및 재정합이 가능하므로 상기 기준 마커부는 상기 환자에 대해 엄격하게 고정되어야 할 필요도 없다.
따라서, 마커를 환자에 직접 부착함으로 야기되는 환자의 고통과 오차, 수술 전에 스탬프를 제작하여야 하는 등의 작업의 번거로움과 많은 소요 시간 및 비용 등과 같은 종래기술의 문제점들을 해결할 수 있다.
즉, 별도의 준비과정 없이 수술실 내에서 신속히 환자의 좌표계를 설정하고 영상 정합을 수행할 수 있으므로, 보다 짧은 시간 및 적은 비용으로 정확하고 용이하게 환자의 좌표계 및 시술도구의 좌표계 설정 및 영상 정합이 가능하며, 환자에 직접 부착되는 동적 참조장치(DRB)를 생략하여 환자에 직접 조작을 가하지 않아도 되고 환자의 고통 및 부작용을 경감할 수 있다.
도 1은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템을 나타낸 개념도이다.
도 2는 도 1의 옵티컬 트래킹 시스템의 모델링 과정을 설명하기 위한 개념도이다.
도 3은 도 1의 옵티컬 트래킹 시스템에서 시술도구의 트래킹 및 정합을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템의 좌표계 정합 방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템을 나타낸 개념도이다.
본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템(optical tracking system)은 환자에 대한 시술 이전에 미리 획득된 3차원 영상을 이용하여 환자나 상기 환자를 시술하기 위한 시술도구를 트래킹하기 위해 제공된다.
상기 3차원 영상은 상기 환자(10)에 대한 시술 이전에 미리 획득된 영상으로서, 상기 환자(10)에 대한 시술 시에 기준 영상으로 활용될 수 있다. 여기서, 상기 시술은 수술을 포함하는 환자에 대한 의료적 치료 행위 전체를 포함한다. 예를 들면, 상기 3차원 영상은 진단 및 치료를 위하여 병원에서 일반적으로 획득하는 CT(컴퓨터 단층촬영, computed tomography) 영상을 포함할 수 있다. 이와는 다르게, 상기 3차원 영상은 MRI(자기공명영상, magnetic resonance imaging) 등과 같은 다른 3차원 영상을 포함할 수 있다. 또한, 여기서 상기 3차원 영상은 CT 영상과 같이 직접 촬영된 영상을 조작하거나 재구성한 영상도 포함하는 개념으로서, 실제 시술 시에 널리 활용되는 다평면 재구성 영상 및 3차원 재구성 영상도 모두 포함하는 개념이다.
도 1을 참조하면, 상기 옵티컬 트래킹 시스템(100)은, 기준 마커(marker)부(110), 형상 측정부(120), 트래킹 센서부(130) 및 처리부(140)를 포함한다.
상기 기준 마커부(110)는 환자(10)에 상대적으로 고정 배치된다.
상기 기준 마커부(110)에는 마커(112)가 설치되며, 상기 마커(112)는 후술되는 트래킹 센서부(130)에서 센싱이 가능하도록 에너지 또는 신호를 발생시킬 수 있다. 예를 들면, 상기 기준 마커부(110)에는 복수의 마커들이 설치될 수 있으며, 소정의 패턴이 형성된 하나의 마커가 설치될 수도 있다.
상기 기준 마커부(110)는 종래의 동적 참조장치(DBR)와 대응되지만, 상기 기준 마커부(110)는 종래의 동적 참조장치와 다르게 정합의 기준이 되지 않으므로, CT, MRI와 같은 상기 3차원 영상을 촬영할 때 이를 상기 환자(10)에 부착할 필요가 없다. 또한, 종래의 동적 참조장치는 반드시 상기 환자(10)에 직접 부착되어야 하고, 상기 환자(10)에 대해 엄격하게 고정되어야 하는 반면, 상기 기준 마커부(110)는 상기 환자(10)에 직접 부착되어도 되지만, 상기 환자(10)에 대해 상대적으로 고정되기만 하면 되므로 수술실의 침대 등 다른 고정물체에 부착될 수 있으며, 상기 환자(10)에 대해 엄격하게 고정되어야 할 필요가 없다.
상기 형상 측정부(120)는 상기 3차원 영상에 대응하는 상기 환자(10)의 소정 부위에 대하여 3차원 형상을 측정한다.
일 실시예로, 상기 형상 측정부(120)는 측정장치(122) 및 마커(124)를 포함할 수 있다.
상기 측정장치(122)는 상기 3차원 영상에 대응하는 상기 환자(10)의 소정 부위에 대하여 3차원 형상을 측정한다. 일 실시예로, 상기 측정장치(122)는 격자패턴광을 상기 환자(10)의 소정 부위에 조사하고, 상기 격자패턴광에 따른 상기 환자(10)의 소정 부위에 대한 반사이미지를 획득한 후, 상기 획득된 반사이미지에 버킷 알고리즘(bucket algorithm)을 적용하여 3차원 형상을 측정할 수 있다. 또한, 상기 측정된 3차원 형상으로부터 3차원 영상을 획득할 수도 있다.
상기 마커(124)는 상기 측정장치(122)에 설치된다. 상기 마커(124)는 후술되는 트래킹 센서부(130)에서 센싱이 가능하도록 에너지 또는 신호를 발생시킬 수 있다. 예를 들면, 상기 형상 측정부(120)에는 복수의 마커들이 설치될 수 있으며, 소정의 패턴이 형성된 하나의 마커가 설치될 수도 있다.
상기 트래킹 센서부(130)는 상기 기준 마커부(110) 및 상기 형상 측정부(120)를 각각 트래킹할 수 있도록 상기 기준 마커부(110) 및 상기 형상 측정부(120)를 센싱(sensing)한다.
예를 들면, 상기 트래킹 센서부(130)는 상기 기준 마커부(110)의 마커(112)를 센싱할 수 있고, 상기 형상 측정부(120)의 마커(124)를 센싱할 수 있다. 이에 따라, 상기 기준 마커부(110)의 위치 및/또는 자세를 알 수 있고, 상기 형상 측정부(120)의 위치 및/또는 자세를 알 수 있다.
상기 처리부(140)는, 예를 들면, 컴퓨터 또는 컴퓨터의 중앙처리장치를 포함할 수 있다.
상기 처리부(140)는 상기 트래킹 센서부(130)에서 센싱된 결과를 기초로 상기 기준 마커부(110)와 상기 트래킹 센서부(130) 사이의 좌표변환관계 및 상기 형상 측정부(120)와 상기 트래킹 센서부(130) 사이의 좌표변환관계를 획득한다. 또한, 상기 처리부(140)는 상기 형상 측정부(120)에서 측정된 결과를 기초로 상기 환자(10)의 소정 부위와 상기 형상 측정부(120) 사이의 좌표변환관계를 획득한다. 여기서, 상기 좌표변환관계들은, 예를 들면, 행렬 형태로 정의될 수 있다.
상기 처리부(140)는 상기 획득된 좌표변환관계들로부터 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의한다. 예를 들면, 상기 좌표계는 행렬 형태로 정의될 수 있다.
한편, 상기 형상 측정부(120)의 상기 측정장치(122)의 측정위치와 상기 형상 측정부(120)의 마커(124)의 위치는 다소 차이가 나므로, 정확한 좌표계의 정의를 위하여 상기 측정장치(122)와 상기 마커(124) 사이의 위치 차이에 따른 오차를 캘리브레이션(calibration)할 수도 있다. 이에 따라, 상기 처리부(140)는, 상기 형상 측정부(120)의 마커(124)와 상기 트래킹 센서부(130) 사이의 좌표변환관계 및 상기 형상 측정부(120)의 상기 측정장치(122)와 상기 마커(124) 사이의 좌표변환관계를 별개로 획득할 수 있다.
예를 들면, 상기 좌표변환관계들은 좌표변환행렬로 표현될 수 있다.
이하, 상기 좌표변환관계들을 이용하여 상기 환자(10)의 좌표계를 정의하기 위한 상기 옵티컬 트래킹 시스템(100)의 모델링 설정 및 해결 과정을 도면을 참조로 보다 상세하게 설명한다.
도 2는 도 1의 옵티컬 트래킹 시스템의 모델링 과정을 설명하기 위한 개념도이다.
도 2를 참조하면, 상기 옵티컬 트래킹 시스템(100)은 상기 좌표변환관계들을 좌표변환행렬들 T1, T2, T3, T4 및 PR로 각각 나타낼 수 있다.
여기서, PR은 상기 기준 마커부(110)에 대한 상기 환자(10)의 좌표변환행렬, T1은 상기 트래킹 센서부(130)에 대한 상기 기준 마커부(110)의 좌표변환행렬, T2는 상기 트래킹 센서부(130)에 대한 상기 형상 측정부(120)의 마커(124)의 좌표변환행렬, T3는 상기 형상 측정부(120)의 마커(124)에 대한 측정장치(122)의 좌표변환행렬, T4는 상기 형상 측정부(120)의 측정장치(122)에 대한 상기 환자(10)의 좌표변환행렬을 의미한다.
상기 기준 마커부(110)에 대한 상기 환자(10)의 좌표변환행렬(PR)을 도 2에 도시된 화살표 방향을 기초로 폐루프(closed loop)를 형성하도록 T1, T2, T3 및 T4로 나타내면 수학식 1을 얻을 수 있다.
(수학식 1)
Figure PCTKR2015009842-appb-I000002
한편, 상기 트래킹 센서부(130)로부터 상기 환자(10)까지 서로 다른 두 개의 경로를 폐루프가 되도록 형성하여 수학식 2를 얻은 후, 이를 변형하여도 동일한 결과인 수학식 1을 얻을 수 있다.
(수학식 2)
Figure PCTKR2015009842-appb-I000003
상기 처리부(140)는 수학식 1(또는 수학식 2)에 의해 좌표변환행렬 PR을 획득함으로써, 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의할 수 있다.
예를 들면, 상기 트래킹 센서부(130)는 상기 트래킹 센서부(130)에 대한 상기 기준 마커부(110)의 좌표변환행렬(T1) 및 상기 트래킹 센서부(130)에 대한 상기 형상 측정부(120)의 마커의 좌표변환행렬(T2)을 획득하기 위한 정보를 측정할 수 있고, 상기 형상 측정부(120)는 상기 형상 측정부(120)의 측정장치에 대한 상기 환자(10)의 좌표변환행렬(T4)을 획득하기 위한 정보를 측정할 수 있다. 상기 처리부(140)는 상기 측정된 정보들을 이용하여 좌표변환행렬들(T1, T2, T4)을 획득할 수 있고, 상기 획득된 좌표변환행렬들(T1, T2, T4)로부터 상기 형상측정부(120)의 마커(122)에 대한 측정장치(124)의 좌표변환행렬(T3) 및 상기 기준 마커부(110)에 대한 상기 환자(10)의 좌표변환행렬(PR)을 산출할 수 있다.
구체적으로, 상기 좌표변환행렬들(T3, PR)은 아래와 같은 수학적 방식을 적용하여 획득될 수 있으며, 상기 처리부(140)는 이러한 수학적 방식을 구현하여 상기 좌표변환행렬들(T3, PR)을 산출할 수 있다.
먼저, 상기 좌표변환행렬들을 회전변환 부분(R)과 위치변환 부분(t)을 포함하도록 구성한 후, 이를 수학식 2에 대입하여 정리하면 수학식 3을 얻을 수 있다.
(수학식 3)
Figure PCTKR2015009842-appb-I000004
수학식 3을 정리하면 수학식 4를 얻을 수 있다.
(수학식 4)
Figure PCTKR2015009842-appb-I000005
수학식 4의 각 성분을 등식으로 표현하면 수학식 5 및 수학식 6을 얻을 수 있다.
(수학식 5)
Figure PCTKR2015009842-appb-I000006
(수학식 6)
Figure PCTKR2015009842-appb-I000007
수학식 5에서, RTT를 정의하여 수학식 5를 정리하면 수학식 7을 얻을 수 있다.
(수학식 7)
Figure PCTKR2015009842-appb-I000008
또한, 수학식 6에서, tTT를 추가로 정의하여 수학식 6을 정리하면 수학식 8을 얻을 수 있다.
(수학식 8)
Figure PCTKR2015009842-appb-I000009
수학식 7 및 수학식 8에서, 회전변환행렬(R)은 3×3 형태를 갖고, 위치변환행렬(t)은 3×1 형태를 가지므로, 수학식 7로부터 3×3 행렬의 각 성분에 대한 식인 9개의 방정식을 얻을 수 있고, 수학식 8로부터 3×1 행렬의 각 성분에 대한 식인 3개의 방정식을 얻을 수 있다.
수학식 7에서 RTT의 모든 성분(즉, RT1 및 RT2의 모든 성분) 및 RT4의 모든 성분을 앞서 설명된 측정으로부터 알 수 있고, 수학식 8에서 이에 더하여 tT4의 모든 성분을 알 수 있으므로, 미지수는 RPR과 RT3 각각의 9개 성분과 tPR과 tT4의 각각의 3개 성분 등 모두 24개이다.
수학식 7 및 수학식 8은 모두 24개의 미지수들을 포함하는 12개의 방정식들이므로, 2회 이상의 측정으로 보다 정확한 해를 구할 수 있으며, 이에 따라, 상기 트래킹 센서부(130) 및 상기 형상 측정부(120)의 측정은 2회 이상 수행될 수 있다.
따라서, 상기와 같이 측정된 좌표변환관계들을 이용하여 상기 환자(10)의 좌표계를 정의할 수 있다.
상기 좌표변환행렬들(T3, PR)을 획득하기 위해 상술한 수학적 방식은 다른 방식에 의해 대체될 수도 있다. 예를 들면, 상기 처리부(140)는 듀얼 쿼터니언(dual quaternion) 방식을 응용하여 상기 좌표변환행렬들(T3, PR)을 산출할 수 있다.
구체적으로, 먼저 앞서 기술한 수학식 1로부터 하기 수학식 9를 얻을 수 있고, 수학식 9를 변형하여 하기 수학식 10을 얻을 수 있다.
(수학식 9)
Figure PCTKR2015009842-appb-I000010
(수학식 10)
Figure PCTKR2015009842-appb-I000011
수학식 10을 전개하여 고차항을 제거하면 수학식 11을 얻을 수 있다.
(수학식 11)
Figure PCTKR2015009842-appb-I000012
수학식 9와 수학식 11을 각각 듀얼 쿼터니언 방식을 응용하여 변형하면 하기 수학식 12와 하기 수학식 13을 얻을 수 있다.
(수학식 12)
Figure PCTKR2015009842-appb-I000013
(수학식 13)
Figure PCTKR2015009842-appb-I000014
수학식 12 및 수학식 13을 행렬방정식 형태로 변형하면 하기 수학식 14를 얻을 수 있으며, 수학식 14로부터 상기 좌표변환행렬들(T3, PR)을 산출할 수 있다.
(수학식 14)
Figure PCTKR2015009842-appb-I000015
한편, 상기 처리부(140)는 상기 환자(10)에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 기준 마커부(110)에 대해 상대적으로 정의된 상기 환자(10)의 좌표계를 상기 형상 측정부(120)에서 측정된 3차원 형상을 기초로 정합할 수 있다.
구체적으로, 상기 환자(10)에 직접 마커 또는 마커에 상응하는 구조물을 부착하여 이를 기초로 3차원 영상의 좌표계와 환자의 좌표계를 정합하는 대신, 상기와 같이 획득된 3차원 형상(또는 이로부터 얻어지는 3차원 영상)의 좌표계와 상기 3차원 영상의 좌표계를 상기 3차원 형상 자체를 표지로 하여 정합한다(natural landmark).
이와 같이, 상기 처리부(140)는 상기 좌표변환관계들로부터 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의할 수 있고 시술 시에 실시간으로 상기 환자(10)를 트래킹할 수 있다.
한편, 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의하는 과정은 자동으로 혹은 사용자에 의해 수동으로 용이하게 재수행될 수 있다. 즉, 상기 처리부(140)는 상기 환자(10)가 움직이는 경우 자동 또는 수동으로 상기 환자의 좌표계를 재정의할 수 있다. 이때, 상기 환자(10)가 직접 움직이는 경우가 아니더라도, 상기 환자(10)와 상기 기준 마커부(110) 사이의 거리가 변하는 경우에는 상기 환자(10)가 움직이는 경우로 간주할 수 있다.
상기 처리부(140)가 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의하는 과정은 자동으로 혹은 사용자에 의해 수동으로 용이하게 재수행될 수 있다.
따라서, 상기 환자(10)가 움직이거나 자세가 변하는 경우, 상기 좌표계를 정의하는 과정을 재수행함으로써, 정확하게 좌표계를 재설정할 수 있다(변화된 PR의 획득).
일 실시예로, 상기 옵티컬 트래킹 시스템(100)은, 상기 환자(10)의 움직임을 감지하는 움직임 감지부(도시되지 않음)를 포함할 수 있고, 이를 별도로 포함하는 대신 상기 트래킹 센서부(130)에서 상기 환자(10)의 움직임을 감지할 수도 있다. 상기 움직임 감지부 또는 상기 트래킹 센서부(130)에서 상기 환자(10)의 움직임을 감지하면, 상기 처리부(140)는 상기 좌표계를 정의하는 과정을 재수행함으로써, 상기 좌표계를 재설정할 수 있다.
이에 따라, 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 실시간으로 정의할 수 있으므로, 시술 중에 환자가 움직이거나 자세가 변하는 경우에도 실시간으로 상기 환자(10)를 정확하게 트래킹할 수 있다.
또한, 시술 시에 측정된 3차원 형상 자체를 표지로 정합이 가능하므로, 상기 환자(10)에 마커 또는 마커에 상응하는 구조물과 같은 동적 참조장치(DRB)를 환자에 직접 부착하지 않고도, 시술 전에 미리 획득된 3차원 영상의 좌표계와 시술 시에 실시간으로 이동될 수 있는 환자(10)의 좌표계를 서로 정합할 수 있다. 아울러, 사전에 상기 3차원 영상을 획득할 때에도, 상기 동적 참조장치를 부착할 필요가 없고, 언제든지 좌표계의 재설정 및 재정합이 가능하므로 상기 기준 마커부(110)는 상기 환자(10)에 대해 엄격하게 고정되어야 할 필요도 없다.
따라서, 마커를 환자에 직접 부착함으로 야기되는 환자의 고통과 오차, 수술 전에 스탬프를 제작하여야 하는 등의 작업의 번거로움과 많은 소요 시간 및 비용 등과 같은 종래기술의 문제점들을 해결할 수 있다. 즉, 별도의 준비과정 없이 수술실 내에서 신속히 환자의 좌표계를 설정하고 영상 정합을 수행할 수 있으므로, 보다 짧은 시간 및 적은 비용으로 정확하고 용이하게 환자의 좌표계 설정 및 영상 정합이 가능하며, 환자에 직접 부착되는 동적 참조장치(DRB)를 생략하여 환자에 직접 조작을 가하지 않아도 되므로 환자의 고통 및 부작용을 경감할 수 있다.
도 3은 도 1의 옵티컬 트래킹 시스템에서 시술도구의 트래킹 및 정합을 설명하기 위한 개념도이다.
도 3을 참조하면, 상기 옵티컬 트래킹 시스템(100)은 시술도구(150)를 더 포함할 수 있다.
상기 시술도구(150)는 상기 환자(10)를 시술하기 위한 도구로서, 마커(152)를 포함한다. 상기 마커(152)와 상기 마커(112)는 상기 트래킹 센서부(130)에서 센싱이 가능하도록 에너지 또는 신호를 발생시킬 수 있다. 예를 들면, 상기 마커(152)는 복수로 형성될 수 있으며, 패턴정보를 포함할 수도 있다.
상기 트래킹 센서부(130)는 상기 시술도구(150)의 마커(152)를 센싱하여 상기 시술도구(150)를 트래킹할 수 있다.
상기 처리부(140)는 상기 트래킹 센서부(130)에서 센싱된 결과를 기초로 상기 기준 마커부(110)와 상기 트래킹 센서부(130) 사이의 좌표변환관계 및 상기 시술도구(150)의 마커(152)와 상기 트래킹 센서부(130) 사이의 좌표변환관계를 획득한다. 여기서, 상기 좌표변환관계들은, 예를 들면, 행렬 형태로 정의될 수 있으며, 좌표변환행렬로 표현될 수 있다.
상기 처리부(140)는 상기 획득된 좌표변환관계들 및 상기 기준 마커부(110)에 대해 상대적으로 정의된 상기 환자(10)의 좌표계를 이용하여 상기 환자(10)에 대해 상대적인 상기 시술도구(150)의 좌표계를 정의할 수 있다. 예를 들면, 상기 좌표계는 행렬 형태로 정의될 수 있다.
상기 기준 마커부(110)는 상기 환자(10)에 상대적으로 고정 배치되어 있으므로, 앞서 도 1 및 도 2에서 설명된 상기 기준 마커부(110)에 대해 상대적으로 정의된 상기 환자(10)의 좌표계를 이용할 수 있다. 즉, 상기 기준 마커부(110)에 대한 상기 환자(10)의 좌표변환행렬 PR을 이용하고, 상기 트래킹 센서(130)에서 센싱하여 산출되는 좌표변환행렬들 T1' 및 T2'를 이용하면, 수학식 1 및 수학식 2에서 변형된 하기 수학식 15에 따라 상기 환자(10)에 대해 상대적으로 정의된 상기 시술도구(150)의 좌표변환행렬 T5를 알 수 있다.
(수학식 15)
Figure PCTKR2015009842-appb-I000016
따라서, 상기와 같이 측정된 좌표변환관계들을 이용하여 상기 환자(10)에 대해 상대적인 상기 시술도구(150)의 좌표계를 정의할 수 있다.
도 3 및 수학식 15에서, 상기 시술도구(150)의 좌표변환행렬 T5는 상기 마커(152)를 기초로 도시되어 있지만, 트래킹이 필요한 지점, 예를 들면, 상기 시술도구(150)의 단부(154)를 기초로 좌표변환행렬을 정의할 수도 있다. 즉, 상기 좌표변환행렬 T5를 상기 시술도구(150)의 마커(152)에 대한 단부(154)의 좌표변환행렬 T3' 및 상기 시술도구(150)의 단부(154)에 대한 상기 환자(10)의 좌표변환행렬 T4'을 이용하여 정의할 수 있으며(T5=T3'T4'), 이 경우 T3'은 상기 시술도구(150)의 기하학적 형상으로부터 알 수 있으므로, 상기 환자(10)에 대해 상대적인 상기 시술도구(150)의 좌표계를 상기 단부(154)를 기초로 정의할 수 있다.
한편, 상기 처리부(140)는 상기 환자(10)에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 환자(10)에 대해 상대적으로 정의된 상기 시술도구(150)의 좌표계를 상기 3차원 영상의 좌표계 및 상기 환자의 좌표계의 정합 결과를 기초로 정합할 수 있다.
즉, 도 1 및 도 2에서 설명된 바와 같이 상기 환자(10)에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 기준 마커부(110)에 대해 상대적으로 정의된 상기 환자(10)의 좌표계를 상기 형상 측정부(120)에서 측정된 3차원 형상을 기초로 정합할 수 있고, 위에서 설명된 바와 같이 상기 환자(10)에 대해 상대적인 시술도구(150)의 좌표계를 정의할 수 있으므로, 이에 따라 상기 환자(10)에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 환자(10)에 대해 상대적으로 정의된 상기 시술도구(150)의 좌표계를 서로 정합할 수 있다.
상기 옵티컬 트래킹 시스템(100)은 상기 처리부(140)와 연결된 디스플레이부(도시되지 않음)를 더 포함할 수 있다. 상기 디스플레이부는 상기 시술 이전에 미리 획득된 3차원 영상, 상기 형상 측정부(120)에서 측정된 3차원 형상에 대한 영상, 상기 시술도구(150)에 대한 영상, 상기 영상들이 정합된 오버랩 영상 등이 디스플레이될 수 있다.
이와 같이, 상기 처리부(140)는 상기 좌표변환관계들로부터 상기 환자(10)에 대해 상대적인 상기 시술도구(150)의 좌표계를 정의할 수 있고 시술 시에 실시간으로 상기 시술도구(150)를 트래킹할 수 있다.
한편, 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의하는 과정은 자동으로 혹은 사용자에 의해 수동으로 용이하게 재수행될 수 있다. 즉, 상기 처리부(140)는 상기 환자(10)가 움직이는 경우 자동 또는 수동으로 상기 환자의 좌표계를 재정의할 수 있다. 이때, 상기 환자(10)가 직접 움직이는 경우가 아니더라도, 상기 환자(10)와 상기 기준 마커부(110) 사이의 거리가 변하는 경우에는 상기 환자(10)가 움직이는 경우로 간주할 수 있다.
따라서, 상기 환자(10)가 움직이거나 자세가 변하는 경우, 상기 좌표계를 정의하는 과정을 재수행함으로써, 정확하게 좌표계를 재설정할 수 있다(변화된 PR의 획득). 또한, 상기 처리부(140)는 상기 환자(10)에 대해 상대적인 상기 시술도구(150)의 좌표계도 재설정할 수 있고, 시술 시에 실시간으로 상기 시술도구(150)를 트래킹할 수 있다.
이에 따라, 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 실시간으로 정의할 수 있으므로, 시술 중에 환자가 움직이거나 자세가 변하는 경우에도 실시간으로 상기 시술도구(150)를 정확하게 트래킹할 수 있다.
또한, 상기 환자(10)에 마커 또는 마커에 상응하는 구조물과 같은 동적 참조장치(DRB)를 환자에 직접 부착하지 않고도, 시술 전에 미리 획득된 3차원 영상의 좌표계와 시술 시에 실시간으로 이동하는 시술도구(150)의 좌표계를 서로 정합할 수 있다. 아울러, 사전에 상기 3차원 영상을 획득할 때에도, 상기 동적 참조장치를 부착할 필요가 없고, 언제든지 좌표계의 재설정 및 재정합이 가능하므로 상기 기준 마커부(110)는 상기 환자(10)에 대해 엄격하게 고정되어야 할 필요도 없다.
따라서, 마커를 환자에 직접 부착함으로 야기되는 환자의 고통과 오차, 수술 전에 스탬프를 제작하여야 하는 등의 작업의 번거로움과 많은 소요 시간 및 비용 등과 같은 종래기술의 문제점들을 해결할 수 있다. 즉, 별도의 준비과정 없이 수술실 내에서 신속히 시술도구의 좌표계를 설정하고 영상 정합을 수행할 수 있으므로, 보다 짧은 시간 및 적은 비용으로 정확하고 용이하게 시술도구의 좌표계 설정 및 영상 정합이 가능하며, 환자에 직접 부착되는 동적 참조장치(DRB)를 생략하여 환자에 직접 조작을 가하지 않아도 되므로 환자의 고통 및 부작용을 경감할 수 있다.
이하, 상기한 옵티컬 트래킹 시스템(100)을 이용하여 시술 이전에 미리 촬영되는 3차원 영상의 좌표계와 환자의 환부와 시술 기구가 위치하는 시술 시의 실제 세계의 좌표계를 정합하는 과정을 도면을 참조로 설명한다.
도 4는 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템의 좌표계 정합 방법을 나타낸 흐름도이다.
도 1 내지 도 4를 참조하면, 먼저 환자(10)에 대한 시술 이전에 상기 환자(10)의 3차원 영상, 예를 들면, CT 영상을 획득한다(S110).
상기와 같이 시술 이전에 미리 획득한 CT 영상과 같은 3차원 영상(이를 재구성한 영상 포함)을, 예를 들면, 컴퓨터에 저장할 수 있다.
이어서, 다음과 같이 시술 시의 과정들이 수행된다.
먼저, 상기 환자(10)에 상대적으로 고정 배치된 기준 마커부(110) 및 상기 3차원 영상에 대응하는 상기 환자(10)의 소정 부위에 대하여 3차원 형상을 측정하는 형상 측정부(120)를 트래킹 센서부(130)에 의해 센싱한다(S120).
다음으로, 상기 트래킹 센서부(130)에서 센싱된 결과를 기초로 상기 기준 마커부(110)와 상기 트래킹 센서부(130) 사이의 좌표변환관계 및 상기 형상 측정부(120)와 상기 트래킹 센서부(130) 사이의 좌표변환관계를 획득하고, 상기 형상 측정부(120)에서 측정된 결과를 기초로 상기 환자(10)의 소정 부위와 상기 형상 측정부(120) 사이의 좌표변환관계를 획득한다(S130).
이때, 상기 기준 마커부(110)와 상기 트래킹 센서부(130) 사이의 좌표변환관계 및 상기 형상 측정부(120)의 마커와 상기 트래킹 센서부(130) 사이의 좌표변환관계를 획득하고, 상기 형상 측정부(120)의 상기 측정장치(122)와 상기 마커(124) 사이의 좌표변환관계를 획득하며, 상기 환자(10)와 상기 형상 측정부(120)의 상기 측정장치(122) 사이의 좌표변환관계를 획득할 수 있다.
이어서, 상기 획득된 좌표변환관계들로부터 상기 기준 마커부(110)에 대해 상대적인 상기 환자(10)의 좌표계를 정의한다(S140).
다음으로, 상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 환자(10)의 좌표계를 상기 형상 측정부(120)에서 측정된 3차원 형상을 기초로 정합할 수 있다(S150).
이와 같이, 상기 환자(10)의 좌표계를 상기 기준 마커부(110)에 대해 상대적으로 정의하고, 미리 획득된 CT 영상과 같은 3차원 영상의 좌표계와 상기 환자(10)의 좌표계를 정합할 수 있다.
의사와 같은 시술자에게 마커(152)가 부착된 시술도구(150)가 제공되며, 상기 시술자는 상기 환자(10)를 시술하기 위한 상기 시술도구(150)를 직접 혹은 수술로봇 등의 장비를 이용하여 운용한다. 상기 시술도구(150)에 대해서는, 다음과 같이 트래킹을 위한 과정들이 수행된다.
상기 트래킹 센서부(130)는 상기 시술도구(150)의 마커(152)를 센싱한다(S160).
이어서, 상기 트래킹 센서부(130)에서 센싱된 결과를 기초로 상기 기준 마커부(110)와 상기 트래킹 센서부(130) 사이의 좌표변환관계 및 상기 시술도구(150)의 마커(152)와 상기 트래킹 센서부(130) 사이의 좌표변환관계를 획득한다(S170).
다음으로, 상기 획득된 좌표변환관계들 및 상기 기준 마커부(110)에 대해 상대적으로 정의된 상기 환자(10)의 좌표계를 이용하여 상기 환자(10)에 대해 상대적인 상기 시술도구(150)의 좌표계를 정의한다(S180).
이어서, 상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 시술도구(150)의 좌표계를 상기 3차원 영상의 좌표계 및 상기 환자의 좌표계의 정합 결과를 기초로 정합한다(S190).
이와 같이, 상기 환자(10)를 시술하기 위한 시술도구(150)의 좌표계를 상기 환자(10)에 대해 상대적으로 정의하고, 미리 획득된 CT 영상과 같은 3차원 영상의 좌표계와 상기 시술도구(10)의 좌표계를 정합할 수 있다.
한편, 상기 환자(10)가 움직이는 경우 자동 또는 수동으로 상기 환자의 좌표계를 재정의할 수 있으므로, 앞선 상기 형상 측정부(120)를 트래킹 센서부(130)에 의해 센싱하는 과정(S120) 이하를 반복할 수 있다. 이때, 상기 환자(10)가 직접 움직이는 경우가 아니더라도, 상기 환자(10)와 상기 기준 마커부(110) 사이의 거리가 변하는 경우에는 상기 환자(10)가 움직이는 경우로 간주할 수 있다.
본 실시예에서는, 상기 옵티컬 트래킹 시스템(100)의 좌표계 정합 방법을 도 4의 흐름도를 참조로 간략히 설명하고 있지만, 상기 옵티컬 트래킹 시스템(100)의 구체적인 동작은 앞서 도 1 내지 도 3에서 설명된 내용과 실질적으로 동일하므로 중복되는 상세한 설명은 생략한다.
본 발명에 따르면, 옵티컬 트래킹 시스템이 형상 측정부를 구비하여 환자의 소정 부위에 대하여 3차원 형상을 측정하고, 트래킹 센서부에서 상기 형상 측정부와 기준 마커부를 센싱함으로써, 이들 사이의 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의할 수 있고, 시술 시에 실시간으로 상기 환자 및 시술도구를 트래킹할 수 있다.
또한, 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 과정이 용이하게 재수행될 수 있으므로, 상기 환자가 움직이거나 자세가 변하는 경우에도 정확하게 좌표계를 재설정할 수 있고, 상기 환자 및 상기 시술도구를 실시간으로 정확하게 트래킹할 수 있다.
또한, 시술 시에 측정된 상기 환자의 3차원 형상 자체를 표지로 정합이 가능하므로, 동적 참조장치(DRB)를 환자에 직접 부착하지 않고도 시술 전에 미리 획득된 3차원 영상의 좌표계와 시술 시에 실시간으로 이동될 수 있는 환자의 좌표계 및 시술도구의 좌표계를 서로 정합할 수 있다. 아울러, 사전에 상기 3차원 영상을 획득할 때에도 상기 동적 참조장치를 부착할 필요가 없고, 언제든지 좌표계의 재설정 및 재정합이 가능하므로 상기 기준 마커부는 상기 환자에 대해 엄격하게 고정되어야 할 필요도 없다.
따라서, 마커를 환자에 직접 부착함으로 야기되는 환자의 고통과 오차, 수술 전에 스탬프를 제작하여야 하는 등의 작업의 번거로움과 많은 소요 시간 및 비용 등과 같은 종래기술의 문제점들을 해결할 수 있다.
즉, 별도의 준비과정 없이 수술실 내에서 신속히 환자의 좌표계를 설정하고 영상 정합을 수행할 수 있으므로, 보다 짧은 시간 및 적은 비용으로 정확하고 용이하게 환자의 좌표계 및 시술도구의 좌표계 설정 및 영상 정합이 가능하며, 환자에 직접 부착되는 동적 참조장치(DRB)를 생략하여 환자에 직접 조작을 가하지 않아도 되므로 환자의 고통 및 부작용을 경감할 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이다.　 따라서, 전술한 설명 및 아래의 도면은 본 발명의 기술사상을 한정하는 것이 아닌 본 발명을 예시하는 것으로 해석되어야 한다.
(부호의 설명) 100 : 옵티컬 트래킹 시스템, 110 : 기준 마커부, 120 : 형상 측정부, 130 : 트래킹 센서부, 140 : 처리부, 150 : 시술도구

Claims (15)

  1. 환자에 대한 시술 이전에 미리 획득된 3차원 영상을 이용하여 환자나 상기 환자를 시술하기 위한 시술도구를 트래킹하기 위한 옵티컬 트래킹 시스템(optical tracking system)에 있어서,
    상기 환자에 상대적으로 고정 배치된 기준 마커(marker)부;
    상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정하는 형상 측정부;
    상기 기준 마커부 및 상기 형상 측정부를 각각 트래킹할 수 있도록 상기 기준 마커부 및 상기 형상 측정부를 센싱(sensing)하는 트래킹 센서부; 및
    상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 형상 측정부에서 측정된 결과를 기초로 상기 환자의 소정 부위와 상기 형상 측정부 사이의 좌표변환관계를 획득하여, 상기 획득된 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 처리부를 포함하는 옵티컬 트래킹 시스템.
  2. 제1항에 있어서,
    상기 형상 측정부는, 측정장치 및 상기 측정장치에 설치된 마커를 포함하고,
    상기 트래킹 센서부는 상기 형상 측정부의 마커를 센싱하며,
    상기 처리부는,
    상기 형상 측정부의 마커와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부의 측정장치와 상기 형상 측정부의 마커 사이의 좌표변환관계를 획득하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  3. 제2항에 있어서,
    상기 좌표변환관계들은 좌표변환행렬로 표현되고,
    상기 처리부는 하기 수학식에 의해 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
    Figure PCTKR2015009842-appb-I000017
    (PR은 상기 기준 마커부에 대한 상기 환자의 좌표변환행렬, T1은 상기 트래킹 센서부에 대한 상기 기준 마커부의 좌표변환행렬, T2는 상기 트래킹 센서부에 대한 상기 형상 측정부의 마커의 좌표변환행렬, T3는 상기 형상 측정부의 마커에 대한 상기 형상 측정부의 측정장치의 좌표변환행렬, T4는 상기 형상 측정부의 측정장치에 대한 상기 환자의 좌표변환행렬)
  4. 제3항에 있어서,
    상기 트래킹 센서부는 상기 트래킹 센서부에 대한 상기 기준 마커부의 좌표변환행렬(T1) 및 상기 트래킹 센서부에 대한 상기 형상 측정부의 마커의 좌표변환행렬(T2)을 획득하기 위한 정보를 측정하고,
    상기 형상 측정부는 상기 형상 측정부의 측정장치에 대한 상기 환자의 좌표변환행렬(T4)을 획득하기 위한 정보를 측정하며,
    상기 처리부는 상기 측정된 정보들을 이용하여 상기 좌표변환행렬들(T1, T2, T4)을 획득하고, 상기 획득된 좌표변환행렬들(T1, T2, T4)로부터 상기 형상측정부의 마커에 대한 상기 형상측정부의 측정장치의 좌표변환행렬(T3) 및 상기 기준 마커부에 대한 상기 환자의 좌표변환행렬(PR)을 산출하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  5. 제4항에 있어서,
    상기 트래킹 센서부 및 상기 형상 측정부의 측정은 2회 이상 수행되는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  6. 제1항에 있어서,
    상기 처리부는 상기 환자에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 기준 마커부에 대해 상대적으로 정의된 상기 환자의 좌표계를 상기 형상 측정부에서 측정된 3차원 형상을 기초로 정합하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  7. 제6항에 있어서,
    상기 환자를 시술하기 위한 마커를 포함하는 시술도구를 더 포함하고,
    상기 트래킹 센서부는 상기 시술도구의 마커를 트래킹할 수 있도록 상기 시술도구의 마커를 센싱하며,
    상기 처리부는 상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 시술도구의 마커와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 이 좌표변환관계들 및 상기 기준 마커부에 대해 상대적으로 정의된 상기 환자의 좌표계를 이용하여 상기 환자에 대해 상대적인 상기 시술도구의 좌표계를 정의하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  8. 제7항에 있어서,
    상기 처리부는, 상기 환자에 대한 시술 이전에 미리 획득된 3차원 영상의 좌표계 및 상기 환자에 대해 상대적으로 정의된 상기 시술도구의 좌표계를, 상기 3차원 영상의 좌표계 및 상기 환자의 좌표계의 정합 결과를 기초로 정합하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  9. 제1항에 있어서,
    상기 처리부는, 상기 환자가 움직이는 경우 자동 또는 수동으로 상기 환자의 좌표계를 재정의하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  10. 환자에 대한 시술 이전에 상기 환자의 3차원 영상을 획득하는 단계;
    상기 환자에 상대적으로 고정 배치된 기준 마커부 및 상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정하는 형상 측정부를 트래킹 센서부에 의해 센싱하는 단계;
    상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 형상 측정부에서 측정된 결과를 기초로 상기 환자의 소정 부위와 상기 형상 측정부 사이의 좌표변환관계를 획득하는 단계; 및
    상기 획득된 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 단계를 포함하는 옵티컬 트래킹 시스템의 좌표계 정합 방법.
  11. 제10항에 있어서,
    상기 형상 측정부는 측정장치 및 상기 측정장치에 설치된 마커를 포함하고,
    상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하고, 상기 환자의 소정 부위와 상기 형상 측정부 사이의 좌표변환관계를 획득하는 단계는,
    상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 형상 측정부의 마커와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하는 단계;
    상기 형상 측정부의 측정장치와 상기 형상 측정부의 마커 사이의 좌표변환관계를 획득하는 단계; 및
    상기 환자와 상기 형상 측정부의 측정장치 사이의 좌표변환관계를 획득하는 단계를 포함하는 것을 특징으로 하는 옵티컬 트래킹 시스템의 좌표계 정합 방법.
  12. 제10항에 있어서,
    상기 획득된 좌표변환관계들로부터 상기 기준 마커부에 대해 상대적인 상기 환자의 좌표계를 정의하는 단계 이후에,
    상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 환자의 좌표계를 상기 형상 측정부에서 측정된 3차원 형상을 기초로 정합하는 단계를 더 포함하는 것을 특징으로 하는 옵티컬 트래킹 시스템의 좌표계 정합 방법.
  13. 제12항에 있어서,
    상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 환자의 좌표계를 정합하는 단계 이후에,
    상기 환자를 시술하기 위한 시술도구의 마커를 상기 트래킹 센서부가 센싱하는 단계;
    상기 트래킹 센서부에서 센싱된 결과를 기초로 상기 기준 마커부와 상기 트래킹 센서부 사이의 좌표변환관계 및 상기 시술도구의 마커와 상기 트래킹 센서부 사이의 좌표변환관계를 획득하는 단계; 및
    이 좌표변환관계들 및 상기 기준 마커부에 대해 상대적으로 정의된 상기 환자의 좌표계를 이용하여 상기 환자에 대해 상대적인 상기 시술도구의 좌표계를 정의하는 단계를 더 포함하는 것을 특징으로 하는 옵티컬 트래킹 시스템의 좌표계 정합 방법.
  14. 제13항에 있어서,
    상기 환자에 대해 상대적인 상기 시술도구의 좌표계를 정의하는 단계 이후에,
    상기 획득된 3차원 영상의 좌표계 및 상기 정의된 상기 시술도구의 좌표계를 상기 3차원 영상의 좌표계 및 상기 환자의 좌표계의 정합 결과를 기초로 정합하는 단계를 더 포함하는 것을 특징으로 하는 옵티컬 트래킹 시스템의 좌표계 정합 방법.
  15. 제10항에 있어서,
    상기 환자가 움직이는 경우,
    상기 환자에 상대적으로 고정 배치된 기준 마커부 및 상기 3차원 영상에 대응하는 상기 환자의 소정 부위에 대하여 3차원 형상을 측정하는 형상 측정부를 트래킹 센서부에 의해 센싱하는 단계 이하는 반복 수행되는 것을 특징으로 하는 옵티컬 트래킹 시스템의 좌표계 정합 방법.
PCT/KR2015/009842 2014-09-19 2015-09-18 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법 WO2016043560A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017515177A JP6475324B2 (ja) 2014-09-19 2015-09-18 オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法
EP15843042.1A EP3195823B1 (en) 2014-09-19 2015-09-18 Optical tracking system
US15/512,273 US11206998B2 (en) 2014-09-19 2015-09-18 Optical tracking system for tracking a patient and a surgical instrument with a reference marker and shape measurement device via coordinate transformation
EP21211617.2A EP3998035A3 (en) 2014-09-19 2015-09-18 Optical tracking system and coordinate registration method for optical tracking system
CN201580050352.0A CN107072720B (zh) 2014-09-19 2015-09-18 光学跟踪系统及光学跟踪系统的坐标系整合方法
US17/534,696 US20220079465A1 (en) 2014-09-19 2021-11-24 Optical tracking system and coordinate registration method for optical tracking system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140125204A KR101638477B1 (ko) 2014-09-19 2014-09-19 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
KR10-2014-0125204 2014-09-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/512,273 A-371-Of-International US11206998B2 (en) 2014-09-19 2015-09-18 Optical tracking system for tracking a patient and a surgical instrument with a reference marker and shape measurement device via coordinate transformation
US17/534,696 Division US20220079465A1 (en) 2014-09-19 2021-11-24 Optical tracking system and coordinate registration method for optical tracking system

Publications (1)

Publication Number Publication Date
WO2016043560A1 true WO2016043560A1 (ko) 2016-03-24

Family

ID=55533522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009842 WO2016043560A1 (ko) 2014-09-19 2015-09-18 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법

Country Status (6)

Country Link
US (2) US11206998B2 (ko)
EP (2) EP3195823B1 (ko)
JP (1) JP6475324B2 (ko)
KR (1) KR101638477B1 (ko)
CN (2) CN112562094A (ko)
WO (1) WO2016043560A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107714060A (zh) * 2016-08-11 2018-02-23 上海联影医疗科技有限公司 X射线成像设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11596369B2 (en) * 2016-05-03 2023-03-07 Daegu Gyeongbuk Institute Of Science And Technology Navigation system for vascular intervention and method for generating virtual x-ray image
EP3284410B1 (en) 2016-06-13 2020-06-03 Shanghai United Imaging Healthcare Co., Ltd. Systems for x-ray scanner positioning
KR101812001B1 (ko) * 2016-08-10 2017-12-27 주식회사 고영테크놀러지 3차원 데이터 정합 장치 및 방법
KR101848027B1 (ko) 2016-08-16 2018-04-12 주식회사 고영테크놀러지 정위수술용 수술로봇 시스템 및 정위수술용 로봇의 제어방법
KR101843992B1 (ko) * 2017-11-30 2018-05-14 재단법인 구미전자정보기술원 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 시스템 및 그 방법
KR101895369B1 (ko) * 2018-04-04 2018-09-07 주식회사 고영테크놀러지 정위수술용 수술로봇 시스템
KR102203544B1 (ko) * 2019-03-13 2021-01-18 큐렉소 주식회사 C-arm 기반의 의료영상 시스템 및 2D 이미지와 3D 공간의 정합방법
CN112641512B (zh) * 2020-12-08 2023-11-10 北京信息科技大学 一种应用于手术机器人前规划的空间配准方法
CN117323007A (zh) * 2021-11-11 2024-01-02 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置
CN115553923B (zh) * 2022-09-19 2024-07-16 重庆生物智能制造研究院 踝关节手术机器人系统及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006526433A (ja) * 2003-06-05 2006-11-24 アエスキュラップ アーゲー ウント ツェーオー カーゲー 位置照合のための位置特定装置
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
KR20120035021A (ko) * 2010-10-04 2012-04-13 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR20140088167A (ko) * 2011-10-28 2014-07-09 내비게이트 써지컬 테크놀로지, 인크. 수술 위치 모니터링 시스템 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463823B2 (en) 2003-07-24 2008-12-09 Brainlab Ag Stereoscopic visualization device for patient image data and video images
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
WO2007014470A2 (en) * 2005-08-01 2007-02-08 Resonant Medical Inc. System and method for detecting drifts in calibrated tracking systems
JP4836122B2 (ja) * 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
EP1857070A1 (de) * 2006-05-18 2007-11-21 BrainLAB AG Kontaktfreie medizintechnische Registrierung mit Distanzmessung
CN100536792C (zh) 2007-03-28 2009-09-09 新奥博为技术有限公司 一种支持多种模式的导航系统及导航方法
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8900126B2 (en) 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
US9554763B2 (en) 2011-10-28 2017-01-31 Navigate Surgical Technologies, Inc. Soft body automatic registration and surgical monitoring system
US20130131505A1 (en) 2011-10-28 2013-05-23 Navident Technologies, Inc. Surgical location monitoring system and method using skin applied fiducial reference
US8938282B2 (en) 2011-10-28 2015-01-20 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method with automatic registration
US20140228675A1 (en) 2011-10-28 2014-08-14 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method
DE102012220115A1 (de) * 2012-11-05 2014-05-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildgebendes System, Operationsvorrichtung mit dem bildgebenden System und Verfahren zur Bildgebung
CN102999902B (zh) * 2012-11-13 2016-12-21 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位导航方法
KR101371384B1 (ko) 2013-01-10 2014-03-07 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006526433A (ja) * 2003-06-05 2006-11-24 アエスキュラップ アーゲー ウント ツェーオー カーゲー 位置照合のための位置特定装置
KR100961661B1 (ko) * 2009-02-12 2010-06-09 주식회사 래보 수술용 항법 장치 및 그 방법
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
KR20120035021A (ko) * 2010-10-04 2012-04-13 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR20140088167A (ko) * 2011-10-28 2014-07-09 내비게이트 써지컬 테크놀로지, 인크. 수술 위치 모니터링 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3195823A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107714060A (zh) * 2016-08-11 2018-02-23 上海联影医疗科技有限公司 X射线成像设备
CN107714060B (zh) * 2016-08-11 2020-09-22 上海联影医疗科技有限公司 X射线成像设备

Also Published As

Publication number Publication date
KR20160034104A (ko) 2016-03-29
CN107072720B (zh) 2020-11-20
JP6475324B2 (ja) 2019-02-27
EP3998035A2 (en) 2022-05-18
KR101638477B1 (ko) 2016-07-11
EP3195823A4 (en) 2017-09-20
EP3195823B1 (en) 2022-01-12
CN107072720A (zh) 2017-08-18
US20170273595A1 (en) 2017-09-28
EP3195823A1 (en) 2017-07-26
JP2017535308A (ja) 2017-11-30
EP3998035A3 (en) 2022-07-27
US11206998B2 (en) 2021-12-28
CN112562094A (zh) 2021-03-26
US20220079465A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
WO2016043560A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
WO2016099212A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 트래킹 방법
WO2018155894A1 (ko) 영상 정합 장치 및 영상 정합 방법
WO2020027377A1 (ko) 3d 영상 정합 제공 장치 및 그 방법
WO2019132427A1 (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
US20220192757A1 (en) Automatic registration method and device for surgical robot
EP3707584A1 (en) Method for tracking hand pose and electronic device thereof
WO2021145584A1 (ko) 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
WO2010093152A2 (ko) 수술 로봇 시스템 및 그 제어 방법
WO2018143497A1 (ko) 임플란트 수술 가이드 방법
JP2002528168A (ja) 患者を位置決めする方法とシステム
WO2018066764A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2014077613A1 (ko) 정복 시술 로봇 및 그의 구동 제어 방법
WO2018066763A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2022085966A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2016105102A1 (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
WO2022014965A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2015167193A1 (ko) 골절 정복 로봇용 사용자 조종 장치
WO2020235784A1 (ko) 신경 검출 방법 및 장치
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법
WO2018182053A1 (ko) 오브젝트의 형상에 대한 정보를 획득하는 방법 및 장치
WO2017135698A1 (ko) 초음파 진단장치 및 그 제어방법
WO2020159008A1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
WO2018203590A1 (ko) 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15843042

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017515177

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15512273

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015843042

Country of ref document: EP