WO2016024797A1 - 트랙킹 시스템 및 이를 이용한 트랙킹 방법 - Google Patents

트랙킹 시스템 및 이를 이용한 트랙킹 방법 Download PDF

Info

Publication number
WO2016024797A1
WO2016024797A1 PCT/KR2015/008412 KR2015008412W WO2016024797A1 WO 2016024797 A1 WO2016024797 A1 WO 2016024797A1 KR 2015008412 W KR2015008412 W KR 2015008412W WO 2016024797 A1 WO2016024797 A1 WO 2016024797A1
Authority
WO
WIPO (PCT)
Prior art keywords
acceleration
coordinate system
extracting
marker
inertial
Prior art date
Application number
PCT/KR2015/008412
Other languages
English (en)
French (fr)
Inventor
이현기
오현민
김민영
Original Assignee
주식회사 고영테크놀러지
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지, 경북대학교 산학협력단 filed Critical 주식회사 고영테크놀러지
Priority to CN201580043386.7A priority Critical patent/CN106687063B/zh
Priority to US15/503,565 priority patent/US10799299B2/en
Priority to EP15832127.3A priority patent/EP3181085B1/en
Publication of WO2016024797A1 publication Critical patent/WO2016024797A1/ko
Priority to US17/024,037 priority patent/US11730547B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0818—Redundant systems, e.g. using two independent measuring systems and comparing the signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Definitions

  • the present invention relates to a tracking system and a tracking method using the same. More particularly, the present invention relates to a tracking system and a tracking method using the same.
  • Such a tracking system is an optical tracker using a stereo camera.
  • the optical tracker is a device capable of tracking the position and posture of the surgical tool by photographing a marker fixed to the surgical tool with a stereo camera. However, if a marker fixed to the surgical tool is not taken by the stereo camera, i.e. when occlusion problem occurs, the optical tracker can no longer track the position and posture of the surgical tool.
  • IMU Inertial Measurement Unit
  • the IMU is a sensor device that can be obtained by measuring the acceleration and the angular velocity of the surgical tool, it is possible to track the position and posture of the surgical tool through the obtained acceleration and angular velocity.
  • the IMU can be compensated for, the position and posture of the surgical tool can be continuously tracked.
  • the acceleration measured by the IMU includes the acceleration of gravity caused by the earth's gravity and the movement acceleration caused by the movement.
  • the movement acceleration since only the movement acceleration is used to determine the position of the surgical tool, it is necessary to remove the gravity acceleration from the acceleration measured by the IMU. Therefore, in order to remove the gravity acceleration from the acceleration measured by the IMU, a correction between the earth coordinate system corresponding to the gravity acceleration and the optical tracker coordinate system corresponding to the acceleration in the IMU is required.
  • the optical tracker should not be moved if a correction is made between the earth coordinate system and the optical tracker coordinate system. If the optical tracker is moved, the optical tracker coordinate system is changed by the movement of the optical tracker, and thus the coordinate system must be corrected again. This process of recalibrating the coordinate system is cumbersome and may not recognize that the coordinate system correction is necessary if the position of the optical tracker is unintentionally changed during surgery.
  • an object of the present invention is to solve this problem, and an object of the present invention is to provide a tracking system capable of continuously tracking the position and posture of a measurement target regardless of the movement of the optical tracker.
  • Another object of the present invention is to provide a tracking method using the tracking system.
  • the tracking system includes a marker, a camera unit, a first inertial measurement unit, a second inertial measurement unit, and a tracking processing unit.
  • the marker is fixed to the object to be measured.
  • the camera unit photographs the marker and outputs a marker image.
  • the first inertial measurement unit is fixed to the camera unit and measures and outputs a first inertia including a first acceleration and a first angular velocity.
  • the second inertial measurement unit is fixed to any one of the measurement target and the marker, and measures and outputs a second inertia including a second acceleration and a second angular velocity.
  • the tracking processor first extracts the position and posture of the measurement target through the marker image, and secondly extracts the position and posture of the measurement target through the first and second inertia.
  • the tracking processor may extract the position of the measurement object through the first and second accelerations, and may extract the attitude of the measurement object through the first and second angular velocities.
  • the tracking processor may extract the movement acceleration by the movement of the measurement target from the second acceleration by using the gravity acceleration extracted from the first acceleration, and then extract the position of the measurement target through the movement acceleration.
  • the tracking processor extracts the gravity acceleration from the first acceleration, converts at least one of the second acceleration and the gravity acceleration to coincide with each other, and then coordinates the second acceleration and the gravity acceleration with which the coordinate systems coincide with each other.
  • Motion acceleration can be extracted using.
  • the camera unit photographs a marker fixed to a measurement object and outputs a marker image
  • the tracking processing unit extracts the position and posture of the measurement object primarily from the marker image.
  • the first inertial measurement unit fixed to the camera unit measures and outputs a first inertia including a first acceleration and a first angular velocity
  • the second inertial measurement unit fixed to any one of the measurement target and the marker. Measuring and outputting a second inertia including a second acceleration and a second angular velocity; and secondly extracting, by the tracking processor, the position and attitude of the measurement target through the first and second inertia.
  • the second step of extracting the position and posture of the measurement target may include extracting the position of the measurement target through the first and second accelerations, and extracting the posture of the measurement target through the first and second angular velocities. It may include the step.
  • the extracting of the position of the measurement target may include extracting a motion acceleration due to the movement of the measurement target from the second acceleration using the gravity acceleration extracted from the first acceleration, and the measurement target through the movement acceleration. It may include extracting the position of.
  • the extracting of the movement acceleration may include extracting the gravity acceleration from the first acceleration, converting at least one of the second acceleration and the gravity acceleration to coincide with each other, and the first coordinated coordinates with each other.
  • the method may include extracting a motion acceleration using the 2 acceleration and the gravity acceleration.
  • converting the gravity acceleration according to the first inertial coordinate system into the second inertial coordinate system may include the gravity acceleration according to the first inertial coordinate system. Converting the gravity acceleration converted into the camera coordinate system into the marker coordinate system, and converting the gravity acceleration converted into the marker coordinate system into the second inertial coordinate system. Can be.
  • extracting the position of the measurement target through the motion acceleration may include converting the motion acceleration into the camera coordinate system and using the motion acceleration converted into the camera coordinate system.
  • the method may include extracting a location of the measurement target.
  • the first acceleration may correspond to the gravity acceleration, and the first angular velocity may be zero.
  • gravity acceleration may be measured as the first inertial measurement unit is fixed to the camera unit in a stationary state, and the second inertial measurement unit is fixed to the marker or the measurement object.
  • the acceleration and the angular velocity at the measurement target can be measured.
  • the acceleration of gravity is removed from the acceleration at the measurement target to extract the movement acceleration at the measurement target, and the position and attitude of the measurement target are continuously tracked through the movement acceleration and the angular velocity at the measurement target.
  • the conversion relationship between the coordinate system in the first inertial measurement unit and the coordinate system in the camera unit may be kept constant. Can be.
  • FIG. 1 is a conceptual diagram illustrating a tracking system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a tracking method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process of secondaryly extracting a position and a posture of a measurement target in the tracking method of FIG. 2.
  • FIG. 4 is a flowchart for describing a process of extracting a position of a measurement target from among positions and posture extraction processes of the measurement target of FIG. 3.
  • FIG. 5 is a conceptual diagram illustrating a relationship and a transformation process of each coordinate system in the tracking method of FIG. 2.
  • FIG. 6 is a flowchart for describing a coordinate system conversion process in the process of extracting a position of a measurement target of FIG. 4.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a conceptual diagram illustrating a tracking system according to an embodiment of the present invention.
  • the tracking system is a device capable of tracking the position and attitude of the measurement target 10, and includes a marker 100, a camera unit 200, and a first inertial measurement unit ( 300, a second inertial measurement unit 400, and a tracking processing unit 500.
  • the measurement target 10 may be, for example, a surgical instrument.
  • 'position of the measurement target 10' means a three-dimensional coordinate value with respect to an arbitrary point in the measurement target 10, and 'posture of the measurement target 10'
  • the measurement object 10 may refer to an angle that is spatially or planarly tilted based on the vertical virtual line.
  • the measurement target 10 is not a perfect sphere, that is, if the measurement target 10 has a shape extending to either side, the measurement target 10 is inclined relative to the vertical virtual line An angle may be formed so that the 'posture of the measurement target 10' may be expressed numerically.
  • the marker 100 is disposed and fixed to one side of the measurement target 10. As a result, the marker 100 may move together with the measurement object 100 when a movement occurs in the measurement object 10.
  • the marker 100 may include a plurality of location points to measure the position and posture of the measurement object 10.
  • the marker 100 may include four location points as shown in FIG. 1.
  • the marker 100 has a marker coordinate system indicating a three-dimensional position and a movement relationship with respect to the marker 100.
  • the camera unit 200 photographs the marker 100 and outputs a marker image.
  • the camera unit 200 may be disposed or fixed to a separate mounting means 20 so that the marker 100 can be easily photographed.
  • the camera unit 200 may be, for example, a stereo camera capable of accurately measuring spatial position and attitude information.
  • the camera unit 200 has a camera coordinate system indicating the three-dimensional position and the movement relationship with respect to the camera unit 200.
  • the reference coordinate system for indicating the position and attitude of the measurement target 10 may be a camera coordinate system.
  • the first inertial measurement unit 300 is disposed and fixed to one side of the camera unit 200.
  • the first inertial measurement unit 300 has a first inertial coordinate system indicating a three-dimensional position and a movement relationship with respect to the first inertial measurement unit 300. Accordingly, since the first inertial measurement unit 300 moves together when the camera unit 200 moves, and stops together when the camera unit 200 moves, the conversion relationship between the camera coordinate system and the first inertial coordinate system may always be constant. have.
  • the first inertial measurement unit 300 includes a sensor capable of measuring an inertia including acceleration and angular velocity.
  • the first inertial measurement unit 300 may be, for example, an IMU (Inertial Measurement Unit). Therefore, the first inertial measurement unit 300 measures and outputs a first inertia including a first acceleration and a first angular velocity.
  • the camera unit 200 is preferably in a stationary state when measuring the marker (100). If the camera unit 100 is in a stationary state, the first acceleration coincides with the gravitational acceleration caused by the earth's gravity, and the first angular velocity has a value of zero.
  • the second inertial measurement unit 400 is disposed and fixed to any one of the measurement target 10 and the marker 100.
  • the second inertial measurement unit 400 has a second inertial coordinate system indicating a three-dimensional position and a movement relationship with respect to the second inertial measurement unit 400. Therefore, since the marker 100 and the second inertial measurement unit 400 move together when the measurement object 10 moves, and are stopped together when they are stopped, the marker 100 and the second inertial coordinate system are converted between the marker coordinate system and the second inertial coordinate system. The relationship can always be constant.
  • the second inertial measurement unit 400 includes a sensor capable of measuring an inertia including acceleration and angular velocity.
  • the second inertial measurement unit 400 may be, for example, an IMU (Inertial Measurement Unit). Therefore, the second inertial measurement unit 400 measures and outputs a second inertia including a second acceleration and a second angular velocity.
  • the second inertia refers to a physical quantity according to the movement of the measurement target 10.
  • the tracking processor 500 may exchange signals with the camera unit 200, the first inertial measurement unit 300, and the second inertial measurement unit 400 in a wired or wireless communication manner. Accordingly, the tracking processing unit 500 receives the marker image from the camera unit 200, the first inertia from the first inertial measurement unit 300, and the second inertial measurement unit 400 from the second inertial measurement unit 400. 2 may be provided with inertia.
  • the tracking processor 500 may first extract the position and posture of the measurement target 10 by analyzing the marker image.
  • the position and attitude of the measurement target 10 may be calculated by analyzing the position and size of the position points of the marker from the marker image.
  • the position and attitude of the measurement target 10 may be displayed according to the camera coordinate system.
  • the tracking processor 500 may secondarily extract the position and posture of the measurement target 10 through the first and second inertia.
  • 'extracting the position and posture of the measurement target 10 secondly' means 'extracting only to compensate for this when the first extraction by the analysis of the marker image is impossible' and 'analyze the marker image'. Irrespective of the primary extraction by means that it may mean to extract separately '.
  • 'when the primary extraction by the analysis of the marker image is impossible' includes 'when the marker image is not captured due to an arbitrary object' and 'when the marker image is acquired, the analysis is impossible'. It can mean.
  • the tracking processing unit 500 may secondaryly extract the position and posture of the measurement target 10 by the above calculation method. That is, the tracking processor 500 may extract the position of the measurement target 10 through the first and second accelerations, and adjust the posture of the measurement target 10 through the first and second angular velocities. Can be extracted.
  • the tracking processor 500 measures the measurement from the second acceleration using the gravity acceleration extracted from the first acceleration. After extracting the movement acceleration due to the movement of the target 10, the position of the measurement target 10 may be extracted through the movement acceleration.
  • the tracking processing unit 500 extracts the gravity acceleration from the first acceleration, and at least one of the second acceleration and the gravity acceleration After converting the coordinate systems to match each other, the motion acceleration may be extracted using the second acceleration and the gravity acceleration of the coordinate system match each other.
  • FIG. 2 is a flowchart illustrating a tracking method according to an embodiment of the present invention.
  • the camera unit 200 photographs the marker 100 fixed to the measurement target 10 to output the marker image (S100).
  • the tracking processing unit 500 primarily extracts the position and posture of the measurement target 10 from the marker image provided from the camera unit 200 (S200).
  • the tracking processor 500 may calculate the position and attitude of the measurement target 10 by analyzing the position and size of the position points of the marker from the marker image.
  • the position and attitude of the measurement target 10 may be displayed according to the camera coordinate system.
  • the first inertial measurement unit 300 fixed to the camera unit 200 measures and outputs the first inertia including the first acceleration and the first angular velocity (S300).
  • the second inertial measurement unit 400 fixed to any one of the measurement target 10 and the marker 100 measures and outputs the second inertia including the second acceleration and the second angular velocity.
  • the step S400 may be performed separately, that is, before or after the step S300 regardless of the after.
  • the tracking processing unit 500 positions the measurement object 10 through the first inertia provided from the first inertial measurement unit 300 and the second inertia provided from the second inertia measurement unit 400. And secondarily extract the posture (S500).
  • the steps S100 and S200, and the steps S300, S400 and S500 may be performed separately from each other regardless of the future.
  • the steps S300, S400, and S500 may be selectively performed only when it is impossible to extract the position and attitude of the measurement target 10 through the steps S100 and S200.
  • all of the steps S100, S200, S300, S400 and S500 may be performed continuously in real time, but may be performed intermittently, intermittently or periodically at intervals of a predetermined time.
  • FIG. 3 is a flowchart illustrating a process of secondaryly extracting a position and a posture of a measurement target in the tracking method of FIG. 2.
  • the location of the measurement object 10 is extracted through the first and second accelerations in operation S510. And extracting a posture of the measurement target 10 through the first and second angular velocities (S520).
  • the steps S510 and S520 may be performed separately from each other regardless of the future.
  • FIG. 4 is a flowchart illustrating a process of extracting a position of a measurement target in the process of extracting the position and posture of the measurement target of FIG. Conceptual diagram.
  • the gravity acceleration is extracted from the first acceleration (S512).
  • the first acceleration includes the acceleration due to the gravity acceleration and the movement of the first inertial measurement unit 300, the camera unit 200 is fixed to the first inertial measurement unit 300 If in the stationary state, the first acceleration has a value substantially coincident with the gravity acceleration.
  • step S514 the second acceleration is converted from the second inertial coordinate system to the first inertial coordinate system to match the gravity acceleration with the coordinate system, or the gravity acceleration is the second inertia in the first inertial coordinate system.
  • the coordinates may be converted to a coordinate system to match the second acceleration and the coordinate system, or both the second acceleration and the gravity acceleration may be converted to an arbitrary coordinate system, for example, the camera coordinate system, and matched.
  • the transformation in step S514 is to convert the gravity acceleration from the first inertial coordinate system to the second inertial coordinate system to match the second acceleration and coordinate system in order to minimize the error of the conversion process. desirable. This is because the second acceleration is a value that changes with time, but the gravity acceleration extracted from the first acceleration has a substantially constant value.
  • the movement acceleration due to the movement of the measurement target 10 is extracted using the second acceleration and the gravity acceleration where the coordinate systems coincide with each other (S516).
  • the tracking processor 500 may calculate the movement acceleration by removing the gravity acceleration from the second acceleration.
  • the position of the measurement target 10 is extracted through the movement acceleration (S518).
  • the movement acceleration is displayed according to a coordinate system (hereinafter referred to as a coincidence coordinate system) matched through at least one coordinate transformation of the second acceleration and the gravity acceleration through the step S514, the measurement target 10
  • the position may be displayed according to the camera coordinate system.
  • extracting the position of the measurement target 10 may include converting the movement acceleration from the coincidence coordinate system to the camera coordinate system, and the camera coordinate system.
  • the method may include extracting a position of the measurement target 10 using the converted motion acceleration.
  • the tracking processing unit 500 first converts the movement acceleration to the marker coordinate system, and then converts the motion acceleration back to the camera coordinate system, and then doubles the motion acceleration.
  • the position of the measurement object 10 can be calculated by integrating.
  • step S518 of extracting the position of the measurement target 10 the motion acceleration is integrated twice without coordinate transformation as it is, thereby positioning the position of the measurement target 10. You can also calculate
  • the attitude of the measurement target 10 may be extracted using only the second angular velocity.
  • the tracking processor 500 may calculate the inclination angle of the measurement target 10 by integrating the second angular velocity.
  • FIG. 6 is a flowchart for describing a coordinate system conversion process in the process of extracting a position of a measurement target of FIG. 4.
  • a process of converting the gravity acceleration according to the first inertial coordinate system into the second inertial coordinate system may include converting the gravity acceleration according to the first inertial coordinate system into the camera coordinate system. And a second transformation process of converting the gravity acceleration converted into the camera coordinate system into the marker coordinate system, and a third transformation process of converting the gravity acceleration converted into the marker coordinate system into the second inertial coordinate system. have.
  • the tracking processor 500 may perform coordinate transformation by using a value initially given as it is without calculation for obtaining the transformation determinants according to the first and third transformation processes.
  • the tracking processing unit 500 must first calculate the transformation determinant according to the second transformation process before performing the transformation of the gravity acceleration into the second inertial coordinate system.
  • the gravity acceleration may be measured as the first inertial measurement unit 300 is fixed to the camera unit 200 in a stationary state, and the second inertial measurement unit 400 may be used. Is fixed to the marker 100 or the measurement target 10 to measure acceleration and angular velocity at the measurement target 10. Thereafter, the gravity acceleration is removed from the acceleration at the measurement target 10 to extract the movement acceleration at the measurement target 10, and the measurement target 10 is obtained through the movement acceleration and the angular velocity at the measurement target. Track your position and posture.
  • the tracking process may be simplified by omitting the coordinate system correction of the gravity acceleration according to the movement of the camera unit 200.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

측정 대상의 위치 및 자세를 연속적으로 추적할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법이 개시된다. 이러한 트랙킹 시스템은 마커, 카메라부, 제1 관성 측정부, 제2 관성 측정부 및 트랙킹 처리부를 포함한다. 상기 마커는 측정 대상에 고정되고, 상기 카메라부는 상기 마커를 촬영하여 마커 영상을 출력한다. 상기 제1 관성 측정부는 상기 카메라부에 고정되고, 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력한다. 상기 제2 관성 측정부는 상기 측정 대상 및 상기 마커 중 어느 하나에 고정되고, 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력한다. 상기 트랙킹 처리부는 상기 마커 영상을 통해 상기 측정 대상의 위치 및 자세를 일차적으로 추출하고, 및 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출한다.

Description

트랙킹 시스템 및 이를 이용한 트랙킹 방법
본 발명은 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것으로, 더욱 상세하게는 수술용 도구와 같은 기구의 위치를 추적할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것이다.
수술용 도구는 정확한 위치에 배치되어 수술 행위가 이루어져야 하기 때문에, 상기 수술용 도구의 위치 및 자세를 정확하고 실시간으로 추적할 수 있는 시스템, 즉 트랙킹 시스템이 필요하다. 이러한 트랙킹 시스템으로는, 스테레오 카메라를 이용한 옵티컬 트랙커(Optical tracker)가 있다.
이러한 옵티컬 트랙커는 수술용 도구에 고정된 마커(marker)를 스테레오 카메라로 촬영함으로써 수술용 도구의 위치 및 자세를 추적할 수 있는 장치이다. 그러나, 수술용 도구에 고정된 마커가 스테레오 카메라에 찍히지 않으면, 즉 오클류젼(Occlusion) 문제가 발생되면, 상기 옵티컬 트랙커로는 더 이상 상기 수술용 도구의 위치 및 자세를 추적할 수 없게 된다.
이에, 최근 몇몇 연구들에서, 수술용 도구 또는 마커에 고정된 IMU(Inertial Measurement Unit)를 더 구비함으로써, 이러한 문제점을 해결하기 위한 노력이 시도되고 있다. 이러한 IMU은 수술용 도구의 가속도 및 각속도를 측정하여 획득할 수 있는 센서 장치로, 이렇게 획득된 가속도 및 각속도를 통해 상기 수술용 도구의 위치 및 자세를 추적할 수 있다. 따라서, 스테레오 카메라에서 상기 오클류젼 문제가 발생되더라도, 상기 IMU를 통해 보완할 수 있기 때문에, 상기 수술용 도구의 위치 및 자세를 연속적 추적할 수 있게 된다.
하지만, 상기 IMU에서 측정된 가속도는 지구 중력에 의한 중력 가속도 및 움직임에 의한 움직임 가속도를 함께 포함하고 있다. 이때, 상기 움직임 가속도만이 상기 수술용 도구의 위치를 파악하는데 사용되므로, 상기 IMU에서 측정된 가속도에서 상기 중력 가속도를 제거할 필요가 있다. 따라서, 상기 IMU에서 측정된 가속도에서 상기 중력 가속도를 제거하기 위해, 중력 가속도에 대응되는 지구 좌표계 및 상기 IMU에서의 가속도와 대응되는 옵티컬 트랙커 좌표계 간의 보정이 필요하다.
그러나, 지구 좌표계 및 옵티컬 트랙커 좌표계 간의 보정이 이루어지면, 상기 옵티컬 트랙커를 이동시켜서는 안 된다. 만약, 상기 옵티컬 트랙커가 이동하게 되면, 상기 옵티컬 트랙커의 움직임에 의해 옵티컬 트랙커 좌표계가 변경되므로, 다시 좌표계 보정을 해줘야 한다. 이러한 좌표계 재보정 과정은 번거로울 뿐만 아니라 수술 중 의도하치 않게 옵티컬 트랙커의 위치가 변한 경우에는 좌표계 보정이 필요하다는 것을 인지하지 못할 수도 있다.
따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결하고자 하는 과제는 옵티컬 트랙커의 움직임에 상관없이 측정 대상의 위치 및 자세를 연속적으로 추적할 수 있는 트랙킹 시스템을 제공하는 것이다.
또한, 본 발명의 해결하고자 하는 다른 과제는 상기 트랙킹 시스템를 이용한 트랙킹 방법을 제공하는 것이다.
본 발명의 일 실시예에 의한 트랙킹 시스템은 마커(marker), 카메라부, 제1 관성 측정부, 제2 관성 측정부 및 트랙킹 처리부를 포함한다.
상기 마커는 측정 대상에 고정된다. 상기 카메라부는 상기 마커를 촬영하여 마커 영상을 출력한다. 상기 제1 관성 측정부는 상기 카메라부에 고정되고, 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력한다. 상기 제2 관성 측정부는 상기 측정 대상 및 상기 마커 중 어느 하나에 고정되고, 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력한다. 상기 트랙킹 처리부는 상기 마커 영상을 통해 상기 측정 대상의 위치 및 자세를 일차적으로 추출하고, 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출한다.
상기 트랙킹 처리부는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출할 수 있고, 상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출할 수 있다.
상기 트랙킹 처리부는 상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출한 후, 상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출할 수 있다.
상기 트랙킹 처리부는 상기 제1 가속도에서 상기 중력 가속도를 추출하고, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨 후, 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출할 수 있다.
이어서, 본 발명의 일 실시예에 의한 트랙킹 방법은 카메라부가 측정 대상에 고정된 마커를 촬영하여 마커 영상을 출력하는 단계, 트랙킹 처리부가 상기 마커 영상으로부터 상기 측정 대상의 위치 및 자세를 일차적으로 추출하는 단계, 상기 카메라부에 고정된 제1 관성 측정부가 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력하는 단계, 상기 측정 대상 및 상기 마커 중 어느 하나에 고정된 제2 관성 측정부가 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력하는 단계, 및 상기 트랙킹 처리부가 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계를 포함한다.
상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출하는 단계, 및 상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출하는 단계를 포함할 수 있다.
상기 측정 대상의 위치를 추출하는 단계는 상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출하는 단계, 및 상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계를 포함할 수 있다.
상기 움직임 가속도를 추출하는 단계는 상기 제1 가속도에서 상기 중력 가속도를 추출하는 단계, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계, 및 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출하는 단계를 포함할 수 있다.
상기 제1 관성 측정부에는 제1 관성 좌표계가 존재하고, 상기 제2 관성 측정부에는 제2 관성 좌표계가 존재할 때, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계는 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계, 및 상기 제2 가속도에서 상기 제2 관성 좌표계로 변환된 상기 중력 가속도를 제거하여 상기 움직임 가속도를 추출하는 단계를 포함할 수 있다.
상기 마커에는 마커 좌표계가 존재하고, 상기 카메라부에는 카메라 좌표계가 존재할 때, 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계는 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 카메라 좌표계로 변환하는 단계, 상기 카메라 좌표계로 변환된 상기 중력 가속도를 상기 마커 좌표계로 변환하는 단계, 및 상기 마커 좌표계로 변환된 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계를 포함할 수 있다.
상기 카메라부에는 카메라 좌표계가 존재할 때, 상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계는 상기 움직임 가속도를 상기 카메라 좌표계로 변환하는 단계, 및 상기 카메라 좌표계로 변환된 상기 움직임 가속도를 이용하여 상기 측정 대상의 위치를 추출하는 단계를 포함할 수 있다.
한편, 상기 제1 가속도는 상기 중력 가속도와 일치하고, 상기 제1 각속도는 제로(0)일 수 있다.
이와 같이 본 발명에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 따르면, 제1 관성 측정부가 정지 상태에 있는 카메라부에 고정됨에 따라 중력 가속도를 측정할 수 있고, 제2 관성 측정부가 마커 또는 측정 대상에 고정되어 측정 대상에서의 가속도 및 각속도를 측정할 수 있다. 이후, 상기 측정 대상에서의 가속도에서 상기 중력 가속도를 제거하여 상기 측정 대상에서의 움직임 가속도를 추출하고, 상기 움직임 가속도 및 상기 측정 대상에서의 각속도를 통해 상기 측정 대상의 위치 및 자세를 연속적으로 추적할 수 있다.
또한, 상기 제1 관성 측정부가 상기 카메라부에 고정되어 있음에 따라, 상기 카메라부가 이동이 발생하더라도, 상기 제1 관성 측정부에서의 좌표계 및 상기 카메라부에서의 좌표계 간의 변환 관계가 일정하게 유지될 수 있다. 그 결과, 상기 카메라부의 이동에 따른 상기 중력 가속도의 좌표계 보정을 생략하여 트랙킹 과정을 단순화시킬 수 있다.
도 1은 본 발명의 일 실시예에 의한 트랙킹 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 의한 트랙킹 방법을 설명하기 위한 순서도이다.
도 3은 도 2의 트랙킹 방법 중 측정 대상의 위치 및 자세를 이차적으로 추출하는 과정을 설명하기 위한 순서도이다.
도 4는 도 3의 측정 대상의 위치 및 자세 추출 과정 중 측정 대상의 위치를 추출하는 과정을 설명하기 위한 순서도이다.
도 5는 도 2의 트랙킹 방법 중 각 좌표계의 관계 및 변환 과정을 설명하기 위한 개념도이다.
도 6은 도 4의 측정 대상의 위치 추출 과정 중 좌표계 변환 과정을 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 의한 트랙킹 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 실시예에 의한 트랙킹 시스템은 측정 대상(10)의 위치 및 자세를 추적할 수 있는 장치로, 마커(marker, 100), 카메라부(200), 제1 관성 측정부(300), 제2 관성 측정부(400) 및 트랙킹 처리부(500)를 포함한다. 이때, 상기 측정 대상(10)은 예를 들어 수술 도구일 수 있다.
한편, 본 실시예에서, '상기 측정 대상(10)의 위치'란 상기 측정 대상(10)에서의 임의의 지점에 대한 3차원 좌표값을 의미하고, '상기 측정 대상(10)의 자세'란 상기 측정 대상(10)이 수직한 가상선을 기준으로 공간적으로 또는 평면적으로 기울어진 각도를 의미할 수 있다. 이때, 상기 측정 대상(10)이 완전 구형이 아니라면, 즉 상기 측정 대상(10)이 어느 한 측으로 길게 연장된 형상을 갖는다면, 상기 측정 대상(10)은 상기 수직한 가상선을 기준으로 기울어지는 각도가 형성될 수 있어, '상기 측정 대상(10)의 자세'가 수치적으로 표현될 수 있다.
상기 마커(100)는 상기 측정 대상(10)의 일측에 배치되어 고정된다. 그 결과, 상기 마커(100)는 상기 측정 대상(10)에 움직임이 발생할 경우, 상기 측정 대상(100)과 함께 움직일 수 있다. 상기 마커(100)는 상기 측정 대상(10)의 위치 및 자세를 측정하기 위해 복수의 위치 포인트들을 포함할 수 있다. 예를 들어, 상기 마커(100)는 도 1과 같이 4개의 위치 포인트들을 포함할 수 있다. 한편, 상기 마커(100)에는 상기 마커(100)를 기준으로 3차원 위치 및 이동 관계를 나타내는 마커 좌표계가 존재한다.
상기 카메라부(200)는 상기 마커(100)를 촬영하여 마커 영상을 출력한다. 상기 카메라부(200)는 상기 마커(100)를 용이하게 촬영할 수 있도록 별도의 거치 수단(20)에 배치 또는 고정될 수 있다. 상기 카메라부(200)는 예를 들어, 공간적인 위치 및 자세 정보를 정확하게 측정할 수 있는 스테레오 카메라일 수 있다. 한편, 상기 카메라부(200)에는 상기 카메라부(200)를 기준으로 3차원 위치 및 이동 관계를 나타내는 카메라 좌표계가 존재한다. 여기서, 상기 측정 대상(10)의 위치 및 자세를 나타내기 위한 기준 좌표계는 카메라 좌표계일 수 있다.
상기 제1 관성 측정부(300)는 상기 카메라부(200)의 일측에 배치되어 고정된다. 상기 제1 관성 측정부(300)에는 상기 제1 관성 측정부(300)를 기준으로 3차원 위치 및 이동 관계를 나타내는 제1 관성 좌표계가 존재한다. 따라서, 상기 제1 관성 측정부(300)는 상기 카메라부(200)가 이동하면 함께 이동하고, 정지되어 있으면 함께 정지되어 있으므로, 상기 카메라 좌표계 및 상기 제1 관성 좌표계 간의 변환 관계는 항상 일정할 수 있다.
상기 제1 관성 측정부(300)는 가속도 및 각속도를 포함하는 관성을 측정할 수 있는 센서를 포함한다. 상기 제1 관성 측정부(300)는 예를 들어, IMU(Inertial Measurement Unit)일 수 있다. 따라서, 상기 제1 관성 측정부(300)는 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력한다. 한편, 상기 카메라부(200)는 상기 마커(100)를 측정할 때 정지 상태에 있는 것이 바람직하다. 만약, 상기 카메라부(100)가 정지 상태에 있다면, 상기 제1 가속도는 지구 중력에 의한 중력 가속도와 일치하고, 상기 제1 각속도는 제로(0)의 값을 갖게 된다.
상기 제2 관성 측정부(400)는 상기 측정 대상(10) 및 상기 마커(100) 중 어느 하나에 배치되어 고정된다. 상기 제2 관성 측정부(400)에는 상기 제2 관성 측정부(400)를 기준으로 3차원 위치 및 이동 관계를 나타내는 제2 관성 좌표계가 존재한다. 따라서, 상기 마커(100) 및 상기 제2 관성 측정부(400)는 상기 측정 대상(10)이 이동하면 함께 이동하고, 정지되어 있으면 함께 정지되어 있으므로, 상기 마커 좌표계 및 상기 제2 관성 좌표계 간의 변환 관계는 항상 일정할 수 있다.
상기 제2 관성 측정부(400)는 가속도 및 각속도를 포함하는 관성을 측정할 수 있는 센서를 포함한다. 상기 제2 관성 측정부(400)는 예를 들어, IMU(Inertial Measurement Unit)일 수 있다. 따라서, 상기 제2 관성 측정부(400)는 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력한다. 이때, 상기 제2 관성은 상기 측정 대상(10)의 움직임에 따른 물리량을 의미한다.
상기 트랙킹 처리부(500)는 상기 카메라부(200), 상기 제1 관성 측정부(300) 및 상기 제2 관성 측정부(400)와 유선 또는 무선 통신 방식으로 신호를 주고 받을 수 있다. 따라서, 상기 트랙킹 처리부(500)는 상기 카메라부(200)로부터 상기 마커 영상을, 상기 제1 관성 측정부(300)로부터 상기 제1 관성을, 그리고 상기 제2 관성 측정부(400)로부터 상기 제2 관성을 제공받을 수 있다.
우선, 상기 트랙킹 처리부(500)는 상기 마커 영상을 분석하여 상기 측정 대상(10)의 위치 및 자세를 일차적으로 추출할 수 있다. 예를 들어, 상기 마커 영상으로부터 상기 마커의 위치 포인트들의 위치 및 크기 등을 분석하여 상기 측정 대상(10)의 위치 및 자세를 계산할 수 있다. 이때, 상기 측정 대상(10)의 위치 및 자세는 상기 카메라 좌표계에 따라 표시될 수 있다.
이어서, 상기 트랙킹 처리부(500)는 상기 제1 및 제2 관성들을 통해 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출할 수 있다. 여기서, '상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출한다는 것'은 '상기 마커 영상의 분석에 의한 일차적 추출이 불가능할 때만 이를 보완하기 위해 추출한다는 것'과, '상기 마커 영상의 분석에 의한 일차적 추출과 상관없이 별도로 추출한다는 것'을 포함하는 의미일 수 있다. 또한, '상기 마커 영상의 분석에 의한 일차적 추출이 불가능할 때'라는 것은 '임의의 물체에 가려 상기 마커를 촬영하지 못한 경우'와 '상기 마커 영상을 획득했을지라도 분석이 불가능한 경우'를을 포함하는 의미일 수 있다.
한편, 임의의 물체에 대한 가속도를 이중 적분하면 상기 물체의 상대 위치를 계산할 수 있고, 상기 물체에 대한 각속도를 적분하면, 상기 물체의 상대 각도를 계산할 수 있으며, 상기 물체의 최초 위치 및 최초 기울어진 각도를 알 수 있다면, 상기 물체의 위치 및 자세를 계산해낼 수 있다. 따라서, 상기 트랙킹 처리부(500)는 위와 같은 계산 방식으로 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출할 수 있다. 즉, 상기 트랙킹 처리부(500)는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상(10)의 위치를 추출할 수 있고, 상기 제1 및 제2 각속도들을 통해 상기 측정 대상(10)의 자세를 추출할 수 있다.
상기 제1 및 제2 가속도들을 통해 상기 측정 대상(10)의 위치를 추출하는 과정에서, 상기 트랙킹 처리부(500)는 상기 제1 가속도에서 추출된 상기 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상(10)의 움직임에 의한 움직임 가속도를 추출한 후, 상기 움직임 가속도를 통해 상기 측정 대상(10)의 위치를 추출할 수 있다. 여기서, 상기 측정 대상(10)의 움직임에 의한 움직임 가속도를 추출하는 과정에서, 상기 트랙킹 처리부(500)는 상기 제1 가속도에서 상기 중력 가속도를 추출하고, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨 후, 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출할 수 있다.
이하, 위에서 설명한 상기 트랙킹 시스템을 이용하여 상기 측정 대상의 위치 및 자세를 추적하는 트랙킹 방법에 대해 자세하게 설명하고자 한다.
도 2는 본 발명의 일 실시예에 의한 트랙킹 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 본 실시예에 의한 트랙킹 방법으로, 우선 상기 카메라부(200)가 상기 측정 대상(10)에 고정된 상기 마커(100)를 촬영하여 상기 마커 영상을 출력한다(S100).
이후, 상기 트랙킹 처리부(500)가 상기 카메라부(200)로부터 제공된 상기 마커 영상으로부터 상기 측정 대상(10)의 위치 및 자세를 일차적으로 추출한다(S200). 예를 들어, 상기 트랙킹 처리부(500)는 상기 마커 영상으로부터 상기 마커의 위치 포인트들의 위치 및 크기 등을 분석하여 상기 측정 대상(10)의 위치 및 자세를 계산할 수 있다. 이때, 상기 측정 대상(10)의 위치 및 자세는 상기 카메라 좌표계에 따라 표시될 수 있다.
한편, 상기 카메라부(200)에 고정된 상기 제1 관성 측정부(300)가 상기 제1 가속도 및 상기 제1 각속도를 포함하는 상기 제1 관성을 측정하여 출력한다(S300).
또한, 상기 측정 대상(10) 및 상기 마커(100) 중 어느 하나에 고정된 상기 제2 관성 측정부(400)가 상기 제2 가속도 및 상기 제2 각속도를 포함하는 상기 제2 관성을 측정하여 출력한다(S400). 여기서, 상기 S400 단계는 상기 S300 단계와 선후 관계없이 별도로, 즉 동시에, 앞서서 또는 뒤이어 수행될 수 있다.
이후, 상기 트랙킹 처리부(500)가 상기 제1 관성 측정부(300)로부터 제공된 상기 제1 관성 및 상기 제2 관성 측정부(400)로부터 제공된 상기 제2 관성을 통해 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출한다(S500).
본 실시예에서, 상기 S100 및 S200 단계들과, 상기 S300, S400 및 S500 단계들은 선후 관계없이 서로 별도로 수행될 수 있다. 또는, 상기 S300, S400 및 S500 단계들은 상기 S100 및 S200 단계들을 통해 상기 측정 대상(10)의 위치 및 자세를 추출하는 것이 불가능할 때만 선택적으로 수행될 수도 있다.
또한, 상기 S100, S200, S300, S400 및 S500 단계들 모두는 실시간으로 연속적으로 수행될 수도 있지만, 일정 시간의 간격을 두고 단속적으로, 간헐적으로 또는 주기적으로 수행될 수도 있다.
도 3은 도 2의 트랙킹 방법 중 측정 대상의 위치 및 자세를 이차적으로 추출하는 과정을 설명하기 위한 순서도이다.
도 3을 참조하면, 상기 측정 대상(10)의 위치 및 자세를 이차적으로 추출하는 단계(S500)는 상기 제1 및 제2 가속도들을 통해 상기 측정 대상(10)의 위치를 추출하는 단계(S510), 및 상기 제1 및 제2 각속도들을 통해 상기 측정 대상(10)의 자세를 추출하는 단계(S520)를 포함할 수 있다. 이때, 상기 S510 및 S520 단계들은 선후 관계없이 서로 별도로 수행될 수 있다.
도 4는 도 3의 측정 대상의 위치 및 자세 추출 과정 중 측정 대상의 위치를 추출하는 과정을 설명하기 위한 순서도이고, 도 5는 도 2의 트랙킹 방법 중 각 좌표계의 관계 및 변환 과정을 설명하기 위한 개념도이다.
도 4 및 도 5를 참조하면, 상기 측정 대상(10)의 위치를 추출하는 단계(S510)에서, 우선 상기 제1 가속도에서 상기 중력 가속도를 추출한다(S512). 여기서, 상기 제1 가속도는 상기 중력 가속도 및 상기 제1 관성 측정부(300)의 움직임에 의한 가속도를 포함하고 있는데, 상기 제1 관성 측정부(300)가 고정되어 있는 상기 카메라부(200)가 정지 상태에 있다면, 상기 제1 가속도는 상기 중력 가속도와 실질적으로 일치하는 값을 갖게 된다.
이어서, 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨다(S514). 여기서, 상기 제2 가속도는 상기 제2 관성 좌표계에 따라 표시되고, 상기 중력 가속도는 상기 제1 관성 좌표계로 표시된다. 따라서, 상기 S514 단계에서는, 상기 제2 가속도를 상기 제2 관성 좌표계에서 상기 제1 관성 좌표계로 변환시켜 상기 중력 가속도와 좌표계를 일치시키거나, 상기 중력 가속도를 상기 제1 관성 좌표계에서 상기 제2 관성 좌표계로 변환시켜 상기 제2 가속도와 좌표계를 일치시키거나, 상기 제2 가속도 및 상기 중력 가속도 모두를 임의의 좌표계, 예를 들어 상기 카메라 좌표계로 변환시켜 일치시킬 수 있다.
한편, 본 실시예에서, 상기 S514 단계에서의 변환은 변환 과정의 오차를 최소화하기 위해 상기 중력 가속도를 상기 제1 관성 좌표계에서 상기 제2 관성 좌표계로 변환시켜 상기 제2 가속도와 좌표계를 일치시키는 것이 바람직하다. 왜냐하면, 상기 제2 가속도는 시간에 따라 변화하는 값이지만, 상기 제1 가속도에서 추출되는 상기 중력 가속도는 거의 일정한 값을 갖기 때문이다.
이어서, 좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 상기 측정 대상(10)의 움직임에 의한 움직임 가속도를 추출한다(S516). 구체적으로, 상기 트랙킹 처리부(500)는 상기 제2 가속도에서 상기 중력 가속도를 제거하여 상기 움직임 가속도를 계산할 수 있다.
이어서, 상기 움직임 가속도를 통해 상기 측정 대상(10)의 위치를 추출한다(S518). 여기서, 상기 움직임 가속도는 상기 S514 단계를 통해 상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나의 좌표 변환을 통해 일치시킨 좌표계(이하, 일치 좌표계라 함)에 따라 표시되고, 상기 측정 대상(10)의 위치는 상기 카메라 좌표계에 따라 표시될 수 있다.
상기 일치 좌표계가 상기 카메라 좌표계와 일치하지 않을 경우, 상기 측정 대상(10)의 위치를 추출하는 단계(S518)는 상기 움직임 가속도를 상기 일치 좌표계에서 상기 카메라 좌표계로 변환하는 단계, 및 상기 카메라 좌표계로 변환된 상기 움직임 가속도를 이용하여 상기 측정 대상(10)의 위치를 추출하는 단계를 포함할 수 있다. 예를 들어, 상기 일치 좌표계가 상기 제2 관성 좌표계일 경우, 상기 트랙킹 처리부(500)는 상기 움직임 가속도를 우선 상기 마커 좌표계로 변환하고, 이후 상기 카메라 좌표계로 다시 변환한 후, 상기 움직임 가속도를 이중 적분하여 상기 측정 대상(10)의 위치를 계산해낼 수 있다.
반면, 상기 일치 좌표계가 상기 카메라 좌표계와 일치할 경우, 상기 측정 대상(10)의 위치를 추출하는 단계(S518)에서, 상기 움직임 가속도를 좌표 변환없이 그대로 이중 적분하여 상기 측정 대상(10)의 위치를 계산해낼 수도 있다.
한편, 상기 카메라부(200)가 정지 상태에 있다면, 상기 제1 관성 측정부(300)도 정지 상태에 있으므로, 상기 제1 각속도는 제로(0)의 값을 갖게 된다. 따라서, 도 3에 도시된 상기 S520 단계에서는, 상기 제2 각속도만을 이용하여 상기 측정 대상(10)의 자세를 추출할 수 있다. 예를 들어, 상기 트랙킹 처리부(500)는 상기 제2 각속도를 적분하여 상기 측정 대상(10)의 기울어진 각도를 계산해낼 수 있다.
도 6은 도 4의 측정 대상의 위치 추출 과정 중 좌표계 변환 과정을 설명하기 위한 순서도이다.
도 5 및 도 6을 참조하면, 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 과정은 상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 카메라 좌표계로 변환하는 제1 변환 과정, 상기 카메라 좌표계로 변환된 상기 중력 가속도를 상기 마커 좌표계로 변환하는 제2 변환 과정, 및 상기 마커 좌표계로 변환된 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 제3 변환 과정으로 구성될 수 있다.
본 실시예에서, 상기 제1 관성 측정부(300)가 상기 카메라부(200)에 고정되어 있고, 상기 제2 관성 측정부(400)가 상기 마커(100) 또는 상기 측정 대상에 고정되어 있기 때문에, 상기 제1 변환 과정에 따른 변환 행렬식과 상기 제3 변환 과정에 따른 변환 행렬식 각각은 일정한 값을 가질 수 있다. 따라서, 상기 트랙킹 처리부(500)는 상기 제1 및 제3 변환 과정에 따른 변환 행렬식들을 구하기 위한 계산없이 초기에 주어진 값을 그대로 사용하여 좌표 변환을 수행할 수 있다.
반면, 상기 측정 대상(10)은 상기 카메라부(100)에 의해 촬영될 때 이동하게 되면, 상기 마커 좌표계도 변경하게 되고, 그에 따라 상기 제2 변환 과정에 따른 변환 행렬식도 변경될 수 있다. 따라서, 상기 트랙킹 처리부(500)는 상기 중력 가속도의 상기 제2 관성 좌표계로의 변환을 수행하기에 앞서, 상기 제2 변환 과정에 따른 변환 행렬식을 우선 계산해내야 한다.
이와 같이 본 실시예에 따르면, 상기 제1 관성 측정부(300)가 정지 상태에 있는 상기 카메라부(200)에 고정됨에 따라 상기 중력 가속도를 측정할 수 있고, 상기 제2 관성 측정부(400)가 상기 마커(100) 또는 상기 측정 대상(10)에 고정되어 상기 측정 대상(10)에서의 가속도 및 각속도를 측정할 수 있다. 이후, 상기 측정 대상(10)에서의 가속도에서 상기 중력 가속도를 제거하여 상기 측정 대상(10)에서의 움직임 가속도를 추출하고, 상기 움직임 가속도 및 상기 측정 대상에서의 각속도를 통해 상기 측정 대상(10)의 위치 및 자세를 추적할 수 있다.
또한, 상기 제1 관성 측정부(300)가 상기 카메라부(200)에 고정되어 있음에 따라, 상기 카메라부(200)가 촬영 중 이동한다하더라도, 상기 제1 관성 좌표계 및 상기 카메라 좌표계 간의 변환 관계가 일정하게 유지될 수 있다. 그 결과, 상기 카메라부(200)의 이동에 따른 상기 중력 가속도의 좌표계 보정을 생략하여 트랙킹 과정을 단순화시킬 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
(부호의 설명) 100 : 마커, 200 : 카메라부, 300 : 제1 관성 측정부, 400 : 제2 관성 측정부, 500 : 트랙킹 처리부, 10 : 측정 대상, 20 : 거치 수단

Claims (12)

  1. 측정 대상에 고정된 마커(marker);
    상기 마커를 촬영하여 마커 영상을 출력하는 카메라부;
    상기 카메라부에 고정되고, 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력하는 제1 관성 측정부;
    상기 측정 대상 및 상기 마커 중 어느 하나에 고정되고, 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력하는 제2 관성 측정부; 및
    상기 마커 영상을 통해 상기 측정 대상의 위치 및 자세를 일차적으로 추출하고, 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 트랙킹 처리부를 포함하는 트랙킹 시스템.
  2. 제1항에 있어서, 상기 트랙킹 처리부는
    상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출하고,
    상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출하는 트랙킹 시스템.
  3. 제2항에 있어서, 상기 트랙킹 처리부는
    상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출한 후,
    상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 트랙킹 시스템.
  4. 제3항에 있어서, 상기 트랙킹 처리부는
    상기 제1 가속도에서 상기 중력 가속도를 추출하고,
    상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시킨 후,
    좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출하는 트랙킹 시스템.
  5. 카메라부가 측정 대상에 고정된 마커(marker)를 촬영하여 마커 영상을 출력하는 단계;
    트랙킹 처리부가 상기 마커 영상으로부터 상기 측정 대상의 위치 및 자세를 일차적으로 추출하는 단계;
    상기 카메라부에 고정된 제1 관성 측정부가 제1 가속도 및 제1 각속도를 포함하는 제1 관성을 측정하여 출력하는 단계;
    상기 측정 대상 및 상기 마커 중 어느 하나에 고정된 제2 관성 측정부가 제2 가속도 및 제2 각속도를 포함하는 제2 관성을 측정하여 출력하는 단계; 및
    상기 트랙킹 처리부가 상기 제1 및 제2 관성들을 통해 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계를 포함하는 트랙킹 방법.
  6. 제5항에 있어서, 상기 측정 대상의 위치 및 자세를 이차적으로 추출하는 단계는
    상기 제1 및 제2 가속도들을 통해 상기 측정 대상의 위치를 추출하는 단계; 및
    상기 제1 및 제2 각속도들을 통해 상기 측정 대상의 자세를 추출하는 단계를 포함하는 트랙킹 방법.
  7. 제6항에 있어서, 상기 측정 대상의 위치를 추출하는 단계는
    상기 제1 가속도에서 추출된 중력 가속도를 이용하여 상기 제2 가속도로부터 상기 측정 대상의 움직임에 의한 움직임 가속도를 추출하는 단계; 및
    상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계를 포함하는 트랙킹 방법.
  8. 제7항에 있어서, 상기 움직임 가속도를 추출하는 단계는
    상기 제1 가속도에서 상기 중력 가속도를 추출하는 단계;
    상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계; 및
    좌표계가 서로 일치된 상기 제2 가속도 및 상기 중력 가속도를 이용하여 움직임 가속도를 추출하는 단계를 포함하는 트랙킹 방법.
  9. 제8항에 있어서, 상기 제1 관성 측정부에는 제1 관성 좌표계가 존재하고, 상기 제2 관성 측정부에는 제2 관성 좌표계가 존재하며,
    상기 제2 가속도 및 상기 중력 가속도 중 적어도 하나를 좌표계가 서로 일치하도록 변환시키는 단계는
    상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계; 및
    상기 제2 가속도에서 상기 제2 관성 좌표계로 변환된 상기 중력 가속도를 제거하여 상기 움직임 가속도를 추출하는 단계를 포함하는 트랙킹 방법.
  10. 제9항에 있어서, 상기 마커에는 마커 좌표계가 존재하고, 상기 카메라부에는 카메라 좌표계가 존재하며,
    상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계는
    상기 제1 관성 좌표계에 따른 상기 중력 가속도를 상기 카메라 좌표계로 변환하는 단계;
    상기 카메라 좌표계로 변환된 상기 중력 가속도를 상기 마커 좌표계로 변환하는 단계; 및
    상기 마커 좌표계로 변환된 상기 중력 가속도를 상기 제2 관성 좌표계로 변환하는 단계를 포함하는 트랙킹 방법.
  11. 제7항에 있어서, 상기 카메라부에는 카메라 좌표계가 존재하고,
    상기 움직임 가속도를 통해 상기 측정 대상의 위치를 추출하는 단계는
    상기 움직임 가속도를 상기 카메라 좌표계로 변환하는 단계; 및
    상기 카메라 좌표계로 변환된 상기 움직임 가속도를 이용하여 상기 측정 대상의 위치를 추출하는 단계를 포함하는 트랙킹 방법.
  12. 제7항에 있어서, 상기 제1 가속도는 상기 중력 가속도와 일치하고, 상기 제1 각속도는 제로(0)인 트랙킹 방법.
PCT/KR2015/008412 2014-08-13 2015-08-11 트랙킹 시스템 및 이를 이용한 트랙킹 방법 WO2016024797A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580043386.7A CN106687063B (zh) 2014-08-13 2015-08-11 跟踪系统及利用其的跟踪方法
US15/503,565 US10799299B2 (en) 2014-08-13 2015-08-11 Tracking system and tracking method using same
EP15832127.3A EP3181085B1 (en) 2014-08-13 2015-08-11 Tracking system
US17/024,037 US11730547B2 (en) 2014-08-13 2020-09-17 Tracking system and tracking method using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0104889 2014-08-13
KR1020140104889A KR101645392B1 (ko) 2014-08-13 2014-08-13 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/503,565 A-371-Of-International US10799299B2 (en) 2014-08-13 2015-08-11 Tracking system and tracking method using same
US17/024,037 Continuation US11730547B2 (en) 2014-08-13 2020-09-17 Tracking system and tracking method using same

Publications (1)

Publication Number Publication Date
WO2016024797A1 true WO2016024797A1 (ko) 2016-02-18

Family

ID=55304362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008412 WO2016024797A1 (ko) 2014-08-13 2015-08-11 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Country Status (5)

Country Link
US (2) US10799299B2 (ko)
EP (1) EP3181085B1 (ko)
KR (1) KR101645392B1 (ko)
CN (1) CN106687063B (ko)
WO (1) WO2016024797A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
KR101645392B1 (ko) * 2014-08-13 2016-08-02 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
EP3747389A1 (en) * 2019-06-05 2020-12-09 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11871998B2 (en) 2019-12-06 2024-01-16 Stryker European Operations Limited Gravity based patient image orientation detection
US20230028689A1 (en) * 2020-01-06 2023-01-26 Intuitive Surgical Operations, Inc. System and method for inter-arm registration
CN111407406B (zh) * 2020-03-31 2022-04-26 武汉联影智融医疗科技有限公司 头部位置标识系统、术中控制系统及控制方法
US20210361360A1 (en) * 2020-05-19 2021-11-25 Orthosoft Ulc Stabilization system for navigation camera in computer-assisted surgery
EP4212123A1 (en) * 2022-01-18 2023-07-19 Stryker European Operations Limited Technique for determining a need for a re-registration of a patient tracker tracked by a camera system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534316A (ja) * 2007-07-10 2010-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象物の動きを捕捉するシステム及び方法
JP2011517971A (ja) * 2008-03-25 2011-06-23 オーソソフト インコーポレイテッド 追跡装置および追跡方法
KR20130137435A (ko) * 2012-06-07 2013-12-17 조춘식 의료 영상 보상 방법, 시스템 및 장치
WO2014052428A1 (en) * 2012-09-26 2014-04-03 Stryker Corporation Navigation system including optical and non-optical sensors

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592401A (en) * 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
EP1153292B1 (en) 1998-12-23 2011-08-24 Image Guided Technologies, Inc. A hybrid 3-d probe tracked by multiple sensors
CN101977557B (zh) 2008-03-25 2013-03-13 奥索瑟夫特公司 用于规划/引导对骨骼的改变的系统
EP2448512B1 (en) 2009-06-29 2021-10-27 Koninklijke Philips N.V. Apparatus for tracking in a medical procedure
JP5704833B2 (ja) 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US9913693B2 (en) 2010-10-29 2018-03-13 Medtronic, Inc. Error correction techniques in surgical navigation
DE102011050240A1 (de) 2011-05-10 2012-11-15 Medizinische Hochschule Hannover Vorrichtung und Verfahren zur Bestimmung der relativen Position und Orientierung von Objekten
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
EP2765946B1 (en) 2011-10-13 2015-08-12 Brainlab AG Medical tracking system comprising multi-functional sensor device
DE102011054730A1 (de) * 2011-10-21 2013-04-25 Aesculap Ag Chirurgisches Navigationssystem
KR101645392B1 (ko) * 2014-08-13 2016-08-02 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010534316A (ja) * 2007-07-10 2010-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象物の動きを捕捉するシステム及び方法
JP2011517971A (ja) * 2008-03-25 2011-06-23 オーソソフト インコーポレイテッド 追跡装置および追跡方法
KR20130137435A (ko) * 2012-06-07 2013-12-17 조춘식 의료 영상 보상 방법, 시스템 및 장치
WO2014052428A1 (en) * 2012-09-26 2014-04-03 Stryker Corporation Navigation system including optical and non-optical sensors

Also Published As

Publication number Publication date
EP3181085B1 (en) 2020-09-16
KR20160020065A (ko) 2016-02-23
EP3181085A1 (en) 2017-06-21
EP3181085A4 (en) 2018-04-04
US10799299B2 (en) 2020-10-13
US20210000551A1 (en) 2021-01-07
KR101645392B1 (ko) 2016-08-02
US11730547B2 (en) 2023-08-22
CN106687063A (zh) 2017-05-17
CN106687063B (zh) 2020-10-27
US20170224425A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2012161407A1 (en) Method of motion tracking
WO2012134069A2 (ko) 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2018092944A1 (ko) 경직 평가 장치, 방법 및 시스템
KR101239532B1 (ko) 로봇의 위치 인식 장치 및 방법
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2014058136A1 (ko) 이미지를 이용한 신장 측정 방법 및 이동 로봇 장치
WO2017095120A1 (ko) 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
EP3269302A1 (en) Information processing apparatus and information processing method
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021215800A1 (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
WO2013183829A1 (ko) 가속도계를 이용한 구체의 회전속도 측정방법
JP2559939B2 (ja) ３次元情報入力装置
WO2021162287A1 (ko) 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
WO2012133962A1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
KR101059748B1 (ko) 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2012057392A1 (ko) 복수개의 카메라를 이용한 거리측정 시스템 및 그 방법
WO2020116836A1 (ko) 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법
WO2019124750A1 (ko) 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15832127

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015832127

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015832127

Country of ref document: EP