KR20230085865A - Location tracker - Google Patents

Location tracker Download PDF

Info

Publication number
KR20230085865A
KR20230085865A KR1020220166466A KR20220166466A KR20230085865A KR 20230085865 A KR20230085865 A KR 20230085865A KR 1020220166466 A KR1020220166466 A KR 1020220166466A KR 20220166466 A KR20220166466 A KR 20220166466A KR 20230085865 A KR20230085865 A KR 20230085865A
Authority
KR
South Korea
Prior art keywords
electromagnetic
sensor
marker
coordinates
sub
Prior art date
Application number
KR1020220166466A
Other languages
Korean (ko)
Inventor
이경희
양정원
장민혜
차보경
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of KR20230085865A publication Critical patent/KR20230085865A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/741—Glove like input devices, e.g. "data gloves"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Position Input By Displaying (AREA)

Abstract

The present invention relates to a location tracker, which comprises: an optical marker; an optical tracker for tracking a marker location from an image for the optical marker; an electromagnetic reference sensor located to be spaced apart from the optical marker; one or more electromagnetic sub-sensors located to be spaced apart from the electromagnetic reference sensor; an EM tracker for tracking a location of each sensor by sensing magnetic fields generated from the electromagnetic reference sensor and the electromagnetic sub-sensors; and a control device for calculating locations of the electromagnetic sub-sensors relative to a location of the electromagnetic reference sensor on the basis of the location of the electromagnetic reference sensor relative to the marker location. Therefore, a finger location can be quickly and precisely tracked.

Description

위치 추적기 {Location tracker}Location tracker {Location tracker}

본 발명은 위치 추적기에 관한 것으로서, 특히, 정밀하게 손가락의 위치와 움직임을 측정해 손가락 위치를 트래킹할 수 있는 정밀 핸드 트래킹용 장갑 등에 적용을 위한 위치 추적기에 관한 것이다.The present invention relates to a position tracker, and more particularly, to a position tracker for application to a precision hand tracking glove capable of tracking the position of a finger by precisely measuring the position and movement of a finger.

최근 내시경이나 복강경 등을 이용한 최소침습 수술의 증가와 함께 수술 대상 장기의 위치를 추적하는 기술을 이용한 네비게이션 수술이 많이 증가하고 있다. 이러한 위치 추적에는 광학 추적 방식과 전자기파를 이용한 추적 방식이 이용되고 있지만, 광학 추적 방식에서는 여러 개의 추적 마커를 장착하여야 하므로 손가락에 장착하기에는 그 크기가 커서 사용이 불가하다는 문제점이 있으며, 전자기파를 이용한 추적 방식은 작은 센서를 이용하지만 추적 범위가 좁아 넓은 공간에서 활용하기에는 한계가 있다는 문제점이 있다. Recently, along with the increase in minimally invasive surgery using an endoscope or laparoscope, navigation surgery using a technique for tracking the position of a target organ is increasing. An optical tracking method and a tracking method using electromagnetic waves are used for such location tracking, but in the optical tracking method, since several tracking markers must be mounted, the size is too large to be mounted on a finger, so it cannot be used, and tracking using electromagnetic waves Although this method uses a small sensor, there is a problem in that the tracking range is narrow and there is a limitation in using it in a wide space.

따라서, 손이나 손가락의 움직임의 추적과 같이 넓은 범위에 대해 정밀한 위치 추적을 위해서 이에 적합한 기구가 필요한 실정이다.Accordingly, there is a need for a device suitable for precise location tracking over a wide range, such as tracking movements of a hand or a finger.

관련 선행 문헌으로서 특허출원 제10-2012-7013203호 (2010년11월11일), 특허출원 제10-2020-7035620호 (2019년06월11일) 등이 참조될 수 있다. As related prior literature, Patent Application No. 10-2012-7013203 (November 11, 2010) and Patent Application No. 10-2020-7035620 (June 11, 2019) may be referred to.

따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 비교적 큰 범위의 넓은 움직임은 광학 추적 방식으로 좌표를 추적하고 비교적 작은 범위의 세부 움직임은 전자기파를 이용한 추적 방식으로 좌표를 추적함으로써, 좌표 추적을 위한 계산을 분리하고 단순화해 손과 손가락의 위치와 움직임을 분리 측정하는 방법으로 손가락 위치를 빠르고 정밀하게 트래킹할 수 있는 핸드 트래킹용 장갑 등에 적용할 수 있는 위치 추적기를 제공하는 데 있다. Therefore, the present invention has been devised to solve the above problems, and an object of the present invention is to track coordinates in a relatively large range by an optical tracking method and to track detailed movements in a relatively small range by a tracking method using electromagnetic waves. By tracking the coordinates, a location tracker that can be applied to hand tracking gloves, etc., which can quickly and precisely track the location of a finger by separating and simplifying the calculation for coordinate tracking and separately measuring the location and movement of the hand and fingers. is to provide

먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의 일면에 따른 위치 추적기는, 광학 마커; 상기 광학 마커에 대한 영상으로부터 마커 위치를 추적하는 광학 추적기; 상기 광학 마커로부터 이격되어 위치된 전자기 기준센서; 상기 전자기 기준센서로부터 이격되어 위치된 하나 이상의 전자기 서브센서; 상기 전자기 기준센서 및 상기 전자기 서브센서에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적하는 EM 추적기; 및 상기 마커 위치에 상대적인 상기 전자기 기준센서의 위치를 기초로 상기 전자기 기준센서의 위치에 상대적인 상기 전자기 서브센서의 위치를 산출하는 제어장치를 포함할 수 있다.First, to summarize the features of the present invention, the position tracker according to an aspect of the present invention for achieving the above object, an optical marker; an optical tracker tracking a position of the optical marker from an image of the optical marker; an electromagnetic reference sensor positioned remotely from the optical marker; one or more electromagnetic sub-sensors positioned remotely from the electromagnetic reference sensor; an EM tracker that detects magnetic fields generated by the electromagnetic reference sensor and the electromagnetic sub-sensor and tracks the position of each sensor; and a control device for calculating a position of the electromagnetic sub-sensor relative to a position of the electromagnetic reference sensor based on a position of the electromagnetic reference sensor relative to the marker position.

상기 제어장치는, 상기 마커 위치 또는 상기 전자기 서브센서의 위치를 표시 장치에 표시하기 위한 영상 데이터를 생성할 수 있다.The control device may generate image data for displaying the location of the marker or the location of the electromagnetic sub-sensor on a display device.

상기 제어장치는, 상기 영상 데이터를 네비게이션 수술 과정을 표시하는 디스플레이 또는 증강현실이나 가상 현실을 표시하는 디스플레이에 표시할 수 있다.The control device may display the image data on a display displaying a navigation surgical procedure or a display displaying augmented reality or virtual reality.

상기 제어 장치는, 상기 전자기 기준센서의 위치 좌표에 상대적인 상기 마커 위치 좌표와 상기 전자기 서브센서의 위치 좌표를 합성하여, 상기 전자기 서브센서의 좌표에 대한 위치 추적을 수행할 수 있다.The control device may perform position tracking on the coordinates of the electromagnetic sub-sensor by synthesizing the position coordinates of the marker relative to the position coordinates of the electromagnetic reference sensor and the position coordinates of the electromagnetic sub-sensor.

상기 제어 장치는, 상기 마커 위치에 대한 상대적인 상기 전자기 서브센서 위치의 좌표를 산출하여, 상기 광학 마커의 제1 이동 범위가 상기 전자기 서브센서의 제2 이동 범위 보다 큰 경우에 대해서도, 넓은 범위의 상기 제1 이동과 세부적인 상기 제2 이동에 대해 상기 전자기 서브센서의 위치 좌표에 대한 위치 추적이 모두 가능하도록 작동할 수 있다.The control device calculates the coordinates of the position of the electromagnetic subsensor relative to the position of the marker, so that even when the first movement range of the optical marker is greater than the second movement range of the electromagnetic subsensor, Both the first movement and the detailed second movement may be operated to enable location tracking of the location coordinates of the electromagnetic sub-sensor.

상기 위치 추적기는, 상기 광학 마커를 통한 손목의 위치 추적과, 상기 전자기 기준센서 및 상기 전자기 서브센서를 통한 손가락 위치 추적을 위해 사용될 수 있다.The position tracker may be used for position tracking of a wrist through the optical marker and position tracking of a finger through the electromagnetic reference sensor and the electromagnetic sub-sensor.

상기 위치 추적기는, 상기 광학 마커와 상기 전자기 기준센서가 장착된 손목 밴드; 및 사용자의 왼손 또는 오른손에 착용될 장갑으로서, 상기 전자기 서브센서가 상기 장갑의 각 손가락 부분에 하나씩 장착되어 사용되기 위한 상기 장갑을 포함할 수 있다.The location tracker may include: a wristband equipped with the optical marker and the electromagnetic reference sensor; and a glove to be worn on a user's left hand or right hand, wherein the electromagnetic sub-sensors are mounted on each finger portion of the glove and used.

또는, 상기 위치 추적기는, 상기 광학 마커와 상기 전자기 기준센서가 장착된 손목 밴드를 포함하고, 상기 전자기 서브센서가 사용자의 왼손 또는 오른손의 각 손가락에 하나씩 장착되어 사용될 수도 있다.Alternatively, the location tracker may include a wristband on which the optical marker and the electromagnetic reference sensor are mounted, and the electromagnetic sub-sensor may be mounted on each finger of the user's left hand or right hand.

상기 광학 마커는 비자성체의 상기 손목 밴드 상에 복수로 장착되고, 상기 광학 추적기는, 상기 복수의 상기 광학 마커의 좌표들의 이동량과 방향을 분석하여 상기 광학 마커의 좌표를 산출할 수 있다.A plurality of optical markers may be mounted on the non-magnetic wristband, and the optical tracker may calculate the coordinates of the optical markers by analyzing movement amounts and directions of the coordinates of the plurality of optical markers.

상기 광학 마커는 적외선 또는 기시광을 반사하는 반사체를 포함할 수 있다. The optical marker may include a reflector that reflects infrared or infrared light.

상기 광학 마커의 위치 및 상기 전자기 서브센서의 위치는 3차원 위치 정보를 포함할 수 있다.The location of the optical marker and the location of the electromagnetic sub-sensor may include 3D location information.

그리고, 본 발명의 다른 일면에 따른 위치 추적 방법은, 광학 마커에 대한 영상으로부터 마커 위치를 추적하는 단계; 상기 광학 마커로부터 이격되어 위치된 전자기 기준센서, 및 상기 전자기 기준센서로부터 이격되어 위치된 하나 이상의 전자기 서브센서에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적하는 단계; 및 상기 마커 위치에 상대적인 상기 전자기 기준센서의 위치를 기초로 상기 전자기 기준센서의 위치에 상대적인 상기 전자기 서브센서의 위치를 산출하는 단계를 포함할 수 있다.In addition, a location tracking method according to another aspect of the present invention includes tracking a location of a marker from an image of an optical marker; detecting magnetic fields generated by an electromagnetic reference sensor positioned apart from the optical marker and at least one electromagnetic sub-sensor positioned apart from the electromagnetic reference sensor to track a position of each sensor; and calculating the position of the electromagnetic sub-sensor relative to the position of the electromagnetic reference sensor based on the position of the electromagnetic reference sensor relative to the marker position.

상기 위치 추적 방법은, 상기 전자기 서브센서의 위치를 산출하는 단계 후에, 상기 전자기 기준센서의 위치 좌표에 상대적인 상기 마커 위치 좌표와 상기 전자기 서브센서의 위치 좌표를 합성하여, 상기 전자기 서브센서의 좌표에 대한 위치 추적을 수행하는 단계를 더 포함할 수 있다.In the position tracking method, after the step of calculating the position of the electromagnetic subsensor, the position coordinates of the marker relative to the position coordinates of the electromagnetic reference sensor are synthesized and the positional coordinates of the electromagnetic subsensor are combined to determine the coordinates of the electromagnetic subsensor. A step of performing location tracking for the device may be further included.

상기 위치 추적 방법은, 상기 마커 위치에 대한 상대적인 상기 전자기 서브센서 위치의 좌표를 산출하여, 상기 광학 마커의 제1 이동 범위가 상기 전자기 서브센서의 제2 이동 범위 보다 큰 경우에 대해서도, 넓은 범위의 상기 제1 이동과 세부적인 상기 제2 이동에 대해 상기 전자기 서브센서의 위치 좌표에 대한 위치 추적이 모두 가능하다.The position tracking method calculates the coordinates of the position of the electromagnetic subsensor relative to the position of the marker, so that even when the first movement range of the optical marker is greater than the second movement range of the electromagnetic subsensor, a wide range is obtained. Position tracking of the position coordinates of the electromagnetic sub-sensor is both possible for the first movement and the detailed second movement.

본 발명에 따른 위치 추적기에 따르면, 광학적 방법과 전자기식 방법을 동시에 이용하여 좌표 추적을 위한 계산을 분리하고 단순화해 핸드 트래킹용 장갑 등에 적용하여 손과 손가락의 위치와 움직임을 분리 측정할 수 있으며, 비교적 큰 범위의 넓은 움직임은 광학 추적 방식으로 좌표를 추적하고 비교적 작은 범위의 세부 움직임은 전자기파를 이용한 추적 방식으로 좌표를 추적함으로써, 손가락 위치를 빠르고 정밀하게 트래킹할 수 있다. According to the position tracker according to the present invention, the position and movement of the hand and fingers can be separately measured by using the optical method and the electromagnetic method at the same time to separate and simplify the calculation for coordinate tracking and apply it to a hand tracking glove, etc. The coordinates of a wide movement in a relatively large range are tracked by an optical tracking method, and the coordinates of a relatively small range of detailed movements are tracked by a tracking method using electromagnetic waves, so that the finger position can be quickly and precisely tracked.

본 발명에 따른 위치 추적기는, 손이나 핸드 트래킹용 장갑 등에 적용하여 네비게이션 수술 과정에서 수술 도구 이외에 손과 손가락의 움직임까지 정밀하게 추적이 가능하도록 적용될 수 있으므로 수술 위치의 정밀도를 높일 수 있으며, 증강현실(AR) / 가상 현실(VR) 등 최근 도입되는 가상 영상 인터페이스와의 융합 과정에서도 사용자의 손이나 장갑 등에 장착하여 사용자의 손/손가락 행동을 빠르고 정밀하게 트래킹하도록 용이하게 활용할 수 있다. The position tracker according to the present invention can be applied to a hand or hand tracking glove to precisely track the movements of the hand and fingers in addition to surgical tools in the course of navigation surgery, thereby increasing the precision of the surgical position and augmented reality. Even in the process of convergence with recently introduced virtual video interfaces such as (AR) / virtual reality (VR), it can be easily used to quickly and precisely track the user's hand / finger motion by attaching it to the user's hand or glove.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 위치 추적기를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 위치 추적기의 동작을 설명하기 위한 흐름도다.
도 3은 본 발명의 전자기 서브센서의 좌표 결정 방식을 설명하기 위한 도면이다. The accompanying drawings, which are included as part of the detailed description to aid understanding of the present invention, provide examples of the present invention and explain the technical idea of the present invention together with the detailed description.
1 is a diagram for explaining a location tracker according to an embodiment of the present invention.
2 is a flowchart illustrating the operation of a location tracker according to an embodiment of the present invention.
3 is a diagram for explaining a coordinate determination method of an electromagnetic sub-sensor according to the present invention.

이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. At this time, the same components in each drawing are represented by the same reference numerals as possible. In addition, detailed descriptions of already known functions and/or configurations will be omitted. In the following description, parts necessary for understanding operations according to various embodiments will be mainly described, and descriptions of elements that may obscure the gist of the description will be omitted. Also, some elements in the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not entirely reflect the actual size, and therefore, the contents described herein are not limited by the relative size or spacing of the components drawn in each drawing.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification. Terms used in the detailed description are only for describing the embodiments of the present invention, and should not be limiting. Unless expressly used otherwise, singular forms of expression include plural forms. In this description, expressions such as "comprising" or "comprising" are intended to indicate any characteristic, number, step, operation, element, portion or combination thereof, one or more other than those described. It should not be construed to exclude the existence or possibility of any other feature, number, step, operation, element, part or combination thereof.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In addition, terms such as first and second may be used to describe various components, but the components are not limited by the terms, and the terms are used for the purpose of distinguishing one component from another. used only as

도 1은 본 발명의 일 실시예에 따른 위치 추적기(100)를 설명하기 위한 도면이다. 1 is a diagram for explaining a location tracker 100 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 위치 추적기(100)는, 광학 마커(112), 광학 마커(112)에 대한 영상으로부터 마커 위치를 추적하는 광학 추적기(130), 광학 마커(112)로부터 이격되어 위치된 전자기(EM) 기준센서(115), 전자기 기준센서(115)로부터 이격되어 위치된 하나 이상의 전자기 서브센서(121~125), 및 전자기 기준센서(115) 및 전자기 서브센서(121~125)에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적하는 EM(Electromagnetic) 추적기(140), 위치 추적기(100)의 상기한 구성 요소들의 전반적인 제어를 수행하는 제어장치(150)를 포함할 수 있다. Referring to FIG. 1 , the position tracker 100 according to an embodiment of the present invention includes an optical marker 112, an optical tracker 130 tracking a marker position from an image of the optical marker 112, and an optical marker ( 112) an electromagnetic (EM) reference sensor 115 positioned remotely from the electromagnetic reference sensor 115, one or more electromagnetic subsensors 121-125 positioned remotely from the electromagnetic reference sensor 115, and the electromagnetic reference sensor 115 and the electromagnetic subsensor EM (Electromagnetic) tracker 140 that tracks the position of each sensor by detecting magnetic fields generated from (121 to 125) and a control device 150 that performs overall control of the above-mentioned components of the position tracker 100 can include

제어장치(150)는 상기한 구성 요소들의 전반적인 제어를 수행하기 위한 반도체 프로세서 등의 하드웨어, 응용 프로그램 등의 소프트웨어, 또는 이들을 결합한 형태로 운용될 수 있다. 제어장치(150)는 필요한 영상 데이터를 표시 장치(151)로 전송하여 네비게이션 수술 과정이나 증강 현실이나 가상 현실을 위한 디스플레이와 융합되도록 구성될 수 있다. 제어장치(150)는 컴퓨터 장치 또는 PC(Personal Computer)일 수 있다. 광학 추적기(130)와 EM 추적기(140)가 분리된 것으로 예시하였지만, 필요에 따라 제어장치(150)는 광학 추적기(130) 또는 EM 추적기(140)의 전부 또는 일부 기능을 포함하도록 구성될 수 있다. The control device 150 may be operated in the form of hardware such as a semiconductor processor, software such as an application program, or a combination thereof for performing overall control of the above components. The control device 150 may be configured to transmit necessary image data to the display device 151 so as to be integrated with a display for navigation surgery or augmented reality or virtual reality. The control device 150 may be a computer device or a personal computer (PC). Although the optical tracker 130 and the EM tracker 140 are illustrated as being separated, the controller 150 may be configured to include all or some functions of the optical tracker 130 or the EM tracker 140 as needed. .

이와 같은 제어장치(150)는 광학 추적기(130)가 산출하는 마커 위치에 상대적인 전자기 기준센서(115)의 위치를 기초로 전자기 기준센서(115)의 위치에 상대적인 전자기 서브센서(121~125)의 위치를 산출할 수 있다. 즉, 제어장치(150)는 전자기 기준센서(115)의 위치 좌표에 상대적인 마커 위치의 좌표와, EM 추적기(140)가 산출하는 전자기 기준센서(115)의 위치에 상대적인 전자기 서브센서(121~125)의 위치 좌표를 합성하여, 전자기 서브센서(121~125)의 좌표에 대한 위치 추적을 수행할 수 있게 된다. Such a controller 150 controls the position of the electromagnetic sub-sensors 121 to 125 relative to the position of the electromagnetic reference sensor 115 based on the position of the electromagnetic reference sensor 115 relative to the marker position calculated by the optical tracker 130. location can be calculated. That is, the controller 150 controls the coordinates of the marker position relative to the position coordinates of the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 to 125 relative to the position of the electromagnetic reference sensor 115 calculated by the EM tracker 140. ), position tracking of the coordinates of the electromagnetic sub-sensors 121 to 125 can be performed.

제어장치(150)는 상기 추적되는 전자기 서브센서(121~125)의 위치, 이때의 마커 위치 또는 전자기 기준센서(115)의 위치에 대하여, 표시 장치(151)에 표시하기 위한 영상 데이터를 생성할 수 있다. 이에 따라 제어장치(150)는, 상기 영상 데이터를 네비게이션 수술 과정을 표시하는 디스플레이(예, 내시경, 복강경 등의 영상 화면) 또는 증강 현실이나 가상 현실을 표시하는 디스플레이(예, 증강 현실/가상 현실 게임 등의 영상 화면)에 표시하여, 추적되는 전자기 서브센서(121~125)의 위치를 표시할 수 있으며, 필요에 따라 이때의 마커 위치 또는 전자기 기준센서(115)의 위치를 더 표시할 수도 있다. The control device 150 generates image data for display on the display device 151 with respect to the tracked positions of the electromagnetic sub-sensors 121 to 125, the marker position at this time, or the position of the electromagnetic reference sensor 115. can Accordingly, the control device 150 uses the image data as a navigation display for displaying surgical procedures (eg, an image screen of an endoscope, a laparoscope, etc.) or a display for displaying augmented reality or virtual reality (eg, augmented reality/virtual reality game). etc.), the positions of the electromagnetic sub-sensors 121 to 125 to be tracked can be displayed, and if necessary, the position of the marker or the position of the electromagnetic reference sensor 115 can be further displayed.

이를 위하여, 전자기(EM) 기준센서(115)는 광학 마커(112)로부터 이격되어 미리 결정된 위치에 배치될 수 있다. 또한, 전자기 서브센서(121~125)는 전자기 기준센서(115)로부터 이격되어 미리 결정된 위치에 배치될 수 있다. To this end, an electromagnetic (EM) reference sensor 115 may be disposed at a predetermined location spaced apart from the optical marker 112 . In addition, the electromagnetic sub-sensors 121 to 125 may be disposed at predetermined positions apart from the electromagnetic reference sensor 115 .

예를 들어, 상기 위치 추적기(100)는, 손이나 장갑 등에 착용하여 사용될 수 있으며, 이때 광학 마커(112)를 통한 손목의 위치 추적과, 전자기 기준센서(115) 및 전자기 서브센서(121~125)를 통한 손가락 위치 추적을 수행할 수 있다.For example, the position tracker 100 may be worn on a hand or glove, and at this time, tracking the position of the wrist through the optical marker 112, the electromagnetic reference sensor 115, and the electromagnetic sub-sensors 121 to 125 ), it is possible to perform finger position tracking.

이를 위하여, 광학 마커(112)와 전자기 기준센서(115)가 손목에 착용 가능하도록 구성된 손목 밴드(110)에 장착되어 사용될 수 있으며, 전자기 서브센서(121~125)는 사용자의 왼손 또는 오른손의 각 손가락, 즉, 다섯 손가락 전체 또는 일부에 하나씩 장착되어 사용될 수 있다. 전자기 서브센서(121~125)는 사용자의 왼손 또는 오른손에 착용될 장갑에 장착되어 사용될 수 있으며, 이때 전자기 서브센서(121~125)는 상기 장갑의 각 손가락 부분에 하나씩 장착되어 사용될 수 있다. 손목 밴드(110)는 비자성체로 이루어져 전자기 기준센서(115) 및 전자기 서브센서(121~125)가 발생하는 자기장에 영향을 최소화하도록 할 수 있다. To this end, the optical marker 112 and the electromagnetic reference sensor 115 may be used by being mounted on the wristband 110 configured to be worn on the wrist, and the electromagnetic sub-sensors 121 to 125 may be used for each of the user's left or right hand. It may be used by being mounted on one finger, that is, all or part of the five fingers. The electromagnetic subsensors 121 to 125 may be used by being mounted on a glove to be worn on the user's left or right hand, and at this time, one electromagnetic subsensor 121 to 125 may be mounted on each finger of the glove and used. The wristband 110 may be made of a non-magnetic material to minimize the effect on the magnetic field generated by the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 to 125 .

광학 마커(112)는 적외선 또는 기시광을 반사하는 반사체를 포함할 수 있으며, 광학 추적기(130)는 3차원 카메라(또는 3차원 적외선 카메라)를 이용하여 반사체에 대한 캡쳐 영상으로부터 마커 위치 정보 또는 좌표(예, 3차원 위치 정보)를 산출할 수 있다. 광학 추적기에 대한 원리는 잘 알려져 있으므로 여기서 더 자세한 기술에 대하여는 생략하기로 한다. The optical marker 112 may include a reflector that reflects infrared light or light, and the optical tracker 130 may use a 3D camera (or a 3D infrared camera) to obtain marker location information or coordinates from a captured image of the reflector. (eg, 3D location information) can be calculated. Since the principle of the optical tracker is well known, a detailed description thereof will be omitted here.

EM 추적기(140)는 전자기 기준센서(115) 및 전자기 서브센서(121~125)에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적하며, 이를 위하여 전자기 기준센서(115) 및 전자기 서브센서(121~125)는 제어장치(150)의 제어에 따른 전원을 인가받으면 해당 위치에서 소정의 자기장을 발생할 수 있다. EM 추적기(140)는 전자기 기준센서(115) 및 전자기 서브센서(121~125)의 각 자기장에 대한 방향과 강도를 측정하여 해당 위치 정보 또는 좌표(예, 3차원 위치 정보)를 산출할 수 있다. EM 추적기에 대한 원리는 잘 알려져 있으므로 여기서 자세한 기술에 대하여는 생략하기로 한다. The EM tracker 140 detects magnetic fields generated by the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 to 125 and tracks the position of each sensor. To this end, the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 ~ 125) can generate a predetermined magnetic field at the corresponding position when power is applied according to the control of the control device 150. The EM tracker 140 may measure the direction and intensity of each magnetic field of the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 to 125 to calculate corresponding location information or coordinates (eg, 3D location information). . Since the principle of the EM tracker is well known, a detailed description thereof will be omitted here.

이와 같이 본 발명의 위치 추적기(100)는, 손이나 핸드 트래킹용 장갑 등에 적용하여 네비게이션 수술 과정에서 수술 도구 이외에 손과 손가락의 움직임까지 정밀하게 추적이 가능하도록 적용될 수 있도록 하였으며, 이때 수술 위치에 대한 정밀도를 높일 수 있으며, 증강현실(AR) / 가상 현실(VR) 등 최근 도입되는 가상 영상 인터페이스와의 융합 과정에서도 사용자의 손이나 장갑 등에 장착하여 사용자의 손/손가락 행동을 빠르고 정밀하게 트래킹하도록 용이하게 활용할 수 있도록 하였다.In this way, the position tracker 100 of the present invention is applied to a hand or a glove for hand tracking so that it can be applied to precisely track the movement of the hand and fingers in addition to the surgical tool in the course of navigation surgery. Accuracy can be increased, and even in the process of convergence with recently introduced virtual video interfaces such as augmented reality (AR) / virtual reality (VR), it is easy to quickly and accurately track the user's hand / finger behavior by attaching it to the user's hand or glove made it usable.

이하 도 2의 흐름도를 참조하여 본 발명의 일 실시예에 따른 위치 추적기(100)의 동작을 좀 더 자세히 설명한다. The operation of the location tracker 100 according to an embodiment of the present invention will be described in more detail with reference to the flowchart of FIG. 2 below.

도 2는 본 발명의 일 실시예에 따른 위치 추적기(100)의 동작을 설명하기 위한 흐름도다. Figure 2 is a flow chart for explaining the operation of the location tracker 100 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 위치 추적기(100)에서의 전자기 서브센서(121~125)에 대한 넓은 범위 및 세부적인 범위 모두에 대한 위치 추적을 위하여, 먼저, 광학 추적기(130)는 광학 마커(112)에 대한 영상으로부터 마커 위치를 추적할 수 있다(S110). 광학 추적기(130)는 광학 마커(112)의 반사체에 대한 가시광 또는 적외선 카메라 영상으로부터 반사체 위치를 분석해 그에 대한 3차원 좌표계 상의 상대적인 움직임 정보를 산출함으로써, 광학 마커(112)의 위치 정보 또는 좌표(예, 3차원 위치 정보)를 산출할 수 있다. 광학 마커(112)의 상기 반사체가 손목 밴드(110)에 고정된 소정의 지지대(111) 상에 고정되도록 복수로 장착된 경우, 광학 추적기(130)는 광학 마커(112)의 반사체 좌표들의 각각의 이동량과 방향을 분석하여 광학 마커(112)의 3차원 좌표(예, x,y,z 직각 좌표계의 좌표)를 산출하는 데 이용할 수 있다. Referring to FIG. 2 , in order to track the location of the electromagnetic sub-sensors 121 to 125 in the location tracker 100 of the present invention both in a wide range and in a detailed range, first, the optical tracker 130 is provided with an optical marker. The position of the marker can be tracked from the image of (112) (S110). The optical tracker 130 analyzes the position of the reflector from the visible light or infrared camera image of the reflector of the optical marker 112 and calculates relative motion information on the 3D coordinate system, thereby calculating positional information or coordinates of the optical marker 112 (e.g. , 3D location information) can be calculated. When a plurality of the reflectors of the optical marker 112 are mounted so as to be fixed on a predetermined support 111 fixed to the wristband 110, the optical tracker 130 is provided with the respective coordinates of the reflector of the optical marker 112. The analysis of the movement amount and direction can be used to calculate 3-dimensional coordinates (eg, x, y, z coordinates in a rectangular coordinate system) of the optical marker 112 .

EM 추적기(140)는 전자기 기준센서(115) 및 전자기 서브센서(121~125)에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적할 수 있다(S120). EM 추적기(140)는 전자기 기준센서(115) 및 전자기 서브센서(121~125)의 각 자기장에 대한 방향과 강도를 측정하여 해당 위치 정보 또는 좌표(예, 3차원 위치 정보)를 산출할 수 있다. The EM tracker 140 may detect the magnetic fields generated by the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 to 125 and track the position of each sensor (S120). The EM tracker 140 may measure the direction and intensity of each magnetic field of the electromagnetic reference sensor 115 and the electromagnetic sub-sensors 121 to 125 to calculate corresponding location information or coordinates (eg, 3D location information). .

제어장치(150)는, 전자기 기준센서(115)가 광학 마커(112)로부터 미리 결정된 위치에 배치되어 있는 것을 이용하여, 도 3과 같이 광학 추적기(130)가 산출하는 마커 위치의 좌표(210)를 EM 추적기(140)가 산출하는 전자기 기준센서(115)의 위치 좌표(230)에 상대적인 위치 좌표(220)로 변환을 수행할 수 있다(S130). 이에 따라 제어장치(150)는 광학 추적기(130)가 산출하는 마커 위치(220)에 상대적인 전자기 기준센서(115)의 위치(230)를 기초로 전자기 기준센서(115)의 위치(230)에 상대적인 전자기 서브센서(121~125)의 위치(240)를 산출할 수 있다. 즉, 제어장치(150)는 전자기 기준센서(115)의 위치 좌표(230)에 상대적인 마커 위치의 변환된 좌표(220)와, EM 추적기(140)가 산출하는 전자기 기준센서(115)의 위치(230)에 상대적인 전자기 서브센서(121~125)의 위치 좌표(240)를 합성하여, 전자기 서브센서(121~125)의 좌표(240)에 대한 위치 추적을 수행할 수 있게 된다(S140). The control device 150 uses the fact that the electromagnetic reference sensor 115 is disposed at a predetermined position from the optical marker 112, as shown in FIG. 3, the coordinates 210 of the marker position calculated by the optical tracker 130 It may be converted into positional coordinates 220 relative to the positional coordinates 230 of the electromagnetic reference sensor 115 calculated by the EM tracker 140 (S130). Accordingly, the controller 150 determines the position 230 of the electromagnetic reference sensor 115 relative to the position 230 of the electromagnetic reference sensor 115 based on the position 230 of the electromagnetic reference sensor 115 relative to the marker position 220 calculated by the optical tracker 130. The positions 240 of the electromagnetic sub-sensors 121 to 125 may be calculated. That is, the controller 150 calculates the converted coordinates 220 of the marker position relative to the position coordinates 230 of the electromagnetic reference sensor 115 and the position of the electromagnetic reference sensor 115 calculated by the EM tracker 140 ( 230), positional tracking of the coordinates 240 of the electromagnetic subsensors 121 to 125 can be performed (S140).

이에 따라, 제어장치(150)는 상기 추적되는 전자기 서브센서(121~125)의 위치, 이때의 마커 위치 또는 전자기 기준센서(115)의 위치에 대하여, 표시 장치(151)에 표시하기 위한 영상 데이터를 생성할 수 있으며, 제어장치(150)는, 상기 영상 데이터를 네비게이션 수술 과정을 표시하는 디스플레이(예, 내시경, 복강경 등의 영상 화면) 또는 증강 현실이나 가상 현실을 표시하는 디스플레이(예, 증강 현실/가상 현실 게임 등의 영상 화면)에 표시하여 해당 추적되는 위치, 즉, 전자기 서브센서(121~125)의 위치 외에도 전자기 기준센서(115)의 위치나 마커 위치를 표시할 수 있다(S150). Accordingly, the controller 150 controls the image data for displaying on the display device 151 the positions of the electromagnetic sub-sensors 121 to 125 being tracked, the position of the marker at this time, or the position of the electromagnetic reference sensor 115. may be generated, and the control device 150 may use the image data as a navigation display for displaying a surgical procedure (e.g., an image screen of an endoscope, a laparoscope, etc.) or a display for displaying augmented reality or virtual reality (e.g., augmented reality / video screen of a virtual reality game, etc.) to display the tracked position, that is, the position of the electromagnetic reference sensor 115 or marker position in addition to the position of the electromagnetic sub-sensors 121 to 125 (S150).

특히, 제어장치(150)는, 위와 같은 방법으로 상기 마커 위치(230)에 대한 상대적인 전자기 서브센서(121~125) 위치의 좌표(240)를 실시간으로 산출함으로써, 광학 마커(112)의 제1 이동 범위(예, 손목의 이동에 따른 손목 이동 범위)가 전자기 서브센서(121~125)의 제2 이동 범위(예, 손가락의 움직임에 따른 손가락 이동 범위) 보다 큰 경우에 대해서도(그렇지 않은 경우를 포함함), 넓은 범위의 상기 제1 이동(예, 손목의 이동)과 세부적인 상기 제2 이동(예, 손가락의 움직임)에 대해 전자기 서브센서(121~125)의 위치 좌표(240)에 대한 위치 추적이 모두 가능하도록 작동하고, 전자기 서브센서(121~125)의 위치 외에도 전자기 기준센서(115)의 위치나 마커 위치를 실시간으로 디스플레이에 표시할 수 있다. In particular, the control device 150 calculates the coordinates 240 of the position of the electromagnetic subsensors 121 to 125 relative to the marker position 230 in real time in the same manner as above, so that the first position of the optical marker 112 Even when the movement range (eg, wrist movement range according to wrist movement) is greater than the second movement range (eg, finger movement range according to finger movement) of the electromagnetic sub-sensors 121 to 125 (other cases including), the positional coordinates 240 of the electromagnetic sub-sensors 121 to 125 for the first movement in a wide range (eg, wrist movement) and the detailed second movement (eg, finger movement) It works so that location tracking is possible, and the location of the electromagnetic reference sensor 115 or marker location in addition to the locations of the electromagnetic sub-sensors 121 to 125 can be displayed on the display in real time.

따라서, 본 발명의 위치 추적기(100)는, 작은 전자기 센서(115, 121~125)의 사용으로 종래의 광학 추적 방식에서와 같이 여러 개의 추적 마커를 손가락에 장착하여야 할 때 그 크기가 커서 사용이 불가하다는 문제점을 해결할 수 있고, 광학 마커(112)의 추적으로 종래의 전자기파를 이용한 추적 방식에서와 같이 작은 전자기 센서의 사용에 따른 추적 범위가 좁아 넓은 공간에서 위치 추적이 불가하다는 문제점을 해결할 수 있다. Therefore, the location tracker 100 of the present invention is large in size when several tracking markers need to be mounted on a finger as in the conventional optical tracking method by using small electromagnetic sensors 115 and 121 to 125, so it is easy to use. It is possible to solve the problem that the tracking of the optical marker 112 is impossible to track the position in a wide space due to the narrow tracking range due to the use of a small electromagnetic sensor, as in the conventional tracking method using electromagnetic waves. .

상술한 바와 같이, 본 발명에 따른 위치 추적기(100)에 따르면, 광학적 방법과 전자기식 방법을 동시에 이용하여 좌표 추적을 위한 계산을 분리하고 단순화해 핸드 트래킹용 등에 적용하여 손과 손가락의 위치와 움직임을 분리 측정할 수 있으며, 비교적 큰 범위의 넓은 움직임은 광학 추적 방식으로 좌표를 추적하고 비교적 작은 범위의 세부 움직임은 전자기파를 이용한 추적 방식으로 좌표를 추적함으로써, 손가락 위치를 빠르고 정밀하게 트래킹할 수 있다. 또한, 본 발명에 따른 위치 추적기(100)는, 손이나 핸드 트래킹용 장갑 등에 적용하여 네비게이션 수술 과정에서 수술 도구 이외에 손과 손가락의 움직임까지 정밀하게 추적이 가능하도록 적용될 수 있으므로 수술 위치의 정밀도를 높일 수 있으며, 증강현실(AR) / 가상 현실(VR) 등 최근 도입되는 가상 영상 인터페이스와의 융합 과정에서도 사용자의 손이나 장갑 등에 장착하여 사용자의 손/손가락 행동을 빠르고 정밀하게 트래킹하도록 용이하게 활용할 수 있다. As described above, according to the position tracker 100 according to the present invention, the optical method and the electromagnetic method are used at the same time to separate and simplify the calculation for tracking coordinates and apply it to hand tracking, etc. to position and move the hands and fingers. can be measured separately, and the coordinates of a relatively large range of wide movements are tracked by an optical tracking method, and the coordinates of a relatively small range of detailed movements are tracked by a tracking method using electromagnetic waves, so the finger position can be tracked quickly and accurately. . In addition, the position tracker 100 according to the present invention can be applied to a hand or a glove for hand tracking to precisely track the movements of the hand and fingers in addition to the surgical tool in the course of navigation surgery, thereby increasing the precision of the surgical position. In addition, even in the process of convergence with recently introduced virtual video interfaces such as augmented reality (AR) / virtual reality (VR), it can be easily used to quickly and precisely track the user's hand / finger behavior by attaching it to the user's hand or glove there is.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.As described above, the present invention has been described by specific details such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Those skilled in the art in the field to which the present invention belongs will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all technical ideas having modifications equivalent or equivalent to these claims as well as the claims to be described later are included in the scope of the present invention. should be interpreted as

위치 추적기(100)
광학 마커(112)
광학 추적기(130)
전자기 기준센서(115)
전자기 서브센서(121~125)
EM 추적기(140)
제어장치(150)Location Tracker(100)
optical marker(112)
Optical Tracker(130)
Electromagnetic reference sensor(115)
Electromagnetic sub-sensors (121 to 125)
EM Tracker(140)
Control device (150)

Claims (14)

광학 마커; 상기 광학 마커에 대한 영상으로부터 마커 위치를 추적하는 광학 추적기;
상기 광학 마커로부터 이격되어 위치된 전자기 기준센서; 상기 전자기 기준센서로부터 이격되어 위치된 하나 이상의 전자기 서브센서;
상기 전자기 기준센서 및 상기 전자기 서브센서에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적하는 EM 추적기; 및
상기 마커 위치에 상대적인 상기 전자기 기준센서의 위치를 기초로 상기 전자기 기준센서의 위치에 상대적인 상기 전자기 서브센서의 위치를 산출하는 제어장치
를 포함하는 위치 추적기.optical marker; an optical tracker tracking a position of the optical marker from an image of the optical marker;
an electromagnetic reference sensor positioned remotely from the optical marker; one or more electromagnetic sub-sensors positioned remotely from the electromagnetic reference sensor;
an EM tracker that detects magnetic fields generated by the electromagnetic reference sensor and the electromagnetic sub-sensor and tracks the position of each sensor; and
A control device for calculating the position of the electromagnetic sub-sensor relative to the position of the electromagnetic reference sensor based on the position of the electromagnetic reference sensor relative to the marker position.
Location tracker that includes. 제1항에 있어서,
상기 제어장치는, 상기 마커 위치 또는 상기 전자기 서브센서의 위치를 표시 장치에 표시하기 위한 영상 데이터를 생성하는 위치 추적기.According to claim 1,
wherein the controller generates image data for displaying the position of the marker or the position of the electromagnetic sub-sensor on a display device. 제2항에 있어서,
상기 제어장치는, 상기 영상 데이터를 네비게이션 수술 과정을 표시하는 디스플레이 또는 증강현실이나 가상 현실을 표시하는 디스플레이에 표시하는 위치 추적기.According to claim 2,
The control device is a position tracker that displays the image data on a display displaying a navigation surgical procedure or a display displaying augmented reality or virtual reality. 제1항에 있어서,
상기 제어 장치는, 상기 전자기 기준센서의 위치 좌표에 상대적인 상기 마커 위치 좌표와 상기 전자기 서브센서의 위치 좌표를 합성하여, 상기 전자기 서브센서의 좌표에 대한 위치 추적을 수행하는 위치 추적기.According to claim 1,
wherein the control device synthesizes the position coordinates of the marker relative to the position coordinates of the electromagnetic reference sensor and the position coordinates of the electromagnetic sub-sensor, and performs position tracking on the coordinates of the electromagnetic sub-sensor. 제1항에 있어서,
상기 제어 장치는, 상기 마커 위치에 대한 상대적인 상기 전자기 서브센서 위치의 좌표를 산출하여, 상기 광학 마커의 제1 이동 범위가 상기 전자기 서브센서의 제2 이동 범위 보다 큰 경우에 대해서도, 넓은 범위의 상기 제1 이동과 세부적인 상기 제2 이동에 대해 상기 전자기 서브센서의 위치 좌표에 대한 위치 추적이 모두 가능한 위치 추적기.According to claim 1,
The control device calculates the coordinates of the position of the electromagnetic subsensor relative to the position of the marker, so that even when the first movement range of the optical marker is greater than the second movement range of the electromagnetic subsensor, A location tracker capable of tracking both the location coordinates of the electromagnetic sub-sensor for the first movement and the detailed second movement. 제1항에 있어서,
상기 위치 추적기는, 상기 광학 마커를 통한 손목의 위치 추적과, 상기 전자기 기준센서 및 상기 전자기 서브센서를 통한 손가락 위치 추적을 위한 위치 추적기.According to claim 1,
Wherein the position tracker is configured to track a position of a wrist through the optical marker and track a position of a finger through the electromagnetic reference sensor and the electromagnetic sub-sensor. 제1항에 있어서,
상기 광학 마커와 상기 전자기 기준센서가 장착된 손목 밴드; 및
사용자의 왼손 또는 오른손에 착용될 장갑으로서, 상기 전자기 서브센서가 상기 장갑의 각 손가락 부분에 하나씩 장착되어 사용되기 위한 상기 장갑
을 포함하는 위치 추적기.According to claim 1,
a wristband equipped with the optical marker and the electromagnetic reference sensor; and
A glove to be worn on a user's left or right hand, wherein the electromagnetic sub-sensors are mounted on each finger portion of the glove and used.
Location tracker that includes. 제1항에 있어서,
상기 광학 마커와 상기 전자기 기준센서가 장착된 손목 밴드를 포함하고,
상기 전자기 서브센서가 사용자의 왼손 또는 오른손의 각 손가락에 하나씩 장착되어 사용되는 위치 추적기.According to claim 1,
A wristband equipped with the optical marker and the electromagnetic reference sensor,
A position tracker in which the electromagnetic sub-sensors are used by being mounted on each finger of a user's left hand or right hand. 제7항 또는 제8항에 있어서,
상기 광학 마커는 비자성체의 상기 손목 밴드 상에 복수로 장착되고,
상기 광학 추적기는, 상기 복수의 상기 광학 마커의 좌표들의 이동량과 방향을 분석하여 상기 광학 마커의 좌표를 산출하는 위치 추적기.According to claim 7 or 8,
The optical markers are mounted in plurality on the wristband of a non-magnetic material,
Wherein the optical tracker calculates the coordinates of the optical marker by analyzing movement amounts and directions of the coordinates of the plurality of optical markers. 제7항 또는 제8항에 있어서,
상기 광학 마커는 적외선 또는 기시광을 반사하는 반사체를 포함하는 위치 추적기.According to claim 7 or 8,
Wherein the optical marker includes a reflector for reflecting infrared or infrared light. 제1항에 있어서,
상기 광학 마커의 위치 및 상기 전자기 서브센서의 위치는 3차원 위치 정보를 포함하는 위치 추적기.According to claim 1,
The position of the optical marker and the position of the electromagnetic sub-sensor include three-dimensional position information. 광학 마커에 대한 영상으로부터 마커 위치를 추적하는 단계;
상기 광학 마커로부터 이격되어 위치된 전자기 기준센서, 및 상기 전자기 기준센서로부터 이격되어 위치된 하나 이상의 전자기 서브센서에서 발생되는 자기장들을 감지하여 각각의 센서 위치를 추적하는 단계; 및
상기 마커 위치에 상대적인 상기 전자기 기준센서의 위치를 기초로 상기 전자기 기준센서의 위치에 상대적인 상기 전자기 서브센서의 위치를 산출하는 단계
를 포함하는 위치 추적 방법.tracking the position of the marker from the image for the optical marker;
detecting magnetic fields generated by an electromagnetic reference sensor positioned apart from the optical marker and at least one electromagnetic sub-sensor positioned apart from the electromagnetic reference sensor to track a position of each sensor; and
Calculating a position of the electromagnetic sub-sensor relative to a position of the electromagnetic reference sensor based on a position of the electromagnetic reference sensor relative to the marker position.
Location tracking method comprising a. 제12항에 있어서,
상기 전자기 서브센서의 위치를 산출하는 단계 후에,
상기 전자기 기준센서의 위치 좌표에 상대적인 상기 마커 위치 좌표와 상기 전자기 서브센서의 위치 좌표를 합성하여, 상기 전자기 서브센서의 좌표에 대한 위치 추적을 수행하는 단계
를 더 포함하는 위치 추적 방법.According to claim 12,
After the step of calculating the position of the electromagnetic sub-sensor,
Synthesizing the position coordinates of the marker relative to the position coordinates of the electromagnetic reference sensor and the position coordinates of the electromagnetic sub-sensor to perform position tracking on the coordinates of the electromagnetic sub-sensor
Location tracking method further comprising a. 제12항에 있어서,
상기 마커 위치에 대한 상대적인 상기 전자기 서브센서 위치의 좌표를 산출하여, 상기 광학 마커의 제1 이동 범위가 상기 전자기 서브센서의 제2 이동 범위 보다 큰 경우에 대해서도, 넓은 범위의 상기 제1 이동과 세부적인 상기 제2 이동에 대해 상기 전자기 서브센서의 위치 좌표에 대한 위치 추적이 모두 가능한 위치 추적 방법.


According to claim 12,
By calculating the coordinates of the position of the electromagnetic subsensor relative to the position of the marker, even when the first movement range of the optical marker is greater than the second movement range of the electromagnetic subsensor, the first movement and detailed The position tracking method of claim 1 , wherein position tracking of position coordinates of the electromagnetic sub-sensor is possible for the second movement.
KR1020220166466A 2021-12-07 2022-12-02 Location tracker KR20230085865A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210173795 2021-12-07
KR1020210173795 2021-12-07

Publications (1)

Publication Number Publication Date
KR20230085865A true KR20230085865A (en) 2023-06-14

Family

ID=86744770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220166466A KR20230085865A (en) 2021-12-07 2022-12-02 Location tracker

Country Status (1)

Country Link
KR (1) KR20230085865A (en)

Similar Documents

Publication Publication Date Title
EP3057064B1 (en) Pose determination from a pattern of four leds
Harders et al. Calibration, registration, and synchronization for high precision augmented reality haptics
EP1538512B1 (en) Mixed reality exhibiting method and apparatus
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
US20170140552A1 (en) Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
US9208566B2 (en) Speckle sensing for motion tracking
EP1483740B1 (en) Position and orientation sensing with a projector
Welch History: The use of the kalman filter for human motion tracking in virtual reality
EP3858280A1 (en) Surgical navigation system with augmented reality device
EP1074934A2 (en) Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
KR20020086931A (en) Single camera system for gesture-based input and target indication
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
Vogt et al. Single camera tracking of marker clusters: Multiparameter cluster optimization and experimental verification
Wang et al. The Kinect as an interventional tracking system
Bauer et al. Predicting and estimating the accuracy of n-occular optical tracking systems
Koeda et al. Development of wireless surgical knife attachment with proximity indicators using ArUco marker
US12026897B2 (en) Augmented reality system, an augmented reality HMD, an augmented reality method and a computer program
Thompson et al. Improved modelling of tool tracking errors by modelling dependent marker errors
WO2021211570A1 (en) System and method for augmented reality data interaction for ultrasound imaging
EP3392748B1 (en) System and method for position tracking in a virtual reality system
KR20230085865A (en) Location tracker
KR20210103028A (en) A method for verifying a spatial registration of a surgical target object, the apparatus therof and the system comprising the same
He et al. Sensor-fusion based augmented-reality surgical navigation system
CA3226286A1 (en) Real time image guided portable robotic intervention system
Trinh et al. Preliminary design and evaluation of an interfacing mechanism for maneuvering virtual minimally invasive surgical instruments