WO2014109520A1 - 트랙킹 시스템 및 이를 이용한 트랙킹 방법 - Google Patents

트랙킹 시스템 및 이를 이용한 트랙킹 방법 Download PDF

Info

Publication number
WO2014109520A1
WO2014109520A1 PCT/KR2014/000131 KR2014000131W WO2014109520A1 WO 2014109520 A1 WO2014109520 A1 WO 2014109520A1 KR 2014000131 W KR2014000131 W KR 2014000131W WO 2014109520 A1 WO2014109520 A1 WO 2014109520A1
Authority
WO
WIPO (PCT)
Prior art keywords
markers
image
imaging unit
dimensional coordinates
reflector
Prior art date
Application number
PCT/KR2014/000131
Other languages
English (en)
French (fr)
Inventor
홍종규
이현기
정재헌
김민영
Original Assignee
주식회사 고영테크놀러지
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지, 경북대학교 산학협력단 filed Critical 주식회사 고영테크놀러지
Priority to CN201480004280.1A priority Critical patent/CN104902840B/zh
Priority to US14/370,549 priority patent/US9576366B2/en
Priority to JP2015552571A priority patent/JP6147360B2/ja
Priority to EP14737829.3A priority patent/EP2944285B1/en
Publication of WO2014109520A1 publication Critical patent/WO2014109520A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3945—Active visible markers, e.g. light emitting diodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a tracking system and a tracking method using the same. More particularly, the surgical tracking to detect the spatial position information and the direction information of the target by tracking the coordinates of the markers attached to the target, such as the affected part of the patient or surgical instruments A system and a tracking method using the same
  • Surgical navigation as described above includes a tracking system that can accurately detect and detect the spatial position and direction of the object, such as the affected area or surgical instruments as described above.
  • Such a tracking system is typically connected to markers attached to an object such as an affected part or a surgical tool, first and second imaging units for imaging light emitted by the markers, and the first and second imaging units.
  • the space of the object is compared with the three-dimensional coordinates of the markers by comparing information of straight lines connecting previously stored markers with each other and angle information formed by a pair of neighboring straight lines. It includes a processor for calculating position and direction.
  • the coordinates of the markers emitted from one marker and formed in the first imaging unit and the coordinates of the markers formed in the second imaging unit are the same.
  • two detectors were necessary for the three-dimensional coordinates of each marker to be calculated by the processor through triangulation.
  • the conventional general tracking system must include two imaging units for imaging light emitted from the respective markers at different positions, thereby increasing the manufacturing cost and increasing the overall size of the system, thereby limiting the surgical space. There was a problem to receive a lot.
  • an object of the present invention is to provide a tracking system that can calculate the three-dimensional coordinates of each marker with only one imaging unit to reduce the manufacturing cost and to compact the equipment to minimize the constraint of the surgical space and It relates to a tracking method using the same.
  • the tracking system includes at least three markers attached to the object to emit light or reflect light emitted from at least one light source, and are emitted from or reflected by the markers and emit.
  • Reflector reflects the light and the light emitted directly from the markers to form a direct image, and at the same time reflects the light emitted by the reflector after being emitted from the markers and reflects the reflected image 3D coordinates of the markers are computed by using an imaging unit for imaging an image, and a direct image and a reflective image of the markers formed on the imaging unit, and then the 3D coordinates of the markers and previously stored neighboring markers. Compute geometric position and direction of the object by comparing geometric information between them It includes a processor.
  • the reflector may be a mirror that reflects light emitted from the markers toward the imaging unit to form an image of the reflector.
  • the reflector is positioned on the same optical path as the imaging unit, and under the control of the processor, at least one of an installation position, an angle, and a shape of the reflective surface may be used to change the imaging position of the reflecting image.
  • at least one of an installation position, an angle, and a shape of the reflective surface may be used to change the imaging position of the reflecting image. Can be.
  • the imaging unit may be a camera that receives light emitted directly from the markers and light reflected by the reflector to form an image.
  • the geometric information between the markers may be length information of straight lines connecting the neighboring markers and angle information formed by the pair of straight lines adjacent to each other.
  • the tracking method directly receives light emitted from at least three markers attached to an object to form a direct image in an imaging unit, and at a specific position after being emitted from the markers.
  • the geometric information between the markers may be length information of straight lines connecting the neighboring markers and angle information formed by the pair of straight lines adjacent to each other.
  • the imaging of the reflective image on the imaging unit may include controlling at least one of an installation position, an angle, and a shape change of the reflecting surface of the reflector in the processor to control the reflection image on the same optical path with the imaging unit. And changing the imaging position.
  • calculating three-dimensional coordinates of the markers may include calculating two-dimensional coordinates of the direct image and the reflective image of the markers formed in the imaging unit through the processor, and calculating the two-dimensional coordinates of the direct image of the markers. Computing the three-dimensional coordinates of the markers by the processor using the two-dimensional coordinates and the two-dimensional coordinates of the reflected image.
  • the tracking system and the tracking method using the same allow the light emitted from the respective markers to directly enter the imaging unit and to be reflected by the reflector to the imaging unit. That is, the light emitted from each of the markers is transferred to the imaging unit in two paths (first path: marker-> imaging unit, second path: marker-> reflector-> imaging unit) to provide an image sensor of the imaging unit. Since two images (direct image and reflect image) by each path are formed for each marker, the spatial position and direction of the markers attached to the object can be calculated and confirmed with only one imaging unit.
  • the manufacturing cost of the tracking system can be reduced and the weight of the equipment can be reduced. Therefore, the operation space is relatively less constrained than the conventional tracking system.
  • FIG. 1 is a schematic diagram of a tracking system according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view in which markers are attached to an object
  • 3 is an exemplary view for explaining a change in the position where the reflected image is formed when the position of the marker is changed on the same optical path of the lens;
  • FIG. 4 is a block diagram illustrating a tracking method according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a process of calculating three-dimensional coordinates of markers.
  • FIG. 6 is an exemplary view of virtually dividing an image sensor of an imaging unit into a coordinate system of a direct image and a coordinate system of a reflected image;
  • FIG. 7 is a diagram for explaining a relationship between two-dimensional coordinates in an image and three-dimensional coordinates of an actual marker.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a tracking system and a tracking method using the same include attaching at least three markers to an object such as an affected part or a surgical tool, and then calculates three-dimensional coordinates of the markers and neighboring markers previously stored in a processor.
  • a processor calculates the spatial position and direction of the target object such as the affected part or surgical instruments.
  • FIG. 1 is a schematic diagram of a tracking system according to an embodiment of the present invention
  • FIG. 2 is an exemplary view in which markers are attached to an object
  • FIG. 3 is a reflection image formed when the position of the marker is changed on the same optical path of the lens. It is an illustration for demonstrating the change of the position to become.
  • the tracking system 100 includes at least three markers 110 (as shown in FIG. 2). 111) 112 are attached to a target 200, such as a wound or surgical tool.
  • the tracking system 100 includes at least three markers 110, 111, 112, a reflector 120, and an imaging unit 130. It includes a processor (processor 140).
  • the at least three markers 110, 111, 112 are attached to a target 200, such as an affected part or surgical tool.
  • the at least three markers 110, 111, 112 are spaced apart from each other by the markers 110, 111, 112 that are adjacent to each other, and the markers 110, 111, which are adjacent to each other ( 112 is virtually connected so that each pair of adjacent straight lines L1, L2, and L3 forms an angle A1, A2, and A3 at each marker, such as the affected part or the surgical tool. Is attached to 200.
  • the length information and the angles A1, A2, and A3 of a pair of neighboring straight lines connecting neighboring markers 110, 111, and 112 to each other are stored in the processor 140. (memory: 141) is already stored.
  • the markers 110, 111, and 112 may be attached in a triangular form to the target 200, such as affected areas or surgical instruments, the three markers 110, 111, ( Length information of each of the straight lines L1, L2, and L3 constituting the sides of the triangle having the vertex 112 as a vertex, and a pair of adjacent straight lines connecting the markers 110, 111, and 112 to each other.
  • the angle A1, A2, and A3 information may be stored in the memory 141 included in the processor 140.
  • the markers 110, 111, and 112 may be active markers that emit light by themselves. As described above, when the markers 110, 111, and 112 are used as active markers, there is no need to use a separate light source.
  • the markers 110, 111, 112 may be passive markers that reflect light emitted from at least one light source 150.
  • at least one light source 150 that emits light to the markers 110, 111, and 112 may be imaged. It may be arranged around the unit 130. For example, a pair of light sources 150 may be disposed on both sides of the imaging unit 130.
  • the reflector 120 reflects light emitted from the markers 110, 111, 112 or reflected by the markers 110, 111, 112. For example, the reflector 120 reflects light emitted from the active marker or re-reflects light emitted from the light source 150 and reflected by the passive marker.
  • the reflector 120 reflects the light emitted from the markers 110, 111, and 112 toward the imaging unit 130 to form a reflect image on the imaging unit 130. It may be a mirror to make it possible.
  • a spherical mirror may be used as the reflector 120.
  • the spherical mirror when the spherical mirror is used as the reflector 120, when the position of the marker 110 is changed on the same optical path AX1 of the lens 131 of the imaging unit 130 as shown in FIG. 3. Since the value can be reduced, the position of the marker can be measured based on this.
  • the reflector 120 changes the image position of the reflecting image reflected by the reflector 120 and formed in the imaging unit 130 by changing the installation position or the installation angle, or by changing the shape of the reflecting surface. Can be given. That is, by changing the installation position or installation angle or the shape of the reflecting surface of the reflector 120, it is possible to change a variety of real measurable range.
  • the installation position, the angle, and the shape of the reflecting surface of the reflector 120 may be changed by the control of the processor 140 that is network-linked in a wired or wireless manner.
  • the optical path is obscured by the stand, arm, doctor, nurse, etc. of the surgical robot through this, there is an advantage that the optical path of the reflector image can be changed by moving the reflector 120.
  • the processor 140 when the processor 140 receives the direct image of the markers 110, 111 and 112 and waits for receiving the reflecting image for a predetermined time, the optical path of the reflector image is obstructed.
  • the control information for controlling at least one of the movement, the angle adjustment, and the change of the reflection surface shape may be transmitted to the reflector 120 at a predetermined position by a predetermined value.
  • the spatial position and direction information of the reflector 120 and the changed spatial position and direction information may be stored in the memory 141 mounted in the processor 140.
  • the imaging unit 130 directly receives the light emitted from the markers 110, 111, 112 to form a direct image, and simultaneously, the markers 110, 111, 112. After receiving the light emitted from the reflector 120 reflected by the reflector 120 to form a reflecting image.
  • the imaging unit 130 may be a camera that receives light emitted directly from the markers 110, 111, 112 and light reflected by the reflector 120 to form an image.
  • the imaging unit 130 includes a lens 131 through which the light emitted from the markers 110, 111, 112 and the light reflected by the reflector 120 pass through a focal point, and the lens (
  • the main body unit 132 is disposed at the rear of the 131 and is mounted with an image sensor 133 on which light emitted from the markers 110, 111, 112 and light reflected by the reflector 120 are formed. ) May be included.
  • the processor 140 uses the direct image and the reflect image of the markers 110, 111, and 112 formed on the imaging unit 130 to reflect the respective markers 110, 111, and 112. Calculate the three-dimensional coordinates of the markers, and compare the three-dimensional coordinates of the markers 110, 111, and 112 with geometric information between the pre-stored neighboring markers 110, 111, and 112. It is possible to calculate the spatial position and direction of the object 200, such as surgical instruments.
  • the memory 141 is mounted in the processor 140.
  • the memory 141 mounted in the processor 140 includes geometric information between the neighboring markers 110, 111, and 112, that is, the neighboring markers 110, 111, 112. Angles A1 and A2 formed by the length information of the straight lines L1, L2, and L3 to be connected and a pair of neighboring straight lines to connect the markers 110, 111 and 112 that are adjacent to each other.
  • A3) Information may be stored in advance.
  • the spatial location and direction of the reflector 120 may be stored in the memory 141 mounted in the processor 140.
  • the light emitted from the markers 110, 111, 112 is introduced into the imaging unit 130, and the direct image is imaged.
  • the light emitted from the markers 110, 111, 112 is reflected by the reflector 120 and then flows into the imaging unit 130 to form an image of the reflector, so that one imaging unit 130 is formed. 1 and 3, the same effect as using one more imaging unit may be obtained, as indicated by a dotted line on the left side of the reflector 120 in FIGS. 1 and 3.
  • FIG. 4 is a block diagram illustrating a tracking method according to an embodiment of the present invention
  • FIG. 5 is a block diagram illustrating a process of calculating three-dimensional coordinates of markers
  • FIG. 6 is an image sensor of an imaging unit.
  • FIG. 7 is an exemplary diagram of virtual division into a coordinate system of a direct image and a coordinate system of a reflected image.
  • FIG. 7 is a diagram for describing a relationship between two-dimensional coordinates in an image and three-dimensional coordinates of an actual marker.
  • At least three markers attached to the object 200 Activate the 110, 111, 112 to emit light from the markers 110, 111, 112, or operate at least one light source 150 to operate the object 200 from the light source 150. At least three markers 110, 111, and 112 attached to the light are irradiated to emit light reflected by the markers 110, 111, and 112. (S110)
  • the markers 110, 111, 112 when at least three active markers 110, 111, 112 emitting light from the object 200 are attached to the object 200, the markers 110, 111, 112 are attached. Is activated to emit light from the markers 110, 111, 112. In contrast, when at least three passive markers 110, 111, and 112 that do not emit light by themselves are attached to the object 200, the at least one light source 150 is operated to operate the light source 150. Irradiates light from at least three passive markers 110, 111, 112 attached to the object 200 from the light so that the light is reflected and emitted by the passive markers 110, 111, 112. do.
  • Light emitted by the at least three markers 110, 111, 112 is transmitted directly to the imaging unit 130, so that the respective markers 110, 111 are transferred to the imaging unit 130. Simultaneously imaging the direct image of 112, the light emitted by the at least three markers 110, 111, 112 is transmitted to the reflector 120 and then reflected by the reflector 120. The image is transmitted to the imaging unit 130 to form a reflective image of the respective markers 110, 111, and 112 on the imaging unit 130.
  • the light emitted by the at least three markers 110, 111, 112 is transferred directly to the imaging unit 130 through a first path to the imaging unit 130.
  • the at least 3 The light emitted by the two markers 110, 111, 112 is reflected by the reflector 120 through a second path and then transmitted to the imaging unit 130, so that the lens of the imaging unit 130 is provided.
  • the reflected images of the markers 110, 111, and 112 are imaged on the image sensor 133 mounted on the main body 132 of the imaging unit 130.
  • the light emitted by the markers is transferred to the imaging unit 130 in two paths (first path: marker-> imaging unit, second path: marker-> reflector-> imaging unit) to form the imaging unit.
  • Two images (direct image and reflect image) by the respective paths (first and second paths) for the respective markers 110, 111, and 112 are sent to the image sensor 133 of 130. Image it.
  • the respective markers 110, 111 are processed by the processor 140.
  • the three-dimensional coordinates of 112 are calculated (S130).
  • the markers 110, 111, 112 In order to calculate the three-dimensional coordinates of the respective markers 110, 111, 112, first, the markers 110, 111, (imaged in the imaging unit 130 through the processor 140) Two-dimensional coordinates of the direct image and the reflected image of step 112 are calculated (S131).
  • the processor 140 uses two-dimensional coordinates of the direct image of the markers 110, 111, and 112 and two-dimensional coordinates of the reflective image. Through the three-dimensional coordinates of the respective markers (110, 111, 112) is calculated through (S133).
  • one side of the image sensor 133 is virtually divided into a field of view (FOV) of a direct image, and the other side is referred to as an FOV of a reflecting image, and the two-dimensional image of the direct image of the image sensor 133 is virtually divided.
  • Coordinates are expressed in a (U, V) coordinate system, and two-dimensional coordinates of the reflected image are denoted as (U ', V').
  • markers 110, 111, and 112 in the image are shown. 2D coordinates and 3D coordinates of the markers 110, 111, and 112 in real space may be represented by a relational expression as shown in Equation (1).
  • m is the two-dimensional coordinates of the marker in the image
  • M is the three-dimensional coordinates of the marker in real space
  • a (R, t) is the camera matrix
  • the three-dimensional coordinates of the actual markers 110, 111, 112 are X
  • the three-dimensional coordinates X of the actual markers 110, 111, 112 and The relationship between the coordinates of the direct image (x L ) and the relationship between the three-dimensional coordinates (X) of the actual markers 110, 111, and 112 and the coordinates (x R ) of the reflected image are shown in Equation 2 below. I can display it.
  • P 1 is a camera matrix of a direct image
  • P 2 is a camera matrix of a reflected image
  • P iT is the row vector of the matrix P.
  • the respective markers 110, 111, and 112 are 3D coordinates in the real space of C 1) and geometric information between neighboring markers 110, 111, and 112 previously stored in the processor 140 are compared through the processor 140.
  • Calculate the spatial position and direction of the target object 200 is attached (111, 112) (S140).
  • the geometric information between the neighboring markers (110, 111, 112) is a straight line (L1) (L2) connecting the neighboring markers (110, 111, 112) as described above Length information of L3 and angle A1, A2, and A3 information formed by a pair of adjacent straight lines connecting the markers 110, 111, and 112.
  • the light emitted from each of the markers 110, 111, and 112 is directly introduced into the imaging unit 130, so that a direct image is obtained.
  • the image is reflected by the reflector 120 and introduced into the imaging unit 130 so that the reflect image is introduced. That is, the light emitted from each of the markers 110, 111 and 112 is an imaging unit in two paths (first path: marker-> imaging unit, second path: marker-> reflector-> imaging unit).
  • the image sensor 133 of the imaging unit 130 is transmitted to the 130 and the two (direct image and reflect image) by respective paths for the respective markers 110, 111, 112. Image the image.
  • the tracking system and the tracking method using the same can be used to determine the spatial position and direction of the markers 110, 111, 112 attached to the object 200 with only one imaging unit 130.
  • the manufacturing cost of the tracking system can be reduced and the light weight can be achieved. Therefore, compared with the conventional tracking system, there is an advantage that the operation space is less restricted.

Abstract

한 대의 결상 유닛만으로도 각각의 마커들의 3차원 좌표를 산출할 수 있도록 하여 제작비용의 감소와 더불어 장비의 컴팩트화를 실현하여 수술 공간의 제약을 최소화할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법이 개시된다. 상기 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 각각의 마커들로부터 방출되는 광이 2개의 경로로 한 대의 결상 유닛에 전달되어 상기 결상 유닛의 이미지 센서에 각각의 마커에 대해 각각의 경로에 의한 2개(다이렉트 영상과 리플렉트 영상)의 영상을 결상시키므로 한 대의 결상 유닛만으로도 목적물에 부착된 마커들의 공간 위치와 방향을 산출하여 확인할 수 있으므로, 트랙킹 시스템의 제작비용의 절감과 더불어 장비의 소형 경량화를 이룰 수 있어 종래의 트랙킹 시스템에 비하여 수술 공간의 제약을 상대적으로 덜 받는다는 효과가 있다.

Description

트랙킹 시스템 및 이를 이용한 트랙킹 방법
본 발명은 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것으로, 보다 상세하게는 환자의 환부나 수술도구와 같은 목적물에 부착된 마커들의 좌표를 추적하여 목적물의 공간 위치 정보와 방향 정보를 검출하는 수술용 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것이다
최근에는 복강경 수술이나 이비인후과 수술을 할 시 보다 환자의 고통을 덜어주고 보다 빠르게 환자가 회복할 수 있도록 하기 위한 로봇 수술이 연구 및 도입되고 있는 실정이다.
이러한, 로봇 수술 시에는 수술의 위험을 최소화하고 보다 정밀한 수술을 진행할 수 있도록 하기 위하여 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 정확히 추적하여 검출한 후 상기 수술도구를 환자의 환부로 정확히 조종(NAVIGATE)할 수 있는 내비게이션이 사용된다.
상기와 같은 수술용 내비게이션에는 상술한 바와 같이 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 정확히 추적하여 검출할 수 있는 트랙킹 시스템이 포함된다.
상기와 같은 트랙킹 시스템은 통상 환부나 수술도구와 같은 목적물에 부착되는 마커들과, 상기 마커들에 의해 방출되는 광을 결상시키는 제1, 2 결상 유닛과, 상기 제1, 2 결상 유닛과 연결되어 상기 마커들의 3차와 좌표를 산출한 후 기 저장된 상기 서로 이웃하는 마커들을 연결하는 직선들의 정보와 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보를 상기 마커들의 3차원 좌표와 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함한다.
여기서, 상기 마커들의 3차원 좌표를 프로세서를 통해 산출하기 위해서는 통상적으로 하나의 마커로부터 방출되어 제1 결상 유닛에 결상된 상기 마커의 좌표와 상기 제2 결상 유닛에 결상된 상기 마커의 좌표가 동일하다는 가정 하에 삼각법을 통해 상기 프로세서에 의해 검출됨으로써 각각의 마커의 3차원 좌표가 프로세서를 통해 산출되기 위해서는 반드시 2대의 디텍터가 필요하였다.
따라서, 종래의 일반적인 트랙킹 시스템은 서로 다른 위치에서 각각의 마커들로부터 방출되는 광을 결상시키기 위한 2대의 결상 유닛을 구비해야만 함으로써 제작비용의 상승과 더불어 시스템 전체 사이즈가 커지게 됨으로써 수술 공간의 제약을 많이 받는다는 문제점이 있었다.
따라서, 본 발명의 목적은 한 대의 결상 유닛만으로도 각각의 마커들의 3차원 좌표를 산출할 수 있도록 하여 제작비용의 감소와 더불어 장비의 컴팩트화를 실현하여 수술 공간의 제약을 최소화할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것이다.
본 발명의 일실시예에 의한 트랙킹 시스템은 목적물에 부착되어 광을 방출하거나 적어도 하나의 광원으로부터 방출되는 광을 반사시키는 적어도 3개의 마커와, 상기 마커들로부터 방출되거나 상기 마커들에 의해 반사되어 방출되는 광을 반사시키는 리플렉터와, 상기 마커들로부터 방출되는 광을 직접적으로 받아 들여 다이렉트 영상을 결상시킴과 동시에, 상기 마커들로부터 방출된 후 상기 리플렉터에 의해 반사되어 방출되는 광을 받아 들여 리플렉트 영상을 결상시키는 결상 유닛 및, 상기 결상 유닛에 결상된 상기 마커들의 다이렉트 영상과 리플렉트 영상을 이용하여 상기 마커들의 3차원 좌표를 각각 산출한 후 상기 마커들의 3차원 좌표와 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함한다.
일예를 들면, 상기 리플렉터는 상기 마커들로부터 방출되는 광을 상기 결상 유닛 측으로 반사시켜 리플렉트 영상을 결상시킬 수 있도록 하는 미러일 수 있다.
일예를 들면, 상기 리플렉터는 상기 결상 유닛과 동일 광 경로 상에 위치하며, 상기 프로세서의 제어 하에 설치 위치나 각도, 반사면의 형상 중 적어도 하나를 변경하여, 상기 리플렉트 영상의 결상 위치를 변화시킬 수 있다.
일예를 들면, 상기 결상 유닛은 상기 마커들로부터 직접적으로 방출되는 광과 상기 리플렉터에 의해 반사된 광을 받아들여 영상을 결상시키는 카메라일 수 있다.
한편, 상기 마커들 간의 기하학적 정보는 상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와, 상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보일 수 있다.
본 발명의 일실시예에 의한 트랙킹 방법은 목적물에 부착된 적어도 3개의 마커들로부터 방출되는 광을 직접적으로 받아 들여 다이렉트 영상을 결상 유닛에 결상시킴과 동시에, 상기 마커들로부터 방출된 후 특정 위치에 설치되어 광을 반사시키는 리플렉터에 의해 방출되는 광을 받아들여 리플렉트 영상을 결상 유닛에 결상시키는 단계와, 상기 결상 유닛에 결상된 상기 마커들의 다이렉트 영상과 리플렉트 영상을 이용하여 프로세서를 통해 상기 각각의 마커들의 3차원 좌표를 산출하는 단계 및, 상기 각각의 마커들의 3차원 좌표와 상기 프로세서에 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 단계를 포함한다.
여기서, 상기 마커들 간의 기하학적 정보는 상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와, 상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보일 수 있다.
한편, 상기 리플렉트 영상을 결상 유닛에 결상시키는 단계는, 상기 프로세서에서 리플렉터의 설치 위치, 각도 및 반사면의 형상 변경 중 적어도 하나를 제어하여 상기 결상 유닛과의 동일한 광 경로상에서 상기 리플렉트 영상의 결상 위치를 변화시키는 단계를 포함할 수 있다.
일예를 들면, 상기 마커들의 3차원 좌표를 산출하는 단계는 상기 프로세서를 통해 상기 결상 유닛에 결상된 상기 마커들의 다이렉트 영상과 리플렉트 영상의 2차원 좌표를 산출하는 단계 및, 상기 마커들의 다이렉트 영상의 2차원 좌표와 상기 리플렉트 영상의 2차원 좌표를 이용하여 상기 프로세서를 통해 상기 마커들의 3차원 좌표를 산출하는 단계를 포함할 수 있다.
이와 같이 본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 각각의 마커들로부터 방출되는 광이 직접적으로 결상 유닛으로 유입됨과 동시에 리플렉터에 의해 반사되어 상기 결상 유닛으로 유입되도록 한다. 즉, 각각의 마커들로부터 방출되는 광이 2개의 경로(제1 경로 : 마커->결상유닛, 제2 경로 : 마커-> 리플렉터 -> 결상유닛)로 결상 유닛에 전달되어 상기 결상 유닛의 이미지 센서에 각각의 마커에 대해 각각의 경로에 의한 2개(다이렉트 영상과 리플렉트 영상)의 영상을 결상시키므로 한 대의 결상 유닛만으로도 목적물에 부착된 마커들의 공간 위치와 방향을 산출하여 확인할 수 있다
그러므로, 트랙킹 시스템의 제작비용의 절감과 더불어 장비의 소형 경량화를 이룰 수 있어 종래의 트랙킹 시스템에 비하여 수술 공간의 제약을 상대적으로 덜 받는다는 효과가 있다.
도 1은 본 발명의 일실시예에 의한 트랙킹 시스템의 개략도
도 2는 마커들이 목적물에 부착된 예시도
도 3은 렌즈의 동일 광 경로 상에서 마커의 위치가 바뀔 시 리플렉트 영상이 결상되는 위치의 변화를 설명하기 위한 예시도
도 4는 본 발명의 일실시예에 의한 트랙킹 방법을 설명하기 위한 블록도
도 5는 마커들의 3차원 좌표를 산출하는 과정을 설명하기 위한 블록도
도 6은 결상 유닛의 이미지 센서를 다이렉트 영상의 좌표계와 리플렉트 영상의 좌표계로 가상 분할한 예시도
도 7은 영상에서의 2차원 좌표와 실제 마커의 3차원 좌표와의 관계를 설명하기 위한 도면
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 도면을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 환부나 수술도구와 같은 목적물에 적어도 3개의 마커들을 부착한 후 상기 마커들의 3차원 좌표를 산출하여 프로세서에 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보와 상기 마커들의 3차원 좌표를 프로세서를 통해 비교하여 상기 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 산출할 수 있도록 하는 것으로서, 그 상세한 구성에 대해서는 도면을 참조하여 설명한다.
도 1은 본 발명의 일실시예에 의한 트랙킹 시스템의 개략도이며, 도 2는 마커들이 목적물에 부착된 예시도이며, 도 3은 렌즈의 동일 광 경로 상에서 마커의 위치가 바뀔 시 리플렉트 영상이 결상되는 위치의 변화를 설명하기 위한 예시도이다.
먼저, 도 1 및 도 3에서는 설명의 편의를 위하여 1개의 마커만을 도시하였으나, 본 발명의 일실시예에 의한 트랙킹 시스템(100)은 도 2에 도시된 바와 같이 적어도 3개의 마커들(110)(111)(112)이 환부나 수술도구와 같은 목적물(200)에 부착된다.
도 1 내지 도 3을 참조하면, 본 발명의 일실시예에 의한 트랙킹 시스템(100)은 적어도 3개의 마커들(110)(111)(112), 리플렉터(reflector : 120), 결상 유닛(130), 프로세서(processor : 140)를 포함한다.
상기 적어도 3개의 마커들(110)(111)(112)은 환부나 수술도구와 같은 목적물(200)에 부착된다. 여기서, 상기 적어도 3개의 마커들(110)(111)(112)은 서로 이웃하는 마커들(110)(111)(112) 간에 일정 간격 이격되며, 서로 이웃하는 마커들(110)(111)(112)을 가상으로 연결하여 각 마커마다 이웃하는 한 쌍의 직선들(L1)(L2)(L3)이 일정한 각도(A1)(A2)(A3)를 이루도록 배치되어 상기 환부나 수술도구와 같은 목적물(200)에 부착된다.
여기서, 상기 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보, 즉 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와 서로 이웃하는 마커들(110)(111)(112)을 연결하는 이웃하는 한 쌍의 직선들이 이루는 각도(A1)(A2)(A3) 정보는 상기 프로세서(140)에 실장된 메모리(memory : 141)에 기 저장된다.
예를 들면, 상기 마커들(110)(111)(112)은 3개가 환부나 수술도구와 같은 목적물(200)에 삼각형 형태로 부착될 수 있으며, 상기 3개의 마커들(110)(111)(112)을 꼭지점으로 하는 삼각형의 변을 이루는 각각의 직선(L1)(L2)(L3)의 길이 정보와, 상기 마커들(110)(111)(112)을 연결하는 서로 이웃하는 한 쌍의 직선이 이루는 각도(A1)(A2)(A3) 정보는 상기 프로세서(140)에 포함된 메모리(141)에 기 저장될 수 있다.
한편, 상기 마커들(110)(111)(112)은 자체적으로 광을 방출하는 액티브(active) 마커일 수 있다. 상술한 바와 같이 상기 마커들(110)(111)(112)을 액티브 마커로 사용할 경우에는 별도의 광원을 사용할 필요가 없다.
이와는 다르게, 상기 마커들(110)(111)(112)은 적어도 하나의 광원(150)으로부터 방출되는 광을 반사시키는 패시브(passive) 마커일 수 있다. 상술한 바와 같이 상기 마커들(110)(111)(112)을 패시브 마커로 사용할 경우에는 상기 마커들(110)(111)(112)로 광을 방출하는 적어도 하나의 광원(150)을 상기 결상 유닛(130) 주변에 배치할 수 있다. 예를 들면, 한 쌍의 광원(150)이 상기 결상 유닛(130)의 양측에 배치될 수 있다.
상기 리플렉터(120)는 상기 마커들(110)(111)(112)로부터 방출되거나 상기 마커들(110)(111)(112)에 의해 반사되어 방출되는 광을 반사시킨다. 예를 들면, 상기 리플렉터(120)는 상기 액티브 마커로부터 방출되는 광을 반사시키거나, 상기 광원(150)으로부터 방출된 후 상기 패시브 마커에 의해 반사되어 방출되는 광을 재 반사시킨다.
여기서, 상기 리플렉터(120)는 상기 마커들(110)(111)(112)로부터 방출되는 광을 상기 결상 유닛(130) 측으로 반사시켜 리플렉트(reflect) 영상을 상기 결상 유닛(130)에 결상시킬 수 있도록 하는 미러일 수 있다. 예를 들면, 상기 리플렉터(120)로는 구면 미러를 사용할 수 있다. 이와 같이, 상기 리플렉터(120)로 구면 미러를 사용하게 되면 도 3에 도시된 바와 같이 결상 유닛(130)의 렌즈(131)의 동일 광 경로(AX1) 상에서 마커(110)의 위치가 바뀔 시 θ값을 줄일 수 있으므로 이를 토대로 마커의 위치를 측정할 수 있다.
한편, 상기 리플렉터(120)는 설치 위치나 설치 각도를 변경하거나, 반사면의 형상을 변경하여 상기 리플렉터(120)에 의해 반사되어 상기 결상 유닛(130)에 결상되는 리플렉트 영상의 결상 위치의 변화를 줄 수 있다. 즉, 상기 리플렉터(120)의 설치 위치나 설치 각도 또는 반사면의 형상을 변경함으로써 다양한 실 측정 가능 범위의 변경이 가능하도록 한다.
이때, 리플렉터(120)의 설치 위치나 각도, 반사면의 형상 변경은 유무선 방식으로 네트워크 연동된 상기 프로세서(140)의 제어에 의해 변경될 수 있다. 이를 통해 수술 로봇의 스탠드, 암, 의사, 간호사 등에 의해 광 경로가 가려지는 경우, 리플렉터(120)의 이동을 통해 리플렉터 영상의 광 경로를 변경할 수 있는 이점이 있다.
또는, 프로세서(140)에서 상기 마커들(110)(111)(112)의 다이렉트 영상을 수신한 후, 일정 시간 동안 리플렉트 영상의 수신을 대기하여 수신하지 못하는 경우에는 리플렉터 영상의 광 경로가 장애물에 의해 차단된 것으로 판단할 수 있으므로, 이 경우에는 기 설정된 수치만큼 기 설치된 위치에서 이동, 각도 조절, 반사면 형상 변경 중 적어도 하나를 제어하는 제어 정보를 리플렉터(120)로 전송할 수 있다.
이러한, 상기 리플렉터(120)의 공간 위치와 방향 정보 및 변경된 공간 위치와 방향 정보는 상기 프로세서(140)에 실장된 메모리(141)에 기 저장될 수 있다.
상기 결상 유닛(130)은 상기 마커들(110)(111)(112)로부터 방출되는 광을 직접적으로 받아 들여 다이렉트(direct) 영상을 결상시킴과 동시에, 상기 마커들(110)(111)(112)로부터 방출된 후 상기 리플렉터(120)에 의해 반사되어 방출되는 광을 받아 들여 리플렉트 영상을 결상시킨다.
예를 들면, 상기 결상 유닛(130)은 상기 마커들(110)(111)(112)로부터 직접적으로 방출되는 광과 상기 리플렉터(120)에 의해 반사된 광을 받아들여 영상을 결상시키는 카메라일 수 있다. 즉, 상기 결상 유닛(130)은 상기 마커들(110)(111)(112)로부터 방출되는 광과 상기 리플렉터(120)에 의해 반사되는 광이 초점을 통과하는 렌즈(131)와, 상기 렌즈(131)의 후방부에 배치되어 상기 마커들(110)(111)(112)로부터 방출되는 광과 상기 리플렉터(120)에 의해 반사되는 광이 결상되는 이미지 센서(133)가 실장된 본체부(132)를 포함할 수 있다.
상기 프로세서(140)는 상기 결상 유닛(130)에 결상된 상기 마커들(110)(111)(112)의 다이렉트 영상과 리플렉트 영상을 이용하여 상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하며, 상기 마커들(110)(111)(112)의 3차원 좌표를 기 저장된 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보와 비교하여 환부나 수술도구와 같은 상기 목적물(200)의 공간 위치와 방향을 산출할 수 있다.
여기서, 상기 프로세서(140)에는 메모리(141)가 실장된다. 한편, 상기 프로세서(140)에 실장된 메모리(141)에는 상기 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보, 즉 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와 서로 이웃하는 마커들(110)(111)(112)을 연결하는 이웃하는 한 쌍의 직선들이 이루는 각도(A1)(A2)(A3) 정보가 기 저장될 수 있다.
이에 더하여, 상기 프로세서(140)에 실장된 메모리(141)에는 상기 리플렉터(120)의 공간 위치와 방향이 기 저장될 수 있다.
상술한 바와 같이 본 발명의 일실시예에 의한 트랙킹 시스템(100)은 마커들(110)(111)(112)로부터 방출되는 광이 결상 유닛(130)으로 유입되어 다이렉트 영상이 결상될 뿐만 아니라, 상기 마커들(110)(111)(112)로부터 방출되는 광이 리플렉터(120)에 의해 반사된 후 상기 결상 유닛(130)으로 유입되어 리플렉트 영상 또한 결상되도록 하여, 한 대의 결상 유닛(130)을 사용하고도 도 1 및 도 3에서 리플렉터(120)의 좌측에 점선으로 표시한 바와 같이 한 대의 결상 유닛을 더 사용한 것과 같은 효과를 볼 수 있다.
도 1 내지 도 7을 참조하여 본 발명의 일실시예에 의한 트랙킹 시스템을 이용하여 목적물의 공간 위치와 방향을 트랙킹하는 과정에 대하여 설명한다.
도 4는 본 발명의 일실시예에 의한 트랙킹 방법을 설명하기 위한 블록도이며, 도 5는 마커들의 3차원 좌표를 산출하는 과정을 설명하기 위한 블록도이고, 도 6은 결상 유닛의 이미지 센서를 다이렉트 영상의 좌표계와 리플렉트 영상의 좌표계로 가상 분할한 예시도이며, 도 7은 영상에서의 2차원 좌표와 실제 마커의 3차원 좌표와의 관계를 설명하기 위한 도면이다.
도 1 내지 도 7을 참조하면, 본 발명의 일실시예에 의한 트랙킹 시스템을 이용하여 목적물(200)의 공간 위치와 방향을 트랙킹 하기 위해서는, 먼저 목적물(200)에 부착된 적어도 3개의 마커들(110)(111)(112)을 활성화시켜 상기 마커들(110)(111)(112)로부터 광이 방출되도록 하거나, 적어도 하나의 광원(150)을 작동시켜 상기 광원(150)으로부터 상기 목적물(200)에 부착된 적어도 3개의 마커들(110)(111)(112)에 광을 조사하여 상기 마커들(110)(111)(112)에 의해 광이 반사되어 방출되도록 한다.(S110)
보다 상세하게 설명하면, 상기 목적물(200)에 자체에서 광을 방출하는 적어도 3개의 액티브 마커들(110)(111)(112)이 부착되었을 경우에는 상기 마커들(110)(111)(112)을 활성화시켜 상기 마커들(110)(111)(112)로부터 광이 방출되도록 한다. 이와는 다르게 상기 목적물(200)에 자체적으로 광을 방출하지 못하는 적어도 3개의 패시브 마커들(110)(111)(112)이 부착되었을 경우에는 적어도 하나의 광원(150)을 작동시켜 상기 광원(150)으로부터 상기 목적물(200)에 부착된 적어도 3개의 패시브 마커들(110)(111)(112)에 광을 조사하여 상기 패시브 마커들(110)(111)(112)에 의해 광이 반사되어 방출되도록 한다.
상기 적어도 3개의 마커들(110)(111)(112)에 의해 방출된 광은 상기 결상 유닛(130)에 직접적으로 전달되어 상기 결상 유닛(130)에 상기 각각의 마커들(110)(111)(112)의 다이렉트 영상을 결상시킴과 동시에, 상기 적어도 3개의 마커들(110)(111)(112)에 의해 방출된 광은 리플렉터(120)로 전달되어 상기 리플렉터(120)에 의해 반사된 후 상기 결상 유닛(130)으로 전달되어 상기 결상 유닛(130)에 상기 각각의 마커들(110)(111)(112)의 리플렉트 영상을 결상시킨다.(S120)
즉, 상기 목적물(200)에 부착된 적어도 3개의 마커들(110)(111)(112)로부터 방출되는 광을 직접적으로 받아들여 다이렉트 영상을 상기 결상 유닛(130)에 결상시킴과 동시에, 상기 마커들(110)(111)(112)로부터 방출된 후 상기 리플렉터(120)에 의해 반사되어 방출되는 광을 받아들여 리플렉트 영상을 상기 결상 유닛(130)에 결상시킨다.
보다 상세하게 설명하면, 상기 적어도 3개의 마커들(110)(111)(112)에 의해 방출된 광은 제1 경로를 통해 직접적으로 상기 결상 유닛(130) 측으로 전달되어 상기 결상 유닛(130)의 렌즈를 통과한 후 상기 결상 유닛(130)의 본체부(132)에 실장된 이미지 센서(133)에 상기 마커들(110)(111)(112)의 다이렉트 영상을 결상시킴과 동시에, 상기 적어도 3개의 마커들(110)(111)(112)에 의해 방출된 광은 제2 경로를 통해 상기 리플렉터(120)에 의해 반사된 후 상기 결상 유닛(130) 측으로 전달되어 상기 결상 유닛(130)의 렌즈(131)를 통과한 후 상기 결상 유닛(130)의 본체부(132)에 실장된 이미지 센서(133)에 상기 마커들(110)(111)(112)의 리플렉트 영상을 결상시킨다. 즉, 상기 마커들에 의해 방출된 광은 2개의 경로(제1 경로 : 마커->결상유닛, 제2 경로 : 마커-> 리플렉터 -> 결상유닛)로 결상 유닛(130)에 전달되어 상기 결상 유닛(130)의 이미지 센서(133)에 각각의 마커들(110)(111)(112)에 대해 각각의 경로(제1, 2 경로)에 의한 2개(다이렉트 영상과 리플렉트 영상)의 영상을 결상시킨다.
상기와 같이 각각의 마커들(110)(111)(112)의 다이렉트 영상과 리플렉트 영상이 상기 결상 유닛(130)에 결상되면 프로세서(140)에 의해 상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출한다.(S130)
상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하는 단계에 대하여 도 5의 블록도를 통해 상세하게 설명하면 다음과 같다.
상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하기 위해서는, 먼저 상기 프로세서(140)를 통해 상기 결상 유닛(130)에 결상된 상기 마커들(110)(111)(112)의 다이렉트 영상과 리플렉트 영상의 2차원 좌표를 산출한다.(S131)
여기서, 상기 마커들(110)(111)(112)의 다이렉트 영상의 2차원 좌표와 상기 리플렉트 영상의 2차원 좌표를 산출한 다음에는, 각 좌표계 별로 카메라 캘리브레이션(calibration)을 수행하게 된다.(S132)
상기와 같이 각 좌표계 별로 카메라 캘리브레이션을 수행한 다음에는, 상기 마커들(110)(111)(112)의 다이렉트 영상의 2차원 좌표와 상기 리플렉트 영상의 2차원 좌표를 이용하여 상기 프로세서(140)를 통해 상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출한다.(S133)
상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하는 단계에 대하여 도 6 및 도 7을 참조하여 보다 상세하게 설명하면 다음과 같다.
도 6에 도시된 바와 같이 이미지 센서(133)의 일측을 다이렉트 영상의 FOV(FIELD OF VIEW), 타측을 리플렉트 영상의 FOV라고 가상으로 분할하고, 상기 이미지 센서(133)의 다이렉트 영상의 2차원 좌표를 (U,V) 좌표계로 표시하며, 상기 리플렉트 영상의 2차원 좌표를 (U', V')이라고 표시하고 도 7을 참조하면, 영상에서의 마커들(110)(111)(112)의 2차원 좌표와 실 공간에서의 마커들(110)(111)(112)의 3차원 좌표는 수학식 1과 같은 관계식으로 표현될 수 있다.
수학식 1
Figure PCTKR2014000131-appb-M000001
여기서, m은 영상에서의 마커의 2차원 좌표이며, M은 실 공간에서의 마커의 3차원 좌표이고, A(R, t)는 카메라 매트릭스이다.
이를 보다 간략하게 설명하기 위하여, 실제 마커들(110)(111)(112)의 3차원 좌표를 X라 하면, 상기 실제 마커들(110)(111)(112)의 3차원 좌표(X)와 다이렉트 영상의 좌표(xL)의 관계식과, 상기 실제 마커들(110)(111)(112)의 3차원 좌표(X)와 리플렉트 영상의 좌표(xR)의 관계식은 수학식 2와 같이 표시할 수 있다.
수학식 2
Figure PCTKR2014000131-appb-M000002
여기서, 상기 P1은 다이렉트 영상의 카메라 매트릭스이며, P2는 리플렉트 영상의 카메라 매트릭스이다.
그리고, 각각의 마커들(110)(111)(112)의 다이렉트 영상과 리플렉트 영상에 대해서 xL = P1X, xR = P2X 관계식은 AX = 0의 선형 방정식으로 표현이 가능하며, 이를 정리하면 수학식 3과 같이 나타낼 수 있다.
수학식 3
Figure PCTKR2014000131-appb-M000003
여기서, PiT는 행렬 P의 행벡터이다.
위 식을 다시 정리하면, 수학식 4와 같이 나타낼 수 있다.
수학식 4
Figure PCTKR2014000131-appb-M000004
여기서, W는 스케일 인자이다.
수학식 4와 같이 표현된 선형 방정식을 풀어 X, Y, Z를 구하면 그 해가 마커들(110)(111)(112)의 3차원 좌표가 된다.
상술한 바와 같이 프로세서(140)에 의해 각각의 마커들(110)(111)(112)의 실 공간에서의 3차원 좌표를 산출한 다음에는, 상기 각각의 마커들(110)(111)(112)의 실 공간에서의 3차원 좌표와 상기 프로세서(140)에 기 저장된 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보를 프로세서(140)를 통해 비교하여 상기 마커들(110)(111)(112)이 부착된 목적물(200)의 공간 위치와 방향을 산출한다.(S140)
여기서, 상기 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보는 상술한 바와 같이 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와, 상기 마커들(110)(111)(112)을 연결하는 서로 이웃하는 한 쌍의 직선이 이루는 각도(A1)(A2)(A3) 정보일 수 있다.
즉, 상기 프로세서(140)를 통해 상기 각각의 마커들(110)(111)(112)의 실 공간에서의 3차원 좌표와 상기 프로세서(140)에 기 저장된 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와, 각각의 마커들(110)(111)(112)을 서로 연결하는 서로 이웃하는 한 쌍의 직선이 이루는 각도(A1)(A2)(A3) 정보를 비교하여 상기 마커들(110)(111)(112)이 부착된 목적물(200)의 공간 위치와 방향을 산출하게 된다.
상술한 바와 같이 본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 각각의 마커들(110)(111)(112)로부터 방출되는 광이 직접적으로 결상 유닛(130)으로 유입되어 다이렉트 영상이 결상됨과 동시에 리플렉터(120)에 의해 반사되어 상기 결상 유닛(130)으로 유입됨으로써 리플렉트 영상이 유입되도록 한다. 즉, 각각의 마커들(110)(111)(112)로부터 방출되는 광이 2개의 경로(제1 경로 : 마커->결상유닛, 제2 경로 : 마커-> 리플렉터 -> 결상유닛)로 결상 유닛(130)에 전달되어 상기 결상 유닛(130)의 이미지 센서(133)에 각각의 마커들(110)(111)(112)에 대해 각각의 경로에 의한 2개(다이렉트 영상과 리플렉트 영상)의 영상을 결상시킨다.
따라서, 본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 한 대의 결상 유닛(130)만으로도 목적물(200)에 부착된 마커들(110)(111)(112)의 공간 위치와 방향을 산출하여 확인할 수 있다
그러므로, 트랙킹 시스템의 제작비용의 절감과 더불어 소형 경량화를 이룰 수 있으므로 종래의 트랙킹 시스템에 비하여 수술 공간의 제약을 상대적으로 덜 받는다는 장점이 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

  1. 목적물에 부착되어 광을 방출하거나 적어도 하나의 광원으로부터 방출되는 광을 반사시키는 적어도 3개의 마커;
    상기 마커들로부터 방출되거나 상기 마커들에 의해 반사되어 방출되는 광을 반사시키는 리플렉터;
    상기 마커들로부터 방출되는 광을 직접적으로 받아 들여 다이렉트 영상을 결상시킴과 동시에, 상기 마커들로부터 방출된 후 상기 리플렉터에 의해 반사되어 방출되는 광을 받아 들여 리플렉트 영상을 결상시키는 결상 유닛; 및
    상기 결상 유닛에 결상된 상기 마커들의 다이렉트 영상과 리플렉트 영상을 이용하여 상기 마커들의 3차원 좌표를 각각 산출한 후 상기 마커들의 3차원 좌표와 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함하는 트랙킹 시스템.
  2. 제 1 항에 있어서,
    상기 리플렉터는,
    상기 마커들로부터 방출되는 광을 상기 결상 유닛 측으로 반사시켜 리플렉트 영상을 결상시킬 수 있도록 하는 미러인 것을 특징으로 하는 트랙킹 시스템.
  3. 제 1 항에 있어서,
    상기 리플렉터는,
    상기 결상 유닛과 동일 광 경로 상에 위치하며, 상기 프로세서의 제어 하에 설치 위치나 각도, 반사면의 형상 중 적어도 하나를 변경하여, 상기 리플렉트 영상의 결상 위치를 변화시키는 것을 특징으로 하는 트랙킹 시스템.
  4. 제 1 항에 있어서,
    상기 결상 유닛은,
    상기 마커들로부터 직접적으로 방출되는 광과 상기 리플렉터에 의해 반사된 광을 받아들여 영상을 결상시키는 카메라인 것을 특징으로 하는 트랙킹 시스템.
  5. 제 1 항에 있어서,
    상기 마커들 간의 기하학적 정보는,
    상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와,
    상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보인 것을 특징으로 하는 트랙킹 시스템.
  6. 목적물에 부착된 적어도 3개의 마커들로부터 방출되는 광을 직접적으로 받아 들여 다이렉트 영상을 결상 유닛에 결상시킴과 동시에, 상기 마커들로부터 방출된 후 특정 위치에 설치되어 광을 반사시키는 리플렉터에 의해 방출되는 광을 받아들여 리플렉트 영상을 결상 유닛에 결상시키는 단계;
    상기 결상 유닛에 결상된 상기 마커들의 다이렉트 영상과 리플렉트 영상을 이용하여 프로세서를 통해 상기 각각의 마커들의 3차원 좌표를 산출하는 단계; 및
    상기 각각의 마커들의 3차원 좌표와 상기 프로세서에 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 단계를 포함하는 트랙킹 방법.
  7. 제 6 항에 있어서,
    상기 마커들 간의 기하학적 정보는,
    상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와,
    상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보인 것을 특징으로 하는 트랙킹 방법.
  8. 제 6 항에 있어서,
    상기 리플렉트 영상을 결상 유닛에 결상시키는 단계는,
    상기 프로세서에서 리플렉터의 설치 위치, 각도 및 반사면의 형상 변경 중 적어도 하나를 제어하여 상기 결상 유닛과의 동일한 광 경로상에서 상기 리플렉트 영상의 결상 위치를 변화시키는 단계를 포함하는 것을 특징으로 하는 트랙킹 방법.
  9. 제 6 항에 있어서,
    상기 마커들의 3차원 좌표를 산출하는 단계는,
    상기 프로세서를 통해 상기 결상 유닛에 결상된 상기 마커들의 다이렉트 영상과 리플렉트 영상의 2차원 좌표를 산출하는 단계; 및
    상기 마커들의 다이렉트 영상의 2차원 좌표와 상기 리플렉트 영상의 2차원 좌표를 이용하여 상기 프로세서를 통해 상기 마커들의 3차원 좌표를 산출하는 단계를 포함하는 트랙킹 방법.
PCT/KR2014/000131 2013-01-10 2014-01-07 트랙킹 시스템 및 이를 이용한 트랙킹 방법 WO2014109520A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480004280.1A CN104902840B (zh) 2013-01-10 2014-01-07 跟踪系统及利用上述跟踪系统的跟踪方法
US14/370,549 US9576366B2 (en) 2013-01-10 2014-01-07 Tracking system and tracking method using the same
JP2015552571A JP6147360B2 (ja) 2013-01-10 2014-01-07 トラッキングシステム及びこれを用いたトラッキング方法
EP14737829.3A EP2944285B1 (en) 2013-01-10 2014-01-07 Tracking system and method for tracking by using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130002841A KR101371384B1 (ko) 2013-01-10 2013-01-10 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR10-2013-0002841 2013-01-10

Publications (1)

Publication Number Publication Date
WO2014109520A1 true WO2014109520A1 (ko) 2014-07-17

Family

ID=50647854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000131 WO2014109520A1 (ko) 2013-01-10 2014-01-07 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Country Status (6)

Country Link
US (1) US9576366B2 (ko)
EP (1) EP2944285B1 (ko)
JP (1) JP6147360B2 (ko)
KR (1) KR101371384B1 (ko)
CN (1) CN104902840B (ko)
WO (1) WO2014109520A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072720A (zh) * 2014-09-19 2017-08-18 株式会社高永科技 光学跟踪系统及光学跟踪系统的坐标系整合方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371387B1 (ko) * 2013-01-18 2014-03-10 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US10363667B2 (en) * 2015-11-30 2019-07-30 Autodesk, Inc. Optical measurement of object location in three dimensions
CN109186947B (zh) * 2018-09-26 2019-11-12 福州大学 一种电器三维动态特性自动测试系统及方法
FR3103097B1 (fr) * 2019-11-19 2021-11-05 Quantum Surgical Méthode de navigation pour positionner un robot médical

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209096A1 (en) * 2001-01-30 2003-11-13 Z-Kat, Inc. Tool calibrator and tracker system
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
JP2007130398A (ja) * 2005-11-14 2007-05-31 Toshiba Corp 光学式位置計測装置
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems
KR20110118640A (ko) * 2008-12-31 2011-10-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394875A (en) 1993-10-21 1995-03-07 Lewis; Judith T. Automatic ultrasonic localization of targets implanted in a portion of the anatomy
US5923417A (en) 1997-09-26 1999-07-13 Northern Digital Incorporated System for determining the spatial position of a target
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
CA2416139C (en) 2000-07-06 2009-03-31 Synthes (U.S.A.) Method and device for impingement detection
JP4628566B2 (ja) * 2001-03-12 2011-02-09 三菱電機株式会社 画像投写装置
EP1447644A1 (en) * 2003-02-14 2004-08-18 Metronor ASA Measurement of spatial coordinates
DE10321749B4 (de) * 2003-05-09 2018-05-30 Trimble Jena Gmbh Verfahren und Anordnung zur Bestimmung der räumlichen Lage und Position eines Reflektorstabes in Bezug zu einem Aufhaltepunkt
US8128871B2 (en) * 2005-04-22 2012-03-06 Alverix, Inc. Lateral flow assay systems and methods
EP1645241B1 (de) * 2004-10-05 2011-12-28 BrainLAB AG Positionsmarkersystem mit Punktlichtquellen
US7390089B2 (en) * 2005-02-25 2008-06-24 20/10 Perfect Vision Optische Geraete Gmbh Device and method for aligning an eye with a surgical laser
JP4396564B2 (ja) 2005-04-01 2010-01-13 株式会社島津製作所 物体のモニタリング方法およびこれを用いたモーショントラッカ
US7720259B2 (en) * 2005-08-26 2010-05-18 Sony Corporation Motion capture using primary and secondary markers
DE102006010767B4 (de) * 2006-03-08 2008-04-17 Carl Zeiss Surgical Gmbh Mikroskopiesystem
JP4864516B2 (ja) 2006-04-07 2012-02-01 株式会社トプコン 眼科装置
US8131348B2 (en) * 2006-05-12 2012-03-06 Northshore University Healthsystem Systems, methods and apparatuses of elastic light scattering spectroscopy and low coherence enhanced backscattering spectroscopy
KR100835186B1 (ko) * 2007-01-29 2008-06-04 주식회사 프리진 액티브 마커를 이용한 모션 캡춰용 마커 구분 시스템
EP2626030A3 (en) * 2007-08-14 2017-03-08 Koninklijke Philips N.V. Robotic instrument systems and methods utilizing optical fiber sensors
WO2009033111A2 (en) * 2007-09-06 2009-03-12 Lensx Lasers, Inc. Precise targeting of surgical photodisruption
JP4307511B1 (ja) 2008-06-04 2009-08-05 横浜ゴム株式会社 移動体の挙動計測装置および移動体の挙動計測方法
ES2641598T3 (es) 2009-03-24 2017-11-10 Masmec S.P.A. Sistema asistido por ordenador para guiar un instrumento quirúrgico durante operacioes percutáneas de diagnóstico o terapéuticas
JP5548482B2 (ja) 2010-02-26 2014-07-16 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
DE102010010192A1 (de) * 2010-03-04 2011-09-08 Siemens Aktiengesellschaft Medizinische Untersuchungs- und/oder Behandlungsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209096A1 (en) * 2001-01-30 2003-11-13 Z-Kat, Inc. Tool calibrator and tracker system
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
JP2007130398A (ja) * 2005-11-14 2007-05-31 Toshiba Corp 光学式位置計測装置
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems
KR20110118640A (ko) * 2008-12-31 2011-10-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2944285A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072720A (zh) * 2014-09-19 2017-08-18 株式会社高永科技 光学跟踪系统及光学跟踪系统的坐标系整合方法
CN107072720B (zh) * 2014-09-19 2020-11-20 株式会社高迎科技 光学跟踪系统及光学跟踪系统的坐标系整合方法
US11206998B2 (en) 2014-09-19 2021-12-28 Koh Young Technology Inc. Optical tracking system for tracking a patient and a surgical instrument with a reference marker and shape measurement device via coordinate transformation

Also Published As

Publication number Publication date
US20150302590A1 (en) 2015-10-22
US9576366B2 (en) 2017-02-21
EP2944285B1 (en) 2017-10-18
CN104902840B (zh) 2017-08-01
JP6147360B2 (ja) 2017-06-14
KR101371384B1 (ko) 2014-03-07
CN104902840A (zh) 2015-09-09
JP2016502905A (ja) 2016-02-01
EP2944285A4 (en) 2016-08-17
EP2944285A1 (en) 2015-11-18

Similar Documents

Publication Publication Date Title
WO2014112782A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014109520A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US7771049B2 (en) Method and apparatus for detecting sight line vector
US8885177B2 (en) Medical wide field of view optical tracking system
US9361818B2 (en) Operation input device and manipulator system
CN1141599C (zh) 用于确定目标的空间位置的系统
JP4396564B2 (ja) 物体のモニタリング方法およびこれを用いたモーショントラッカ
US20120221145A1 (en) Master input device and master-slave manipulator
EP3265009A1 (en) Redundant reciprocal tracking system
US20220175464A1 (en) Tracker-Based Surgical Navigation
JP2013034835A (ja) 手術支援装置及びその制御方法
JP2003240522A (ja) 車両の特徴的姿勢パラメータの測定装置及びシステム
JP2011504769A (ja) 光学追跡ｃａｓシステム
WO2014129760A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
JP2016158911A5 (ko)
CN207164367U (zh) Ar眼镜及其追踪系统
US20210378756A1 (en) Surgical object tracking in visible light via fiducial seeding and synthetic image registration
US20220011750A1 (en) Information projection system, controller, and information projection method
WO2018186507A1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
WO2022164013A1 (ko) 구강 스캐너
US20190374102A1 (en) Systems and methods for reflection-based positioning relative to an eye
JP2005013752A (ja) 視線検出システム
US20240115325A1 (en) Camera tracking system for computer assisted surgery navigation
JP2012108577A (ja) ３ｄ−ｕｉ操作空間協調装置
US20230310086A1 (en) Camera tracking system identifying phantom markers during computer assisted surgery navigation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14370549

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14737829

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015552571

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014737829

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014737829

Country of ref document: EP