WO2014112782A1 - 트랙킹 시스템 및 이를 이용한 트랙킹 방법 - Google Patents

트랙킹 시스템 및 이를 이용한 트랙킹 방법 Download PDF

Info

Publication number
WO2014112782A1
WO2014112782A1 PCT/KR2014/000426 KR2014000426W WO2014112782A1 WO 2014112782 A1 WO2014112782 A1 WO 2014112782A1 KR 2014000426 W KR2014000426 W KR 2014000426W WO 2014112782 A1 WO2014112782 A1 WO 2014112782A1
Authority
WO
WIPO (PCT)
Prior art keywords
markers
lens array
array unit
lenses
dimensional coordinates
Prior art date
Application number
PCT/KR2014/000426
Other languages
English (en)
French (fr)
Inventor
홍종규
이현기
정재헌
김민영
Original Assignee
주식회사 고영테크놀러지
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지, 경북대학교 산학협력단 filed Critical 주식회사 고영테크놀러지
Priority to US14/372,307 priority Critical patent/US20160270860A1/en
Priority to EP14740207.7A priority patent/EP2946741A4/en
Priority to CN201480004953.3A priority patent/CN104936547A/zh
Priority to JP2015553651A priority patent/JP2016515837A/ja
Publication of WO2014112782A1 publication Critical patent/WO2014112782A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Definitions

  • the present invention relates to a tracking system and a tracking method using the same, and more particularly, to a surgical tracking system for detecting the spatial position information and the direction information of the target by tracking the coordinates of the markers attached to the target, such as surgical instruments of the affected area; It relates to a tracking method using the same.
  • Surgical navigation as described above includes a tracking system that can accurately detect and detect the spatial position and direction of the object, such as the affected area or surgical instruments as described above.
  • Such a tracking system is typically connected to markers attached to an object such as an affected part or a surgical tool, first and second imaging units for imaging light emitted by the markers, and the first and second imaging units.
  • the space of the object is compared with the three-dimensional coordinates of the markers by comparing information of straight lines connecting previously stored markers with each other and angle information formed by a pair of neighboring straight lines. It includes a processor for calculating position and direction.
  • the coordinates of the markers emitted from one marker and formed in the first imaging unit and the coordinates of the markers formed in the second imaging unit are the same.
  • two detectors were necessary for the three-dimensional coordinates of each marker to be calculated by the processor through triangulation.
  • the conventional general tracking system must include two imaging units for imaging light emitted from the respective markers at different positions, thereby increasing the manufacturing cost and increasing the overall size of the system, thereby limiting the surgical space. There was a problem to receive a lot.
  • an object of the present invention is to provide a tracking system that can calculate the three-dimensional coordinates of each marker with only one imaging unit to reduce the manufacturing cost and to compact the equipment to minimize the constraint of the surgical space and It relates to a tracking method using the same.
  • a tracking system includes a lens array unit having at least three markers attached to a target to emit light, at least two lenses passing light emitted from the markers at predetermined intervals, An imaging unit that receives light emitted from the markers and passes through each lens of the lens array unit, and forms an image corresponding to the number of lenses of the lens array unit per marker, and the lens per marker in the imaging unit.
  • the 3D coordinates of the respective markers are calculated using the marker images formed by the number of lenses corresponding to the number of lenses of the array unit, and then the geometric information is compared between the 3D coordinates of the markers and previously stored neighboring markers.
  • a processor for calculating the spatial position and orientation of the object.
  • the markers may be active markers that emit light in themselves.
  • it may further include at least one light source for emitting light from the lens array unit side to the markers, in this case the markers are passive markers for reflecting light emitted from the light source to the lens array unit side Can be.
  • the imaging unit may be a camera that receives light emitted from the markers and passes through each lens of the lens array unit and forms at least two images corresponding to the number of lenses of the lens array unit per marker. Can be.
  • the geometric information between the markers may be length information of straight lines connecting the neighboring markers and angle information formed by the pair of neighboring straight lines.
  • a tracking method comprises the steps of emitting light from at least three markers attached to an object, and the light emitted from the markers passes through at least two lenses of the lens array unit to the imaging unit. Imaging each number of images corresponding to the number of lenses of the lens array unit, and using the marker images imaged by the number corresponding to the number of lenses of the lens array unit per marker in the imaging unit through the processor. Computing three-dimensional coordinates of the markers, Comparing the geometric information between the three-dimensional coordinates of the respective markers and the neighboring markers previously stored in the processor to calculate the spatial position and direction of the object Can be.
  • the geometric information between the markers may be length information of straight lines connecting the neighboring markers and angle information formed by the pair of neighboring straight lines.
  • the calculating of the three-dimensional coordinates of the markers may include calculating, by the processor, two-dimensional coordinates of the number of marker images corresponding to the number of lenses of the lens array unit per marker formed in the imaging unit. Computing the three-dimensional coordinates of the markers by the processor using the two-dimensional coordinates of the number of the marker image corresponding to the number of lenses of the lens array unit per marker.
  • the emitting of the light may emit light generated by the markers to the lens array unit side.
  • the step of emitting the light may reflect light emitted from at least one light source to the lens array unit through the markers.
  • the spatial position and direction of the light source is pre-stored in the processor.
  • the light emitted from the respective markers passes through the lens array unit having at least one pair of lenses, and the lenses per marker in the imaging unit.
  • the three-dimensional coordinates of the markers can be calculated using triangulation using only one imaging unit to calculate the spatial position and orientation of the target object.
  • FIG. 1 is a schematic diagram of a tracking system according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view in which markers are attached to an object
  • 3 is an exemplary view for explaining a change in the position where the image of the marker image when the position of the marker is changed on the same optical path of the lens
  • FIG. 4 is a block diagram illustrating a tracking method according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a process of calculating three-dimensional coordinates of markers.
  • FIG. 6 is an exemplary diagram in which an image sensor of an imaging unit is virtually divided into coordinate systems of first and second marker images.
  • FIG. 7 is a diagram for explaining a relationship between two-dimensional coordinates in an image and three-dimensional coordinates of an actual marker.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a tracking system and a tracking method using the same include attaching at least three markers to an object such as an affected part or a surgical tool, and then calculates three-dimensional coordinates of the markers and neighboring markers previously stored in a processor.
  • a processor calculates the spatial position and direction of the target object such as the affected part or surgical instruments.
  • FIG. 1 is a schematic diagram of a tracking system according to an embodiment of the present invention
  • FIG. 2 is an exemplary diagram in which markers are attached to an object
  • FIG. 3 is an image of a marker image formed when the position of the marker is changed on the same optical path of the lens. It is an illustration for demonstrating the change of the position to become.
  • the tracking system 100 includes at least three markers 110, 111, 112, a lens array unit 120, and an imaging system.
  • the unit 130 and the processor 140 may be included.
  • the lens array unit 120 may be mounted in the imaging unit 130.
  • the at least three markers 110, 111, 112 are attached to a target 200, such as an affected part or surgical tool.
  • the at least three markers 110, 111, 112 are spaced apart from each other by the markers 110, 111, 112 that are adjacent to each other, and the markers 110, 111, which are adjacent to each other ( The pair of straight lines L1, L2, and L3 adjacent to each marker are virtually connected to each other so as to form a predetermined angle A1, A2, A3, and the like. Is attached to 200.
  • the length information and the angles A1, A2, and A3 of a pair of neighboring straight lines connecting neighboring markers 110, 111, and 112 to each other are stored in the processor 140. (memory: 141) is already stored.
  • the markers 110, 111, and 112 may be attached in a triangular form to the target 200, such as affected areas or surgical instruments, the three markers 110, 111, ( Length information of each of the straight lines L1, L2, and L3 constituting the sides of the triangle having the vertex 112 as a vertex, and a pair of adjacent straight lines connecting the markers 110, 111, and 112 to each other.
  • the angle A1, A2, and A3 information may be stored in the memory 141 included in the processor 140.
  • the markers 110, 111, and 112 may be active markers that emit light by themselves. As described above, when the markers 110, 111, and 112 are used as active markers, there is no need to use a separate light source.
  • the markers 110, 111, 112 may be passive markers that reflect light emitted from at least one light source 150.
  • the lens includes at least one light source 150 that emits light to the markers 110, 111, and 112. It may be disposed around the array unit 120. For example, a pair of light sources 150 may be disposed on both sides of the lens array unit 120.
  • the spatial position and direction of the light source 150 is pre-stored in the memory 141 mounted in the processor 140.
  • the lens array unit 120 is disposed at the front of the imaging unit 130.
  • the lens array unit 120 is formed by arranging at least a pair of lenses 121 and 122 for passing light emitted from the markers 110, 111 and 112 at predetermined intervals.
  • the lens array unit 120 may be formed by arranging the first lens 121 and the second lens 122 at predetermined intervals.
  • the lens array unit 120 in which the first and second lenses 121 and 122 are arranged at predetermined intervals is illustrated, but the lens array unit 120 may be formed by arranging three or more lenses at predetermined intervals. It may be.
  • the imaging unit 130 receives the light emitted from the markers 110, 111, 112 and passed through each lens 121, 122 of the lens array unit 120, and the lens per marker. An image corresponding to the number of lenses of the array unit 120 is imaged.
  • the imaging unit 130 may include the markers 110 and 111.
  • the light is emitted from the 112 and passes through the first and second lenses 121 and 122 to form a pair of marker images per marker.
  • the imaging unit 130 receives the light emitted from the markers 110, 111, 112 and passed through each lens 121, 122 of the lens array unit 120. It may be a camera mounted with an image sensor 131 for forming an image corresponding to the number of lenses 121 and 122 of the lens array unit 120 per marker.
  • the processor 140 uses the marker images formed by the number corresponding to the number of lenses 121 and 122 of the lens array unit 120 per marker, so that the respective markers 110, 111 and 112 are used. Calculating three-dimensional coordinates of the markers, and comparing the three-dimensional coordinates of the markers 110, 111, and 112 with geometric information between previously stored neighboring markers 110, 111, 112; Calculate the spatial position and direction of the object 200, such as the affected portion 110, 120, 130, surgical instruments.
  • the memory 141 is mounted in the processor 140.
  • the memory 141 mounted in the processor 140 includes geometric information between the neighboring markers 110, 111, and 112, that is, the neighboring markers 110, 111, 112. Angles A1 and A2 formed by the length information of the straight lines L1, L2, and L3 to be connected and a pair of neighboring straight lines to connect the markers 110, 111 and 112 that are adjacent to each other.
  • A3) Information may be stored in advance.
  • the memory 141 mounted in the processor 140 may have spatial positions and directions of the at least one pair of light sources 150. Can be stored.
  • the tracking system 100 uses the lens array unit 120 in which at least one pair of lenses 121 and 122 are arranged at predetermined intervals. Only one imaging unit 130 is used by allowing light emitted from the (111) and 112 to pass through at least one pair of lenses 121 and 122 so that at least one pair of marker images per marker are imaged in the imaging unit. And there is an advantage that can calculate the three-dimensional coordinates of each marker.
  • the positions of the markers 110, 111, and 112 are changed on the same optical axis AX of the lens 131, the image of the second lens 122 is imaged.
  • the position of the sensor 133 is not changed, but the position of the image sensor 133 of the first lens 121 image is changed so that each of the markers 110, 111, and 112 may be used even when only one imaging unit is used.
  • Three-dimensional coordinates can be calculated using trigonometry.
  • FIG. 4 is a block diagram illustrating a tracking method according to an embodiment of the present invention
  • FIG. 5 is a block diagram illustrating a process of calculating three-dimensional coordinates of markers
  • FIG. 6 is an image sensor of an imaging unit.
  • FIG. 7 is an exemplary diagram of virtual division into a coordinate system of first and second marker images
  • FIG. 7 is a diagram for describing a relationship between two-dimensional coordinates in an image and three-dimensional coordinates of an actual marker.
  • At least three markers attached to the object 200 Activate the 110, 111, 112 to emit light from the markers 110, 111, 112, or operate at least one light source 150 to operate the object 200 from the light source 150. At least three markers 110, 111, and 112 attached to the light are irradiated to emit light reflected by the markers 110, 111, and 112. (S110)
  • the markers 110, 111, 112 when at least three active markers 110, 111, and 112 that emit light from the object 200 itself are attached, the markers 110, 111, 112 are replaced. Activation so that light is emitted from the markers 110, 111, 112.
  • the at least one light source 150 is operated to operate the light source 150. Irradiates light from at least three passive markers 110, 111, 112 attached to the object 200 from the light so that the light is reflected and emitted by the passive markers 110, 111, 112. do.
  • the first marker 110 may be used.
  • the light emitted from the light passes through the first lens 121 and the second lens 122 through the first optical axis AX1 and the second optical axis AX2, respectively, and a pair of first marker images are formed on the imaging unit 130.
  • the light emitted from the second marker 111 passes through the first lens 121 and the second lens 122 through the third optical axis AX3 and the fourth optical axis AX4, respectively, to form an imaging unit (
  • a pair of second marker images are formed at 130, and the light emitted from the third marker 112 passes through the first lens 121 and the second through the fifth optical axis AX5 and the sixth optical axis AX6, respectively.
  • a pair of third marker images are imaged through the lens 122 and formed in the imaging unit 130.
  • each of the markers 110, 111 and 112 in the imaging unit 130 is used.
  • a pair of marker images is formed per image.
  • the imaging unit 130 When the number of marker images corresponding to the number of lenses 121 and 122 of the lens array unit 120 is formed in the imaging unit 130 for each marker 110, 111, 112, the imaging unit 130. Each of the markers 110 and 111 through the processor 140 using the marker image formed by the image corresponding to the number of lenses 121 and 122 of the lens array unit 120 per marker at 130. Calculate the three-dimensional coordinates of (112). (S130)
  • the imaging unit may be formed for each coordinate system (by the first lens image FOV and the second lens image FOV).
  • the camera calibration of 130 is performed (S132).
  • the processor After performing the camera calibration of the imaging unit 130 for each coordinate system as described above, the processor uses the two-dimensional coordinates of the marker image formed by pairs for each of the markers 110, 111, and 112. The three-dimensional coordinates of the respective markers 110, 111, and 112 are calculated through 140 (S133).
  • one side of the image sensor 133 is virtually divided into a field of view (FOV) of the first lens image, and the other side is referred to as an FOV of the second lens image, and a first portion of the image sensor 133 is formed.
  • Two-dimensional coordinates of the lens image are displayed in a (U, V) coordinate system, and two-dimensional coordinates of the second lens image are denoted as (U ', V').
  • the markers 110 in the image are displayed.
  • the two-dimensional coordinates of the 111 and 112 and the three-dimensional coordinates of the markers 110 and 111 and 112 in the real space may be expressed by a relational expression as shown in Equation 1 below.
  • m is the two-dimensional coordinates of the marker in the image
  • M is the three-dimensional coordinates of the marker in real space
  • a (R, t) is the camera matrix
  • the three-dimensional coordinates of the actual markers 110, 111, 112 are X
  • the relation of the two-dimensional coordinates (x R ) of the marker may be expressed as in Equation 2.
  • P 1 is a camera matrix of an image passing through the first lens
  • P 2 is a camera matrix of the image passing through the second lens
  • P iT is the row vector of the matrix P.
  • the respective markers After calculating the three-dimensional coordinates in the real space of the respective markers 110, 111 and 112 by the processor 140 as described above with reference to FIGS. 4 to 5, the respective markers ( Compare the three-dimensional coordinates in the real space of the 110 (111) 112 and the geometric information between the neighboring markers (110, 111, 112) previously stored in the processor 140 through the processor 140 By calculating the spatial position and direction of the object 200 to which the markers 110, 111, 112 are attached.
  • the geometric information between the neighboring markers (110, 111, 112) is a straight line (L1) (L2) connecting the neighboring markers (110, 111, 112) as described above Length information of L3 and angle A1, A2, and A3 information formed by a pair of adjacent straight lines connecting the markers 110, 111, and 112.
  • the light emitted from the respective markers (110, 111, 112) at least a pair of lenses (121, 122)
  • a number of marker images are imaged.
  • the lens array unit 120 having a pair of first and second lenses 121 and 122 when used, two images are formed in the imaging unit 130 through two optical axes per marker. Only the large imaging unit 130 may calculate the three-dimensional coordinates of the markers through trigonometry.
  • the tracking system and the tracking method using the same can be used to determine the spatial position and direction of the markers 110, 111, 112 attached to the object 200 with only one imaging unit 130.
  • the manufacturing cost of the tracking system can be reduced and the light weight can be achieved. Therefore, compared with the conventional tracking system, there is an advantage that the operation space is less restricted.

Abstract

한 대의 결상 유닛만으로도 각각의 마커들의 3차원 좌표를 산출할 수 있도록 하여 제작비용의 감소와 더불어 장비의 컴팩트화를 실현하여 수술 공간의 제약을 최소화할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법이 개시된다. 상기 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 각각의 마커들로부터 방출되는 광이 적어도 한 쌍의 렌즈를 구비한 렌즈 어레이 유닛을 통과하여 결상 유닛에 각 마커 당 상기 렌즈 어레이 유닛에 구비된 렌즈의 개수와 상응하는 수의 마커 영상이 결상됨으로써 한 대의 결상 유닛만으로도 삼각법을 통해 상기 마커들의 3차원 좌표를 산출하여 목적물의 공간 위치와 방향을 산출하여 확인할 수 있으므로 트랙킹 시스템의 제작비용의 절감과 더불어 소형 경량화를 이룰 수 있으므로 종래의 트랙킹 시스템에 비하여 수술 공간의 제약을 상대적으로 덜 받는다는 효과가 있다.

Description

트랙킹 시스템 및 이를 이용한 트랙킹 방법
본 발명은 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것으로, 보다 상세하게는 환부의 수술도구와 같은 목적물에 부착된 마커들의 좌표를 추적하여 목적물의 공간 위치 정보와 방향 정보를 검출하는 수술용 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것이다.
최근에는 복강경 수술이나 이비인후과 수술을 할 시 보다 환자의 고통을 덜어주고 보다 빠르게 환자가 회복할 수 있도록 하기 위한 로봇 수술이 연구 및 도입되고 있는 실정이다.
이러한, 로봇 수술 시에는 수술의 위험을 최소화하고 보다 정밀한 수술을 진행할 수 있도록 하기 위하여 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 정확히 추적하여 검출한 후 상기 수술도구를 환자의 환부로 정확히 조종(NAVIGATE)할 수 있는 내비게이션이 사용된다.
상기와 같은 수술용 내비게이션에는 상술한 바와 같이 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 정확히 추적하여 검출할 수 있는 트랙킹 시스템이 포함된다.
상기와 같은 트랙킹 시스템은 통상 환부나 수술도구와 같은 목적물에 부착되는 마커들과, 상기 마커들에 의해 방출되는 광을 결상시키는 제1, 2 결상 유닛과, 상기 제1, 2 결상 유닛과 연결되어 상기 마커들의 3차와 좌표를 산출한 후 기 저장된 상기 서로 이웃하는 마커들을 연결하는 직선들의 정보와 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보를 상기 마커들의 3차원 좌표와 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함한다.
여기서, 상기 마커들의 3차원 좌표를 프로세서를 통해 산출하기 위해서는 통상적으로 하나의 마커로부터 방출되어 제1 결상 유닛에 결상된 상기 마커의 좌표와 상기 제2 결상 유닛에 결상된 상기 마커의 좌표가 동일하다는 가정 하에 삼각법을 통해 상기 프로세서에 의해 검출됨으로써 각각의 마커의 3차원 좌표가 프로세서를 통해 산출되기 위해서는 반드시 2대의 디텍터가 필요하였다.
따라서, 종래의 일반적인 트랙킹 시스템은 서로 다른 위치에서 각각의 마커들로부터 방출되는 광을 결상시키기 위한 2대의 결상 유닛을 구비해야만 함으로써 제작비용의 상승과 더불어 시스템 전체 사이즈가 커지게 됨으로써 수술 공간의 제약을 많이 받는다는 문제점이 있었다.
따라서, 본 발명의 목적은 한 대의 결상 유닛만으로도 각각의 마커들의 3차원 좌표를 산출할 수 있도록 하여 제작비용의 감소와 더불어 장비의 컴팩트화를 실현하여 수술 공간의 제약을 최소화할 수 있는 트랙킹 시스템 및 이를 이용한 트랙킹 방법에 관한 것이다.
본 발명의 일실시예에 의한 트랙킹 시스템은 목적물에 부착되어 광을 방출하는 적어도 3개의 마커와, 상기 마커들로부터 방출되는 광을 통과시키는 적어도 두개의 렌즈가 소정 간격으로 배열된 렌즈 어레이 유닛과, 상기 마커들로부터 방출되어 상기 렌즈 어레이 유닛의 각 렌즈를 통과한 광을 받아 들여 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 상을 결상시키는 결상 유닛 및, 상기 결상 유닛에 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수만큼 결상된 마커 영상을 이용하여 상기 각각의 마커들의 3차원 좌표를 산출한 후 상기 마커들의 3차원 좌표와 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함한다.
일예를 들면, 상기 마커들은 자체에서 광을 방출하는 액티브 마커일 수 있다.
한편, 상기 렌즈 어레이 유닛 측에서부터 상기 마커들로 광을 방출하는 적어도 하나의 광원을 더 포함할 수 있으며, 이 경우에 상기 마커들은 상기 광원으로부터 방출된 광을 상기 렌즈 어레이 유닛 측으로 반사시키는 패시브 마커일 수 있다.
일예를 들면, 상기 결상 유닛은 상기 마커들로부터 방출되어 상기 렌즈 어레이 유닛의 각각의 렌즈를 통과한 광을 받아 들여 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 적어도 두 개의 상을 결상시키는 카메라일 수 있다.
일예를 들면, 상기 마커들 간의 기하학적 정보는 상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와, 상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보일 수 있다.
본 발명의 일실시예에 의한 트랙킹 방법은 목적물에 부착된 적어도 3개의 마커들로부터 광을 방출하는 단계와, 상기 마커들로부터 방출된 광이 렌즈 어레이 유닛의 적어도 두 개의 렌즈를 통과하여 결상 유닛에 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 상을 결상시키는 단계와, 상기 결상 유닛에 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수만큼 결상된 마커 영상을 이용하여 프로세서를 통해 상기 각각의 마커들의 3차원 좌표를 산출하는 단계 및, 상기 각각의 마커들의 3차원 좌표와 상기 프로세서에 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 단계를 포함할 수 있다.
일예를 들면, 상기 마커들 간의 기하학적 정보는 상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와, 상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보일 수 있다.
한편, 상기 마커들의 3차원 좌표를 산출하는 단계는 상기 프로세서를 통해 상기 결상 유닛에 결상된 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 마커 영상의 2차원 좌표를 산출하는 단계 및, 상기 마커당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 마커 영상의 2차원 좌표를 이용하여 상기 프로세서를 통해 상기 마커들의 3차원 좌표를 산출하는 단계를 포함할 수 있다.
일예를 들면, 상기 광을 방출하는 단계는, 상기 마커들이 자체적으로 발생시키는 광을 상기 렌즈 어레이 유닛 측으로 방출할 수 있다.
이와는 다르게, 상기 광을 방출하는 단계는, 적어도 하나의 광원으로부터 방출되는 광을 상기 마커들을 통해 렌즈 어레이 유닛 측으로 반사시켜 방출할 수도 있다.
한편, 상기 광원의 공간 위치와 방향은 상기 프로세서에 기 저장된다.
이와 같이 본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은, 각각의 마커들로부터 방출되는 광이 적어도 한 쌍의 렌즈를 구비한 렌즈 어레이 유닛을 통과하여 결상 유닛에 각 마커 당 상기 렌즈 어레이 유닛에 구비된 렌즈의 개수와 상응하는 수의 마커 영상이 결상됨으로써 한 대의 결상 유닛만으로도 삼각법을 통해 상기 마커들의 3차원 좌표를 산출하여 목적물의 공간 위치와 방향을 산출하여 확인할 수 있다
또한, 렌즈의 배열 방법 및 배울에 영향을 받지 않으므로, 트랙킹 시스템의 제작비용의 절감과 더불어 소형 경량화를 이룰 수 있으며, 종래의 트랙킹 시스템에 비하여 수술 공간의 제약을 상대적으로 덜 받는다는 효과가 있다.
도 1은 본 발명의 일실시예에 의한 트랙킹 시스템의 개략도
도 2는 마커들이 목적물에 부착된 예시도
도 3은 렌즈의 동일 광 경로 상에서 마커의 위치가 바뀔 시 마커의 영상이 결상되는 위치의 변화를 설명하기 위한 예시도
도 4는 본 발명의 일실시예에 의한 트랙킹 방법을 설명하기 위한 블록도
도 5는 마커들의 3차원 좌표를 산출하는 과정을 설명하기 위한 블록도
도 6은 결상 유닛의 이미지 센서를 제1, 2 마커 영상의 좌표계로 가상 분할한 예시도
도 7은 영상에서의 2차원 좌표와 실제 마커의 3차원 좌표와의 관계를 설명하기 위한 도면
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 도면을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 환부나 수술도구와 같은 목적물에 적어도 3개의 마커들을 부착한 후 상기 마커들의 3차원 좌표를 산출하여 프로세서에 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보와 상기 마커들의 3차원 좌표를 프로세서를 통해 비교하여 상기 환부나 수술도구와 같은 목적물의 공간 위치와 방향을 산출할 수 있도록 하는 것으로서, 그 상세한 구성에 대해서는 도면을 참조하여 설명한다.
도 1은 본 발명의 일실시예에 의한 트랙킹 시스템의 개략도이며, 도 2는 마커들이 목적물에 부착된 예시도이며, 도 3은 렌즈의 동일 광 경로 상에서 마커의 위치가 바뀔 시 마커의 영상이 결상되는 위치의 변화를 설명하기 위한 예시도이다.
도 1 내지 도 3을 참조하면, 본 발명의 일실시예에 의한 트랙킹 시스템(100)은 적어도 3개의 마커들(110)(111)(112), 렌즈 어레이 유닛(lens array unit : 120), 결상 유닛(130) 및, 프로세서(140)를 포함할 수 있으며, 이때, 렌즈 어레이 유닛(120)은 결상 유닛(130)에 장착되어 포함될 수도 있다.
상기 적어도 3개의 마커들(110)(111)(112)은 환부나 수술도구와 같은 목적물(200)에 부착된다. 여기서, 상기 적어도 3개의 마커들(110)(111)(112)은 서로 이웃하는 마커들(110)(111)(112) 간에 일정 간격 이격되며, 서로 이웃하는 마커들(110)(111)(112)을 가상으로 연결하여 각 마커 마다 이웃하는 한 쌍의 직선들(L1)(L2)(L3)이 일정한 각도(A1)(A2)(A3)를 이루도록 배치되어 상기 환부나 수술도구와 같은 목적물(200)에 부착된다.
여기서, 상기 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보, 즉 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와 서로 이웃하는 마커들(110)(111)(112)을 연결하는 이웃하는 한 쌍의 직선들이 이루는 각도(A1)(A2)(A3) 정보는 상기 프로세서(140)에 실장된 메모리(memory : 141)에 기 저장된다.
예를 들면, 상기 마커들(110)(111)(112)은 3개가 환부나 수술도구와 같은 목적물(200)에 삼각형 형태로 부착될 수 있으며, 상기 3개의 마커들(110)(111)(112)을 꼭지점으로 하는 삼각형의 변을 이루는 각각의 직선(L1)(L2)(L3)의 길이 정보와, 상기 마커들(110)(111)(112)을 연결하는 서로 이웃하는 한 쌍의 직선이 이루는 각도(A1)(A2)(A3) 정보는 상기 프로세서(140)에 포함된 메모리(141)에 기 저장될 수 있다.
한편, 상기 마커들(110)(111)(112)은 자체적으로 광을 방출하는 액티브(active) 마커일 수 있다. 상술한 바와 같이 상기 마커들(110)(111)(112)을 액티브 마커로 사용할 경우에는 별도의 광원을 사용할 필요가 없다.
이와는 다르게, 상기 마커들(110)(111)(112)은 적어도 하나의 광원(150)으로부터 방출되는 광을 반사시키는 패시브(passive) 마커일 수 있다.
상술한 바와 같이 상기 마커들(110)(111)(112)을 패시브 마커로 사용할 경우에는 상기 마커들(110)(111)(112)로 광을 방출하는 적어도 하나의 광원(150)을 상기 렌즈 어레이 유닛(120)의 주변에 배치할 수 있다. 예를 들면, 한 쌍의 광원(150)이 상기 렌즈 어레이 유닛(120)의 양측에 배치될 수 있다. 여기서, 상기 광원(150)의 공간 위치와 방향은 프로세서(140)에 실장된 메모리(141)에 기 저장된다.
상기 렌즈 어레이 유닛(120)은 결상 유닛(130)의 전방부에 배치된다. 이와 같은 상기 렌즈 어레이 유닛(120)은 상기 마커들(110)(111)(112)로부터 방출되는 광을 통과시키는 적어도 한 쌍의 렌즈(121)(122)가 소정 간격으로 배열되어 형성된다. 예를 들면, 상기 렌즈 어레이 유닛(120)은 제1 렌즈(121)와 제2 렌즈(122)가 소정 간격으로 배열되어 형성될 수 있다. 도면에는 상기 제1, 2 렌즈(121)(122)가 소정 간격으로 배열된 렌즈 어레이 유닛(120)이 도시되었으나, 상기 렌즈 어레이 유닛(120)은 3개 이상의 렌즈가 소정간격으로 배열되어 형성될 수도 있다.
상기 결상 유닛(130)은 상기 마커들(110)(111)(112)로부터 방출되어 상기 렌즈 어레이 유닛(120)의 각각의 렌즈(121)(122)를 통과한 광을 받아 들여 마커 당 상기 렌즈 어레이 유닛(120)의 렌즈 개수와 상응하는 수의 상을 결상시킨다.
보다 상세하게 설명하면, 상기 렌즈 어레이 유닛(120)에 제1, 2 렌즈(121)(122)가 소정간격으로 배치될 경우에는, 상기 결상 유닛(130)은 상기 마커들(110)(111)(112)로부터 방출되어 상기 제1, 2 렌즈(121)(122)를 통과한 광을 받아 들여 마커 당 한 쌍의 마커 영상을 결상시킨다.
예를 들면, 상기 결상 유닛(130)은 상기 마커들(110)(111)(112)로부터 방출되어 상기 렌즈 어레이 유닛(120)의 각각의 렌즈(121)(122)를 통과한 광을 받아 들여 마커 당 상기 렌즈 어레이 유닛(120)의 렌즈(121)(122) 개수와 상응하는 수의 상을 결상시키는 이미지 센서(131)가 실장된 카메라일 수 있다.
상기 프로세서(140)는 마커 당 상기 렌즈 어레이 유닛(120)의 렌즈(121)(122) 개수와 상응하는 수만큼 결상된 마커 영상을 이용하여 상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하며, 상기 마커들(110)(111)(112)의 3차원 좌표를 기 저장된 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보와 비교함으로써 마커들(110)(120)(130)이 부착된 환부나 수술도구와 같은 상기 목적물(200)의 공간 위치와 방향을 산출한다.
여기서, 상기 프로세서(140)에는 메모리(141)가 실장된다. 한편, 상기 프로세서(140)에 실장된 메모리(141)에는 상기 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보, 즉 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와 서로 이웃하는 마커들(110)(111)(112)을 연결하는 이웃하는 한 쌍의 직선들이 이루는 각도(A1)(A2)(A3) 정보가 기 저장될 수 있다.
이에 더하여, 상기 마커들(110)(111)(112)이 패시브 마커일 경우에는 상기 프로세서(140)에 실장된 메모리(141)에는 상기 적어도 한 쌍의 광원(150)의 공간 위치와 방향이 기 저장될 수 있다.
상술한 바와 같이 본 발명의 일실시예에 의한 트랙킹 시스템(100)은 적어도 한 쌍의 렌즈(121)(122)가 소정간격으로 배열된 렌즈 어레이 유닛(120)을 사용하여 상기 마커들(110)(111)(112)로부터 방출되는 광이 적어도 한 쌍의 렌즈(121)(122)를 통과하여 마커 당 적어도 한 쌍의 마커 영상이 상기 결상 유닛에 결상되도록 함으로써 한 대의 결상 유닛(130)만을 사용하고도 각각의 마커들의 3차원 좌표를 산출할 수 있는 장점이 있다.
예를 들면, 도 3에 도시된 바와 같이 렌즈(131)의 동일 광 축(AX) 상에서 마커(110)(111)(112)의 위치가 바뀔 시에는 제2 렌즈(122) 영상이 결상되는 이미지 센서(133)의 위치는 변경되지 않지만 제1 렌즈(121) 영상이 이미지 센서(133)의 위치는 변경됨으로써 한 대의 결상 유닛만을 사용하고도 각각의 마커들(110)(111)(112)의 3차원 좌표를 삼각법을 이용하여 산출할 수 있다.
도 1 내지 도 7을 참조하여 본 발명의 일실시예에 의한 트랙킹 시스템을 이용하여 목적물의 공간 위치와 방향을 트랙킹하는 과정에 대하여 설명한다.
도 4는 본 발명의 일실시예에 의한 트랙킹 방법을 설명하기 위한 블록도이며, 도 5는 마커들의 3차원 좌표를 산출하는 과정을 설명하기 위한 블록도이고, 도 6은 결상 유닛의 이미지 센서를 제1, 2 마커 영상의 좌표계로 가상 분할한 예시도이며, 도 7은 영상에서의 2차원 좌표와 실제 마커의 3차원 좌표와의 관계를 설명하기 위한 도면이다.
도 1 내지 도 7을 참조하면, 본 발명의 일실시예에 의한 트랙킹 시스템을 이용하여 목적물(200)의 공간 위치와 방향을 트랙킹 하기 위해서는, 먼저 목적물(200)에 부착된 적어도 3개의 마커들(110)(111)(112)을 활성화시켜 상기 마커들(110)(111)(112)로부터 광이 방출되도록 하거나, 적어도 하나의 광원(150)을 작동시켜 상기 광원(150)으로부터 상기 목적물(200)에 부착된 적어도 3개의 마커들(110)(111)(112)에 광을 조사하여 상기 마커들(110)(111)(112)에 의해 광이 반사되어 방출되도록 한다.(S110)
보다 상세하게 설명하면, 상기 목적물(200) 자체에서 광을 방출하는 적어도 3개의 액티브 마커들(110)(111)(112)이 부착되었을 경우에는 상기 마커들(110)(111)(112)을 활성화시켜 상기 마커들(110)(111)(112)로부터 광이 방출되도록 한다. 이와는 다르게 상기 목적물(200)에 자체적으로 광을 방출하지 못하는 적어도 3개의 패시브 마커들(110)(111)(112)이 부착되었을 경우에는 적어도 하나의 광원(150)을 작동시켜 상기 광원(150)으로부터 상기 목적물(200)에 부착된 적어도 3개의 패시브 마커들(110)(111)(112)에 광을 조사하여 상기 패시브 마커들(110)(111)(112)에 의해 광이 반사되어 방출되도록 한다.
상기 적어도 3개의 마커들(110)(111)(112)로부터 방출된 광은 렌즈 어레이 유닛(120)의 각각의 렌즈(121)(122)를 통과하여 상기 렌즈 어레이 유닛(120)의 렌즈 개수와 상응하는 수의 상을 결상 유닛(130)에 결상시킨다.(S120)
예를 들면, 도 1에 도시된 바와 같이 한 쌍의 제1, 2 렌즈(121)(122)가 소정 간격으로 배치된 렌즈 어레이 유닛(120)을 사용하게 될 경우에는, 제1 마커(110)로부터 방출된 광은 제1 광축(AX1)과 제2 광축(AX2)을 통해 각각 제1 렌즈(121)와 제2 렌즈(122)를 통과하여 결상 유닛(130)에 한 쌍의 제1 마커 영상이 결상되며, 제2 마커(111)로부터 방출된 광은 제3 광축(AX3)과 제4 광축(AX4)을 통해 각각 제1 렌즈(121)와 제2 렌즈(122)를 통과하여 결상 유닛(130)에 한 쌍의 제2 마커 영상이 결상되고, 제3 마커(112)로부터 방출된 광은 제5 광축(AX5)과 제6 광축(AX6)을 통해 각각 제1 렌즈(121)와 제2 렌즈(122)를 통과하여 결상 유닛(130)에 한 쌍의 제3 마커 영상이 결상된다.
즉, 한 쌍의 제1, 2 렌즈(121)(122)가 소정 간격으로 배열된 렌즈 어레이 유닛(120)을 사용함으로써 상기 결상 유닛(130)에 각각의 마커(110)(111)(112) 당 한 쌍의 마커 영상이 결상되는 것이다.
상기 각각의 마커(110)(111)(112) 당 상기 렌즈 어레이 유닛(120)의 렌즈(121)(122) 개수와 상응하는 수의 마커 영상이 결상 유닛(130)에 결상되면, 상기 결상 유닛(130)에 마커 당 상기 렌즈 어레이 유닛(120)의 렌즈(121)(122) 개수와 상응하는 수만큼 결상된 마커 영상을 이용하여 프로세서(140)를 통해 상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출한다.(S130)
상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하는 단계에 대하여 도 5에 도시한 블록도를 토대로 상세하게 설명하면 다음과 같다. 설명의 편의를 위하여 제1, 2 렌즈(121)(122)가 소정 간격으로 배열된 렌즈 어레이 유닛(120)을 사용할 경우를 예를 들어 설명한다.
상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하기 위해서는, 먼저 상기 프로세서(140)를 통해 상기 결상 유닛(130)에 결상된 각각의 마커들(110)(111)(112) 한 쌍의 마커 영상에 대한 2차원 좌표를 산출한다.(S131)
여기서, 상기 마커들(110)(111)(112)의 2차원 좌표를 산출한 다음에는, 각 좌표계 별(제1 렌즈 영상 FOV(FIELD OF VIEW)와 제2 렌즈 영상 FOV별)로 결상 유닛(130)의 카메라 캘리브레이션(calibration)을 수행하게 된다.(S132)
상기와 같이 각 좌표계 별로 상기 결상 유닛(130)의 카메라 캘리브레이션을 수행한 다음에는, 상기 각각의 마커(110)(111)(112) 당 한 쌍씩 결상된 마커 영상의 2차원 좌표를 이용하여 상기 프로세서(140)를 통해 상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출한다.(S133)
상기 각각의 마커들(110)(111)(112)의 3차원 좌표를 산출하는 단계에 대하여 도 6 및 도 7을 참조하여 보다 상세하게 설명하면 다음과 같다.
도 6에 도시된 바와 같이 이미지 센서(133)의 일측을 제1 렌즈 영상의 FOV(FIELD OF VIEW), 타측을 제2 렌즈 영상의 FOV라고 가상으로 분할하고, 상기 이미지 센서(133)의 제1 렌즈 영상의 2차원 좌표를 (U,V) 좌표계로 표시하며, 상기 제2 렌즈 영상의 2차원 좌표를 (U', V')이라고 표시하고 도 7을 참조하면, 영상에서의 마커들(110)(111)(112)의 2차원 좌표와 실 공간에서의 마커들(110)(111)(112)의 3차원 좌표는 수학식 1과 같은 관계식으로 표현될 수 있다.
수학식 1
Figure PCTKR2014000426-appb-M000001
여기서, m은 영상에서의 마커의 2차원 좌표이며, M은 실 공간에서의 마커의 3차원 좌표이고, A(R, t)는 카메라 매트릭스이다.
이를 보다 간략하게 설명하기 위하여, 실제 마커들(110)(111)(112)의 3차원 좌표를 X라 하면, 상기 실제 마커들(110)(111)(112)의 3차원 좌표(X)와 제1 렌즈를 통과한 영상에서 마커의 2차원 좌표(xL)의 관계식과, 상기 실제 마커들(110)(111)(112)의 3차원 좌표(X)와 제2 렌즈를 통과한 영상에서 마커의 2차원 좌표(xR)의 관계식은 수학식 2와 같이 표시할 수 있다.
수학식 2
Figure PCTKR2014000426-appb-M000002
여기서, 상기 P1은 제1 렌즈를 통과한 영상의 카메라 매트릭스이며, P2는 제2 렌즈를 통과한 영상의 카메라 매트릭스이다.
그리고, 각각의 마커들(110)(111)(112)의 제1 렌즈를 통과한 영상과 제2 렌즈를 통과한 영상에 대해서 xL = P1X, xR = P2X 관계식은 AX = 0의 선형 방정식으로 표현이 가능하며, 이를 정리하면 수학식 3과 같이 나타낼 수 있다.
수학식 3
Figure PCTKR2014000426-appb-M000003
여기서, PiT는 행렬 P의 행벡터이다.
위 식을 다시 정리하면, 수학식 4와 같이 나타낼 수 있다.
수학식 4
Figure PCTKR2014000426-appb-M000004
여기서, W는 스케일 인자이다.
수학식 4와 같이 표현된 선형 방정식을 풀어 X, Y, Z를 구하면 그 해가 마커들(110)(111)(112)의 3차원 좌표가 된다.
도4 내지 도 5를 통해 상술한 바와 같이 프로세서(140)에 의해 각각의 마커들(110)(111)(112)의 실 공간에서의 3차원 좌표를 산출한 다음에는, 상기 각각의 마커들(110)(111)(112)의 실 공간에서의 3차원 좌표와 상기 프로세서(140)에 기 저장된 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보를 프로세서(140)를 통해 비교하여 상기 마커들(110)(111)(112)이 부착된 목적물(200)의 공간 위치와 방향을 산출한다.(S140)
여기서, 상기 서로 이웃하는 마커들(110)(111)(112) 간의 기하학적 정보는 상술한 바와 같이 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와, 상기 마커들(110)(111)(112)을 연결하는 서로 이웃하는 한 쌍의 직선이 이루는 각도(A1)(A2)(A3) 정보일 수 있다.
즉, 상기 프로세서(140)를 통해 상기 각각의 마커들(110)(111)(112)의 실 공간에서의 3차원 좌표와 상기 프로세서(140)에 기 저장된 서로 이웃하는 마커들(110)(111)(112)을 연결하는 직선들(L1)(L2)(L3)의 길이 정보와, 각각의 마커들(110)(111)(112)을 서로 연결하는 서로 이웃하는 한 쌍의 직선이 이루는 각도(A1)(A2)(A3) 정보를 비교하여 상기 마커들(110)(111)(112)이 부착된 목적물(200)의 공간 위치와 방향을 산출하게 된다.
상술한 바와 같이 본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 각각의 마커들(110)(111)(112)로부터 방출되는 광이 적어도 한 쌍의 렌즈(121)(122)를 구비한 렌즈 어레이 유닛(120)을 통과하여 결상 유닛(130)에 각 마커(110)(111)(112) 당 상기 렌즈 어레이 유닛(120)에 구비된 렌즈(121)(122)의 개수와 상응하는 수의 마커 영상이 결상된다.
즉, 한 쌍의 제1, 2 렌즈(121)(122)를 구비한 렌즈 어레이 유닛(120)을 사용할 경우에는 하나의 마커 당 두 개의 광축을 통해 결상 유닛(130)에 두 개의 상이 결상됨으로써 한 대의 결상 유닛(130)만으로도 삼각법을 통해 상기 마커들의 3차원 좌표를 산출할 수 있다.
따라서, 본 발명의 일실시예에 의한 트랙킹 시스템 및 이를 이용한 트랙킹 방법은 한 대의 결상 유닛(130)만으로도 목적물(200)에 부착된 마커들(110)(111)(112)의 공간 위치와 방향을 산출하여 확인할 수 있다
그러므로, 트랙킹 시스템의 제작비용의 절감과 더불어 소형 경량화를 이룰 수 있으므로 종래의 트랙킹 시스템에 비하여 수술 공간의 제약을 상대적으로 덜 받는다는 장점이 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (11)

  1. 목적물에 부착되어 광을 방출하는 적어도 3개의 마커;
    상기 마커들로부터 방출되는 광을 통과시키는 적어도 두 개의 렌즈가 소정 간격으로 배열된 렌즈 어레이 유닛;
    상기 마커들로부터 방출되어 상기 렌즈 어레이 유닛의 각 렌즈를 통과한 광을 받아 들여 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 상을 결상시키는 결상 유닛; 및
    상기 결상 유닛에 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수만큼 결상된 마커 영상을 이용하여 상기 각각의 마커들의 3차원 좌표를 산출한 후 상기 마커들의 3차원 좌표와 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 프로세서를 포함하는 트랙킹 시스템.
  2. 제 1 항에 있어서,
    상기 마커들은 자체에서 광을 방출하는 액티브 마커인 것을 특징으로 하는 트랙킹 시스템.
  3. 제 1 항에 있어서,
    상기 렌즈 어레이 유닛 측에서부터 상기 마커들로 광을 방출하는 적어도 하나의 광원을 더 포함하며,
    상기 마커들은 상기 광원으로부터 방출된 광을 상기 렌즈 어레이 유닛 측으로 반사시키는 패시브 마커인 것을 특징으로 하는 트랙킹 시스템.
  4. 제 1 항에 있어서,
    상기 결상 유닛은,
    상기 마커들로부터 방출되어 상기 렌즈 어레이 유닛의 각 렌즈를 통과한 광을 받아 들여 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 적어도 두 개의 상을 결상시키는 카메라인 것을 특징으로 하는 트랙킹 시스템.
  5. 제 1 항에 있어서,
    상기 마커들 간의 기하학적 정보는,
    상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와,
    상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보인 것을 특징으로 하는 트랙킹 시스템.
  6. 목적물에 부착된 적어도 3개의 마커들로부터 광을 방출하는 단계;
    상기 마커들로부터 방출된 광이 렌즈 어레이 유닛의 적어도 두 개의 렌즈를 통과하여 결상 유닛에 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 상을 결상시키는 단계;
    상기 결상 유닛에 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수만큼 결상된 마커 영상을 이용하여 프로세서를 통해 상기 각각의 마커들의 3차원 좌표를 산출하는 단계; 및
    상기 각각의 마커들의 3차원 좌표와 상기 프로세서에 기 저장된 서로 이웃하는 마커들 간의 기하학적 정보를 비교하여 상기 목적물의 공간 위치와 방향을 산출하는 단계를 포함하는 트랙킹 방법.
  7. 제 6 항에 있어서,
    상기 마커들 간의 기하학적 정보는,
    상기 서로 이웃하는 마커들을 연결하는 직선들의 길이 정보와,
    상기 서로 이웃하는 한 쌍의 직선이 이루는 각도 정보인 것을 특징으로 하는 트랙킹 방법.
  8. 제 6 항에 있어서,
    상기 마커들의 3차원 좌표를 산출하는 단계는,
    상기 프로세서를 통해 상기 결상 유닛에 결상된 마커 당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 마커 영상의 2차원 좌표를 산출하는 단계; 및
    상기 마커당 상기 렌즈 어레이 유닛의 렌즈 개수와 상응하는 수의 마커 영상의 2차원 좌표를 이용하여 상기 프로세서를 통해 상기 마커들의 3차원 좌표를 산출하는 단계를 포함하는 트랙킹 방법.
  9. 제 6 항에 있어서,
    상기 광을 방출하는 단계는,
    상기 마커들이 자체적으로 발생시키는 광을 상기 렌즈 어레이 유닛 측으로 방출하는 것을 특징으로 하는 트랙킹 방법.
  10. 제 6 항에 있어서,
    상기 광을 방출하는 단계는,
    적어도 하나의 광원으로부터 방출되는 광을 상기 마커들을 통해 렌즈 어레이 유닛 측으로 반사시켜 방출하는 것을 특징으로 하는 트랙킹 방법.
  11. 제 10 항에 있어서,
    상기 광원의 공간 위치와 방향은 상기 프로세서에 기 저장되는 것을 특징으로 하는 트랙킹 방법.
PCT/KR2014/000426 2013-01-18 2014-01-15 트랙킹 시스템 및 이를 이용한 트랙킹 방법 WO2014112782A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/372,307 US20160270860A1 (en) 2013-01-18 2014-01-15 Tracking system and tracking method using the same
EP14740207.7A EP2946741A4 (en) 2013-01-18 2014-01-15 TRACKING SYSTEM AND TRACKING METHOD USING THE SAME
CN201480004953.3A CN104936547A (zh) 2013-01-18 2014-01-15 跟踪系统及利用上述跟踪系统的跟踪方法
JP2015553651A JP2016515837A (ja) 2013-01-18 2014-01-15 トラッキングシステム及びこれを用いたトラッキング方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130005807A KR101371387B1 (ko) 2013-01-18 2013-01-18 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR10-2013-0005807 2013-01-18

Publications (1)

Publication Number Publication Date
WO2014112782A1 true WO2014112782A1 (ko) 2014-07-24

Family

ID=50647855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000426 WO2014112782A1 (ko) 2013-01-18 2014-01-15 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Country Status (6)

Country Link
US (1) US20160270860A1 (ko)
EP (1) EP2946741A4 (ko)
JP (1) JP2016515837A (ko)
KR (1) KR101371387B1 (ko)
CN (1) CN104936547A (ko)
WO (1) WO2014112782A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791800A (zh) * 2014-12-29 2016-07-20 深圳超多维光电子有限公司 立体显示系统及立体显示方法
CN105812776A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于软镜的立体显示系统及方法
CN105812775A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于硬镜的立体显示系统及方法
CN105812774A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于插管镜的立体显示系统及方法
CN105812772A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 医疗图像立体显示系统及方法
CN105809654A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 目标对象跟踪方法、装置和立体显示设备及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209096A1 (en) * 2001-01-30 2003-11-13 Z-Kat, Inc. Tool calibrator and tracker system
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
JP2007130398A (ja) * 2005-11-14 2007-05-31 Toshiba Corp 光学式位置計測装置
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems
KR20110118640A (ko) * 2008-12-31 2011-10-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4396945A (en) * 1981-08-19 1983-08-02 Solid Photography Inc. Method of sensing the position and orientation of elements in space
US5923417A (en) * 1997-09-26 1999-07-13 Northern Digital Incorporated System for determining the spatial position of a target
US6061644A (en) * 1997-12-05 2000-05-09 Northern Digital Incorporated System for determining the spatial position and orientation of a body
US6279579B1 (en) 1998-10-23 2001-08-28 Varian Medical Systems, Inc. Method and system for positioning patients for medical treatment procedures
US20110015521A1 (en) * 2003-03-27 2011-01-20 Boulder Innovation Group, Inc. Means of Tracking Movement of Bodies During Medical Treatment
US8211094B2 (en) * 2004-10-26 2012-07-03 Brainlab Ag Pre-calibrated reusable instrument
KR100669250B1 (ko) 2005-10-31 2007-01-16 한국전자통신연구원 인공표식 기반의 실시간 위치산출 시스템 및 방법
EP1872735B1 (de) * 2006-06-23 2016-05-18 Brainlab AG Verfahren zum automatischen Identifizieren von Instrumenten bei der medizinischen Navigation
KR101136743B1 (ko) 2011-04-27 2012-04-19 목포대학교산학협력단 거리 및 각도측정 기능을 갖는 위치측정장치
KR101371384B1 (ko) * 2013-01-10 2014-03-07 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030209096A1 (en) * 2001-01-30 2003-11-13 Z-Kat, Inc. Tool calibrator and tracker system
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
JP2007130398A (ja) * 2005-11-14 2007-05-31 Toshiba Corp 光学式位置計測装置
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems
KR20110118640A (ko) * 2008-12-31 2011-10-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791800A (zh) * 2014-12-29 2016-07-20 深圳超多维光电子有限公司 立体显示系统及立体显示方法
CN105812776A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于软镜的立体显示系统及方法
CN105812775A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于硬镜的立体显示系统及方法
CN105812774A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于插管镜的立体显示系统及方法
CN105812772A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 医疗图像立体显示系统及方法
CN105809654A (zh) * 2014-12-29 2016-07-27 深圳超多维光电子有限公司 目标对象跟踪方法、装置和立体显示设备及方法
CN105791800B (zh) * 2014-12-29 2019-09-10 深圳超多维科技有限公司 立体显示系统及立体显示方法

Also Published As

Publication number Publication date
CN104936547A (zh) 2015-09-23
KR101371387B1 (ko) 2014-03-10
EP2946741A4 (en) 2016-09-07
EP2946741A1 (en) 2015-11-25
US20160270860A1 (en) 2016-09-22
JP2016515837A (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
WO2014112782A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014109520A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US8885177B2 (en) Medical wide field of view optical tracking system
WO2016093455A1 (ko) 시뮬레이션 시스템에서의 오브젝트 자동 이동 방법 및 이를 적용한 시뮬레이션 시스템
JP5704833B2 (ja) 操作入力装置およびマニピュレータシステム
CN1241260A (zh) 用于确定目标的空间位置的系统
EP3265009A1 (en) Redundant reciprocal tracking system
WO2018092944A1 (ko) 경직 평가 장치, 방법 및 시스템
CN106535806A (zh) 来自多端口视角的手术场景的定量三维成像
US20220175464A1 (en) Tracker-Based Surgical Navigation
WO2014129760A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
JP2016158911A5 (ko)
US9002074B2 (en) Facial validation sensor
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
CN207164367U (zh) Ar眼镜及其追踪系统
US20220011750A1 (en) Information projection system, controller, and information projection method
US20230078919A1 (en) Extended reality systems for visualizing and controlling operating room equipment
WO2020111389A1 (ko) 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법
WO2022164013A1 (ko) 구강 스캐너
WO2013162227A1 (ko) 수술용 내비게이션 시스템
WO2022145595A1 (ko) 캘리브레이션 시스템 및 방법
EP4354394A2 (en) Camera tracking system for computer assisted surgery navigation
WO2019035546A1 (ko) 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치
WO2022220383A1 (ko) 엑스레이 이미지 내에서의 대상 병변의 크기 변화를 측정하는 방법 및 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14372307

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14740207

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015553651

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014740207

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014740207

Country of ref document: EP