KR101652888B1 - Method for displaying a surgery instrument by surgery navigation - Google Patents
Method for displaying a surgery instrument by surgery navigation Download PDFInfo
- Publication number
- KR101652888B1 KR101652888B1 KR1020140108598A KR20140108598A KR101652888B1 KR 101652888 B1 KR101652888 B1 KR 101652888B1 KR 1020140108598 A KR1020140108598 A KR 1020140108598A KR 20140108598 A KR20140108598 A KR 20140108598A KR 101652888 B1 KR101652888 B1 KR 101652888B1
- Authority
- KR
- South Korea
- Prior art keywords
- surgical tool
- camera
- tool
- virtual
- center
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001356 surgical procedure Methods 0.000 title description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 239000003550 marker Substances 0.000 claims abstract description 22
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 238000001839 endoscopy Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000011882 arthroplasty Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/71—Manipulators operated by drive cable mechanisms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/72—Micromanipulators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/150007—Details
- A61B5/150763—Details with identification means
- A61B5/150786—Optical identification systems, e.g. bar codes, colour codes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hematology (AREA)
- Endoscopes (AREA)
Abstract
본 발명은 수술 내비게이션에 의해 수술도구를 표시하는 방법에 관한 것으로서, 광학식 위치추적장치와, 수술도구 및 카메라에 각각 장착되는 마커를 포함하는 수술 내비게이션에 의해 수술도구를 화면에 표시하는 방법으로써, 상기 광학식 위치추적장치와 각각의 마커로 수술도구와 카메라의 위치를 각각 추적하는 제1 단계; 상기 수술도구의 마커를 추적하여 얻은 위치정보와 피봇 캘리브레이션을 통해 수술도구의 끝단의 위치정보를 획득하는 제2 단계; 상기 카메라의 마커를 추적하여 얻은 위치정보와 카메라 캘리브레이션을 이용하여 카메라 센서와 마커의 좌표계 사이의 관계를 구하는 핸드아이 캘리브레이션을 통해 카메라 센서에 의해 보이는 화면의 중심정보를 획득하는 제3 단계; 및 상기 수술도구 끝단의 위치정보와 화면의 중심정보를 이용하는 증강현실을 통해 수술도구를 추적하여 카메라의 화면에 표시하되, 상기 화면의 중심과 카메라 렌즈의 중심을 잇는 광학축과 상기 수술도구 끝단과 카메라 렌즈의 중심을 잇는 도구축 사이의 관계식을 통해 수술도구 끝단을 카메라의 화면에 표시하는 제4 단계;로 이루어지며, 화면에 수술도구가 보이지 않을 때 화살표로 나타냄으로써 환자의 몸속에서 수술도구의 방향을 이해하기 쉽도록 도와준다는 효과가 있다.The present invention relates to a method of displaying a surgical tool by a surgical navigation system including an optical position tracking device, a surgical tool, and a marker mounted on the camera, A first step of tracking the positions of the surgical tool and the camera with the optical position tracking device and the respective markers, respectively; A second step of obtaining positional information obtained by tracing a marker of the surgical tool and positional information of an end of the surgical tool through pivot calibration; A third step of obtaining center information of a screen viewed by a camera sensor through hand eye calibration for obtaining a relation between a coordinate system of a camera sensor and a marker using position information obtained by tracking the marker of the camera and camera calibration; An optical axis connecting the center of the screen and the center of the camera lens, and a distal end of the surgical tool, wherein the surgical tool is traced through an augmented reality using the position information of the end of the surgical tool and the center information of the screen, And a fourth step of displaying the end of the surgical tool on the screen of the camera through a relational expression between the tool axis connecting the center of the camera lens and an arrow when the surgical tool is not visible on the screen. It helps to understand direction easily.
Description
본 발명은 수술 내비게이션에 의해 수술도구를 표시하는 방법에 관한 것으로서, 상세히는 광학식 위치추적장치와 마커로 수술도구 끝단의 정보와 카메라 화면의 중심정보를 구하고, 이를 이용하여 증강현실로 수술도구의 끝단을 화면에 표시하되 상기 수술도구의 끝단이 화면 밖에 있을 때에는 그 위치를 화면에 표시하도록 한 수술 내비게이션에 의해 수술도구를 표시하는 방법에 관한 것이다.The present invention relates to a method of displaying a surgical tool by surgical navigation. More specifically, the present invention relates to a method of displaying a surgical tool by using an optical position tracking device and a marker, And displaying the position of the end of the surgical tool on the screen when the end of the surgical tool is outside the screen.
카메라 렌즈가 장착되고 CCD라고 하는 센서를 내장한 내시경은 인체의 내부나 관절 부위 등을 촬영하여 화면상으로 보면서 그 상태를 진단할 수 있는 장치로써, 근래에는 무릎과 같은 관절부위에 내시경을 삽입하여 화면으로 관절부위를 직접 보면서 수술도구로 관절치환술과 같은 시술을 하는 경우가 많다.The endoscope is equipped with a camera lens and a sensor called CCD. It is a device that can diagnose the condition while taking a picture of the internal or joint part of the human body and looking on the screen. In recent years, Often, the operation is performed with a surgical tool, such as arthroplasty, while looking directly at the joint area on the screen.
이와 같이 최근 정형외과적 수술에서 관절 내시경 기반 수술이 일반화되고 있는데, 절개 부위를 최소화할 수 있어 미용, 회복 시간의 단축 등을 이유로 수요는 더욱 증가할 것으로 예상되지만, 다음과 같은 문제점도 안고 있다.Thus, in recent orthopedic surgery, joint endoscopic-based surgery is becoming common, and because the incision site can be minimized, the demand is expected to increase further due to cosmetic and shortening of recovery time.
- 관절 내시경 영상과 시술자의 시선 불일치와 관절 내시경 영상의 좁은 시야로 수련의 및 전공의가 관절 내시경 환경에 익숙해지는데 많은 시간과 노력이 소요됨- It takes a lot of time and effort to familiarize the trainees and residents with the joint endoscopic image due to the disagreement of the joint endoscopy image and the narrow view of the joint endoscopic image.
- 관절 내시경의 삽입 방향 및 촬영 방향과 내시경 영상 화면을 바라보는 시술자의 시선 불일치로 관절 내시경 환경 하에서 수술을 하는데 많은 불편함이 따름- There is a lot of inconvenience to perform surgery under joint endoscopic environment due to the inconsistency of the viewers' eyes looking at the insertion direction and the shooting direction of the endoscopic endoscope and the endoscopic image screen
- 관절 내시경의 좁은 시야로 인해 관절 내시경 영상만으로는 현재 화면에 나타난 해부학적 부위를 정확히 파악하는데 어려움이 따름- Due to the narrow field of view of the joint endoscopy, it is difficult to accurately grasp the anatomical region present on the screen with the joint endoscopic image alone.
- 관절 내시경의 좁은 시야로 인해 관절 내시경을 통한 시술 시 수술 도구의 조작에 많은 어려움이 따름- Due to the narrow field of view of the endoscopy, it is very difficult to manipulate the surgical tool during the procedure through the endoscopy.
이러한 어려움에 따라 수술이 진행되는 동안 외과의사가 수술 도구를 다른 것으로 교체하기 위해서 환자측 수술보조자에게 지시하는 것을 곤란하게 한다. This difficulty makes it difficult for the surgeon to instruct the patient's surgeon to replace the surgical tool with another during surgery.
즉 내시경에 의해 촬영되는 입체 영상 디스플레이의 관찰구역의 바깥쪽에 있는 수술 도구의 위치를 파악하기 위해서, 상기 수술 도구가 관찰구역에 나타날 때까지 내시경을 이동시킬 필요가 있을 수 있다. 이러한 경우에, 수술 도구가 수술 부위로 인도되면, 카메라의 줌 조절 및 초점 조절이 빈번하게 조정되어야 할 수도 있고, 이러한 과정은 외과의사를 지루하게 하고 시간을 낭비하게 한다. 수술 도구가 카메라의 시야 내에 있지만, 줌-인(zoom-in) 조정으로 인해 상기 수술 도구가 관찰구역의 바깥쪽에 있게 되면, 상기 수술 도구를 관찰구역으로 되돌리기 위해서 줌-아웃 조정을 실행할 수도 있다. 그러나, 외과의사에게 정밀한 관찰을 요하는 정교한 수술이 시행되는 경우에는 상기와 같은 줌-아웃(zoom-out) 조정은 바람직하지 않을 수 있다.That is, it may be necessary to move the endoscope until the surgical tool appears in the observation area, in order to locate the surgical tool outside the observation area of the stereoscopic image display taken by the endoscope. In this case, when the surgical instrument is delivered to the surgical site, the zoom and focus adjustment of the camera may need to be adjusted frequently, and this process may be tedious and time consuming for the surgeon. If the surgical tool is in the field of view of the camera but zoom-in adjustment causes the surgical tool to be outside the viewing area, a zoom-out adjustment may be performed to return the surgical tool to the viewing area. However, such a zoom-out adjustment may not be desirable if the surgeon is performing a sophisticated operation that requires close observation.
상기한 바와 같은 문제를 해결하고자 선행기술문헌의 특허문헌 2에 기재된 '컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치'가 있는바, 이 표시장치에 의하면 수술기구가 관찰구역의 바깥쪽에 있으면, GUI가 수술기구 위치를 나타내기 위해서 관찰구역 주위의 경계구역에 심벌을 위치시킴으로써 수술기구의 위치를 나타내며, 관찰구역으로부터 보이지 않는 수술기구까지의 거리는 심벌의 사이즈, 칼라, 밝기, 또는 깜박거림이나 진동 주파수에 의해 표시된다.In order to solve the above-mentioned problems, there is a position of a surgical instrument and a surgical instrument confirmation display device displayed in a border area of a computer display screen described in Patent Document 2 of the prior art document. According to this display device, , The GUI indicates the position of the surgical instrument by placing the symbol in the border area around the observation area to indicate the position of the surgical instrument and the distance from the observation area to the invisible surgical instrument is determined by the size of the symbol, Or by a flicker or vibration frequency.
그러나 상기한 바와 같이 관찰구역 주위의 경계구역에 심벌을 위치시킴으로써 수술기구의 위치를 나타내는 방법은 수술로봇을 이용하여 수술기구의 위치를 나타내고 있지만, 본 발명은 방법상에서 수술로봇이 아닌 광학식 위치추적장치 및 마커와 함께 피봇 캘리브레이션(Pivot calibration)과 핸드아이 캘리브레이션(Hand-eye calibration)을 이용하여 수술기구의 위치를 표시한다는 점에서 주요한 차이점이 있다.However, as described above, the position of the surgical instrument by locating the symbol in the boundary region around the observation region indicates the position of the surgical instrument using the surgical robot. However, the present invention is not limited to the surgical robot, There is a major difference in that the position of the surgical instrument is indicated using pivot calibration and hand-eye calibration with the marker.
본 발명은 상기한 바와 같은 제반 문제점을 개선하기 위해 안출된 것으로서, 그 목적은 광학식 위치추적장치와 수술도구 및 카메라(내시경)에 부착된 마커에 의해 수술도구와 카메라의 위치를 추적하고, 추적된 위치정보를 바탕으로 피봇 캘리브레이션과 핸드아이 캘리브레이션에 의해 수술도구 끝단의 위치정보와 카메라 센서의 중심정보를 획득하여, 이를 바탕으로 카메라로 촬영된 화면의 안과 밖을 기준으로 증강현실에 의해 수술도구를 직접 표시하거나 유색의 화살표로 표시하도록 한 수술 내비게이션에 의해 수술도구를 표시하는 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and its object is to track the position of a surgical tool and a camera by means of an optical position tracking device, a surgical tool and a marker attached to a camera (endoscope) Based on the position information, the position information of the end of the surgical tool and the center information of the camera sensor are acquired by the pivot calibration and the hand eye calibration. Based on this, based on the inside and outside of the camera, A method of displaying a surgical tool by a surgical navigation system in which the surgical navigation apparatus is directly displayed or displayed with a colored arrow.
상기한 바와 같은 목적을 달성하기 위해 본 발명의 수술 내비게이션에 의해 수술도구를 표시하는 방법은, 광학식 위치추적장치와, 수술도구 및 카메라에 각각 장착되는 마커를 포함하는 수술 내비게이션에 의해 수술도구를 화면에 표시하는 방법으로써, 상기 광학식 위치추적장치와 각각의 마커로 수술도구와 카메라의 위치를 각각 추적하는 제1 단계; 상기 수술도구의 마커를 추적하여 얻은 위치정보와 피봇 캘리브레이션을 통해 수술도구의 끝단의 위치정보를 획득하는 제2 단계; 상기 카메라의 마커를 추적하여 얻은 위치정보와 카메라 캘리브레이션을 이용하여 카메라 센서와 마커의 좌표계 사이의 관계를 구하는 핸드아이 캘리브레이션을 통해 카메라 센서에 의해 보이는 화면의 중심정보를 획득하는 제3 단계; 및 상기 수술도구 끝단의 위치정보와 화면의 중심정보를 이용하는 증강현실을 통해 수술도구를 추적하여 카메라의 화면에 표시하되, 상기 화면의 중심과 카메라 렌즈의 중심을 잇는 광학축과 상기 수술도구 끝단과 카메라 렌즈의 중심을 잇는 도구축 사이의 관계식을 통해 수술도구 끝단을 카메라의 화면에 표시하는 제4 단계;로 이루어지는 것을 특징으로 하고 있다.According to an aspect of the present invention, there is provided a method of displaying a surgical tool by a surgical navigation system including an optical position tracking device, a surgical tool, and a marker mounted on the camera, A first step of tracking the positions of the surgical tool and the camera with the optical position tracking device and the respective markers, respectively; A second step of obtaining positional information obtained by tracing a marker of the surgical tool and positional information of an end of the surgical tool through pivot calibration; A third step of obtaining center information of a screen viewed by a camera sensor through hand eye calibration for obtaining a relation between a coordinate system of a camera sensor and a marker using position information obtained by tracking the marker of the camera and camera calibration; An optical axis connecting the center of the screen and the center of the camera lens, and a distal end of the surgical tool, wherein the surgical tool is traced through an augmented reality using the position information of the end of the surgical tool and the center information of the screen, And a fourth step of displaying the end of the surgical tool on the screen of the camera through a relational expression between the tool axes connecting the center of the camera lens.
또 상기 제4 단계에서, 상기 화면은 모니터로 보이는 2차원 가상 투사면이고, 상기 가상 투사면에 보이는 수술도구의 끝단은 가상도구의 끝단으로 되어 가상 투사면에 투영하여 표시하되, 상기 가상도구의 끝단을 표시하는 투사점이 가상 투사면 안에 있으면 가상도구의 추적을 하지 않고, 상기 투사점이 가상 투사면 밖에 있으면 가상도구의 위치를 추적하여 화면에 표시해주는 것이 바람직하다.In addition, in the fourth step, the screen is a two-dimensional virtual projection surface viewed as a monitor, the end of the surgical tool shown on the virtual projection surface is projected on a virtual projection surface as an end of the virtual tool, It is preferable that the virtual tool is not traced if the projection point indicating the end is within the virtual projection plane and the position of the virtual tool is traced and displayed on the screen when the projection point is outside the virtual projection plane.
또 상기 가상도구의 끝단을 표시하는 투사점이 가상 투사면 안에 있으면 가상도구 자체를 상기 가상 투사면에 표시하고, 상기 투사점이 가상 투사면 밖에 있으면 그 위치를 유색의 화살표로 가상 투사면의 가장자리에 표시하는 것이 바람직하다.When the projection point indicating the end of the virtual tool is in the virtual projection plane, the virtual tool itself is displayed on the virtual projection plane. If the projection point is outside the virtual projection plane, the position is displayed on the edge of the virtual projection plane with a colored arrow .
또 상기 광학축과 도구축 및 가상 투사면 사이에서 광학축 상의 카메라 렌즈의 중심과 가상 투사면 중심 사이의 거리(a), 가상 투사면 상의 투사점과 상기 가상 투사면 중심 사이를 잇는 거리(a'), 상기 a'와 평행하게 수술도구 끝단과 광학축을 잇는 점과 가상 투사면 중심 사이의 거리(b) 및 상기 a'와 평행하게 수술도구 끝단과 광학축 사이를 잇는 거리(b')에 대한 비례식(a:a'=b:b')을 이용하여 수술도구의 끝단의 위치정보을 비율적으로 가상 투사면에 투영시켜 표시하는 것이 바람직하다.(A) between the center of the camera lens on the optical axis and the center of the virtual projection plane between the optical axis and the tool axis and the virtual projection plane, a distance a between the center of the virtual projection plane and the projection point on the virtual projection plane, ), A distance b between the point connecting the end of the surgical tool and the optical axis and the center of the virtual projection plane in parallel with the a ', and a distance b' between the end of the surgical tool and the optical axis parallel to the a ' It is preferable to project the position information of the end of the surgical tool proportionally on the virtual projection surface by using the proportion formula (a: a '= b: b').
또 상기 카메라로 내시경을 사용하는 것으로 한다.Further, it is assumed that the endoscope is used with the camera.
본 발명의 수술 내비게이션에 의해 수술도구를 표시하는 방법에 의하면, 피봇 캘리브레이션과 핸드아이 캘리브레이션을 통해 수술도구 끝단의 위치정보와 카메라 센서의 중심정보를 획득하여 화면에 수술도구를 표시하기 때문에 더욱 정확한 수술도구의 위치를 표시할 수 있는 효과가 있다.According to the method of displaying the surgical tool by the surgical navigation of the present invention, since the position information of the end of the surgical tool and the center information of the camera sensor are obtained through the pivot calibration and the hand eye calibration and the surgical tool is displayed on the screen, It has the effect of indicating the position of the tool.
따라서 카메라로 사용하는 내시경의 시야(Field of view)에 수술도구가 보이지 않는 경우, 의사에게 수술도구의 위치 둥근 내시경 이미지 바깥부분에 파란색 화살표로 나타냄으로써 환자의 몸속에서 수술도구의 방향을 이해하기 쉽도록 도와준다는 효과가 있다.Therefore, if the surgical tool is not visible in the field of view of the endoscope used in the camera, the direction of the surgical tool in the patient's body is easy to understand by displaying the blue arrow on the outside of the endoscope image of the position of the surgical tool There is an effect that helps.
도 1은 본 발명에 따른 수술 내비게이션에 의해 수술도구를 표시하는 방법에 따라 수술도구가 보이지 않는 경우의 카메라 화면
도 2는 본 발명에 따른 수술 내비게이션에 의해 수술도구를 표시하는 방법에 따라 수술도구가 보이는 경우의 카메라 화면
도 3은 본 발명에 따른 수술 내비게이션에 의해 수술도구를 표시하는 방법에 사용되는 광학식 위치추적장치와 마커에 의한 수술도구 및 카메라의 추적을 보여주는 개념도
도 4는 본 발명에 따른 수술 내비게이션에 의해 수술도구를 표시하는 방법에 따라 수술도구와 카메라의 관계를 보여주는 개념도FIG. 1 is a view illustrating a camera screen in a case where a surgical tool is not displayed according to a method of displaying a surgical tool by surgical navigation according to the present invention.
FIG. 2 is a view showing a camera screen when the surgical tool is displayed according to the method of displaying the surgical tool by the surgical navigation according to the present invention.
FIG. 3 is a conceptual view showing the tracking of the surgical tool and the camera by the optical position tracking device and the marker used in the method of displaying the surgical tool by the surgical navigation according to the present invention
FIG. 4 is a conceptual diagram illustrating a relationship between a surgical tool and a camera according to a method of displaying a surgical tool by surgical navigation according to the present invention.
이하, 본 발명에 따른 수술 내비게이션에 의해 수술도구를 표시하는 방법의 바람직한 실시예를 첨부한 도면을 참조로 하여 상세히 설명한다. 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a method for displaying surgical instruments by surgical navigation according to the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that the present invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to inform.
본 발명은 기본적으로 광학식 위치추적장치와, 환자의 몸속에 삽입되는 수술도구와 카메라에 부착되는 마커를 사용하여 상기 카메라로 촬영된 화면에 수술도구를 증강현실을 이용하여 적절하게 표시하는 방법을 개시하고 있다. 상기 카메라는 일반적으로 본 발명에서는 내시경이라 할 수 있으며, 필요에 따라서는 다른 형태의 내시경을 말할 수도 있다.The present invention basically discloses a method of appropriately displaying a surgical tool on a screen photographed by the camera using an augmented reality using a optical position tracking device, a surgical tool inserted into a patient's body, and a marker attached to the camera . The camera is generally referred to as an endoscope in the present invention, and may be referred to as another type of endoscope if necessary.
즉 도 1에 도시한 바와 같이, 수술도구가 카메라의 화면에 보이지 않는 경우 상기 수술도구의 위치를 가상 투사면이라 할 수 있는 둥근 내시경 화면의 가장자리에 파란색 화살표로 표시하고, 도 2에 도시한 바와 같이, 수술도구가 카메라의 화면에 보이는 경우 상기 수술도구의 위치를 표시해주던 화살표를 화면에서 사라지도록 한다.That is, as shown in FIG. 1, when the surgical tool is not visible on the screen of the camera, the position of the surgical tool is indicated by a blue arrow on the edge of the round endoscopic screen, which may be referred to as a virtual projection plane, Similarly, when the surgical tool is displayed on the screen of the camera, the arrow indicating the position of the surgical tool disappears from the screen.
다음은 이와 같이 수술도구를 화면에 직접 또는 화살표로 표시하는 구체적인 방법에 대해서 설명하도록 한다.The following explains the specific method of displaying the surgical tool directly on the screen or by using arrows.
기본적으로 수술도구를 화면에 표시하는 방법은 준비된 광학식 위치추적장치와 마커에 의해 수술도구와 카메라를 각각 추적하고, 추적한 정보를 이용하여 수술도구와 카메라의 관계정보를 구한다. 즉 피봇 캘리브레이션(Pivot Calibration)을 통해서 수술도구의 끝단의 위치정보를 구한다. 또한 광학식 위치추적장치가 카메라를 추적하는 정보와 카메라 캘리브레션(camera calibration)을 통해서 핸드아이(Hand-eye) 정보를 구한다. Basically, the method of displaying the surgical tool on the screen tracks the surgical tool and the camera by the prepared optical position tracking device and marker, respectively, and obtains the relationship information between the surgical tool and the camera by using the tracked information. That is, the position information of the end of the surgical tool is obtained through the pivot calibration. In addition, the optical position tracking device obtains hand-eye information through camera tracking information and camera calibration.
이렇게 해서 수술도구의 끝단과 카메라의 관계정보 획득하게 되는데 이러한 과정에 대해서 더욱 상세히 설명하도록 한다.In this way, the relationship between the end of the surgical tool and the camera is obtained. This process will be described in more detail.
카메라의 화면에 수술도구를 증강현실로 표시하기 위해서는 상기 수술도구의 끝단의 정보와 카메라의 센서(CCD)의 중심정보를 먼저 알아야 하는데, 이는 다음과 같은 과정을 통해서 구하게 된다.In order to display the surgical tool as an augmented reality on the screen of the camera, information of the tip of the surgical tool and the center of the camera sensor (CCD) must first be obtained through the following procedure.
먼저 도 3에 도시한 바와 같이, 광학식 위치추적장치와 수술도구 및 카메라 각각에 부착된 마커로 상기 수술도구와 카메라의 위치를 각각 추적하여 위치정보를 얻게 된다.As shown in FIG. 3, position information is obtained by tracking the positions of the surgical tool and the camera with markers attached to the optical position tracking device, the surgical tool, and the camera, respectively.
다음에 상기 수술도구의 마커를 추적하여 얻은 위치정보를 가지고 피봇 캘리브레이션을 통해 수술도구의 끝단의 위치정보를 얻게 된다.Next, the position information of the end of the surgical tool is obtained through the pivot calibration with the position information obtained by tracking the marker of the surgical tool.
다음에 상기 카메라의 마커를 추적하여 얻은 위치정보를 가지고 카메라 캘리브레이션(Camera calibration)을 이용하여 카메라에 내장된 카메라 센서와 마커의 좌표계 사이의 관계를 구하는 핸드아이 캘리브레이션(Hand-eye calibration)을 통해 카메라 센서로 보이는 화면의 중심정보를 얻게 된다.Next, the position of the marker of the camera is tracked and hand-eye calibration is performed to obtain the relationship between the coordinate system of the marker and the camera sensor built in the camera using the camera calibration, The center information of the screen viewed by the sensor is obtained.
여기서 상기 카메라 캘리브레이션은 카메라의 고유의 매개변수(초점 길이, 기준점, 왜곡)를 획득하고, 이 고유의 매개변수들은 핸드아이 캘리브레이션을 할 때와 카메라에 의해 보이는 화면의 가상공간을 만들 때 필요하다. 또한 핸드아이 캘리브레이션은 핸드아이 매트릭스(Hand-eye matrix)를 계산해 내는데, 상기 핸드아이 매트릭스가 카메라의 중심과 카메라에 부착된 마커의 좌표계 사이의 관계식이고, 이를 통해 화면의 중심정보를 얻게 된다.Here, the camera calibration acquires the camera's inherent parameters (focal length, reference point, distortion), and these inherent parameters are needed when making hand-eye calibration and creating a virtual space of the screen viewed by the camera. Also, the hand-eye calibration calculates a hand-eye matrix. The hand-eye matrix is a relational expression between the center of the camera and the coordinate system of the marker attached to the camera, thereby obtaining center information of the screen.
다음에 상기 수술도구 끝단의 위치정보와 화면의 중심정보를 이용하는 증강현실을 통해 수술도구를 추적하여 카메라의 화면에 표시하여 보여주게 되는데, 일단 상기 화면의 중심과 카메라 렌즈의 중심을 잇는 광학축과 상기 수술도구 끝단과 카메라 렌즈의 중심을 잇는 도구축 사이의 관계식을 통해 수술도구 끝단을 카메라의 화면에 표시하게 된다.Next, the surgical tool is traced through the augmented reality using the position information of the end of the surgical tool and the center information of the screen, and displayed on the screen of the camera. Once an optical axis connecting the center of the screen and the center of the camera lens The tip of the surgical tool is displayed on the screen of the camera through a relational expression between the tip of the surgical tool and the center of the camera lens.
이때 상기 화면은 카메라 센서에 의해 모니터로 보이는 2차원 가상 투사면이고, 상기 가상 투사면에 보이는 수술도구의 끝단은 가상도구의 끝단으로 되어 가상 투사면에 투영하여 표시하게 되며, 상기 가상도구의 끝단을 표시하는 투사점이 가상 투사면 안에 있으면 가상도구의 추적을 하지 않고, 상기 투사점이 가상 투사면 밖에 있으면 가상도구의 위치를 추적하여 화면에 표시해준다. 이는 상기한 바와 같이 수술도구가 카메라의 화면에 보이지 않는 경우 상기 수술도구의 위치를 가상 투사면이라 할 수 있는 둥근 내시경 화면의 가장자리에 파란색과 같은 유색의 화살표로 표시하고, 수술도구가 카메라의 화면에 보이는 경우 상기 수술도구의 위치를 표시해주던 화살표를 화면에서 사라지도록 하는 것과 동일하다.The end of the surgical tool shown on the virtual projection surface is projected on a virtual projection surface as an end of the virtual tool to be displayed, and the end of the virtual tool is displayed on the virtual projection surface, The virtual tool is not traced. If the projection point is outside the virtual projection plane, the position of the virtual tool is tracked and displayed on the screen. If the surgical tool is not visible on the screen of the camera as described above, the position of the surgical tool may be indicated by a colored arrow like blue on the edge of the round endoscope screen, which may be referred to as a virtual projection plane, The arrow indicating the position of the surgical tool disappears from the screen.
여기서 화면의 중심과 카메라 센서의 중심 및 가상 투사면의 중심은 서로 동일한 위치에 있는 것이다.Here, the center of the screen, the center of the camera sensor, and the center of the virtual projection plane are at the same position.
이때 수술도구는 가상의 도구로써 가상 투사면에 투영되는 것이기 때문에 이를 비율적으로 변환하여 상기 가상 투사면에 표시하게 된다.At this time, since the surgical tool is projected on the virtual projection plane as a virtual tool, it is converted proportionally and displayed on the virtual projection plane.
즉 가상의 환경에서는 실제 카메라와 수술도구의 끝단의 관계 C TipT를 가상공간(virtual space)에 나타내면 도 4에 도시한 바와 같다. 이렇게 되면 가상 투사면(Virtual projection plane)이 모니터 상으로 보는 2차원 화면이 되고, 가상도구(virtual tool)의 끝단은 가상 투사면에 투영되어 나타나게 된다.In other words, in the virtual environment, the relationship between the tip of the actual camera and the tip of the surgical tool C Tip T is shown in the virtual space as shown in FIG. In this case, the virtual projection plane becomes a two-dimensional screen viewed on the monitor, and the end of the virtual tool is projected on the virtual projection plane.
여기서 도 4에 도시한 바와 같이, 상기 광학축(Optical axis)과 도구축 및 가상 투사면 사이에서 광학축 상의 카메라 렌즈의 중심(가상 카메라의 중심)과 가상 투사면 중심 사이의 거리(a), 가상 투사면 상의 투사점과 상기 가상 투사면 중심 사이를 잇는 거리(a'), 상기 a'와 평행하게 수술도구 끝단과 광학축을 잇는 점과 가상 투사면 중심 사이의 거리(b) 및 상기 a'와 평행하게 수술도구 끝단과 광학축 사이를 잇는 거리(b')를 정의하고, 상기 광학축은 카메라 렌즈의 중심좌표의 x, y, z축에서 상기 z축의 방향이고, 이때 편의상 카메라 렌즈의 중심이 z=0일 때, 가상 투사면 중심은 z=1이고, 수술도구 끝단과 이어지는 광학축 상의 점은 z=3인 것으로 가정한다.As shown in FIG. 4, the distance (a) between the center of the camera lens (the center of the virtual camera) on the optical axis and the center of the virtual projection surface between the optical axis, the tool axis and the virtual projection plane, (A ') between the projection point on the virtual projection surface and the center of the virtual projection surface, a distance (b) between the center of the virtual projection surface and a point connecting the optical axis and the end of the surgical tool parallel to the a' Wherein the optical axis is a direction of the z-axis in the x, y, and z axes of the center coordinates of the camera lens, wherein the center of the camera lens is z = 0, it is assumed that the center of the virtual projection plane is z = 1 and the point on the optical axis following the end of the surgical tool is z = 3.
이렇게 하여 가상 카메라의 중심(Center of virtual camer), 즉 카메라 렌즈의 중심으로 표시된 좌표계 x, y, z축이 있다고 가정하고, 상기한 바와 같이 광학축을 z축이라 가정한다. 가상도구의 끝단의 위치정보를 가상 투사면에 표현해야 하는데, 가상도구의 끝단의 위치정보는 3차원의 임의의 값(x’, y’, z’)을 가진다.Assuming that there is a coordinate system x, y, z axis indicated by the center of the virtual camera, i.e., the center of the camera lens, the optical axis is assumed to be the z axis as described above. The position information of the end of the virtual tool must be expressed on the virtual projection plane, and the position information of the end of the virtual tool has an arbitrary value (x ', y', z ') in the three dimensions.
가상도구의 끝단을 가상 투사면에 표시하기 위해서는 단순히 광학축 성분값(z값)을 1로, 즉 가상도구의 끝점을 (x’, y’, 1)로 변환시켜서는 안된다. 즉 도 4에서 보는 바와 같이 파란색 선으로 투사가 되면 안되는데, 왜냐하면 이는 가상도구 끝단의 정확한 정보가 아니기 때문이다.In order to display the end of the virtual tool on the virtual projection plane, the optical axis component value (z value) should not be simply changed to 1, that is, the end point of the virtual tool is changed to (x ', y', 1). That is, it should not be projected with a blue line as shown in FIG. 4, because this is not accurate information of the virtual tool tip.
카메라는 3차원 공간을 2차원 평면으로 변환을 시킬 때, 광학축과 평행하지 않고, 비스듬하게 투사,투영시키기 때문에 가상도구를 가상 투사면에 표시할 때에도 도 4의 파란색 선(평행한 x방향)이 아닌 카메라 렌즈의 중심을 향하는 빨간색 선을 따라 비스듬하게 투영해야 한다.When the virtual tool is displayed on the virtual projection plane because the camera is projected and projected obliquely instead of parallel to the optical axis when the three-dimensional space is converted into the two-dimensional plane, the blue line (parallel x direction) Projected along a red line toward the center of the camera lens.
이렇게 해서 a, a', b, b'의 값이 결정되면 카메라의 화면(가상 투사면)에서 보이는 수술도구는 실제와는 다르기 때문에, 즉 실제 수술도구가 1㎝ 이동한다고 하였을 때 화면은 실제보다 작게 보이기 때문에 가상도구를 같은 1㎝로 움직이면 정확한 위치가 표시되지 않기 때문에 비례적으로 움직이도록 해야 한다.When the value of a, a ', b, b' is determined in this way, the surgical tool shown on the camera screen (virtual projection surface) is different from the actual one. Because it looks small, moving the virtual tool to the same 1 cm will not show the exact position, so you should move proportionally.
이는 상기한 화면의 중심과 카메라 렌즈의 중심을 잇는 광학축과 상기 수술도구 끝단과 카메라 렌즈의 중심을 잇는 도구축 사이의 관계식이라 할 수 있는 도 4의 우측 상단에 도시한 a, a', b, b'에 대한 비례식(a:a'=b:b')을 이용하여 수술도구의 끝단의 위치정보를 비율적으로 가상 투사면에 투영시켜 표시하게 된다.4, which is a relation formula between an optical axis connecting the center of the screen and the center of the camera lens, and a tool axis connecting the end of the surgical tool and the center of the camera lens, (a: a '= b: b') for the position of the end of the surgical tool is projected on the virtual projection surface proportionally.
이상과 같이 본 발명에 따른 수술 내비게이션에 의해 수술도구를 표시하는 방법에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.As described above, the method for displaying the surgical tool by the surgical navigation according to the present invention has been described with reference to the drawings. However, the present invention is not limited to the embodiments and drawings disclosed in the present specification, It is needless to say that various modifications can be made by those skilled in the art within the scope of technical thought.
Claims (5)
상기 광학식 위치추적장치와 각각의 마커로 수술도구와 카메라의 위치를 각각 추적하는 제1 단계;
상기 수술도구의 마커를 추적하여 얻은 위치정보와 피봇 캘리브레이션을 통해 수술도구의 끝단의 위치정보를 획득하는 제2 단계;
상기 카메라의 마커를 추적하여 얻은 위치정보와 카메라 캘리브레이션을 이용하여 카메라 센서와 마커의 좌표계 사이의 관계를 구하는 핸드아이 캘리브레이션을 통해 카메라 센서에 의해 보이는 화면의 중심정보를 획득하는 제3 단계; 및
상기 수술도구 끝단의 위치정보와 화면의 중심정보를 이용하는 증강현실을 통해 수술도구를 추적하여 카메라의 화면에 표시하되, 상기 화면의 중심과 카메라 렌즈의 중심을 잇는 광학축과 상기 수술도구 끝단과 카메라 렌즈의 중심을 잇는 도구축 사이의 관계식을 통해 수술도구 끝단을 카메라의 화면에 표시하는 제4 단계;
로 이루어지는 것을 특징으로 하는 수술 내비게이션에 의해 수술도구를 표시하는 방법.A method for displaying a surgical tool on a screen by a surgical navigation system including an optical position tracking device, a surgical tool, and a marker mounted on the camera,
A first step of tracking the positions of the surgical tool and the camera with the optical position tracking device and the respective markers, respectively;
A second step of obtaining positional information obtained by tracing a marker of the surgical tool and position information of an end of the surgical tool through pivot calibration;
A third step of obtaining center information of a screen viewed by a camera sensor through hand eye calibration for obtaining a relation between a coordinate system of a camera sensor and a marker using position information obtained by tracking the marker of the camera and camera calibration; And
An optical axis connecting the center of the screen and the center of the camera lens, and an optical axis connecting the center of the surgical tool and the center of the camera, A fourth step of displaying the end of the surgical tool on the screen of the camera through a relational expression between the tool axes connecting the centers of the lenses;
And displaying the surgical tool on the display unit.
상기 제4 단계에서,
상기 화면은 모니터로 보이는 2차원 가상 투사면이고, 상기 가상 투사면에 보이는 수술도구의 끝단은 가상도구의 끝단으로 되어 가상 투사면에 투영하여 표시하되, 상기 가상도구의 끝단을 표시하는 투사점이 가상 투사면 안에 있으면 가상도구의 추적을 하지 않고, 상기 투사점이 가상 투사면 밖에 있으면 가상도구의 위치를 추적하여 화면에 표시해주는 것을 특징으로 하는 수술 내비게이션에 의해 수술도구를 표시하는 방법.The method according to claim 1,
In the fourth step,
Wherein the virtual tool is a two-dimensional virtual projection surface that is viewed as a monitor, and the end of the surgical tool on the virtual projection surface is an end of the virtual tool and is projected on a virtual projection surface to display the projected point, Wherein the position of the virtual tool is traced and displayed on the screen when the projection point is outside the virtual projection plane without tracking the virtual tool when the projection plane is inside the projection plane.
상기 가상도구의 끝단을 표시하는 투사점이 가상 투사면 안에 있으면 가상도구 자체를 상기 가상 투사면에 표시하고, 상기 투사점이 가상 투사면 밖에 있으면 그 위치를 유색의 화살표로 가상 투사면의 가장자리에 표시하는 것을 특징으로 하는 수술 내비게이션에 의해 수술도구를 표시하는 방법.3. The method of claim 2,
If the projection point indicating the end of the virtual tool is within the virtual projection plane, the virtual tool itself is displayed on the virtual projection plane, and if the projection point is outside the virtual projection plane, the position is displayed on the edge of the virtual projection plane with a colored arrow And displaying the surgical tool by means of surgical navigation.
상기 광학축과 도구축 및 가상 투사면 사이에서 광학축 상의 카메라 렌즈의 중심과 가상 투사면 중심 사이의 거리(a), 가상 투사면 상의 투사점과 상기 가상 투사면 중심 사이를 잇는 거리(a'), 상기 a'와 평행하게 수술도구 끝단과 광학축을 잇는 점과 가상 투사면 중심 사이의 거리(b) 및 상기 a'와 평행하게 수술도구 끝단과 광학축 사이를 잇는 거리(b')에 대한 비례식(a:a'=b:b')을 이용하여 수술도구의 끝단의 위치정보을 비율적으로 가상 투사면에 투영시켜 표시하는 것을 특징으로 하는 수술 내비게이션에 의해 수술도구를 표시하는 방법.The method according to claim 2 or 3,
(A) between the center of the camera lens on the optical axis and the center of the virtual projection plane between the optical axis, the tool axis and the virtual projection plane, a distance a 'between the center of the virtual projection plane and the projection point on the virtual projection plane, , A distance (b) between the point connecting the end of the surgical tool and the optical axis and the center of the virtual projection surface in parallel with the a ', and a distance (b') between the end of the surgical tool and the optical axis parallel to the a ' (a: a '= b: b') is used to project the position information of the end of the surgical tool proportionally on the virtual projection surface to display the surgical tool.
상기 카메라로 내시경을 사용하는 것을 특징으로 하는 수술 내비게이션에 의해 수술도구를 표시하는 방법.The method according to claim 1,
Wherein the endoscope is used with the camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140108598A KR101652888B1 (en) | 2014-08-20 | 2014-08-20 | Method for displaying a surgery instrument by surgery navigation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140108598A KR101652888B1 (en) | 2014-08-20 | 2014-08-20 | Method for displaying a surgery instrument by surgery navigation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160022704A KR20160022704A (en) | 2016-03-02 |
| KR101652888B1 true KR101652888B1 (en) | 2016-09-01 |
Family
ID=55582507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140108598A KR101652888B1 (en) | 2014-08-20 | 2014-08-20 | Method for displaying a surgery instrument by surgery navigation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101652888B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11317879B2 (en) | 2017-03-06 | 2022-05-03 | Korea Institute Of Science And Technology | Apparatus and method for tracking location of surgical tools in three dimension space based on two-dimensional image |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101983727B1 (en) * | 2016-07-04 | 2019-06-04 | 주식회사 그래픽코드 | Argument Reality Virtual Studio System |
| CN111417916B (en) | 2017-10-26 | 2023-12-22 | 耶达研究及发展有限公司 | Multi-layer viewing system and method |
| CN113633387B (en) * | 2021-06-21 | 2024-01-26 | 安徽理工大学 | Surgical field tracking supporting laparoscopic minimally invasive robot touch interaction method and system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004513684A (en) * | 2000-09-23 | 2004-05-13 | ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニバーシティ | Endoscope targeting method and system |
| JP2005046200A (en) * | 2003-07-29 | 2005-02-24 | Olympus Corp | Endoscopic operation system |
| JP2010532035A (en) * | 2007-06-29 | 2010-09-30 | インペリアル・イノベイションズ・リミテッド | Non-realistic rendering of augmented reality |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10555775B2 (en) * | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| KR101108927B1 (en) | 2009-03-24 | 2012-02-09 | 주식회사 이턴 | Surgical robot system using augmented reality and control method thereof |
-
2014
- 2014-08-20 KR KR1020140108598A patent/KR101652888B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004513684A (en) * | 2000-09-23 | 2004-05-13 | ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニバーシティ | Endoscope targeting method and system |
| JP2005046200A (en) * | 2003-07-29 | 2005-02-24 | Olympus Corp | Endoscopic operation system |
| JP2010532035A (en) * | 2007-06-29 | 2010-09-30 | インペリアル・イノベイションズ・リミテッド | Non-realistic rendering of augmented reality |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11317879B2 (en) | 2017-03-06 | 2022-05-03 | Korea Institute Of Science And Technology | Apparatus and method for tracking location of surgical tools in three dimension space based on two-dimensional image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160022704A (en) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| US8504136B1 (en) | See-through abdomen display for minimally invasive surgery | |
| JP6889703B2 (en) | Methods and devices for observing 3D surface images of patients during surgery | |
| Gavaghan et al. | A portable image overlay projection device for computer-aided open liver surgery | |
| US12108992B2 (en) | Systems and methods for tracking a position of a robotically-manipulated surgical instrument | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| Wang et al. | Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery | |
| US11896441B2 (en) | Systems and methods for measuring a distance using a stereoscopic endoscope | |
| US20180168736A1 (en) | Surgical navigation system and instrument guiding method for the same | |
| AU2014231341A1 (en) | System and method for dynamic validation, correction of registration for surgical navigation | |
| US11344180B2 (en) | System, apparatus, and method for calibrating oblique-viewing rigid endoscope | |
| KR101652888B1 (en) | Method for displaying a surgery instrument by surgery navigation | |
| US20190088019A1 (en) | Calculation device for superimposing a laparoscopic image and an ultrasound image | |
| US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
| JP2016158911A (en) | Surgical operation method using image display device, and device using in surgical operation | |
| JP2016158911A5 (en) | ||
| CN107485447B (en) | Device and method for navigating pose of surgical instrument for knee cartilage grafting | |
| Edgcumbe et al. | Calibration and stereo tracking of a laparoscopic ultrasound transducer for augmented reality in surgery | |
| JP2017205343A (en) | Endoscope device and method for operating endoscope device | |
| CN208319312U (en) | Utensil pose navigation device in a kind of art towards knee cartilage transplantation | |
| Schoob et al. | Color-encoded distance for interactive focus positioning in laser microsurgery | |
| US20230363830A1 (en) | Auto-navigating digital surgical microscope | |
| Sauer et al. | Augmented reality visualization for thoracoscopic spine surgery | |
| García et al. | Calibration of a surgical microscope with automated zoom lenses using an active optical tracker | |
| Cong et al. | Automatic radial distortion correction for endoscope image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190701 Year of fee payment: 4 |