KR101713676B1 - 환경 성질 측정 및 그래픽 디스플레이 - Google Patents

환경 성질 측정 및 그래픽 디스플레이 Download PDF

Info

Publication number
KR101713676B1
KR101713676B1 KR1020117011478A KR20117011478A KR101713676B1 KR 101713676 B1 KR101713676 B1 KR 101713676B1 KR 1020117011478 A KR1020117011478 A KR 1020117011478A KR 20117011478 A KR20117011478 A KR 20117011478A KR 101713676 B1 KR101713676 B1 KR 101713676B1
Authority
KR
South Korea
Prior art keywords
tactile
environment
tool
environmental
epidemiological
Prior art date
Application number
KR1020117011478A
Other languages
English (en)
Other versions
KR20110075025A (ko
Inventor
앨리슨 마리코 오카무라
토모노리 야마모토
발라즈 페터 바그볼가이
Original Assignee
더 존스 홉킨스 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 존스 홉킨스 유니버시티 filed Critical 더 존스 홉킨스 유니버시티
Publication of KR20110075025A publication Critical patent/KR20110075025A/ko
Application granted granted Critical
Publication of KR101713676B1 publication Critical patent/KR101713676B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37065—Map of stiffness, compliance of object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37357—Force, pressure, weight or deflection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Abstract

본 발명의 실시예에 따른 수술용 로봇은 적어도 하나의 카메라를 포함하는 이미징 시스템; 상기 이미징 시스템과 통신하는 프로세서; 상기 프로세서와 통신하는 촉감진료 시스템; 및 상기 프로세서와 통신하는 시각 디스플레이, 도구-환경 상호작용 데이터의 환경 모델에 기초하여 환경 영역의 역학적 성질 측정을 계산; 상기 적어도 하나의 카메라에서 환경 이미지에 중첩된 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성; 및 상기 시각 디스플레이에 합성된 이미지를 출력하도록 동작하는 상기 프로세서를 포함한다.

Description

환경 성질 측정 및 그래픽 디스플레이{Environment Property Estimation And Graphical Display}
본 발명은 환경 성질 측정 및 그래픽 디스플레이에 관한 것이다, 특히 그래픽 디스플레이 환경 성질 측정 기능을 갖는 수술용 로봇에 관한 것이다.
관련 출원의 상호 참조
본 출원 2008년 10월 20일에 출원되고, 미국 가출원 번호 61/106,683(참조를 포함하는 전체 내용)를 우선권으로 주장한다.
미국 정부는 본 발명의 납입(Paid-Up) 라이센스를 가지고 있으며, National Science Foundation에 의해 수여하는 IIS-0347464, EEC-9731748 및 CNS-0722943의 허가 조항들(The terms of Grant Nos.) 그리고 National Institutes of Health에 의해 수여하는 R01-EB002004 허가 조항(The terms of Grant No.)으로 제공하는 타당한 조건에 특허권자가 다른 사람에게 라이센스를 줄 필요가 있는 제한된 상황에서 그 권리를 갖는다.
본 명세서에서 언급되는 논문, 공개된 특허 출원 및 특허를 포함하는 모든 참조 문헌의 항목들은 참조로써 통합된다.
da Vinci(Intuitive Surgical INC., Sunnyvale, CA, USA)와 같은 원격조종 로봇 보조 외과 수술 시스템은 종래의 최소 절개 수술(MIS)에 다수의 장점을 제공한다. 원격조종 로봇 보조 외과 수술 시스템은 기민성을 향상시키고, 좀 더 정확한 동작을 할 수 있게 하고, 3-차원(3D) 시각화를 제공한다. 그러나, 원격조종 로봇 보조 최소 절개 수술(RMIS) 시스템의 문제점으로 촉각 피드백의 결여가 인정되었다. (F. W. Mohr, V. Falk, A. Diegeler, T. Walther, J. F. Gummert, J. Bucerius, S. Jacobs, and R. Autschbach, "Computer-enhanced 'robotic' cardiac surgery: experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5, pp. 842-853, 2001). 예를 들어, M. Mahvash, J. Gwilliam, R. Agarwal, B. Vagvolgyi, L.-M. Su, D. D. Yuh, and A. M. Okamura, "Force-feedback surgical teleoperator: Controller design and palpation experiments," in 16 th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, 2008, H. Mayer, I. Nagy, A. Knoll, E. U. Braun, R. Bauernschmitt, and R. Lange, "Haptic feedback in a telepresence system for endoscopic heart surgery," Presence : Teleoperators and Virtual Environments, vol. 16, no. 5, pp. 459-470, 2007, 및 M. Tavakoli, R. Patel, M. Moallem, and A. Aziminejad, Haptics for Teleoperated Surgical Robotic Systems ( New Frontiers in Robotics series )와 같이 많은 연구 집단이 있었지만, World Scientific Publishing Company, 2008은 촉감 피드백을 갖는 원격조종에 대한 외과 수술적 적용에서, 안정성과 투명도의 균형, 비용과 같은 힘 센서의 문제, 생체적합성, 및 멸균가능성이 사실적인 촉감 피드백을 가진 유용한 시스템의(현재 상업적으로 이용가능한 수술용 로봇에 기초하여) 개발을 어렵게 한다고 연구하였다((A. M. Okamura, L. N. Verner, C. E. Reiley, and M. Mahvash, "Haptics for robot-assisted minimally invasive surgery," in Proceedings of the International Symposium Robotics Research, Hiroshima, Japan, Nov. 26-29, 2007) 및 (A. M. Okamura, "Haptic feedback in robot-assisted minimally invasive surgery," Current Opinion in Urology, vol. 19, no. 1, pp. 102-107, 2009)). 따라서, 현재 RMIS 시스템을 사용하는 외과의사들은 원격 도구가 조직으로 얼마나 많은 힘을 인가해야 할 지를 측정하기 위해 주로 조직 변형과 같은 시각적 단서에 의존한다.
이 과정에서, 외과의사들은 해부학적 구조를 살피기 위하여 자주 손으로 생체 조직을 만져본다. 촉감진료는 힘-변위 및 광범위한 촉각 정보를 제공한다. 조직 이상과 정상 조직은 예를 들어, 경직도와 같은 역학적 성질로 구별될 수 있다(예를 들어, K. Hoyt, B. Castaneda, M. Zhang, P. Nigwekar, P. A. di Sant'agnese, J. V. Joseph, J. Strang, D. J. Rubens, and K. J. Parker. Tissue elasticity properties as biomarkers for prostate cancer. Cancer Biomark, 4(4-5):213-225, 2008. Neurophys, 73:88, 1995). 관상 동맥 우회술(coronary artery bypass grafting surgery, CABG)에 있어서, 촉감진료는 이식 위치를 탐색하는데 특히 유용하다. 부드럽고 건강한 동맥에 이식하는 것이 좋은데 석회화된 동맥과 시각적으로 구별하는 것은 어려운 일이다. 이식은 석회화된 동맥 부분에 인접하거나 직접적으로 위치하지 않도록 해야 한다. 힘 피드백 없이, 심장 조직에서 석회화된 동맥을 찾는 것은 상당히 어렵고 외과의사들은 문합(anastomosis)의 가장 좋은 위치를 결정할 수 없을 수 있다. (F. W. Mohr, V. FaIk, A. Diegeler, T. Walther, J. F. Gummert, J. Bucerius, S. Jacobs, and R. Autschbach, "Computer-enhanced 'robotic' cardiac surgery: experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5, pp. 842-853, 2001).
따라서 환경 성질 측정에 대한 수술용 로봇, 구성요소, 방법 등을 개선시킬 필요가 있다.
본 발명의 실시예에 따른 수술용 로봇은 적어도 하나의 카메라를 포함하는 이미징 시스템; 상기 이미징 시스템과 통신하는 프로세서; 상기 프로세서와 통신하는 촉감진료 시스템; 및 상기 프로세서와 통신하는 시각 디스플레이, 도구-환경 상호작용 데이터의 환경 모델에 기초하여 환경 영역의 역학적 성질 측정을 계산; 상기 적어도 하나의 카메라에서 환경 이미지에 중첩된 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성; 및 상기 시각 디스플레이에 합성된 이미지를 출력하도록 동작하는 상기 프로세서를 포함한다.
본 발명의 실시예에 따른 수술용 로봇과 함께 사용하는 데이터 처리 장치는 수술용 로봇에서 환경 이미지를 받기 및 상기 수술용 로봇에서 도구-환경 상호작용 데이터를 받도록 적용된 적어도 하나의 입력 포트; 상기 적어도 하나의 입력포트와 통신하는 중첩 구성요소; 및 상기 중첩 구성요소와 통신하는 출력 포트, 도구-환경 상호작용 데이터의 환경 모델에 기초하여 환경 영역에 대한 역학적 성질 측정을 계산하고, 상기 환경 이미지에 상기 역학적 성질 측정을 중첩한 역학적 성질 지도를 포함하는 합성된 이미지를 생성하고, 및 상기 출력 포트에 상기 합성된 이미지를 출력하도록 적용된 상기 중첩 구성요소를 포함한다.
본 발명의 실시예에 따른 유형의 기계 판독 가능한 저장 매체는 컴퓨터 플랫폼으로 실행할 때, 상기 컴퓨터 플랫폼으로 하여금 환경 영역의 촉감진료로부터 도구-환경 상호작용 데이터를 결정하는 단계; 상기 도구-환경 상호작용 데이터에 기초하여 상기 환경의 상기 영역에 대한 역학적 성질 측정을 계산하는 단계; 환경 이미지를 받는 단계; 상기 환경 이미지에 중첩된 상기 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성하는 단계; 합성된 이미지를 시각 디스플레이에 출력하는 단계를 포함하는 방법을 포함하는 동작을 수행할 수 있는 명령을 제공한다.
본 발명은 첨부된 도면을 참조하여 후술되는 상세한 설명을 통하여 더 잘 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 환경 조직 성질 측정 및 그래픽 디스플레이 수술용 로봇의 도식적으로 나타낸 도면이고,
도 2a, 2b 및 2c는 본 발명의 실시예에 따른 촉감진료 도구 부가장치를 도식적으로 나타낸 도면이고,
도 3은 본 발명의 실시예에 따른 환경 이미지에 중첩된 역학적 성질 지도를 보여주는 합성된 이미지의 다이어그램(diagram)이고,
도 4a와 4b는 본 발명의 실시예에 따른 mass-damper-spring 모델로 측정된 힘을 계산할 때, 힘 대 경과시간(상부) 및 힘 대 변위(하부)를 보여주는 부드러운 조직의 견본 그래프(4a) 및 인공적으로 석회화된 동맥의 견본 그래프(4b)이다.
도 5a 및 5b는 본 발명의 실시예에 따른 하나의 인공적으로 석회화된 동맥으로부터 힘 대 경과시간(5a) 및 힘 대 변위(5b)의 힘 그래프를 보여준다.
도 6은 주 조종장치 및 3차원 시각 디스플레이 시스템은 오른쪽에 위치하고, 환자측 조종장치 및 입체 영상 카메라는 왼쪽에 위치하는 본 발명의 실시예에 따른 da Vinci 수술 시스템의 커스텀 버전(custom version)을 도식적으로 보여주는 도면이고,
도 7a와 7b는 본 발명의 실시예에 따른 중첩 확률 밀도 함수를 더할 때 신뢰 수준 그래프(7a)와 경직도의 변화를 지시하는 색(Hue)과 신뢰수준을 지시하는 채도(7b)를 보여주고,
도 8a 내지 8d는 밑에 있는 환경에 경직도 지도가 현상된 것을 보여주는 합성된 이미지의 다이어그램이다.
도면에 도시된 본 발명의 실시예를 설명함에 있어서, 구체적인 용어는 표현의 명료성을 위하여 사용됐다. 그러나, 본 발명은 선택된 특정 용어로 제한할 의도는 아니다. 각각의 특정한 구성요소는 유사한 방식으로 유사한 목적을 수행하기 위하여 동작하는 모든 기술적 등가물을 포함하는 것을 이해해야 한다.
도 1은 본 발명의 실시예에 따른 환경 성질 측정 및 그래픽 디스플레이를 위한 수술용 로봇(100)이다. 수술용 로봇(100)은 주 제어부(Master console)(102) 및 환자측 조종장치(Patient-side manipulator)(104)를 포함한다. 주 제어부(102)는 시각 디스플레이(Visual display)(106) 및 조종장치(Manipulator)(108)를 포함한다. 환자측 조종장치(104)는 촉감진료 시스템(Manipulation system)(110)을 포함한다. 일 실시예에서, 촉감진료 시스템(110)은 촉감진료 도구(Manipulation tool)(112) 및 이미징 시스템(Imaging system)(114)을 포함한다. 상기 실시예에서, 수술용 로봇(100)은 적어도 하나의 카메라를 포함하는 이미징 시스템(114), 이미징 시스템(114)과 통신하는 프로세서(Processor)(116), 프로세서(116)와 통신하는 촉감진료 시스템(110) 및 프로세서(116)와 통신하는 시각 디스플레이(106)를 포함한다.
프로세서(116)는 도구-환경 상호작용 데이터의 환경 모델에 기초하여 환경 영역의 역학적 성질 측정을 계산하고, 적어도 하나의 카메라에서 나온 환경 이미지에 중첩된 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성하며, 합성된 이미지를 시각 디스플레이(106)에 출력한다.
일 실시예에서, 역학적 성질은 경직도이다. 경직도는 선형 또는 비선형이다. 다른 실시예에서, 역학적 성질은 선형 또는 비선형 감쇠이다. 또 다른 실시예에서, 역학적 성질은 감쇠이다. 또 다른 실시예에서, 역학적 성질은 시스템으로 감지될 수 있는 어떤 역학적 성질(예를 들어, 한정하는 것은 아니지만 경직도, 감쇠, 또는 질량 등)이다.
일 실시예에서, 사용자는 측정된 조직의 경직도에 기초하여 비정상 조직의 영역을 확인할 수 있도록 합성된 이미지를 제공하는 수술용 로봇(100)을 활용할 수 있다. 측정된 경직도는 조직의 촉감진료(Palpation)로부터 도구-환경 상호작용 데이터를 이용하여 계산된다. 사용자는 수동으로 수술용 로봇(100)을 제어하여 조직영역을 촉감진료하기 위하여 주 제어부(102)의 조종장치(108)를 조종한다. 대안적으로, 사용자는 조직 영역을 촉감진료하거나 수술용 로봇(100)을 제어하여 조직 영역을 촉감진료하는 것을 선택한다. 또 다른 실시예에서, 수술용 로봇(100)은 조직 이상 영역을 포함하는 조직을 자동적으로 촉감진료한다.
조직 영역의 촉감진료를 실행하기 위하여, 수술용 로봇(100)의 프로세서(116)는 촉감진료 시스템(110)이 촉감진료 도구(112)로 조직 영역을 촉감진료하도록 지시한다. 프로세서(116)는 촉감진료하는 동안의 촉감진료 도구(112)와 조직 간의 상호작용에 대한 도구-환경 상호작용 데이터를 수신한다.
도구-환경 상호작용 데이터는 조직 영역을 촉감진료할 때 촉감진료 도구(112)의 위치 데이터를 포함한다. 도구-환경 상호작용 데이터는, 예를 들어, 촉감진료 도구(112)의 속도, 가속도; 촉감진료 도구(112)에 의해 조직에 가하는 힘; 또는 조직으로 인한 촉감진료 도구(112)의 변위량과 같은 다른 데이터를 포함한다. 촉감진료 도구(112)가 조직에 접촉하는 동안, 촉감진료 도구(112)의 많은 특성들이 조직의 특성과 또한 일치한다. 예를 들어, 촉감진료 도구(112)가 조직에 접촉하는 동안, 촉감진료 도구(112)의 위치 변화는 조직의 위치 변화와 일치한다.
프로세서(116)는 다양한 출처로부터 도구-환경 상호작용 데이터를 수신할 수 있다. 일 실시예에서, 촉감진료 도구(112)의 위치는 촉감진료 시스템(110)의 위치 센서를 통하여, 또는 이미징 시스템(114)으로부터의 데이터 분석을 통하여 프로세서(116)에 의해 알 수 있다. 프로세서(116)는 촉감진료 도구(112)의 위치를 모니터링하고 촉감진료 도구(112)의 위치 변화에 기초하여 촉감진료 도구(112)의 속도 및 가속도를 계산한다. 대안적으로, 촉감진료 도구(112)는 프로세서(116)와 통신하는 속도 및 가속도 센서를 포함한다. 도 2a, 2b 및 2c에 관한 다른 도구-환경 상호작용 데이터의 측정은 이하에서 더 서술한다.
하나의 촉감진료를 하는 동안, 프로세서(116)는 복수의 도구-환경 상호작용 데이터 집합을 입력받는다. 도구-환경 상호작용 데이터에 기초하여, 프로세서(116)는 촉감진료된 조직 영역의 경직도 측정을 계산하고 나서 측정된 경직도를 나타낸다.
조직 영역의 경직도 측정을 계산하기 위하여, 프로세서(116)는 조직 모델을 사용하고 조직 모델의 미지의 복수 파라미터를 측정하기 위하여 도구-환경 상호작용 데이터를 조직 모델로 적용한다. 다양한 조직 모델(예를 들어, 그러나 한정하는 것은 아니지만, Kelvin- Voigt 모델, Mass-damper- spring 모델, Hunt-Crossley 모델, 2차 다항식, 3차 다항식 모델, 4차 다항식 모델, 또는 2차 다항식 및 velocity-dependent 모델)이 이용될 수 있다. 조직 모델의 미지의 복수 파라미터를 측정하기 위한 다양한 종류의 측정 기술(예를 들어, 그러나 한정하는 것은 아니지만, 회기 최소 제곱법(Recursive least squares), 조정 확인법(Adaptive identification), Kalman 필터, 또는 신호 처리) 또한 사용된다. 프로세서(116)는 조직 모델의 측정된 미지의 복수 파라미터를 통하여 경직도 측정을 얻는다.
프로세서(116)는 이미징 시스템(114)에서 얻은 경직도 측정 및 환경 이미지를 사용하여 합성된 이미지를 생성한다. 합성된 이미지는 적어도 하나의 카메라에서 얻은 환경 이미지에 중첩된 경직도 측정의 경직도 지도를 포함한다. 경직도 지도는 조직의 하나 또는 그 이상의 영역 계산된 경직도 측정의 그래픽적인 표현이고, 밑에 도 3과 관련하여 더 설명된다.
프로세서(116)는 경직도 지도의 영역과 환경 이미지에 중첩된 경지도 지도의 영역과 일치하도록 합성된 이미지를 생성한다. 합성된 이미지를 생성하는 것은 경직도 측정의 환경 이미지로의 변환에 기초하여 환경 이미지에 경직도 지도를 생성하는 것을 포함한다. 프로세서(116)는 환경 영역을 환경 영역을 보여주는 환경 이미지 영역으로 변환한 환경 이미지를 분석한다. 변환에 기초하여, 프로세서(116)는 경직도 지도를 생성하고 나서 환경 이미지에 경직도 지도를 중첩한다. 프로세서(116)는 반-투명 방식으로 중첩하여 밑에 있는 환경 이미지가 합성 이미지에서도 여전히 보이게 한다. 그리고 나서 합성된 이미지는 시각 디스플레이(106)에 출력된다. 일 실시예에 따르면, 프로세서(116)는 실시간으로 합성된 이미지를 생성한다.
시각 디스플레이(106)는 합성된 이미지를 사용자에게 보여준다. 시각 디스플레이(106)는 입체영상 디스플레이 장치이다. 시각 디스플레이(106)는 1개의 디스플레이 장치가 한 눈씩 있는 2개의 분리된 디스플레이 장치들을 통해 3차원 입체영상을 사용자에게 보여준다. 각각의 디스플레이 장치들은 환경의 시점과 대응하는 다른 합성된 이미지를 한 눈씩 보여준다. 다른 실시예에서는, 비-입체 디스플레이(118) 대신에 시각 디스플레이(106)를 사용한다.
도a, 2b 및 2c는 본 발명의 실시예에 따른 촉감진료 도구 부가장치를 도식적으로 나타낸 도면이다. 도 2a는 촉감진료 도구(112)에 대한 부가장치의 실시예를 나타낸다. 부가장치는 기구 확장 부품 및 투명한 플라스틱 디스크를 포함한다. 도 2b에서 도시된 바와 같이, 기구 확장 부품은 촉감진료 도구(112)에 부착된다. 본 발명의 실시예에서, 투명한 플라스틱 디스크는 조직을 촉감진료하기 위한 접촉 지점이긴 하지만, 디스크는 다른 대체되는 재료 및 다른 대체되는 형상으로 구성될 수 있다. 추가적으로, 분리되는 부가장치 대신에, 부가장치는 촉감진료 도구(112)로 통합될 수 있다.
도 2c에서 도시된 바와 같이, 일 실시예에서, 촉감진료 도구(112)는 도구-환경 상호작용 센서를 포함한다. 도구-환경 상호작용 센서는 힘 센서이다.힘 센서가 촉감진료 도구(112)에 의해 환경에 가해진 힘을 측정하도록 촉감진료 도구(112)가 배열된다. 또한, 프로세서(116)는 힘 센서에 의해 측정된 힘의 변화를 바탕으로 하여 촉감진료 도구(112)와 환경 사이의 접촉 및 비접촉 순간을 결정할 수 있다. 도구-환경 상호작용 데이터는 힘 센서에 의해 측정된 힘을 포함하며 프로세서(116)는 측정된 힘과 로봇 위치에 기초하여 경직도 측정을 계산한다.
다른 실시예에서, 도구-환경 상호작용 힘은 힘 센서에 의해 측정된 것 대신에, 다음의 방법(M. Mahvash, J Gwilliam, R. Agarwal, B. Vagvolgyi, L. Su, D. D. Yuh, 및 A. M. Okamura, "Force-Feedback Surgical Teleoperator: Controller Design and Palpation Experiments", 16 th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, Reno, NV, March 2008.)에 의해 로봇 제어기(Robot controller)에서 측정된 것이다. 이 방법은 명령된 로봇동작과 실제적인 로봇동작 사이의 오류는 로봇 말단 장치(End-effector)에 인가된 힘을 측정하는데 사용된다. 로봇의 동적 모델은 환경으로부터의 힘(예를 들어, 조직)과 로봇 내부의 물리적인 힘(예를 들어, 관성 과 마찰력)을 구별하는데 사용된다.
다른 실시예에서, 도구 - 환경 상호 작용 데이터를 시각적으로 이미징 시스템(114)에서 얻을 수 있다. 프로세서(116)는 촉감진료 도구(112)가 환경에 정해진 힘을 가하도록 명령한다. 프로세서(116)는 이미징 시스템(114)의 이미지에 기초하여 촉감진료 도구(112)와 환경 사이의 접촉 여부를 확인한다. 그러면 프로세서(116)는 환경 이미지의 시각적 분석에 기초하거나 촉감진료 도구(112)의 위치 데이터 변화에 기초하여 촉감진료 도구(112)에 의한 환경에서의 변위량을 결정할 수 있다. 도구-환경 상호작용 데이터는 변위량을 포함하고 프로세서(116)는 변위량에 기초하여 경직도를 측정한다. 다른 실시예에 따르면, 도구-환경 상호작용 센서 및 시각적으로 결정된 도구-환경 상호작용 데이터 모두 수술용 로봇(100)에 의해 사용된다.
도 3은 본 발명의 실시예에 따른 환경 이미지에 중첩된 경직도 지도를 보여주는 합성된 이미지의 다이어그램(diagram)이다. 프로세서(116)는 측정된 경직도에서 조직의 경직도 지도를 생성한다. 경직도 지도는 조직의 측정된 경직도를 그래픽으로 나타낸다. 본 발명의 실시예에서, 경직도 지도는 색-채도-휘도(hue-saturation-luminance, HSL) 표현이다. 색(Hue)은 경직도 값과 일치하고 채도는 가중 가우시안 함수(Weighted Gaussian function)에 의해 계산된다. 프로세서(116)는 촉감진료된 지점의 거리에 기초하여 주위 지역의 신뢰수준을 정의하며, 이것은 채도 값으로 해석된다. 일 실시예에서, 복수의 신뢰수준이 같은 지점에서 겹쳐지면, 계속 혼색된 색 지도를 만들기 위해 혼색된다. 프로세서(116)는 촉감진료된 지점의 신뢰성을 증가시키기 위하여 신뢰수준을 더한다. 일 실시예에서, 프로세서(116) 새로운 데이터가 모일 때 실시간으로 경직도 지도를 갱신한다.
일 실시예에서, 경직도 지도는 3-차원 지도(3 차원으로 내장된 표면지도)이고 프로세서(116)는 환경 이미지에 3-차원 경직도 지도를 중첩한다. 프로세서(116)는 환경의 입체 영상(Stereo view)을 수신한다. 입체 영상(Stereo view)은 이미징 시스템(114)으로부터 환경의 2개 이미지들을 포함한다. 입체 영상(Stereo view)을 이용할 때, 프로세서(116)는 입체 영상(Stereo view)에 도시된 것과 같이 환경의 윤곽을 결정한다. 그 다음 프로세서(116)는 환경 윤곽과 3 차원 경직도 지도가 일치하도록 합성된 이미지를 생성한다.
본 발명의 다른 실시예는 수술용 로봇과 함께 사용되는 데이터 처리 장치이다. 예를 들어, 데이터 처리 장치는 도 1에서 참조로 설명한 수술용 로봇의 프로세서(116)와 유사하다. 데이터 처리 장치는 수술용 로봇으로부터 환경 이미지를 받기 위하여 및 수술용 로봇으로부터 도구-환경 상호작용 데이터를 받도록 적용된 적어도 하나의 입력 포트, 적어도 하나의 입력 포트와 통신하는 중첩 구성요소(Overlay component), 및 중첩 구성요소(Overlay component)와 통신하는 출력 포트를 가지고 있다. 중첩 구성요소(Overlay component)은 도구 - 환경 상호작용 데이터의 환경 모델을 기반으로 환경 영역에 대한 역학적 성질 측정을 계산하며, 환경 이미지에 중첩된 환경 역학적 성질 측정의 역학적 성질 지도로 구성되는 합성 이미지를 생성하며, 출력 포트에 합성 이미지를 출력하도록 적용된다.
본 발명의 다른 실시예는 컴퓨터 플랫폼(Computer platform)으로 실행할 때, 컴퓨터 플랫폼(Computer platform)으로 하여금 본 발명의 실시예에 따른, 환경 영역의 촉감진료로부터 도구-환경 상호작용 데이터를 결정하는 단계, 도구-환경 상호작용 데이터에 기초하여 환경 영역의 역학적 성질 측정을 계산하는 단계, 환경 이미지를 받는 단계, 환경 이미지에 중첩된 역학적 성질 측정의 역학적 성질 지도로 구성된 합성 이미지를 생성하는 단계, 합성된 이미지를 시각 디스플레이에 출력하는 단계를 포함하는 방법을 포함하는 동작을 수행할 수 있는 명령을 제공하는 유형의 기계 판독 가능한 저장 매체이다.
실시예
외과 수술적 절차에 있어서 조직과 기관의 손으로 하는 촉감진료는 임상의사들에게 진료 및 수술 계획에 가치있는 정보를 제공한다. 종래 로봇 보조 최소 절개 수술 시스템(Robot assisted minimally invasive surgery systems)은, 촉감 피드백 감지 기술의 부족은 기관의 종양이나 심장 조직의 석회화된 동맥을 찾는 것을 어렵게 한다. 이 실시예는 조작자가 단단하거나 무른 조직을 식별할 수 있게 하는 자동화된 조직 성질 측정 방법 및 실시간 그래픽 오버레이(Graphical Overlay)를 제공한다. 먼저, 7가지 가능한 수학적 조직 모델을 비교하고 인공 조직의 성질을 실험적으로 평가한다. Hunt-Crossley 모델이 실험적으로 관찰한 인공 조직의 성질을 가장 잘 묘사하며 목적에 적합함을 교차 검증뿐만 아니라 자기 검증에서 확인하였다. 다음으로, 원격 조종 수술용 로봇을 사용하여 인공 조직이 촉감진료되는 시스템의 개발을 제시하고, 실시간으로 Hunt-Crossly의 경직도 모델이 회기 최소 제곱법으로 측정되는 것을 제시한다. 조직 경직도를 나타내는 실시간 시각 오버레이(Visual overlay)는 조직 표면에서 반-투명 디스크 위에 색-채도-휘도(Hue-Ssturation-Luminance) 표현법으로 생성된다. 색은 촉감진료 지점의 경직도를 묘사하고 지점에서의 거리에 기초하여 채도가 계산된다. 간단한 보간 기법(Interpolation technique)은 연속 경직도 색 지도를 생성한다. 실험상으로, 그래픽 오버레이(Graphical overlay)는 인공 조직에 숨어 있는 인공 석회화 동맥의 위치를 성공적으로 보여준다.
이 연구에서, (예를 들어, 심장 조직 내의 석회화된 동맥과 같은) 부드러운 재료에 숨겨진 단단한 개체의 위치를 표시하는 실시간 그래픽 오버레이(Graphical overlay) 기법을 제안한다. 회기 최소 제곱법(Recursive least squre, RLS)을 사용하여 조직의 역학적 성질을 측정하고 동시에 외과 수술의들이 보는 시각 디스플레이 장치에 색 경직도 지도를 중첩하는 접근법을 사용한다. 도 3에서 보여지는 바와 같이, 그래픽 오버레이(Graphical overlay)는 인공적으로 석회화된 동맥의 위치를 명확히 표시한다. 다른 적용법은 종양의 온라인 검색법이다. 제안된 기법은 종래 힘 피드백의 대안으로서 유용할 것이다. 특히 촉감진료를 위해 설계된 간단한 힘-센서 장치는 힘 감지 능력이 좋은 촉감진료 도구보다 개발하기 더 쉬울 수 있다.
조직 모델
인간의 생물학적 조직은 비선형적 성질을 보이고 불균질 구조를 포함하고 있다고 알려져 있다. 그러나 계산의 효율성을 위해, 많은 연구자들은 간단하고 선형적인 조직 모델을 가정하였다. 특히, 예를 들어 스프링 모델(Spring model) 또는 Kelvin- Voigt모델과 같은 고전적인 선형 조직 모델은 일반적으로 채택되어 왔다. (R. Corteso, J. Park, and O. Khatib, "Real-time adaptive control for haptic telemanipulation with kalman active observers," IEEE Transactions on Robotics, vol. 22, no. 5, pp. 987-999, 2006)(R. Corteso, W. Zarrad, P. Poignet, O. Company, and E.Dombre, "Haptic control design for robotic-assisted minimally invasive surgery," in IEEE International Conference on Intelligent Robots and Systems, pp. 454-459, 2006)(G. De Gersem, H. V. Brussel, and J. V. Sloten, "Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection," in World Haptics Conference ( WHC ) CD - ROM Proceedings, 2005)(S. Misra and A. M. Okamura, "Environment parameter estimation during bilateral telemanipulation," in 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307, 2006)(X. Wang, P. X. Liu, D. Wang, B. Chebbi, and M. Meng, "Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation," in IEEE International Conference on Robotics and Automation, pp. 1127-1132, 2005). Diolaiti 외. 는 (N. Diolaiti, C. Melchiorri, and S. Stramigioli, "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005) Hunt-Crossley 모델을 사용했다. (K. Hunt and F. Crossley, "Coefficient of restitution interpreted as damping in vibroimpact," ASME Journal of Applied Mechanics, vol. 42, no. 2, pp. 440-445, 1975). 비선형 Hunt-Crossley 모델은 Kelvin- Voigt 모델에서 관찰되었던 충격이 가해지는 동안의 에너지 손실을 참작한다. 유한한 요소의 모델링은 뛰어난 조직 모델링을 제공할 수 있지만, 그 계산의 복잡성은 실시간 적용에서 실용성이 제한된다. Misra 외. 는(S. Misra, K. T. Ramesh, and A. M. Okamura, "Modeling of tool-tissue interactions for computer-based surgical simulation: A literature review," Presence : Teleoperators and Virtual Environments, vol. 17, no. 5, pp. 463-491, 2008) 도구-조직 상호작용 방법에 관한 문언을 검토하였다.
측정 기술
온라인 환경 파라미터 측정을 위하여, 몇 가지 방법들이 존재한다. 몇 가지 방법에는 회기 최소 제곱법(RLS),(X. Wang, P. X. Liu, D. Wang, B. Chebbi, and M. Meng, "Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation," in IEEE International Conference on Robotics and Automation, pp. 1127-1132, 2005)(N. Diolaiti, C. Melchiorri, and S. Stramigioli, "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp.925-935, 2005)(M. B. Colton and J. M. Hollerbach, "Identification of nonlinear passive devices for haptic simulations," in WHC '05: Proceedings of the First Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, (Washington, DC, USA), pp. 363-368, IEEE Computer Society, 2005)(L. J. Love and W. J. Book, "Environment estimation for enhanced impedance control," in IEEE International Conference on Robotics and Automation, pp. 1854-1858, 1995), 적응 분석법(adaptive identification)(S. Misra and A. M. Okamura, "Environment parameter estimation during bilateral telemanipulation," in 14 th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307, 2006)(K. Hashtrudi-Zaad and S. E. Salcudean, "Adaptive transparent impedance reflecting teleoperation," in IEEE International Conferenceon Robotics and Automation, pp. 1369-1374, 1996)(H. Seraji and R. Colbaugh, "Force tracking in impedance control," IEEE Transactions on Robotics, vol. 16, no. 1, pp. 97-117, 1997)(S. K. Singh and D. O. Popa, "An analysis of some fundamental problems in adaptive control of force and impedance behavior: Theory and experiments," IEEE Transactions on Robotics and Automation, vol. 11, no. 6, pp.912-921, 1995), Kalman 필터(filer) 접근법(R. Corteso, J. Park, and O. Khatib, "Realtime adaptive control for haptic telemanipulation with kalman active observers," IEEE Transactions on Robotics, vol. 22, no. 5, pp. 987-999, 2006)(R. Corteso, W. Zarrad, P. Poignet, O. Company, and E. Dombre, "Haptic control design for robotic-assisted minimally invasive surgery," in IEEE International Conference on Intelligent Robots and Systems, pp. 454-459, 2006)(G. De Gersem, H. V. Brussel, and J. V. Sloten, "Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection," in World Haptics Conference ( WHC ) CD - ROM Proceedings, 2005) 및 다중측정 기법(multiestimator technique) (T. Yamamoto, M. Bernhardt, A. Peer, M. Buss, and A. M. Okamura, "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008)이 포함된다. Erickson 외. 는 4 가지 방법을 (회기 최소 제곱법(RLS), 간접 적응 제어법(Indirect adaptive control), 모델-참조 적응 제어법(model-reference adaptive control), 및 신호 처리 기법(signal processing technique)) 검토하고 비교하였다(D. Erickson, M. Weber, and I. Sharf, "Contact stiffness and damping estimation for robotic systems," The InternationalJournal of Robotics Research, vol. 22, no. 1, pp. 41-57, 2003). 그들은 로봇 조립 작업의 적용에 있어서 힘 추적과 임피던스 제어의 안정성을 향상시키기 위하여 환경 경직도 및 감폭(damping)을 측정했다. 지속적인 자극이 있을 때, 그들은 4 가지 방법 중에서 간접 적응 제어법(Indirect adaptive control)이 최상의 결과를 내는 것을 보여줬다. Yamamoto 외. 는 (T. Yamamoto, M. Bernhardt, A. Peer, M. Buss, and A. M. Okamura, "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008) 외과 수술적 적용에 있어서 Kelvin- Voigt 모델의 미지의 파라미터를 측정하기 위하여 회기 제곱법(RLS), 적응 분석법(Adaptive identification), 및 다중-측정 기법(multi-estimator technique)을 비교하였다. 그들은 온라인 조직 파라미터 측정을 위하여 회기 제곱법 또는 다중-측정 기법(multi-estimator technique)을 추천하였다.
조직 성질 측정
어떤 단단한 조직이 포함된 것은 초음파를 사용하여 발견될 수 있고, 이전에는 다 빈치 수술 시스템(da Vinci Surgical System)을 이용한 복강경 초음파 데이터(laparoscopic ultrasound data)의 직관적 시각화를 통하여 조사하였다. (J. Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. Dai, M. Awad, G. D. Hager, M. Marohn, M. Choti, C. Hasser, and R. H. Taylor, "Davinci canvas: A telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability," in Medical Image Computing and Computer - Assisted Intervention ( MICCAI ), pp. 811-818, 2005). 전형적으로 초음파 및 디스플레이 장치를 사용하여 부드러운 조직에서 변형 분포를 살피는 탄성초음파영상(Elastography)은, 종양 탐색에 효율적인 방법이다. 탄성초음파영상(Elastography)의 주된 단점은 계산시의 고비용이다. (J. Ophir, S. Alam, B. Garra, F. Kallel, E. Konofagou, T. Krouskop, C. Merritt, R. Righetti, R. Souchon, S. Srinivasan, and T. Varghese, "Elastography: Imaging the elastic properties of soft tissues with ultrasound," in Journal of Medical Ultrasonics, vol. 29, pp. 155-171, 2002). 예를 들어, 촉각 이미징(Tactile imaging) (P. S. Wellman, E. P. Dalton, D. Krag, K. A. Kern, and R. D. Howe, "Tactile imaging of breast masses first clinical report," Archives of Surgery, vol. 136, pp. 204-208, 2001), 촉각 이미징 시스템(Tactile imaging system) (A. P. Miller, W. J. Peine, J. S. Son, and Z. T. Hammoud, "Tactile imaging system for localizing lung nodules during video assisted thoracoscopic surgery," in IEEE International Conference on Robotics and Automation, pp. 2996-3001, 2007), 능동 스트로브 영상기(Active Strobe Imager) (M. Kaneko, C. Toya, and M. Okajima, "Active strobe imager for visualizing dynamic behavior of tumors," in IEEE International Conference on Robotics and Automation, pp. 3009-3014, 2007), PVDF-센싱 그리퍼(PVDF-sensing grippers) (J. Dargahi, S. Najarian, and R. Ramezanifard, "Graphical display of tactile sensing data with application in minimally invasive surgery," Canadian Journal of Electrical and Computer Engineering, vol. 32, no. 3, pp. 151 155, 2007), 촉감 센싱 장치(Tactile Sensing Instrument) (A. L. Trejos, J. Jayender, M. T. Perri, M. D. Naish, R. V. Patel, and R. A. Malthaner, "Experimental evaluation of robot- assisted tactile sensing for minimally invasive surgery," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 971-976, 2008), 및 공기-완충 힘 민감성 탐침 (Air-Cushion Force Sensitive Probe) (K. Althoefer, D. Zbyszewski, H. Liu, P. Puangmali, L. Seneviratne, B. Challacombe, P. Dasgupta, and D. Murphy, "Air-cushion force sensitive probe for soft tissue investigation during minimally invasive surgery," in IEEE Conference on Sensors, pp. 827-830, 2008)와 같은 종양의 병소부위에 차별화된 몇몇 새로운 장치들은 개발되어왔지만, 로봇 보조 최소 절개 수술(RMIS)에는 아직 테스트되지 않았다.
본 실시예는 (1)수학적으로 인공 조직 모델을 검증하고 (2) 상기 모델을 이용하고 원격 조종 로봇이 조직 경직도를 표시하는 실시간 그래픽 오버레이(Graphical overlay)를 생성하는 것을 기술하여, 조작자가 눈에 보이지 않게 부드러운 재질 내부에 단단한 포함물을 확인할 수 있도록 한다.
인공 조직의 정확한 수학적 모델을 선택하기 위하여, 실험적인 도구-환경 상호작용 데이터를 분석하고 7가지 후보 모델들을 비교하였다. 최소-제곱법을 사용한 후속 절차를 통하여, 자기 검증과 교차 검증의 힘 측정 오류에 기초하여 모델의 정확도를 평가했다. Hunt-Crossley 모델은 부드러운 재질에서 단단한 물질을 식별하는 그 정확성과 경직도 항 때문에 선택되었다. 장기적으로 모델은 불균질하고 복잡한 실제 조직을 목표로 하기 때문에, 양 검증은 수학적으로 근접한 조직 동적 행동(Tissue dynamic behavior)에 유용하다.
또한, 측정된 조직 성질에 기초하여 경직도 분포를 표시하는 온라인 그래픽 오버레이(Graphical overlay) 기법을 개발하였다. 색-채도-휘도(hue-saturation- luminance, HSL)표현법을 이용하여 환경 이미지 위에 반-투명 색의 경직도 지도를 중첩한다. 색은 경직도 값과 일치하고 채도는 가중 가우시안 함수로 계산된다. 촉감진료된 지점으로부터의 거리에 기초하여, 주변 영역의 신뢰수준을 정의하고 이것은 채도 값으로 해석된다. 같은 지점에서 복수의 신뢰수준이 중첩되면, 색은 혼색되어 연속 색 지도를 만든다. 또한, 촉감진료된 지점의 신뢰성을 높이기 위하여 신뢰수준은 합산된다. 새로운 데이터가 추가될 때 이 절차는 실시간으로 반복된다. 그 결과, 조직이나 수술도구의 외과의사의 관점을 왜곡 없이, 단단한 부분이 포함된 위치를 표시하는 반-투명 색 경직도 지도를 얻을 수 있다.
조직 모델 선택
실제 또는 인공 조직의 완벽한 수학적 모델을 찾는 것은 거의 불가능 하지만, 하나의 근접한 조직 동적 행동(Tissue dynamic behavior)은 찾을 수 있다. 7 가지 가능한 모델들을 고려될 수 있지만, 다른 모델들이 사용될 수 있다. 도구-환경 상호작용 데이터로부터, 힘 측정 오류에 기초하여 모든 상기 모델들을 비교하고 정확성을 평가한다.
A.인공조직
인공 조직 심장 모델은 Ecoflex 0030(part A와 B), 실리콘 희석제, Silc 안료(Smooth-on Inc., Easton, PA, USA)를 24:24:12:1로 혼합하여 만들어 진다. 석회화된 동맥을 시뮬레이션 위하여, 커피 젓기 빨대를 인공 조직 안에 내장한다. 외과의사는 실제적인 인공 조직 샘플들을 선택하기 위해 잠재적인 모델들을 테스트한다. 인공 조직 심장 모델은 개략적으로 각각 60mm의 지름과 18.5mm의 두께를 갖는다. 커피 젓는 빨대는 지름 4mm이고, 표면으로부터 5mm 깊이에 내장된다.
B.모델 후보군
표 1의 7 가지 모델 목록을 비교한다.
Figure 112011037625616-pct00001
는 도구 환경 사이의 측정된 상호작용 힘이고,
Figure 112011037625616-pct00002
는 도구의 위치,
Figure 112011037625616-pct00003
는 도구의 속도,
Figure 112011037625616-pct00004
는 도구의 가속도이다. 나머지 항,
Figure 112011037625616-pct00005
,
Figure 112011037625616-pct00006
,
Figure 112011037625616-pct00007
,
Figure 112011037625616-pct00008
,
Figure 112011037625616-pct00009
,
Figure 112011037625616-pct00010
,
Figure 112011037625616-pct00011
, 및 β는 측정될 미지의 파라미터들이다.
표 1
7개 환경 모델들과 힘 측정 오자의 평균과 표준편차의 비교
Figure 112011037625616-pct00012

C.도구-환경 상호작용 데이터
도구-환경 상호작용 데이터를 얻기 위하여 예비 촉감진료 실험을 수행했다. 도 2a에서, 플라스틱 디스크를 갖는 기구 확장 장치(Instrument extension)는 기구의 끝에 부착된다. 인공적인 석회화 동맥의 지름은 4mm이고, 디스크의 지름은 10mm이다. 디스크의 크기와 편평함 때문에, 힘이 가해질 때 도구가 동맥에서 미끄러지지 않는다. 다음에 설명하는 바와 같이, 기구는 da Vinci 수술 시스템의 환자측 조종장치에 장착된다. 도 2b에서 도시된 바와 같이, 인공 심장 조직은 Nano 17변환기(ATI Industrial Automation, Apex, NC, USA)에 장착된 플라스틱 베이스(plastic base)에 위치한다.
부드러운 조직과 석회화된 동맥에 대한 5회의 실험이 각각 있었다. 실험을 하는 동안 기구의 위아래로 움직임은 제한되었고, 이 예비 실험에서 시스템은 1도의 자유도(Degree of freedom)를 가지게 되었다. 넓은 데이터의 범위를 얻기 위해 실험할 때 마다 탐지위치가 달라진다. 환자측 조종장치는 주 조종장치와 위치-위치 제어기(Position-position controller)에 기반한 사용자가 받는 촉감 피드백에 의하여 원격 조종된다(M. Mahvash and A. M. Okamura, "Enhancing transparency of a position-exchange teleoperator," in Second Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems ( World Haptics ) , pp. 47CM75, 2007). 도구의 위치, 속도, 가속도 및 인공 조직에 적용된 힘은 기록된다.
D.모델 검증
각 실험마다 사후 데이터 처리를 했으며, 미지의 파라미터들과 상호작용 힘은 각 모델마다 측정되었다. 모델의 정확성을 입증하기 위하여, 일괄 사후 처리(Batch post-processing)가 채택 되었다. 1, 2, 4 내지 7 모델 등은 미지의 파라미터들에서 선형이고, 선형 최소-제곱법이 사용되었다.
Figure 112011037625616-pct00013
(1)
Figure 112011037625616-pct00014
(2)
Figure 112011037625616-pct00015
(1)식에서,
Figure 112011037625616-pct00016
는 알고 있는 파라미터를 포함하는 회귀 벡터이다.
Figure 112011037625616-pct00017
는 미지의 파라미터 벡터이고, (2)식에서, 첨자 k(1≤k≤n)와 샘플링 시간 T와 함께 t=kT로 표시한다.
3 모델은 지수
Figure 112011037625616-pct00018
때문에 미지의 파라미터들이 비선형이다. 가우스-뉴턴법으로 비선형 최소 제곱법을 사용했다.
Figure 112011037625616-pct00019
(3)
여기서
Figure 112011037625616-pct00020
및
Figure 112011037625616-pct00021
.
K번 반복할 때, 측정된 파라미터는 다음과 같다.
Figure 112011037625616-pct00022
(4)
Figure 112011037625616-pct00023
(5)
Figure 112011037625616-pct00024
로 정의된다.
비선형 최소 제곱법은 닫힌 해가 존재하지 않으며 미지의 파라미터에 대하여 초기 값을 필요로 한다. 시행착오에 의해
Figure 112011037625616-pct00025
가 영 벡터(Zero vector)일 때 때때로 관찰되는 극소점들을 피하기 위하여
Figure 112011037625616-pct00026
로 설정한다. 이 명세서 전체에 사용되는 힘과 위치의 단위는 각각 뉴턴(Newton) 및 센티미터(centimeter)이다. 반복 지수 K는 0에서부터 출발하여 인크리먼트 파라미터 벡터(Increment parameter vector)쾌의 놈(norm)이 0.001보다 작을 때까지 증가한다.
1)자기-검증: 힘 측정 오차는 다음과 같이 정의된다.
Figure 112011037625616-pct00027
(6)
각 모델마다 힘 측정 오차의 평균 및 표준편차의 요약은 표 1에 있다. 부드러운 조직과 석회화된 동맥에 대한 5 개 집합의 촉감진료 데이터가 있기 때문에, 평균과 표준편차는 평균적이다. 힘 측정 오차의 평균 및 표준편자가 낮게 나타날수록, 더 정확한 모델을 얻을 수 있다. 3, 5, 6, 및 7 모델은 부드러운 조직과 석회화된 동맥의 역학 관계(dynamics)를 잘 특징화한 반면, 1, 2, 및 4 모델들은 그러하지 못했다. 도 4는 도구와 환경의 상호작용 데이터의 견본 그래프(sample plot)이다.
도 4a와 4b는 본 발명의 실시예에 따른 mass-damper-spring 모델로 측정된 힘을 계산할 때, 힘 대 경과시간(상부) 및 힘 대 변위(하부)를 보여주는 부드러운 조직의 견본 그래프(4a) 및 인공적으로 석회화된 동맥의 견본 그래프(4b)이다.
2)교차-검증: 자기-검증에서 각 모델마다 한 번의 실험에서 한 세트의 측정된 파라미터들을 획득했다. 교차-검증에서, 그 파라미터들은 다른 실험의 측정된 힘을 계산하는데 사용된다. 예를 들어, 실험 1에서 측정된 파라미터 벡터는 실험 1내지 5에서 힘 계산에 사용된다. 이 과정을 매 실험마다 한다. 그러므로, 각 모델 마다
Figure 112011037625616-pct00028
=25의 힘 측정 오차가 계산된다. 표 1에서, 각 모델 마다의 힘 측정 오차의 평균과 표준편차가 요약되어 있다. 도 5는 1모델과 3모델 하나의 석회화된 동맥의 실험 데이터에 기초하여 측정 및 재현된 힘의 비교를 보여준다.
도 5a 및 5b는 본 발명의 실시예에 따른 하나의 인공적으로 석회화된 동맥으로부터 힘 대 경과시간(5a) 및 힘 대 변위(5b)의 힘 그래프를 보여준다.
3)양 검증의 분석: 자기-검증에서, 다항 함수의 차수가 높은 모델일수록, 모델의 오차가 낮게 나왔다. 1,2 및 6 모델은 다른 모델에 비해 하위에 있다. 6 모델은 자기-검증에서는 좋게 나왔지만 교차-검증에서는 그렇지 않았다. 양 검증에서, 3 또는 7 모델이 석회화된 동맥이 있는 인공 심장 조직 모델에 적합하였다. 그러나, 목적에 비춰 볼 때, 3 모델이 좀 더 나은 선택이다. 부드러운 주변 물질로부터 단단한 포함물을 구별하기 위하여, 물리적으로 의미 있는 차이를 확인하고 싶었다. 표 2는 3 및 7 모델의 측정된 파라미터들의 요약이다. 3 모델의
Figure 112011037625616-pct00029
는 인공 조직과 석회화된 인공 동맥 사이에 일관성 있는 차이점을 표여주는 반면, 7 모델의 어떠한 파라미터들이라도 일관성 있는 차이점을 보여주지 못했다. 그러므로, 3 모델 즉 Hunt-Crossley을 선택한다.
표 2
모델 3과 7의 측정된 파라미터들의 비교
Figure 112011037625616-pct00030

시스템 디자인
A.원격조종 시스템
도 6은 주 조종장치 및 3차원 시각 디스플레이 시스템은 오른쪽에 위치하고, 환자측 조종장치 및 입체 영상 카메라는 왼쪽에 위치하는 da Vinci 수술 시스템의 커스텀 버전(custom version)을 도식적으로 보여주는 도면이다.
도 6에서 도시하는, da Vinci 수술 시스템의 커스텀 버전은 주 조종장치, 3차원 시각 시스템 및 환자측 조종장치의 3가지 구성요소를 포함한다. Intuitive Surgical, Inc.,에서 하드웨어를 제공하고 양방향 원격 조종을 달성하기 위한 커스텀 제어 시스템(Custom control system)은 존스 홉킨스(Johns Hopkins)대학에서 개발하였다. 원격 조종 시스템과 제어 아키텍쳐(control architecture)에 대한 자세한 설명은(M. Mahvash, J. Gwilliam, R. Agarwal, B. Vagvolgyi, L.-M. Su, D. D. Yuh, and A. M. Okamura, "Force-feedback surgical
teleoperator: Controller design and palpation experiments," in 16 th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, 2008)에 요약되어 있다. 사용자는 실험하는 동안의 위치-위치 제어기(position-position controller)에 기초한 힘 피드백을 받기 때문에, 도구-환경 상호작용 데이터를 측정할 필요가 있다.
B. 측정 기법 및 초기설정
모델에서 미지의 파라미터들을 실시간으로 측정하기 위하여 회기 최소 제곱법(RLS)을 채택하였다. 회기 최소 제곱법(RLS)의 빠른 파라미터 수렴성과 정확성 때문에, 심지어 한 번의 촉감진료도 미지의 파라미터가 수렴하기에 충분할 수 있다(T. Yamamoto, M. Bernhardt, A. Peer, M. Buss, and A. M. Okamura, "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008). Hunt- Crossley 모델은 비선형적이기 때문에, 2 가지 선형 회기 최소 제곱법(RLS) 추정량들(Estimators)이 사용되기 위하여 미지의 파라미터들은 분리된다(N. Diolaiti, C. Melchiorri, and S. Stramigioli, "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005):
Figure 112011037625616-pct00031
은
Figure 112011037625616-pct00032
,
Figure 112011037625616-pct00033
, 및
Figure 112011037625616-pct00034
을 측정하고,
Figure 112011037625616-pct00035
는 지수
Figure 112011037625616-pct00036
를 측정한다. 양 추정량들(Estimators)은 피드팩을 경유하여 상호연결되어 있다. (N. Diolaiti, C. Melchiorri, and S. Stramigioli, "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005)에 제시된 원래의 방법에서 오프셋(Offset) 위치
Figure 112011037625616-pct00037
을 추가한다. 각 시간 단계에서, 파라미터 벡터는 다음과 같이 갱신된다.
Figure 112011037625616-pct00038

예를 들어, θ0 = [0, 5, 0.3, 1.5]와 같이, 초기 추측은 모델 검증과 같다. 초기 공분산 행렬(initial covariance matrix) Po는 단위 행렬(identity matrix)에 100을 곱한 것과 같다. 모델이 정확하다는 것을 증명하였기 때문에, 망각 인자(forgetting factor)는 필요하지 않는다. 그러므로, β = 1을 선택한다. 각 영역에 대한 촉감진료에 대한 측정을 시작하고 마치기 위해, 촉감진료 도구와 인공 조직 사이에 접촉을 감지하는 힘 문턱값(threshold)을 설정한다. 힘 센서에서 잡음 수준(Noise level)을 고려할 때, 만약 세로 축을 따라 이전과 현재 힘의 곱이 0.002
Figure 112011037625616-pct00039
보다 큰 경우, 도구는 환경과 접촉하는 것으로 여겨진다. 접촉을 감지할 때, 측정은 자동적으로 시작하고 다음 부분에서 설명하는 것처럼 모니터에 경직도를 중첩한다. 시각 오버레이(Visual overlay)에 있는 도구의 진동 영향를 피하기 위해, 촉감진료 지점의 위치는 접촉 지점에서 고정된다. 도구가 조직에서 멀어지면 고정상태가 해제된다. 회기 최소 제곱법(RLS)의 파라미터들은 매 해제시 마다 모두 초기화 된다.
C.입체 영상 카메라 시스템
입체 영상 카메라와 환자측 조종장치 사이의 좌표는 맞춤 제작한 캘리브레이션 장치를 이용하여(Custom-made calibration device) AX=BX 캘리브레이션(Calibration)으로 조정한다. 이 캘리브레이션(Calibration)의 결과는 직교 조종장치 도구 끝 좌표와 직교 카메라 프레임 사이의 변형 프레임이다(카메라 프레임은 두 카메라들 사이 중간에 중심이다). 다른 캘리브레이션(Calibration) 단계에서, 플랫폼(Platform)으로 정의되는 강체(Rigid body) 와 입체 영상 비디오로부터 흐릿하게 재생된 3차원 지점 사이의 강직 정합 기법(Rigid registration)을 사용하여 카메라 프레임과 오버레이 (환경) 플랫폼(Overlay platform) 사이의 변환을 조정한다.
실험이 진행되는 동안, 정확하게 오버레이 이미지(Overlay Image)를 위치시키기 위해 우선, 로봇 좌표에서 카메라 좌표까지 도구-끝 위치를 변환한 다음 카메라 좌표에서 플랫폼(Platform) 좌표까지 도구-끝 위치를 변환한다. 플랫폼(Platform)의 텍스쳐(Texture)는 x-z평면과 평행하기 때문에, 변환된 도구-끝 위치를 텍스쳐 표면(Texure surface) 위에 쉽게 투영할 수 있다.
D. 시각 오버레이 방법
색-채도-휘도(HSL) 표현법을 사용하는 색 지도는 촉감진료된 지점의 경직도를 표시하기 위하여 입체 영상 카메라 이미지에 중첩된다. 인공 조직이 촉감진료되는 동안 데이터가 실시간으로 분석되기 때문에, 측정된 경직도와 촉감진료된 지점의 데이터는 동시에 컴퓨터 비전(Vision computer)로 이동하고 30Hz의 속도로 반투명 색 그래픽 오버레이(Graphical overlay)에 표시된다. 50%의 투명도에서, 카메라 이미지는 중첩된 이미지 후방을 명확하게 보여준다. 따라서, 색 경직도 지도는 사용자가 인공 조직의 표면 형태나 도구를 선명하게 볼 수 있게 한다.
색은 경직도와 일치하고, 색의 범위는 초록색을 시작하여 노란색을 지나 빨간색까지이다. 예비 촉감진료 실험에 기초하여, 경직도
Figure 112011037625616-pct00040
의 범위는 6에서 10까지로 정의된다. 채도 값은 가우시안 함수에 기초하여 계산된다. 가우시안 분포의 가중 확률 분포 함수를 사용하여, 신뢰수준(Confidence level)은
Figure 112011037625616-pct00041
로 정의되고 범위는 0에서 1까지 이다.
Figure 112011037625616-pct00042
항은 촉감진료된 지점의 중심과 주변 영역 사이 거리의 제곱 값이고,
Figure 112011037625616-pct00043
와
Figure 112011037625616-pct00044
는 이러한 벡터의 구성요소이다. 표준편차
Figure 112011037625616-pct00045
는 중첩 원의 크기가 디스크에 일치하도록 선택된다.
도 7a와 7b는 중첩된 확률 밀도 함수를 더할 때 신뢰 수준 그래프(7a)와 경직도가 변할 때 지시하는 색과 신뢰수준을 지시하는 채도(7b)를 보여준다.
도 7a에서는, 2 가지 이상의 확률 밀도 함수가 중첩될 때, 간단한 합산 보간 기법(Simple summation interpolation technique)이 사용된다. 만약 1 보다 많이 합산되면, 1로 차단된다. 색에서 오버레이(Overlay)를 보여주기 위한 모든 픽셀의 휘도(Luminance)는 0.5이다. 도 7b는 시스템에서 색-채도-휘도(HSL) 막대를 보여준다.
실험 결과
도 8a 내지 8d는 밑에 있는 환경에 경직도 지도가 현상된 것을 보여주는 합성된 이미지의 다이어그램이다. 도 8은 실험 동안 얻어진 4개의 사진을 보여준다. 도구와 인공 조직 사이가 접촉이 감지되자 마자, 반-투명 색의 원이 외과수술의의 제어부의 입체 영상 모니터에 표시된다. 한 영역에서 각각의 촉감진료는 대략 0.5초 동안 지속된다. 도 8a는 첫 촉감진료 결과를 보여준다. 도 8b에서, 임의의 촉감진료에 의해 표시된 원이 몇 개의 원이 존재한다. 현재 촉감진료 영역이 전에 다른 촉감진료 영역과 가까워질 때, 보간 기법을 사용하여 색을 혼합하고 신뢰수준을 합산한다. 도 8c는 중간 결과 중의 하나를 보여준다. 이 시점에서, 수직으로 중심을 통과하는 하나의 붉은 영역을 볼 수 있다. 도 8d에서, 인공 조직의 전체 표면이 촉감진료될 때 붉은 영역이 확연히 구별되는 것을 보여준다. 중첩 원의 크기 때문에, 인공 석회화 동맥의 실제적인 넓이는 4mm인 반면에 붉은 영역의 지름은 대략 8mm로 붉은 영역의 지름은 인공 석회화 동맥의 지름보다 두 배 큰 지름을 가진다. 그러나, 예를 들어 한번 개략적인 위치를 확인하면, 인공 석회화 동맥의 좀더 정확한 크기와 위치를 탐지하기 위하여 중첩 원의 크기 또는 가우시안 함수의 표준편차는 감소할 것이다.
이 실시예는 온라인 조직 성질 측정을 위한 수술용 로봇과 수술의의 모니터에 중첩된 색 경직도 지도를 사용하여 부드러운 재질 속에 숨겨진 딱딱한 물체를 확인하는데 사용된다. 인공 조직을 위한 7가지 잠재적인 수학 모델 중에서, Hunt- Crossley 모델을 선택하였다. Hunt- Crossley 모델은 자기-검증과 교차-검증 모두에서 가장 낮은 힘 측정 오차를 제공하며 인공 조직과 인공 석회화 동맥 사이에서 일관성 있는 차이를 나타냈다. 회기 최소 제곱법(Recursive least squares)은 Hunt- Crossley 모델의 미지의 파라미터를 측정하는데 사용된다. 측정된 경직도는 색-채도-휘도 지도를 사용한 그래픽 오버레이(Graphical overlay)를 생성하기 위하여 컴퓨터 비전(Vision computer)로 전송된다. 그래픽 오버레이(Graphical overlay)의 색은 경직도로부터 결정된다. 채도에 대하여는, 촉감진료된 지점으로부터의 거리에 기초하여 가중 가우시안 함수로 신뢰 수준이 정의된다. 연속 혼합 색 지도를 생성하기 위하여, 간단한 보간 기법이 사용된다. 인공 심장 조직의 표면을 탐지할 때, 인공 석회화 동맥의 위치를 보여주는 색 지도를 성공적으로 얻을 수 있다.
상업적 로봇의 어떤 장치도 추가 없이 이 방법을 구현하기 위하여 예를 들어, (P. Hacksel and S. Salcudean, "Estimation of environment forces and rigid-body velocities using observers," in IEEE International Conference on Robotics and Automation, pp. 931-936, 1994)와 같이 힘 센서 대신에 존재하는 힘 측정 기법으로 대체할 수 있다. 대안적으로, 차별화된 힘 센싱 촉감진료 도구가 사용될 수 있다. 수술용 기구의 시각 장치는 이미지에서 기구 분류 및 조직 성질을 반-투명 디스플레이 장치에 그것을 배치하여 향상시킬 수 있다. 임상적 적용에 따라, 경직도 지도는 컴퓨터 비전(Computer Vision), 사전-수술 이미지, 또는 2 가지 결합을 이용하여 어떠한 조직의 표면 윤곽이라도 따라갈 수 있다. 이러한 시스템은 생물학적 조직에서 테스트되어야 한다. 끝으로, 획득한 조직 성질은 진료 및 수술 계획의 자동화, 실제 환자 맞춤형 수술용 시뮬레이터의 생성을 위한 정보 추출 및 양방향 원격조종 장치의 투명성을 개선하기 위하여 사용될 수 있다.
본 발명은 서술한 실시예의 방법으로써 발명의 구체적인 실시예로 제한되지 않으며 특허청구범위에 의하여 정의된다. 본 발명이 속하는 기술분야의 당업자는 본 발명에서 다루어진 범위 및 일반 개념에서 멀어지지 않고서 다양한 수정 및 대안적인 실시예를 인지할 수 있다.

Claims (28)

  1. 적어도 하나의 카메라를 포함하는 이미징 시스템;
    상기 이미징 시스템과 통신하는 프로세서;
    상기 프로세서와 통신하는 촉감진료 시스템; 및
    상기 프로세서와 통신하는 시각 디스플레이를 포함하고,
    상기 프로세서는 촉감진료 도구를 구비하여 환경 영역에서 조직의 촉감진료로부터 도구-환경 상호작용 데이터의 환경 모델에 기초하여 상기 환경 영역에 대한 역학적 성질 측정을 계산하고; 상기 적어도 하나의 카메라에서 환경 이미지에 중첩된 상기 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성하며; 및 상기 시각 디스플레이에 합성된 이미지를 출력하도록 동작하는 수술용 로봇.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 환경 이미지로의 상기 역학적 성질 측정의 해석에 기초하여 상기 역학적 성질 지도를 생성하도록 동작하는 수술용 로봇.
  3. 제 1 항에 있어서,
    상기 환경 이미지에 중첩된 상기 역학적 성질 지도의 영역은 상기 환경 이미지에서 상기 역학적 성질 지도의 상기 영역에 의해 중첩되어 보여지는 상기 환경의 상기 영역과 일치하는 수술용 로봇.
  4. 제 3 항에 있어서,
    상기 역학적 성질 지도는 색-채도-휘도의 색 역학적 성질 지도를 포함하며, 상기 색은 상기 역학적 성질 지도의 영역의 역학적 성질 값과 일치하고 상기 채도는 상기 역학적 성질 지도의 상기 영역의 신뢰수준과 일치하는 수술용 로봇.
  5. 제 1 항에 있어서,
    상기 역학적 성질 지도는 혼색된 역학적 성질 지도를 포함하는 수술용 로봇.
  6. 제 1 항에 있어서,
    상기 촉감진료 시스템은 도구-환경 상호작용 센서를 더 포함하는 수술용 로봇.
  7. 제 6 항에 있어서,
    상기 도구-환경 상호작용 센서는 힘 센서를 포함하며, 상기 도구-환경 상호작용 데이터는 상기 촉감진료 시스템에 의해 상기환경으로 인가되는 힘의 양을 포함하는 수술용 로봇.
  8. 제 1 항에 있어서,
    상기 도구-환경 상호작용 데이터는 상기 촉감진료 시스템으로 인한 상기 환경에서 변위량을 포함하는 수술용 로봇.
  9. 제 1 항에 있어서,
    상기 프로세서는 실시간으로 상기 합성된 이미지를 생성하도록 더 동작하는 수술용 로봇.
  10. 제 1 항에 있어서,
    상기 환경 모델은 상기 환경에 관한 힘과 운동 변수의 역학적 성질을 이용한 선형 또는 비선형 방정식을 포함하는 수술용 로봇.
  11. 제 1 항에 있어서,
    상기 프로세서는 상기 환경 모델과 상기 도구-환경 상호작용 데이터에 기초하여 상기 역학적 성질을 측정하는데 적용하는데 알고리즘을 인가하도록 더 동작하는 수술용 로봇.
  12. 제 1 항에 있어서,
    상기 역학적 성질 지도는 3-차원 공간에 내장된 표면 역학적 성질 지도를 포함하는 수술용 로봇.
  13. 제 1 항에 있어서,
    상기 환경은 적어도 하나의 조직 또는 기관을 포함하는 수술용 로봇.
  14. 제 1 항에 있어서,
    상기 역학적 성질은 경직도를 포함하는 수술용 로봇.
  15. 수술용 로봇에서 환경 이미지를 수신하고 상기 수술용 로봇에서 도구-환경 상호작용 데이터를 수신하도록 적용된 적어도 하나의 입력 포트;
    상기 적어도 하나의 입력포트와 통신하는 중첩 구성요소; 및
    상기 중첩 구성요소와 통신하는 출력 포트를 포함하고,
    상기 중첩 구성요소는 촉감진료 도구를 구비하여 환경 영역에서 조직의 촉감진료로부터 도구-환경 상호작용 데이터의 환경 모델에 기초하여 상기 환경 영역에 대한 역학적 성질 측정을 계산하고, 상기 환경 이미지에 중첩된 상기 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성하며, 상기 출력 포트에 상기 합성된 이미지를 출력하도록 적용된 상기 수술용 로봇과 함께 사용하는 데이터 처리 장치.
  16. 제 15 항에 있어서,
    상기 중첩 구성요소는 상기 환경 이미지에 대한 상기 역학적 성질 측정의 해석에 기초하여 상기 역학적 성질 지도를 생성하도록 동작하는 데이터 처리 장치.
  17. 제 15 항에 있어서,
    상기 환경 이미지에 중첩된 상기 역학적 성질 지도의 영역은 상기 환경 이미지에서 상기 역학적 성질 지도의 상기 영역에 의해 중첩되어 보여지는 상기 환경의 상기 영역과 일치하는 데이터 처리 장치.
  18. 제 17 항에 있어서,
    상기 역학적 성질 지도는 색-채도-휘도 색 역학적 성질 지도를 포함하며, 상기 색은 상기 역학적 성질 지도의 영역에 대한 역학적 성질 값과 일치하고 상기 채도는 상기 역학적 성질 지도의 상기 영역에 대한 신뢰 수준과 일치하는 데이터 처리 장치.
  19. 제 15 항에 있어서,
    상기 역학적 성질 지도는 혼색된 역학적 성질 지도를 포함하는 데이터 처리 장치.
  20. 제 15 항에 있어서,
    상기 도구-환경 상호작용 데이터는 촉감진료 시스템에 의해 상기 환경으로 인가되는 힘의 양을 포함하는 데이터 처리 장치.
  21. 제 15 항에 있어서,
    상기 도구-환경 상호작용 데이터는 촉감진료 시스템으로 인한 상기 환경에서 변위량을 포함하는 데이터 처리 장치.
  22. 제 15 항에 있어서,
    상기 중첩 구성요소는 실시간으로 상기 합성된 이미지를 생성하도록 더 적용되는 데이터 처리 장치.
  23. 제 15 항에 있어서,
    상기 환경 모델은 상기 환경에 관한 힘과 운동 변수의 상기 역학적 성질을 이용한 선형 또는 비선형 방정식을 포함하는 데이터 처리 장치.
  24. 제 15 항에 있어서,
    상기 중첩 구성요소는 상기 환경 모델과 상기 도구-환경 상호작용 데이터를 사용하여 상기 역학적 성질을 측정하는 알고리즘을 인가하도록 더 적용되는 데이터 처리 장치.
  25. 제 15 항에 있어서,
    상기 역학적 성질 지도는 3-차원 역학적 성질 지도를 포함하는 데이터 처리 장치.
  26. 제 15 항에 있어서,
    상기 환경은 적어도 하나의 조직 또는 기관을 포함하는 데이터 처리 장치.
  27. 제 15 항에 있어서,
    상기 역학적 성질은 경직도를 포함하는 데이터 처리 장치.
  28. 컴퓨터 플랫폼에 의해 실행될 때, 상기 컴퓨터 플랫폼으로 하여금
    환경 영역의 촉감진료로부터 도구-환경 상호작용 데이터를 결정하는 단계;
    촉감진료 도구를 구비하여 상기 환경 영역에서 조직의 촉감진료로부터 상기 도구-환경 상호작용 데이터에 기초하여 상기 환경 영역에 대한 역학적 성질 측정을 계산하는 단계;
    환경 이미지를 수신하는 단계;
    상기 환경 이미지에 중첩된 상기 역학적 성질 측정의 역학적 성질 지도를 포함하는 합성된 이미지를 생성하는 단계;
    상기 합성된 이미지를 시각 디스플레이에 출력하는 단계를 포함하는 방법을 포함하는 동작을 수행할 수 있는 명령을 제공하는 유형의 기계 판독 가능한 저장 매체.
KR1020117011478A 2008-10-20 2009-10-20 환경 성질 측정 및 그래픽 디스플레이 KR101713676B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10668308P 2008-10-20 2008-10-20
US61/106,683 2008-10-20
PCT/US2009/061297 WO2010048160A2 (en) 2008-10-20 2009-10-20 Environment property estimation and graphical display

Publications (2)

Publication Number Publication Date
KR20110075025A KR20110075025A (ko) 2011-07-05
KR101713676B1 true KR101713676B1 (ko) 2017-03-08

Family

ID=42119935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117011478A KR101713676B1 (ko) 2008-10-20 2009-10-20 환경 성질 측정 및 그래픽 디스플레이

Country Status (6)

Country Link
US (2) US8700123B2 (ko)
EP (1) EP2355711B1 (ko)
JP (1) JP5762962B2 (ko)
KR (1) KR101713676B1 (ko)
CN (1) CN102238916B (ko)
WO (1) WO2010048160A2 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2720830C1 (ru) * 2020-03-19 2020-05-13 Ассистирующие Хирургические Технологии (Аст), Лтд Ассистирующий хирургический комплекс
WO2021038495A1 (en) * 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US11051681B2 (en) 2010-06-24 2021-07-06 Auris Health, Inc. Methods and devices for controlling a shapeable medical device
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
US11241203B2 (en) 2013-03-13 2022-02-08 Auris Health, Inc. Reducing measurement sensor error
US11278357B2 (en) 2017-06-23 2022-03-22 Auris Health, Inc. Robotic systems for determining an angular degree of freedom of a medical device in luminal networks
US11712173B2 (en) 2018-03-28 2023-08-01 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
US11759090B2 (en) 2018-05-31 2023-09-19 Auris Health, Inc. Image-based airway analysis and mapping
US11969157B2 (en) 2023-04-28 2024-04-30 Auris Health, Inc. Systems and methods for tracking robotically controlled medical instruments

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259870B2 (en) 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
CN101193603B (zh) 2005-06-06 2010-11-03 直观外科手术公司 腹腔镜的超声机器人外科手术系统
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US8332072B1 (en) 2008-08-22 2012-12-11 Titan Medical Inc. Robotic hand controller
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
KR101662323B1 (ko) * 2010-05-28 2016-10-04 가천의과학대학교 산학협력단 의료 영상 장치용 3축 움직임 추적 장치 및 이를 이용한 의료 영상 보정 방법
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
KR101800189B1 (ko) 2012-04-30 2017-11-23 삼성전자주식회사 수술 로봇의 힘 제어 장치 및 방법
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US20140323904A1 (en) * 2013-04-30 2014-10-30 Elwha Llc Stabilized device for remote palpation of tissue
KR101483428B1 (ko) * 2013-09-30 2015-01-19 건국대학교 산학협력단 레이저 빔을 이용하여 촉감을 제공할 수 있는 수술용 로봇 장치
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2015107099A1 (en) 2014-01-15 2015-07-23 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
EP3104803B1 (en) 2014-02-11 2021-09-15 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
WO2015162256A1 (en) 2014-04-24 2015-10-29 KB Medical SA Surgical instrument holder for use with a robotic surgical system
EP3169252A1 (en) 2014-07-14 2017-05-24 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US9622831B2 (en) * 2015-05-20 2017-04-18 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10376335B2 (en) * 2015-05-20 2019-08-13 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
EP3344179B1 (en) 2015-08-31 2021-06-30 KB Medical SA Robotic surgical systems
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105662478B (zh) * 2015-12-23 2019-01-25 电子科技大学 一种用于机器人辅助微创手术的触诊器械及使用方法
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
US10531929B2 (en) * 2016-08-16 2020-01-14 Ethicon Llc Control of robotic arm motion based on sensed load on cutting tool
US10390895B2 (en) 2016-08-16 2019-08-27 Ethicon Llc Control of advancement rate and application force based on measured forces
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
DE102017005581B4 (de) * 2017-06-13 2019-02-21 Kuka Deutschland Gmbh Steuern eines Roboters
US10675094B2 (en) 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11382666B2 (en) 2017-11-09 2022-07-12 Globus Medical Inc. Methods providing bend plans for surgical rods and related controllers and computer program products
EP3492032B1 (en) 2017-11-09 2023-01-04 Globus Medical, Inc. Surgical robotic systems for bending surgical rods
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
WO2019120481A1 (en) * 2017-12-19 2019-06-27 Abb Schweiz Ag System and method for determining a transformation representation
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
CN110007601B (zh) * 2019-05-06 2022-03-25 广东工业大学 一种双边遥操作系统的控制装置和设备
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN111745643A (zh) * 2020-05-28 2020-10-09 西华大学 主机器人和从机器人遥操作系统位置控制方法
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
DE202021102512U1 (de) 2021-05-07 2022-05-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Robotisches Telemanipulationssystem mit adaptierbarem Autonomiegrad, Verwendung eines robotischen Telemanipulationssystems, autonomes medizinisches Robotersystem
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11911115B2 (en) 2021-12-20 2024-02-27 Globus Medical Inc. Flat panel registration fixture and method of using same
CN115005998B (zh) * 2022-08-08 2022-10-04 科弛医疗科技(北京)有限公司 一种手术机器人系统及其机械臂防干涉调整方法
CN116572249B (zh) * 2023-06-07 2024-01-02 哈尔滨理工大学 一种基于三模态切换机制的柔性机械臂遥操作控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134373A (ja) * 2006-11-28 2008-06-12 Mitsubishi Precision Co Ltd 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144877A (en) 1976-08-12 1979-03-20 Yeda Research And Development Co. Ltd. Instrument for viscoelastic measurement
US4250894A (en) 1978-11-14 1981-02-17 Yeda Research & Development Co., Ltd. Instrument for viscoelastic measurement
IL69471A (en) 1983-08-12 1987-07-31 Benjamin Gavish Method and device for non-invasively monitoring the instantaneous fluctuations in the viscoelastic properties of a soft tissue
US4802487A (en) 1987-03-26 1989-02-07 Washington Research Foundation Endoscopically deliverable ultrasound imaging system
YU47190B (sh) 1988-02-19 1995-01-31 Institut Za Opštu I Fizičku Hemiju Uredjaj za neinvazivno akustičko ispitivanje elastičnosti mekih bioloških materijala
US5293870A (en) 1989-11-17 1994-03-15 Board Of Regents The University Of Texas System Method and apparatus for elastographic measurement and imaging
US5107837A (en) 1989-11-17 1992-04-28 Board Of Regents, University Of Texas Method and apparatus for measurement and imaging of tissue compressibility or compliance
US5099848A (en) 1990-11-02 1992-03-31 University Of Rochester Method and apparatus for breast imaging and tumor detection using modal vibration analysis
EP0515091B1 (en) 1991-05-21 1997-01-02 Jack Fisher System and method for the measurement of mechanical properties of elastic materials
US5860934A (en) 1992-12-21 1999-01-19 Artann Corporation Method and device for mechanical imaging of breast
US5524636A (en) 1992-12-21 1996-06-11 Artann Corporation Dba Artann Laboratories Method and apparatus for elasticity imaging
US5678565A (en) 1992-12-21 1997-10-21 Artann Corporation Ultrasonic elasticity imaging method and device
JP3539645B2 (ja) * 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US5814038A (en) 1995-06-07 1998-09-29 Sri International Surgical manipulator for a telerobotic system
US5833634A (en) 1995-11-09 1998-11-10 Uromed Corporation Tissue examination
US5916160A (en) 1996-04-09 1999-06-29 Arcan; Mircea Real-time imaging contact gauge and visual feedback interactive apparatus including same
US5839441A (en) 1996-06-03 1998-11-24 The Trustees Of The University Of Pennsylvania Marking tumors and solid objects in the body with ultrasound
US5851180A (en) 1996-07-12 1998-12-22 United States Surgical Corporation Traction-inducing compression assembly for enhanced tissue imaging
US5989199A (en) 1996-11-27 1999-11-23 Assurance Medical, Inc. Tissue examination
EP0908137A1 (en) * 1997-10-06 1999-04-14 Technologiestichting STW A method and apparatus for making an image of a lumen or other body cavity and its surrounding tissue
US6063031A (en) 1997-10-14 2000-05-16 Assurance Medical, Inc. Diagnosis and treatment of tissue with instruments
US6192143B1 (en) 1997-10-24 2001-02-20 Ultratouch Corporation Apparatus for detecting very small breast anomalies
US6351549B1 (en) 1997-10-24 2002-02-26 Ultratouch Corporation Detection head for an apparatus for detecting very small breast anomalies
US6270459B1 (en) 1998-05-26 2001-08-07 The Board Of Regents Of The University Of Texas System Method for estimating and imaging of transverse displacements, transverse strains and strain ratios
EP1105044A1 (en) * 1998-07-21 2001-06-13 Acoustic Sciences Associates Synthetic structural imaging and volume estimation of biological tissue organs
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US6352507B1 (en) 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
WO2001049227A1 (en) 2000-01-03 2001-07-12 Johns Hopkins University Surgical devices and methods of use thereof for enhanced tactile perception
US6511427B1 (en) 2000-03-10 2003-01-28 Acuson Corporation System and method for assessing body-tissue properties using a medical ultrasound transducer probe with a body-tissue parameter measurement mechanism
US6468231B2 (en) 2000-03-31 2002-10-22 Artann Laboratories Self-palpation device for examination of breast
US6371912B1 (en) 2000-04-05 2002-04-16 Duke University Method and apparatus for the identification and characterization of regions of altered stiffness
US6514204B2 (en) 2000-07-20 2003-02-04 Riverside Research Institute Methods for estimating tissue strain
US6508768B1 (en) 2000-11-22 2003-01-21 University Of Kansas Medical Center Ultrasonic elasticity imaging
US6569108B2 (en) 2001-03-28 2003-05-27 Profile, Llc Real time mechanical imaging of the prostate
US6758815B2 (en) * 2001-10-17 2004-07-06 Richard Bruce Bernardi Apparatus and method for indicating mechanical stiffness properties of body tissue
JP2003252242A (ja) * 2002-02-26 2003-09-10 Denso Corp 車両のフロントエンド構造
US7166075B2 (en) 2002-03-08 2007-01-23 Wisconsin Alumni Research Foundation Elastographic imaging of in vivo soft tissue
JP3932482B2 (ja) 2002-10-18 2007-06-20 株式会社日立メディコ 超音波診断装置
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8213041B2 (en) * 2006-09-25 2012-07-03 Kyocera Mita Corporation Image forming apparatus provided with an image filing function for saving files in an organized manner

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134373A (ja) * 2006-11-28 2008-06-12 Mitsubishi Precision Co Ltd 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051681B2 (en) 2010-06-24 2021-07-06 Auris Health, Inc. Methods and devices for controlling a shapeable medical device
US11857156B2 (en) 2010-06-24 2024-01-02 Auris Health, Inc. Methods and devices for controlling a shapeable medical device
US11241203B2 (en) 2013-03-13 2022-02-08 Auris Health, Inc. Reducing measurement sensor error
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US11278357B2 (en) 2017-06-23 2022-03-22 Auris Health, Inc. Robotic systems for determining an angular degree of freedom of a medical device in luminal networks
US11759266B2 (en) 2017-06-23 2023-09-19 Auris Health, Inc. Robotic systems for determining a roll of a medical device in luminal networks
US11712173B2 (en) 2018-03-28 2023-08-01 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
US11950898B2 (en) 2018-03-28 2024-04-09 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
US11759090B2 (en) 2018-05-31 2023-09-19 Auris Health, Inc. Image-based airway analysis and mapping
US11147633B2 (en) 2019-08-30 2021-10-19 Auris Health, Inc. Instrument image reliability systems and methods
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
WO2021038495A1 (en) * 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
US11944422B2 (en) 2019-08-30 2024-04-02 Auris Health, Inc. Image reliability determination for instrument localization
RU2720830C1 (ru) * 2020-03-19 2020-05-13 Ассистирующие Хирургические Технологии (Аст), Лтд Ассистирующий хирургический комплекс
US11969157B2 (en) 2023-04-28 2024-04-30 Auris Health, Inc. Systems and methods for tracking robotically controlled medical instruments

Also Published As

Publication number Publication date
US20140222025A1 (en) 2014-08-07
US8700123B2 (en) 2014-04-15
WO2010048160A2 (en) 2010-04-29
EP2355711A2 (en) 2011-08-17
CN102238916A (zh) 2011-11-09
US9867668B2 (en) 2018-01-16
CN102238916B (zh) 2013-12-04
EP2355711A4 (en) 2012-04-25
EP2355711B1 (en) 2019-09-11
JP2012506260A (ja) 2012-03-15
US20110201885A1 (en) 2011-08-18
WO2010048160A3 (en) 2010-08-05
JP5762962B2 (ja) 2015-08-12
KR20110075025A (ko) 2011-07-05

Similar Documents

Publication Publication Date Title
KR101713676B1 (ko) 환경 성질 측정 및 그래픽 디스플레이
Yamamoto et al. Tissue property estimation and graphical display for teleoperated robot-assisted surgery
Talasaz et al. Integration of force reflection with tactile sensing for minimally invasive robotics-assisted tumor localization
US8594841B2 (en) Visual force feedback in a minimally invasive surgical procedure
Mahvash et al. Force-feedback surgical teleoperator: Controller design and palpation experiments
JP2019524284A (ja) ロボットシステムの動作の実行
Goldman et al. Algorithms for autonomous exploration and estimation in compliant environments
Chua et al. Toward force estimation in robot-assisted surgery using deep learning with vision and robot state
AU2013265396A1 (en) System and method for estimating the spatial position of a tool within an object
Mayer et al. Haptic feedback in a telepresence system for endoscopic heart surgery
US20220387118A1 (en) Method and system for autonomous therapy
Talasaz et al. Haptics-enabled teleoperation for robot-assisted tumor localization
Li et al. Performance of surgical robots with automatically generated spatial virtual fixtures
Wu et al. An image based targeting method to guide a tentacle-like curvilinear concentric tube robot
Talasaz et al. Remote palpation to localize tumors in robot-assisted minimally invasive approach
Jackson et al. Needle-tissue interaction force state estimation for robotic surgical suturing
Nagy et al. Surgical subtask automation—Soft tissue retraction
Ebrahimi et al. Stochastic force-based insertion depth and tip position estimations of flexible FBG-equipped instruments in robotic retinal surgery
Yamamoto Applying tissue models in teleoperated robot-assisted surgery
Trejos et al. Design of a sensorized instrument for skills assessment and training in minimally invasive surgery
Takács et al. The other end of human–robot interaction: Models for safe and efficient tool–tissue interactions
Yasin et al. Evaluation of hybrid control and palpation assistance for situational awareness in telemanipulated task execution
Wang et al. Image-based trajectory tracking control of 4-DOF laparoscopic instruments using a rotation distinguishing marker
Trejos et al. Force/position-based modular system for minimally invasive surgery
Doria et al. Enhancing the localization of uterine leiomyomas through cutaneous softness rendering for robot-assisted surgical palpation applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 4