KR20150004726A - 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법 - Google Patents

최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20150004726A
KR20150004726A KR20137014439A KR20137014439A KR20150004726A KR 20150004726 A KR20150004726 A KR 20150004726A KR 20137014439 A KR20137014439 A KR 20137014439A KR 20137014439 A KR20137014439 A KR 20137014439A KR 20150004726 A KR20150004726 A KR 20150004726A
Authority
KR
South Korea
Prior art keywords
data
surgical
minimally invasive
training
surgery
Prior art date
Application number
KR20137014439A
Other languages
English (en)
Other versions
KR101975808B1 (ko
Inventor
라제쉬 쿠마
그레고리 디. 헤이거
아모드 에스. 조그
다비드 디. 유
Original Assignee
더 존스 홉킨스 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 존스 홉킨스 유니버시티 filed Critical 더 존스 홉킨스 유니버시티
Publication of KR20150004726A publication Critical patent/KR20150004726A/ko
Application granted granted Critical
Publication of KR101975808B1 publication Critical patent/KR101975808B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00707Dummies, phantoms; Devices simulating patient or parts of patient

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Manipulator (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕는 시스템은 최소 침습 수술 시스템, 최소 침습 수술 시스템과 사용자의 적어도 하나의 상호 작용 또는 최소 침습 수술 시스템으로 수행되는 과제를 기록하도록 배열된 비디오 시스템, 및 최소 침습 수술 시스템 및 비디오 시스템과 통신하는 데이터 저장 및 처리 시스템을 포함한다. 최소 침습 수술 시스템은 비디오 시스템으로부터 시간 등록 비디오 신호와 관련하여 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 제공한다. 데이터 저장 및 처리 시스템은 평가를 위한 전문가가 이용 가능하게 만들어진 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리한다.

Description

최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법{SYSTEM AND METHOD FOR THE EVALUATION OF OR IMPROVEMENT OF MINIMALLY INVASIVE SURGERY SKILLS}
관련 출원의 상호 참조
참조에 의해 그 전체 내용이 본 출원에 통합되는 2010년 11월 4일 출원된 미국 특허 가출원 제61/410,150호에 대해 우선권을 주장한다.
본 발명은 NIH에 의해 수여된 Grant No.1 R21 EB009143-01 A1 및 National Science Foundation에 의해 수여된 Grant Nos. 0941362, 및 0931805 하에서 정부 지원하에 만들어졌다. 미국 연방 정부는 본 발명에서 일정 권리를 가진다.
본 발명은 최소 침습 수술을 수행하는 기량의 평가 또는 그 개선 중 적어도 하나를 위한 시스템, 방법 및 소프트웨어에 관한 것이다.
최근에 최소 침습 수술 처치를 포함하는 많은 수술 처치에서 상당한 진전이 있었다. 그러나, 이러한 진전과 함께, 더욱 복잡한 수술 기구 및 도구와 조합된 수술 장비는 도구와 설비의 동작에서 뿐만 아니라 수술 과제를 수행하는 기량을 요구한다. 이전에, 기술적인 수술 기량의 구조, 수술 과제와는 별개로 그 습득 및 기술, 또는 경험이 있는 의사들 중에서 존재하는 특정 레벨의 변동성에 관하여 거의 알려지지 않았다. 그렇지만, 기술적인 수술 기량이 많은 수술 처치의 결과에서 결정적인 요소라는 것은 잘 허용된다. 확실히, 의원성 원인으로 인한 사망은 연간 44,000 내지 98,000건으로 추정된다(Kohn L, ed, Corrigan J, ed, Donaldson M, ed.; To Err Is Human: Building a Safer Health System; National Academy Press; 1999). 별개의 연구(Zhan C, Miller M. Excess length of stay, charges, and mortality attributable to medical injuries during hospitalization; JAMA; Vol. 290(14): 1868-1874, 2003)는 32,000 이상의 주로 수술 관련 사망을 보고하였다. 이러한 것의 일정 부분은 기술적 에러로 인한 것이다. 어떤 추가의 영향 기술적 기량이 수술 결과 및 병적 상태를 가지는지 확실하지 않다. 동시에, 레지던트의 작업하는 시간과, 건강 관리 비용을 감소시키는 새로운 압력은 수술 기량의 교시에서 증가된 효율을 요구한다(Fletcher, K, Underwood W. Davis, S, Mangrulkar, R, M㎝ahon, L, Saint, S; Effects of work hour reduction on residents'lives - a systematic review; JAMA; Vol.294(9), pp.1088-1100, 2005).
지금 폭넓게 사용하고 있는 복잡한 최소 침습 수술 시스템은 지금 필요한 기량을 개발하도록 외과의사를 위한 상당한 트레이닝을 요구한다. 그러나, 현재의 트레이닝 시스템은 단지 보다 나은 스코어를 달성하도록 동일한 과제를 여러번 수행하도록 수련의에게 권할 뿐이다. 그러므로, 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 위한 개선된 시스템 및 방법을 여전히 필요로 한다.
본 발명의 일부 실시예에 따른 최소 침습 수술을 수행하는 기량의 평가 또는 개선의 적어도 하나를 돕는 시스템은 최소 침습 수술 시스템, 최소 침습 수술 시스템과 사용자의 적어도 하나의 상호 작용 또는 최소 침습 수술 시스템으로 수행되는 과제를 기록하도록 배열된 비디오 시스템, 및 최소 침습 수술 시스템 및 비디오 시스템과 통신하는 데이터 저장 및 처리 시스템을 포함한다. 최소 침습 수술 시스템은 비디오 시스템으로부터 시간 등록 비디오 신호(time registered video signals)와 관련하여 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 제공한다. 데이터 저장 및 처리 시스템은 평가를 위한 전문가가 이용 가능하게 만들어진 시간 등록 비디오 신호와 관련하여 평가 척도(performance metric)를 제공하도록 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리한다.
본 발명의 일부 실시예에 따른 최소 침습 수술 기량을 평가하고 그 개선을 돕기 위한 방법은, 사용하는 동안 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터의 적어도 하나를 유형의 매체에 기록하는 단계; 시간 등록 비디오 신호를 제공하도록 상기의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터의 적어도 하나의 기록과 관련하여 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 비디오를 유형의 매체에 기록하는 단계; 및 평가를 위한 전문가가 이용 가능하게 만들어진 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 데이터 처리 시스템에서 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는 단계를 포함한다.
본 발명의 일부 실시예에 따른 유형의 기계 판독 가능한 저장 매체(tangible machine-readable storage medium)는, 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 수신하는 단계; 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나와 관련하여 최소 침습 수술 시스템의 적어도 구성 요소의 비일시적(non-transient) 시간 등록 비디오 신호를 수신하는 단계; 및 평가를 위한 전문가가 이용 가능하게 만들어진 비일시적, 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 데이터 처리 시스템에서 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는 단계를 포함하는 동작을, 데이터 처리 시스템에 의해 실행될 때 데이터 처리 시스템이 수행하도록 하는 저장된 명령을 포함한다.
추가의 목적 및 이점은 상세한 설명, 도면 및 예들의 고려로부터 명백하게 될 것이다.
도 1은 본 발명의 실시예에 따른 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕는 시스템을 도시한 개략도.
도 2는 본 발명의 실시예에 따른 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕는 시스템의 개략도.
도 3은 본 발명의 실시예에 따른 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕는 시스템을 포함하도록 적응될 수 있는 로봇 수술 시스템의 개략도.
도 4는 본 발명의 실시예에 따른 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕도록 시스템과 함께 사용될 수 있는 트레이닝 보드(training board)를 도시한 도면.
도 5는 외과 전문의를 위한 포-드로우 봉합 과제(four-throw suturing task)의 수행 동안 확인된 수술 서브 과제(sub-task)에 의한 다빈치 왼손잡이 조종기의 데카르트 좌표 위치(Cartesian position) 도표를 도시한 도면.
도 6은 초보자 수술을 위한 포-드로우 봉합 과제의 수행 동안 확인된 수술 서브 과제에 의한 다빈치 왼손잡이 조종기의 데카르트 좌표 위치 도표를 도시한 도면.
도 7은 본 발명의 실시예에 따른 기본적인 과제를 인식하도록 사용된 시스템의 기능 블록도.
도 8은 수동 분할(manual segmentations)과 로봇 보조 수술 운동의 자동 분할의 비교를 도시한 도면이다. 가장 많은 에러가 변이부(transition)에서 발생하는 것을 유념하여야 한다.
도 9a 및 도 9b는 과제 시험의 은닉 파로코프 모델(Hidden Markov Model) 분할로부터 유래된 2개의 특징들이 어떻게 "중급자" 및 "전문가" 사용자 사이를 구별하도록 사용될 수 있는지르 도시한 도표. 도 9a는 전문가가 예상하는 바와 같이 서브 과제(A)가 신뢰할 수 있는 평가를 위해 너무 적은 데이터 지점을 가지는 것 외에는 중급 사용자보다 이상적인 모델에 더욱 근접하여 일치하는 방식으로 과제를 수행하는 것을 도시한 도면이다. 도 9b는 상이한 서브 과제에서 소비된 시간의 양이 전문가와 중급자 사이의 상당히 다른 것을 도시한다. 바늘을 위치시키는 것과 같은 특정 서브 과제(B)에 의해, 전문가는 중급 사용자보다 상당이 적게 소비한다. 그러나, 봉합사를 당기는 것과 같은(D) 다른 것에서, 전문가는 보다 신중하고 보다 일정한 방식(시간)으로 이를 수행한다.
도 10은 본 발명의 실시예에 따라서, 다빈치 시스템(좌측) 및 로봇 수술 트레이닝의 제 1 모듈을 위한 무생물 트레이닝 포드(우측)를 가진 기록 시스템 구성을 도시한 도면.
도 11은 본 발명의 실시예에 따라서, 전문가에 의해 사용되는 마스터 및 카메라 작업 영역(좌측, 상부 및 저부), 및 초보자의 마스터 및 카메라 작업 영역(우측, 상부, 및 저부)을 도시한 도면.
도 12a 내지 도 12h는 시간, 마스터 핸들(master handle) 거리, 및 마스터 핸들 볼륨, 및 개별적인 과제를 위한 및 4개의 과제 위에서 OSATS 구조 평가 측정에 기초한 학습 곡선을 도시한 도면. OSATS 스코어 스케일은 반전되었으며, 전문가 과제 척도(task metric)는 챠트의 저부 하부 모서리에 보이는 것을 유념하여야 한다.
도 13은 본 발명의 실시예에 따른, 봉합 기구 데카르트 좌표 속도의 투시를 PCA를 사용한 3차원으로 도시한 도면. 청색 관측은 전문가 시험이며, 녹색은 외과 수련의 시험이고, 갈색은 비임상 사용자의 시험이다.
본 발명의 일부 실시예는 다음에 상세하게 기술된다. 기술된 실시예에서, 특정 용어는 명료성을 위하여 책택된다. 그러나, 본 발명은 이렇게 선택된 특정 용어에 한정되도록 의도되지 않는다. 당업자는 다른 등가의 구성 요소가 채택되고 본 발명의 넓은 개념으로부터 벗어남이 없이 다른 방법이 개발된다는 것을 인식할 것이다. 배경기술, 상세한 설명 부분을 포함하는 본 명세서에서 인용된 모든 도면 부호는 각각이 개별적으로 통합된 것처럼 참조에 의해 통합된다.
도 1은 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕는 시스템(100)의 개략도이다. 시스템(100)은 최소 침습 수술 시스템(102), 최소 침습 수술 시스템과 사용자의 상호 작용 또는 최소 침습 수술 시스템으로 수행된 과제 중 적어도 하나를 기록하도록 배열된 비디오 시스템(104), 및 최소 침습 수술 시스템(102)과 비디오 시스템(104)과 통신하는 데이터 저장 및 처리 시스템(106)을 포함한다. 도 1의 예에서, 최소 침습 수술 시스템(102)은 로봇 수술 시시테이며, 비디오 시스템(104)은 로봇 시스템에 통합될 수 있다. 그러나, 다른 예에서, 비디오 시스템(104)은 또한 하나 이상의 카메라와 함께 별개로 배열될 수 있다. 비디오 시스템(104)은 본 발명의 실시예에서 하나 이상의 스테레오 카메라를 또한 포함할 수 있다. 도 1에서, 로봇 시스템(102)의 단지 의사의 콘솔만이 도시된다. 로봇 시스템(102)은 예를 들어 도 2 및 도 3에 도시된 바와 같이 추가의 구성 요소들을 포함할 수 있다. 도 3은 또한 마스터 핸들의 부분 도면을 포함하는 의사의, 또는 마스터, 콘솔의 도면을 도시한다.
비록 본 명세서에 많은 특정 예들이 가능한 최소 침습 수술 시스템으로서 로봇 시스템을 지칭하게 되지만, 본 발명의 보편화된 개념은 이 특정 예로 한정되지 않는다. 예를 들어, 로봇 시스템을 채택하지 않는 다른 복강경 시스템이 본 발명의 보편화된 개념에 포함되도록 의도된다. 최소 침습 수술 시스템은 예를 들어 내시경, 카테터, 투관침, 및/또는 다야한 관련 도구를 포함할 수 있다.
최소 침습 수술 시스템(102)은 비디오 시스템으로부터 시간 등록 비디오 신호와 관련하여 최소 침습 수술 시스템(100)의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 제공한다. 용어 "운동 데이터"는 시간에서 하나의 순간으로부터 시간에서 다른 순간으로 병진 운동(translational motion) 및/또는 회전 운동을 결정할 수 있는 임의의 데이터를 광의로 포함하도록 의도된다. 예를 들어, 선형 가속도계 및 자이로스코프와 같은 그러나 이에 한정되지 않는 센서들은 대상 물체의 위치 및 지향 정보를 제공할 수 있다. 부가하여, 시간에서 한 순간에서의 물체의 위치 및 지향과 시간에서 다른 순간에서의 상기 물체의 위치 및 지향은 또한 운동 데이터를 제공할 수 있다. 그러나, 용어 "운동 데이터"는 단지 이 예로 한정되지 않는다. 예를 들어, 로봇 최소 침습 수술 시스템의 경우에, 도구 아암 등의 운동은 로봇 시스템에 있는 센서들이 이러한 운동을 직접 측정하고 보고하기 때문에 공지된다.
데이터 저장 및 처리 시스템(106)은 평가를 위한 전문가가 이용 가능하게 만들어진 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리한다. 용어 "전문가"는 관련 외과 기술에서 사전 결정된 최소 레벨의 지식 및 기량을 가진 사람 및/또는 외과에 정통한 및/또는 확립된 표준에 의한 외과전공으로 사람을 수술하는 자격이 있는 사람에 의해 능숙함이 고려되도록 상기 사람으로부터 이러한 정보를 이용하는 전문 시스템(예를 들어, 컴퓨터화된 시스템)을 지칭하도록 의도된다. 본 명세서에서 사용되는 전문 시스템은 하나뿐 아니라 많은 전문가로부터 정보를 또한 포함할 수 있다.
데이터 저장 및 처리 시스템은 랩탑 컴퓨터, 퍼스널 컴퓨터 및/또는 워크 스테이션과 같은 조합된 시스템일 수 있다. 데이터 처리 시스템은 또한 별개의 데이터 및 저장 구성 요소 및/또는 다수의 구성 요소의 조합을 가질 수 있다. 데이터 처리 시스템은 예를 들어 데이터 저장 어레이 및/또는 멀티프로세서 데이터 프로세서를 또한 포함할 수 있다. 데이터 저장 및 처리 시스템은 국지적으로 또는 근거리 통신만 또는 인터넷과 같은 네트워크를 통하여 분포된 시스템일 수 있다. 부가하여, 시스템(100)의 구성 요소들은 전기 또는 광 연결, 무선 연결일 수 있으며, 예를 들어 근거리 통신망 뿐만 아니라 지역 네트워크 및/또는 인터넷을 포함할 수 있다. 최소 침습 수술 시스템(102)은 예를 들어 하나 이상의 수술 도구를 포함할 수 있다.
일부 실시예에서, 최소 침습 수술 시스템(102)은 마스터 핸들을 포함하는 원격 작동 로봇 수술 시스템(tele-operated robotic surgery system)일 수 있으며, 운동 데이터는 마스터 핸들의 운동 데이터를 포함할 수 있다. 일부 실시예에서, 최소 침습 수술 시스템(102)은 마스터 핸들을 수용하는 콘솔을 가지는 원격 작동 로봇 수술 시스템일 수 있으며, 운동 데이터는 인체 공학, 작업 영역 및 콘솔의 시각화 양태 중 적어도 하나의 구성을 포함할 수 있다.
시스템(100)은 평가를 위한 전문가가 이용 가능하게 만들어진 시간 등록 비디오 신호와 관련하여 평가 척도를 디스플레이하도록 데이터 저장 및 처리 시스템(106)과 통신하는 디스플레이 시스템(108)을 추가로 포함할 수 있다. 디스플레이 시스템은 예를 들어 CRT, LCD, LED 및/또는 플라즈마 디스플레이와 같은 그러나 이에 한정되지 않는 임의의 적절한 디스플레이 디바이스를 포함할 수 있다. 디스플레이는 데이터 저장 및 처리 시스템(106)에 국지적으로 연결될 수 있거나, 또는 예를들어 네트워크 또는 무선 연결을 통해 멀리 있을 수 있다. 디스플레이 시스템(108)은 동시에 또는 사용자의 기간(session)보다 추후에 데이터 저장 및 처리 시스템(106)으로부터의 정보를 또한 디스플레이할 수 있다. 시스템(100)은 사용자에게 시간 등록 비디오와 관련하여 전문가 평가를 디스플레이하도록 데이터 저장 및 처리 시스템(106)과 통신하는 제 2 디스플레이 시스템(도시되지 않음)을 추가로 포함할 수 있다. 제 2 디스플레이 시스템은 예를 들어 CRT, LCD, LED 및/또는 플라즈마 디스플레이와 같은 그러나 이에 한정되지 않는 임의의 적절한 디스플레이 디바이스를 포함할 수 있다. 제 2 디스플레이 시스템은 현지에 또는 멀리 있을 수 있으며 실시간으로 또는 추후 시간에 또한 디스플레이할 수 있다. 시스템(100)은 하나 또는 2개의 디스플레이 시스템으로 한정되지 않으며, 특정 적용을 위해 필요함에 따라서 더욱 다수의 디스플레이 시스템을 가질 수 있다.
시스템(100)은 평가 척도 및 시간 등록 비디오와 통신하는 전문가로부터 전문가 평가를 수신하도록 데이터 저장 및 처리 시스템(106)과 통신하는 입력 디바이스를 추가로 포함할 수 있다. 입력 디바이스는 키보드, 마우스, 터치 스크린, 또는 다른 적절한 데이터 입력 주변 디바이스일 수 있다. 시스템(100)은 또한 다수의 데이터 입력 디바이스를 포함할 수 있다. 입력 디바이스는 데이터 저장 및 처리 시스템(106)과 국지적으로 연결되거나 또는 인터넷과 같은 그러나 이에 한정되지 않는 네트워크를 통해 이와 연결될 수 있다.
본 발명의 실시예에서, 데이터 저장 및 처리 시스템(106)은 과제 성과를 분석하고 과제 비디오(task video)와 함께 자동화된 평가과 전문가 평가를 제공하도록 추가로 구성될 수 있다. 자동화된 평가는 본 발명의 일부 실시예에 따라서 구성 가능한 과제 척도에 기초한 과제 수행의 학습 곡선을 포함할 수 있다. 본 발명의 일부 실시예에 따라서, 데이터 저장 및 처리 시스템(106)은 바이어스의 도입(introduction of bias) 또는 수련의와 같은, 사용자에 의한 자동화된 평가의 수치적 양태에 대한 초점화를 방지하도록 검토에서 은폐된 자동화된 평가의 특정 양태를 허용하도록 추가로 구성될 수 있다. 자동화된 평가는 본 발명의 일부 실시예에 따라서 다음의 트레이닝 기간(training session)과 같은 후속을 위한 과제 특정 피드백을 포함할 수 있다. 자동화된 평가는 본 발명의 일부 실시예에 따라서 조언자와 수련의 모두를 위한 특정 객관적인 피드백을 포함할 수 있으며, 조언자를 위한 피드백은 수련의에 대한 피드백과 다르다. 객관적인 피드백은 본 발명의 일부 실시예에 따라서 수련의가 부족함이 있는 것으로 확인되는 과제 단계를 포함할 수 있다. 조언자에 대한 객관적인 피드백은 수련의의 진전의 요약, 학습 곡선, 대중 확산 경향(population wide trends), 다른 수련의에 대한 수련의의 비교, 트레이닝 시스템 제한, 저장품(supplies) 및 자재 상태, 및 시스템 유지 문제를 포함할 수 있다. 자동화된 평가는 본 발명의 일부 실시예에 따라서 트레이닝 과제 복잡도를 변화시키도록 사용될 수 있다. 자동화된 평가는 본 발명의 일부 실시예에 따라서 트레이닝의 빈도를 변화시키도록 사용될 수 있다. 자동화된 평가는 본 발명의 일부 실시예에 따라서 다음 트레이닝 기간을 위한 트레이닝 과제를 선택하도록 사용될 수 있다.
본 발명의 일부 실시예에 따라서, 처리 시스템은 능숙 및 결여의 확인을 포함하는 기량 분류(skill classification)의 통계학적 분석을 위한 방법을 수행하도록 구성될 수 있다. 기량 분류는 예를 들어 2진수일 수 있다. 예를 들어, 능숙(1), 또는 더욱 많은 트레이닝 필요(2)를 지시하지만 이에 한정되지 않는다. 다른 실시예에서, 기량 분류는 멀티클래스(multi-class)와 서수(ordinal) 중 적어도 하나일 수 있다. 예를 들어, (1) 초보자, (2) 중급자, (3) 숙련자, (4) 전문가와 같지만 이에 한정되지 않는다. 본 발명의 일부 실시예에 따라서, 기량 분류는 과제 통계 또는 기량의 척도 중 적어도 하나에 기초할 수 있다. 본 발명의 일부 실시예에 따라서, 기량 분류는 다중 분류 방법(multiple classification methods)에 기초할 수 있다.
본 발명의 일부 실시예에 따라서, 인간-기계 상호 작용, 인체 공학, 및 수술 과제 기량 분류는 개별적으로 수행될 수 있다. 본 발명의 일부 실시예에 따라서, 인간-기계 상호 작용, 인체 공학, 및 수술 과제 기량 분류의 별개의 척도는 컴퓨터 계산될(computed) 수 있다. 본 발명의 일부 실시예에 따라서, 별개의 트레이닝 과제와 난이도는 인간-기계 상호 작용, 인체 공학 및 수술 과제 기량을 위해 사용될 수 있다.
본 발명의 또 다른 실시예는 최소 침습 수술 기량을 평가하고 그 개선을 돕기 위한 방법에 관한 것이다. 상기 방법은 사용하는 동안 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터의 적어도 하나를 유형의 매체에 기록하는 단계를 포함한다. 상기 방법은 또한 시간 등록 비디오 신호를 제공하도록 상기의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터의 적어도 하나의 기록과 관련하여 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 비디오를 유형의 매체에 기록하는 단계를 추가로 포함한다. 상기 방법은 평가를 위한 전문가가 이용 가능하게 만들어진 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 데이터 처리 시스템에서 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는 단계를 추가로 포함한다. 데이터 처리는 예를 들어 상기된 데이터 저장 및 처리 시스템(106)일 수 있거나 또는 그 일부를 포함할 수 있다.
본 발명의 또 다른 실시예는, 데이터 처리 시스템에 의해 실행될 때 데이터 처리 시스템이 동작을 수행하도록 하는 저장된 명령을 가지는 유형의 기계 판독 가능한 저장 매체에 관한 것이다. 상기 동작은, 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 수신하는 단계; 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나와 관련하여 최소 침습 수술 시스템의 적어도 구성 요소의 비일시적 시간 등록 비디오 신호를 수신하는 단계; 및 평가를 위한 전문가가 이용 가능하게 만들어진 비일시적, 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 데이터 처리 시스템에서 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는 단계를 포함한다.
예들
다음의 예들은 본 발명의 일부 실시예의 적용이다. 이러한 것은 청구항에 한정된 본 발명의 일반적인 범위를 한정하도록 의도되지 않는다.
새로운 기술의 이용 가능성은 과거에 이용할 수 없었던 트레이닝 동안 기술적 기량의 완성도와 유효성을 측정하는 방법을 제공한다.
수술 기량을 연구하는데 있어서 어려움 중 하나는 수술 동안 도구 사용 및 도구 운동의 정확한 측정치를 습득하는데 필요한 계기이다. 이에 관하여, Intuitive Surgical da Vinci 로봇 수술 시스템은 임상의 수술 세팅에서 수술 처치를 연구하기 위한, 표준화된, 잘 알려진 "실험실"이다. 모의되고 도구화된 실제 수술 환경과 대조하여, 이는 수술 모션과 임상 이벤트가 그 애플리케이션 프로그래밍 인터페이스(application programming interface, API)를 통해 실험적 센서 및 도구들에 의해 방해받지 않고 변경되지 않는 것을 허용한다. 2010년 말에 1700개 이상의 다빈치 시스템이 설치되었다. 로봇 근치적 전립선적출술(Robotic radical prostatectomies)은 지금 전립선 암의 제거를 위한 수술의 지배적인 양상이며, 로봇으로 수행된 다향한 처치의 전체 수의 추정은 적게 잡아도 미국에서 수만이며, 전세계적으로 수십만이다. 이것이 단지 상업적인 로봇 수술 시스템일지라도, 다빈치는 기량 발전의 조사를 돌봄의 질에서 중요한 주제로 만드는 임상적 대상에서 지금 폭넓게 이용할 수 있고 가동 중이다. 보다 넓은 관점으로부터, 이러한 데이터를 기록하고 분석하는 것은 기본 구조를 연구하는데 독특한 기회 및 비침습, 비용 효율적 방식으로 의료의 보다 넓은 실시를 위한 기술적 기량의 습득을 제공한다.
로봇 복강경 또는 최소 침습 수술은 수술 실시의 다수의 영역에서 확립된 치료 기준이 되었다. 특히, 로봇 수술은 비뇨기과학에서 장족으로 발전되었다(Elhage O, Murphy D, et al, Robotic urology in the United Kingdom: experience and overview of robotic-assisted cystectomy, Journal of Robotic Surgery, 1 (4), pp.235-242, 2008; Thaly R, Shah K, Patel VR, Applications of robots in urology, Journal of Robotic Surgery, 1 (1), pp3-17, 2007; Kumar R, Hemal AK, Menon M, Robotic renal and adrenal surgery: Present and future. BJU International, 96(3), pp.244-249, 2005), gynecology (Boggess JF, Robotic surgery in gynecologic oncology: evolution of a new surgical paradigm; Journal of Robotic Surgery, 1 (1), pp.31-37, 2007), and cardiac surgery (Rodriguez E, Chitwood WR, Outcomes in robotic cardiac surgery, Journal of Robotic Surgery, 1 (1), pp l9-23, 2007). 2000년에 미국에서 그 초기 임상 승인이래, a Vinci 로봇 수술 시스템(Intuitive Surgical Inc. Sunnyvale, CA)은 2006년에 대략 500, 2007년에 700개의 시스템에서부터 2010년 설치된 1700개 이상의 시스템과 함께 최소 침습 로봇 수술 플랫폼에서 광범위하게 인정된 리더로서 부상되었다. 로봇으로 트레닝된 임상의의 커뮤니티는 이제 수천의 강력하고, 로봇 수술에 특히 초점을 맞춘, Journal of Robotic Surgery과 같은 잡지를 포함하여 폭넓게 출판된다. Intuitive Surgical은 수술 트레이닝을 개선하고 트레이닝된 임상의의 수를 급격히 증가시키도록 다수의 선도하는 트레이닝 제도와 협력하여 로봇 수술을 위한 레지던트 프로그램을 최근에 개발하였다.
로봇 수술 적용: 전립선암은 상당히 보편화된 질병이다; 6명 중에 1명은 그 수명 동안 전립선암으로 진단되는 것으로 예측된다. 치료를 위한 황금 기준(the gold standard of care)은 근치적 치골후 전립선 적출술(radical retropubic prostatectomy)이다. 이러한 감소된 고통, 트라우마, 보다 짧은 회복 기간과 같은 이점은 복강경 기술의 확립을 이끌지만, 최소 침습을 수행하는 것은 복잡한 처치이다. 근치적 적립선 적출술의 보편화된 측면 효과는 기능의 손실 외에도 발기 부전과 환자에 대한 심리적 영향을 또한 가지는 불편함을 포함한다. 로봇 수술은 이러한 복잡한 처치에서 넓은 승인을 얻었다. 전립선 암의 치료를 위해 매년 미국에서 수행된 75000의 근치적 전립선 적출술 중에서(Shuford MD, Robotically assisted laparoscopic radical prostatectomy: a brief review of outcomes, Proc. Baylor University Medical Center, 20(4), pp354-356, 2007), 다빈치는 2004년에 8500(Shuford), 2005년에 이를 사용하여 수행된 18,000 처치에서부터, 국부화된 전립선암을 위한 뚜렷한 치료가 되도록 2007년에 대부분(세계적으로 총 50000 이상)(Intuitive Surgical Inc, Presentation at the JP Morgan Healthcare Conference, website:http:/'/www.intuitivesurgical.com, accessed December 2007)을 수행한 것으로 예상되었다. 최근에 제출된 대규모 및 장기간 연구(Badani KK, Kaul S, Menon M, Evolution of robotic radical prostatectomy: assessment after 2766 procedures, Cancer, 110(9), pp.1951-8, 2007)는 로봇 방법의 비교 가능 또는 선호 가능한 수행을 보여주었다. 로봇 자궁적출(Boggess; Diaz-Arrastia C, Jurnalov C et al., Laparoscopic hysterectomy using a computer-enhanced surgical robot, Surgical Endoscopy, 16(9), pp.1271-1273, 2002) 및 복합 산부인과 처치는 보다 넓은 승인을 얻었으며, 현저한 처치 양상으로서 곧 전립선 절제술을 따를 수 있다.
관상동맥 우회로 조성술(Rodriguez, et al; Novick RJ, Fox SA, Kiaii BB, et al., Analysis of the learning curve in telerobotic beating heart coronary artery bypass grafting: A 90 patient experience, Annals of Thoracic Surgery, 76, pp.749-753, 2003; appert U, Cichon R, Schneider J, et al, Closed-chest coronary artery surgery on the beating heart with the use of a robotic system, Journal of Thoracic and Cardiovascular Surgery, 120(4),pp.809-811, 2000), 심방 중격 결손 폐쇄술(Reichenspurner H, Boehm DH, Welz A, et al., 3D-video and robot-assisted minimally invasive ASD closure using the Port-Access techniques, Heart Surgery Forum, 1(2), pp.104-106, 1998), 및 트랜스마이오카디알 레이저 혈관재형성(Yuh DD, Simon BA, Fernandez-Bustamante A, et al, Totally endoscopic robot-assisted transmyocardial revascularization, Journal of Thoracic and Cardiovascular Surgery, 130(1), pp.120- 124, 2005)을 포함하는 다수의 심장병 처치는 다빈치에 의해 수행되었다. 비뇨기과학 성공이 심장박동의 운동, 흉강의 신체적 제약, 및 수술 에러 또는 접근에서의 지연의 격렬한 결과로 인하여 모든 심장병 처치에 아직 복제되지 않았지만, 승모판 재건술(Rodriguez, et al; Chitwood WR, Current status of endoscopic and robotic mitral valve surgery. Annals of Thoracic Surgery, 79(6), pp.S2248-S2253, 2005) 과 같은 일부 심장병 처치는 보다 보편화 되었다. 안정화를 위한 방법 및도구를 포함하는 개선된 기술은 미래에 다른 로봇 심장병 처치를 더욱 일반적으로 만들 수 있다.
로봇 처치는 또한 몇개의 다른 수술 전공 중에서도 소아과(Sinha C ,Haddad M, Robot-assisted surgery in children: current status, Journal of Robotic Surgery, 1 (4), pp.243-246, 2008), 신경 수술(Bumm K, Wurm J, Rachinger J, et al, An automated robotic approach with redundant navigation for minimally invasive extended transsphenoidal skull base surgery. Minimally Invasive Neurosurgery, 48(3), pp.159-164, 2005), 및 위장관 수술(Ballantyne GH, Telerobotic gastrointestinal surgery: phase 2-safety and efficacy, Surgical Endoscopy, 21(7), pp.1054-1062, 2007)에서 또한 수행되었다. 다른 수술 플랫폼 및 도구의 개발과 함께, 로봇 수술은 수술 처치에서 그 존재를 계속 확장할 것 같다.
다빈치 로봇 수술 시스템: 다빈치 로봇 수술 시스템은 한 쌍의 마스터 조종기 및 그 제어 시스템을 구비한 의사 콘솔, 한 세트의 환자측 조종기를 구비한 환자 카트, 및 스테레오 내시경 비젼 장비를 수용하는 카트를 포함한다(도 1 내지 도 3). 다양한 용이 제거 가능한 수술 기구는 환자측 조종기에 부착될 수 있으며, 의사의 콘솔에 있는 마스터 조종기로부터 조종될 수 있다. 다빈치의 최근의 버젼은 스테레오 내시경 카메라를 홀딩하도록 전용화된 하나를 구비한 4개의 슬래브 조종기를 가질 수 있다. 슬래브 조종기들은 의사의 콘솔 상의 풋 페달과 스위치들을 사용하는 것에 의해 마스터 조종기의 운동에 응답하여 움직이도록 작동될 수 있다. 마스터 조종기들과 그 대응하는 슬래브 조종기들 사이의 운동의 크기 조정(scaling)은 의사의 콘솔에 있는 버튼을 사용하여 조정될 수 있다. 포함된 자유도에 의해, 슬래브 로봇은 7자유도까지 가질 수 있으며, 팁에서 인간의 손목보다 큰 손재간을 허용한다.
로봇 수술 제한: 다빈치는 단지 상업적으로 이용 가능하 로봇 수술 시스템이다. 그 상당한 시스템 비용(대략 130만 미국 달러)와 유지 비용(연간 십만 미국 달러 보다 많은)에 부가하여, 폐기성 수술 도구의 비용이 또한 처치당 수천 달러인 것으로 알려졌다. 임의의 새로운 기술로서, 출판물은 임상의 능숙함을 위해 요구되는 비싼 실험실 실시와 함께 중요한 학습 곡선을 적었다(Chitwood, et al; Novic, et al; Yohannes P, Rotariu P, Pinto P, et al, Comparison of robotic versus laparoscopic skill: is there a difference in the learning curve, Urology, 60, pp.39-45, 2002).
다빈치 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API): 그 수술 용도에 상호 보완적인, 다빈치 로봇 시스템은 또한 다양한 양태의 수술 및 수술 트레이닝의 측정 및 평가를 위하여 잘 기구화된 로봇 실험실을 제공한다. API(DiMaio, S, and Hasser, C, The da Vinci research interface, Workshop on Systems and Architectures for Computer Assisted Interventions, MICCAI 2008, Midas Journal, http://hdl.handle.net/10380/1464, accessed 11/2008)는 카메라, 기구, 및 마스터 핸들의 운동 파라미터에 대한 접근을 제공한다. 임상 용도와 관계없이 동작하는(및 가능하거나 또는 쓰지 못하는) API는 관절 각도, 데카르트 좌표 위치 및 속도, 그립퍼 각도, 및 관절 속도 및 토크 데이터를 포함하는 운동 벡터에 대한 명료한 접근을 제공하는 Ethernet 인터페이스이다. 부가하여, 고품질 시간 동기화 비디오는 스테레오 내시경 채널을 위한 비젼 시스템으로부터 습득될 수 있다. 다빈치 API는 이것들이 발생함으로써 다수의 임상의 및 시스템 이벤트를 또한 스트림 처리한다. 이러한 것은 그 중에서도, 도구의 신호 변화, 마스트 제어된 수술 기구 운동의 시작 또는 종료, 마스터 또는 슬래브 작업 영역(마스터-클러치 또는 슬래브-클러치)의 재구성, 카메라 시야에서의 변화에 대한 이벤트를 포함한다. API는 공토의 비디오 습득율보다 양호한 새로운 조종기 데이터를 제공하는 다양한 속도(전형적으로 100㎐까지)로 데이트를 스트림 처리하도록 구성될 수 있다.
로봇 수술 트레이닝: 로봇 수술 지향은 도 4에 도시된 체임벌린 그룹 로봇 수술 트레이닝 포드(Chamberlain group robotic surgery training pod)와 같은 트레이닝 포드를 사용하여 수행된다. 트레이닝 포드는 커팅, 봉합, 매듭 묶기와 같은 모든 기존적인 수술 기량에 대해 이용할 수 있다. 지향은 통상적으로 폐쇄 모형(closed models)에서, 그리고 최종적으로 동물 모델에서 수술이 이어진다. 동물 모델에서 능숙함을 달성한 후에, 의사는 그 처음 몇번의 인간 수술 동안 감독을 받고 조언을 듣는다.
자동화된 방법을 사용하여 기량 모델링 및 평가에서의 사전 작업: 수술의 트레이닝 동안 시스템 동작 및 운영자 기량의 발전에 초점을 맞춘 유사한 특정 연구를 깨닫지 못한다. 이러한 기량은 또한 임상의 능숙함을 위해 요구되는 기량의 일부를 구성한다. 복강경 수술 시뮬레이션 및 수술 트레이닝은 과거에 운동 파라미터의 분석을 이용하였다. 이러한 것은 외과적 성능(surgical performance)의 측정 또는 수술 기량의 습들을 위하여 MIST-VR 복강경 수술 트레이너(Gallagher A. G, Richie K., McClure M., McGuigan J.; Objective Psychomotor Skills Assessment of Experienced, Junior, and Novice Laparoscopists with Virtual Reality; World Journal ofSurgeiy; Vol. 25 (11), pp. 1478-1483, 2001), 또는 전자기 트랙커 기반 Imperial College Surgical Assessment Device (ICSAD) (Darzi A, Mackay S, Skills assessment of surgeons, Surgery, 131 (2), pp.121-124, 2002)와 같은 시스템을 사용하는 운동 분석을 포함한다. 이러한 연구들은 때때로 전문 내과의사에 의한 기록된 비디오 데이터의 수동 해석에 의지한다. 운동 데이터에 기초한 Objective Structured Assessment of Technical Skills (OSATS) (Moorthy K, Munz Y, et al, Objective assessment of technical skills in surgery. BMJ, 327, pp.1032-1037, 2003)은 또한 daVinci API 데이터(Hernandez JD, Bann SD, et al, Qualitative and quantitative analysis of the learning curve of a simulated surgical task on the da Vinci system, Surgical Endoscopy, 18, pp.372-378, 2004)에 기초하여 또한 수행되었으며, 수동적인 전문가 평가의 요소를 포함하였다. 본 발명자 그룹과 동료(Verner L, Oleynikov D, et al, Measurements of the level of expertise using flight path analysis from da Vinci robotic surgical system, Medicine Meets Virtual Reality, 94, 2003; Lin HC, Shafran I, Yuh DD, Hager GD, Vision-Assisted Automatic Detection and Segmentation of Robot-Assisted Surgical Motions, Medicine Meets Virtual Reality, 2006)들은 또한 수술 운동의 자동 분할 및 분석을 위하여 다빈치 API 데이터를 사용하였다.
객관적인 수술 트레이닝(Reznick RK; Teaching and testing technical skills; Am J Surg, Vol. 165, pp.358-361, 1993; Reznick RK, and MacRae H; Teaching surgical skills-changes in the wind; New England Journal of Medicine; vol. 355(25); pp.2664-2669, 2006)을 위한 실제의 필요성이 여전히 존재한다. 교실에서 벤치 탑 모델(bench top model)에서 배운 기량은 확인되는 것이 필요하고, 수술실에서 입증된 실제 처치로 그것의 이전이 필요하다. Ericsson (Ericsson, KA, Krampe, RT, and Tesch-Romer, C; The role of deliberate practice in the acquisition of expert performance; Psychological Review, Vol 100(3), 363-406, 1993)은 대부분의 의사들이 참 경험에 도달하지 못하고 실시와 피드백을 신중히 생각할 것을 주장한다. 수술 기량, 트레이닝 및 이전을 자동으로 분석하고 모델링하고 평가하는 새로운 기술(G Gallagher A. G, Richie K., McClure M., McGuigan J.; Objective Psychomotor Skills Assessment of Experienced, Junior, and Novice Laparoscopists with Virtual Reality; World Journal of Surgery; Vol. 25 (11), pp. 1478-1483, 2001 ; Gallagher AG, Satava RM, Virtual reality as a metric for the assessment of laparoscopic psychomotor skills, Surgical Endoscopy, 16(2), pp.1746-1752, 2002; Lin HC, Shafran I, Yuh DD, Hager GD, Vision-Assisted Automatic Detection and Segmentation of Robot-Assisted Surgical Motions, Medicine Meets Virtual Reality, 2006; C. E. Reiley, T. Akinbiyi, D. Burschka, A. M. Okamura, C. Hasser, D. Yuh; Evaluation of Surgical Tasks using Sensory Substitution in Robot-Assisted Surgical Systems; The Journal of Thoracic and Cardiovascular Surgery; Vol. 135, Issue 1, pp.196-202, 2008)을 채택하는 본 발명자 그룹으로부터 일부를 포함하는 간행된 연구의 큰 몸통이 있다. 이러한 연구들은 경험있는 의사가 보다 낮은 에러율과 함께 수술 과제를 충분히 빠르고 보다 일과적으로 수행하고, 수술 기구의 보다 효율적인 움직임을 가지는 것으로 보고한다. 이러한 객관적인 척도중 일부는 수술 실시에서의 광범위한 침입없이 또는 추가의 기술없이 측정하는 것이 어렵다. 움직임의 효율성과 같은 다른 측정은 이러한 도움없이 가능하지 않다.
이러한 작업의 근거 및 중요성: 본 발명자들의 이전 작업과 다른 간행된 기술은 대량의 기록된 데이터에 적용되는 현대의 통계학적 학습 및 분류 기술이 수술에서의 트레이닝과 평가를 변혁하는 잠재성을 가지는 것을 보여준다. 확실히, 이러한 것은 통계학적 모델링을 향한 유사한 프로그램 시프트가 일어날 때 음성 처리에 의해 경험되는 혁신과 매우 유사하다. 명확하게, 이러한 연구의 결과는 로봇 수술에 적용 가능하게 되며, 이러한 데이터 세트는 경제적 및 메커니즘 효율 연구의 많은 형태의 추가의 가능성을 제공한다. 습득된 데이터는 수술의 실시의 본 발명자들의 이해를 위해 보다 넓은 결과를 또한 가지게 되는 연구를 용이하게 할 것이다. 이러한 데이터로부터 얻어지는 기술 및 통찰력은 전통적인 복강경 수술 방법을 위한 교시 및 평가 방법론의 개발에서의 안내를 제공하고, 궁극적으로 전통적인 개방 수술을 위한 영향을 가질 것이다.
예 1
본 발명의 실시예에 따른 다음의 예에서, 본 발명자들은 인간의 수술 과제 수행을 모델링하고 평가하기 위하여 다빈치 로봇 시스템을 광범위하게 사용하였다. 이러한 것은 새로운 기술(Leven J, Burschka D, Kumar R, et al, DaVinci Canvas: A Telerobotic Surgical System with Integrated, Robot-Assisted, Laparoscopic Ultrasound Capability, Medical Image Computing and Computer Assisted Intervention, Springer Lecture Notes in Computer Science, 4190, pp811-818, 2005; Burschka D, Corso JJ, et al, Navigating Inner Space: 3-D Assistance for minimally invasive surgical system, Robotics and Autonomous System, 2005), 새로운 아케텍처의 개발(Hanly EJ, Miller BE, Kumar R, et al, Mentoring console improves collaboration and teaching in surgical robotics, Journal of Laparoendoscopic and Advanced Surgical Techniques; 16(5), pp445-451 , 2006), 뿐만 아니라 인간-로봇 상호 작용의 연구(C. E. Reiley, T. Akinbiyi, D. Burschka, A. M. Okamura, C. Hasser, D. Yuh; Evaluation of Surgical Tasks using Sensory Substitution in Robot-Assisted Surgical Systems; The Journal of Thoracic and Cardiovascular Surgery; Vol.135, Issue 1 , pp.196-202, 2008; Hanley, et al.; Lin HC, Shafran I, Yuh DD, Hager GD, Vision-Assisted Automatic Detection and Segmentation of Robot-Assisted Surgical Motions, Medicine Meets Virtual Reality, 2006; Lin HC, Shafran I, et al, Towards Automatic Skill Evaluation: Detection and Segmentation of Robot-Assisted Surgical Motions, Computer Aided Surgery, 11(5), pp.220-230, 2006; Lin HC, Shafran I, et al, Automatic detection and segmentation of robot-assisted surgical motions. Medical Image Computing and Computer Assisted Intervention, Springer Lecture Notes in Computer Science, 4190, pp.802-810, 2005)의 통합을 포함하였다. 본 발명자들은 사용자 모션 및/또는 힘 데이터의 통계학적 모델링, 수술 과제의 속도 및 정확성에서의 로봇 안내의 효율성, 및 정보 피드백의 다양한 양상들을 연구하였다.
ㆍ Voros, S, and Hager, G; Towards "real-Time" Tool-Tissue Interaction Detection in Robotically Assisted Laparoscopy; IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 562-567, 2008;
ㆍ Kitagawa M, Dokko D, Okamura AM, Yuh DD, Effect of sensory substitution on suture manipulation forces for robotic surgical systems, Journal of Thoracic and Cardiovascular Surgery, 129, pp.151 - 158, 2005;
ㆍ Kitagawa M, Dokko D, Okamura AM, et al, Effect of sensory substitution on suture manipulation forces for surgical teleoperation, Medicine Meets Virtual Reality 12, pp 157-163, 2004;
ㆍ Kitagawa M, Okamura AO, Bethea BT, et al, Analysis of suture manipulation forces for teleoperation with force feedback, Medical Image Computing and Computer Assisted Intervention, Springer Lecture Notes in Computer Science, 2488, pp. 155-162, 2002;
ㆍ Bethea BT, Okamura AM, Kitagawa M, et al, Application of haptic feedback to robotic surgery, Journal of Laparoendoscopic and Advance Surgical Techniques, 14(3), 191 - 195, 2004; 및
ㆍ Moorthy K, Munz Y, et al, Objective assessment of technical skills in surgery. BMJ, 327, pp.1032-1037, 2003.
다빈치 로봇으로 기록하는 데이터
본 발명자들은 본 발명의 일부 실시예에 따라서 다빈치 시스템으로부터 기록하는 데이터를 위한 PC 기반 소프트웨어 솔루션을 개발하였다. 본 출원은 구성 가능한 속도로 다빈치 API로부터 데이터를 습득한다. 이러한 양적인 측정은 관절 각도, 속도 및 토크, 데카르트 좌표 위치 및 속도, 그립퍼 각도, 및 동기화된 스테레오 비디오 데이터("처치 데이터")를 포함하는 도구, 카메라 및 마스트 핸들 운동 벡터를 포함한다. 수집된 데이터는 조종기 및 비디오 채널 전체에 걸쳐서 동기화되고, 기록 전에 시간 스탬프가 찍힌다. 이러한 예는 Intuitive Surgical의 등록 상표가 붙은 API 라이브러리와 호환 가능하다. 등록 상표가 붙은 다빈치 API 클라이언트 애플리케이션은 단지 모션 벡터를 캡처하고 초기에 텍스트 로그 파일을 만든다.
부가하여, 본 발명자들은 구조화된 데이터 수집에 사용하기 위한 몇개의 과제 보드를 개발하였으며, 그 예는 도 4에 도시된다. 각각의 과제 보드는 매우 반복 가능도록 디자인된다. 이제까지, 보드들은 봉합, 매듭 묶기 및 바늘 통과를 위해 디자인되었다. 데이터는 Johns Hopkins University와 Intuitive Surgical, Inc. 모두에서 라이브러리(과제 보드) 세팅, 동물 수술, 및 살아있는 사람 수술로부터 수집되었다. 지금까지, 40 이상의 수술 기록이 습득되었다. 100 이상의 트레이닝 기록이 또한 피교육자 및 전문가를 포함하는 30 이상의 사용자에 의해 수행되었다.
본 발명자들은 본 발명자들의 데이터 수집 시스템과 과제 보드를 사용하여 과제 수행 데이터를 또한 계속 습득한다. 최근에, 본 발명자들은 Johns Hopkins Simulation Center에서 수집된 복강경 트레이닝 처치로부터 본 발명자들의 기록 보관소로 새로운 운동 및 비디오 데이터를 추가하였다. 방치된 데이터 수집을 입증하도록, 이러한 데이터는 실험 동안 존재하는 엔지니어링 팀 구성원없이 다수의 기간에 걸쳐서 수집되었다. 본 발명자들의 데이터 수집 환경은 또한 밑에 있는 동작 시스템 도구를 사용하여 원격 관리를 지원한다.
다빈치 처치 동안 시스템 동작의 분석
본 발명자들은 로봇 수술 처치에서 운영자 수행, 단지 카메라 시야를 조정하기 위해서만 사용되는 동작 시간의 양과 같은 조사 인자의 임의의 체계적 분석을 알지 못했다. 예비 연구는 매우 빈번하게 사용되는 모드이도록 카메라 제어를 보이며, 임상적으로 중요한 양의 전체 동작 시간을 소비한다. 시스템 동작 데이터는 API를 사용하여 파일로 보관되고, 카메라 제어로의 모드 변화의 수, 및 카메라 제어 모드 동안 사용된 시간양에 대한 통계를 얻도록 후처리되었다. 3개의 다빈치 전립선 절제 처치로부터 표 1에 있는 데이터는 이것이 동작 시간의 5%보다 용이하게 크게 될 수 있다는 것을 보인다. 또한 카메라의 시야 변화는 매우 빈번하게, 매분마다 수회씩 적용되었다. 카메라 제어 전후에 마스터를 재위치시키도록 사용된 추가의 처치 시간은 여기에 포함되지 않았다.
표 1 : 다빈치 수술 로봇에 의한 최소 침습 수술 처치 동안 내시경 카메라 운동
측정 처치 #1 처치 #2 처치 #3
의사 경험 레벨 경험 있음 경험 있음 초보자
전체 시간 62분 35초 74분 2초 120분 35초
카메라 제어에 사용된 시간 4분 38초 4분 35초 7분 14초
카메라 제어 이벤트 수 560 542 558
분당 카메라 제어 8.949 7.321 4.628
최소 이벤트 시간(초) 0.238 0.218 0.194
최대 이벤트 시간(초) 2.883 2.375 7.393
평균 이벤트 시간(초) 0.497 0.507 0.778
중간 이벤트 시간(초) 0.421 0.464 0.677
더욱 큰 연구에 의해 입증될 필요가 있는 이러한 조사 결과들은 시스템 동작 과제가 전체 동작 시간의 임상적으로 중요한 부분을 쉽게 소비한다는 것을 나타낸다. 전체 동작 시간에 유사하게 상당히 기여하는 몇개의 유사한 시스템 동작 과제(예를 들어, 마스터 재위치 선정, 및 기구 교환)가 있다. 그러므로, 시스템의 개발 및 로봇 수술 사용자에 있어서 수술 기량을 이해하는 것이 중요하다.
다빈치 로봇을 사용하여 봉합하는 통계적 모델
본 발명자들은 특정 수술 과제를 위한 운영자 운동의 통계학적 모델을 개발하였다. 서브 과제를 검출하고 분할하는 중심 객체에 초점을 맞추도록, 본 발명자들은 3개의 사용자에 의해 다빈치 시스템으로 봉합 과제를 수행하는 것에 예측되는 단순화된 경험 패러다임을 생성하였다: 사용자 기량 레벨은 "전문가", "중급자" 및 "초보자"로서 등급을 매겼다. 각 사용자는 약 15회 시함을 수행하였으며, 각 시험은 8개의 확인 서브 과제와 함께 4개의 드로우로 이루어졌다:
Figure pct00001

각 시험에 대하여, 수집된 데이터는 다빈치 API로부터 10㎐의 속도로 습득된 78개의 운동 변수로 이루어졌다. 마스터 콘솔의 왼손 및 오른손 조종기 운동은 25개의 변수에 의해 각각 트랙킹되는 한편, 좌우 로봇 도구 아암은 각각 14개의 변수에 의해 트랙킹되었다. 각 시험은 동기 비디오 데이터에 더하여 600개의 이러한 운동 변수를 수용하였다.
다빈치 왼손 조종기의 데카르트 좌표 위치를 검사하면, 봉합 과제에서 전문가 사용자에 의해 수행된 4개의 봉합사 드로우는 용이학 파악될 수 있으며(도 5 및 도 6), 자동화된 방법이 양호한 정확성으로 이러한 과제를 구별할 수 있다는 것을 제시한다.
본 발명자들은 다빈치 API를 사용하여 실시간으로 수행되는 서브 과제를 확인할 수 있는 자동 통계 시스템을 디자인했다. 이러한 통계 시스템은 한 세트의 예를 사용하여 트레이닝되었다. 시스템을 테스트하도록, 본 발명자들은 트레이닝테스팅 세트로 수집된 데이터를 분할하였으며, 트레이닝 운동 데이터는 기계 학습 및 테스팅 운동 데이터에서 측정된 인식 정확성을 사용하여 완전히 이해되었다. 결과의 통계학적 중요성을 개선하도록, 본 발명자들은 약 15회의 트레이닝 및 테스팅 세트(즉, 15-폴드 크로스 입증)으로 들어간 데이터를 회전시켰으며, 평균 정확성을 측정하였다.
본 발명자들의 과제 인식 시스템(도 7)은 2개의 부분으로 분할될 수 있다: 하나는 입력 특징을 처리하고, 다른 것은 이러한 특징들을 이용하여 분류기(classifier)를 만든다.
상이한 운동 파라미터(즉, 위치, 속도, 회전 및 가속도)의 동적 범위는 상당히 다르다. 이러한 차이가 운동 인식에 악영향을 미칠 수 있다는 것은 기계 학습 문헌으로부터 널리 공지되었다. 이러한 것을 고려하도록, 이러한 파라미터들은 제로 평균 및 단위 변동량(unit variance)을 가지도록 정상화되었다. 또한, 다빈치 API로부터 78 운동 제어 및 모니터 변수들은 말기 분류기의 성능을 손상시킬 수 있는 불필요한 중복을 포함한다. 이러한 것은 치수 감축 메커니즘의 사용을 요청하며; 분류의 맥락에서, Linear Discriminant Analysis (LDA)는 타당한 해법을 제공한다.
가능한 시퀀스의 수가 과제 길이와 함께 기하급수적으로 증가하기 때문에, 모델링 과제 시퀀스는 어렵다. 트랙킹될 수 있는 과제 모델을 개발하도록, 특정 독립적 추정이 만들어질 필요가 있다. 이러한 추정은 모딜들이 낮은 변동으로 국부적 현상을 나타내는 것을 가능하게 한다. 그러나, 대부분의 실세계의 처리에 대하여, 임의의 주어진 시간에서의 관측은 그 맥락에 의해 크게 영향을 받는다. 이러한 것을 다루는 하나의 간단한 방식은 그 맥락으로부터 프레임을 가진 임의의 주어진 시간에 관측 벡터를 첨부하는 것이다. 여기에서, 본 발명자들은 그 이웃으로부터의 이것들로 각 특징 벡터를 첨부하는 것에 의해 이러한 것을 한다. 처리된 특징은 그런 다음 2개의 다른 자동 검출 및 분할 기술로 입력되었다. 먼저, 본 발명자들은 다변량 가우스 분포(multivariate Gaussian distribution)를 사용하여 독자적으로 각 시간 순간에 프레임을 모델링한 간단한 베이지안 분류기(Bayesian classifier)를 사용했다(도 8). 두번째로, 본 발명자들은 은폐된 상태 시퀀스를 통해 신호의 순차적 특성을 모델링하도록 HMM를 사용하는 대안적인 접근을 시도하였다.
결과 및 논의: 본 발명자들은 본 발명자들의 시스템에서 운동 신호가 베이지안 분류 및 HMM 기술이 잘 동등하게 작업하는 것을 허용하도록 충분히 분명한 것을 알았다. 또한, 본 발명자들은 본 발명자들이 단지 도구의 강성의 본체 운동을 사용할 때 라벨링의 정확성이 비교 가능하다는 것을 알았다(그러므로, 다빈치 운동학에 관계없이 데이터의 표시를 만든다). 예측된 라벨의 분석은 에러가 주로 서브 과제들 사이의 변이에서 일어난 것을 보여준다. 특정 범위까지, 이러한 것은 인간의 주석(human annotation)에서 작은 모순에 또한 기인할 수 있으며; 변이가 매끄럽게 발생할 때 서브 과제가 종료하고 다음 과제가 시작하는 때를 정확하게 결정하는 것은 거의 어렵다. +/- 0.2초의 허용 오차를 허용하면, 본 발명자들은 92% 이상의 적중률을 얻었다. 본 발명자들은 다수의 애플리케이션에서 우수한 성능을 제공한 Support Vector Machine (SVM)를 사용하여 대안적인 전략을 또한 조사하였다. SVM은 불필요한 정보와 함께 큰 치수 공간을 용이하게 수용할 수 있다. 그러므로, 본 발명자들은 국부적 맥락 정보를 컴퓨터 계산한 후에 SVM을 직접 적용하였다. 본 발명자들은 SVM이 약 0.5%의 정확성으로 추가의 이득을 제공하였으며; 약 93%의 정확성이 달성되었다.
자동화된 수술 기량 평가
상기된 바와 같이 정의된 수술 과제의 서브 과제 분할은 자동 수술 기량 평가 시스템을 만들기 위한 풍부하 세트의 특징을 컴퓨터 계산하기 위한 메커니즘을 제공한다. 한 예에서, 본 발명자들은 이러한 평가 시스템을 개발하는데 있어서 이슈를 이해하도록 자동으로 컴퓨터 계산될 수 있는 2개의 간단한 특징을 검사했다. 이러한 연구는 "중급자" 사용자에 의한 12회의 시험과 "전문가" 사용자에 의한 15회의 시험의 2개의 상이한 기량 레벨을 사용자로부터 수집한 데이터와 일치시켰다. HMM은 전문가 사용자로부터 데이터를 사용하여 트레이닝되었으며, 중급자 사용자로부터 습득된 운동 데이터를 분할하도록 그 뒤에 사용되었다. 유사하게, 전문가 사용자에 의해 수행된 과제 시험은 각각의 15회 시험으로 또한 분할되었다. 분할된 시험은 트레이닝과 테스트 데이터 사이에 중복이 없었던 특정의 것을 만들도록 트레이닝 데이터로부터 지속되었다. 이러한 방식으로, 모든 수술 과제 시험은 상기된 8개의 서브 과제를 접는 것에 의해 얻어진 5개의 별개의 서브 과제로 자동으로 분할되었다(적은 데이터 지점을 가진 일부 서브 과제는 다른 것 안으로 폴딩된다)
이전 연구들은 과제를 수행하는데 소비된 시간의 양이 수술 기량의 양호한 지시인 것을 제안하였다. 이러한 특징은 각 과제 시험으로부터 자동으로 컴퓨터 계산될 수 있다. 추가적으로, 제 2 특징은 컴퓨터 계산될 수 있으며, 이는 주어진 수행이 과제의 전문가 수행으로부터 파생된 양식화된 "이상적" 모델과 얼마나 잘 일치하는지를 측정한다. 이러한 2개의 특징은 5개의 서브 과제에 대해 컴퓨터 계산되었으며, 이어서 2개의 기량 레벨을 위하여 모였다. 평균 및 표준 편차의 조건에서, 2개의 특징의 상이한 분포는 이러한 특징이 2개의 기량 레벨 사이를 구별하도록(도 9) 사용될 수 있다는 것을 명확히 보여준다.
멀티 사용자 시험
수술 제스처 인식에서의 예는 팬텀 조직(phantom tissue)을 사용하여 벤치 탑 모델에서 수술 봉합 과제를 수행하는 7개의 대상(표 2)으로부터의 35 시험으로 구성하였다. 입증 실험은 로봇 지원 시스템 상의 다빈치 의사 및 비의사(non-surgeon)를 사용하여 행해졌다. 본 발명자들은 Gaussian Mixture Models, 3-state Hidden Markov Models을 포함하는 다양한 통계 방법의 인식 및 분할 기술을 적용하였으며, 다양한 사용자의 운동 인식 알고리즘의 견고성을 테스트하도록 Maximum Likelihood Linear Regression (MLLR)을 감독하고 감독하지 않았다. 성공은 한 프레임씩 수동으로 라벨리된 데이터와 자동으로 라벨링된 데이터의 정확성을 비교하는 것에 의해 정의되었다. 이러한 것은 보다 큰 데이터 세트를 설명하는 MLLR처럼 사용자 지정 모델을 사용한 개선을 보인다.
표 2 : 멀티-사용자 시험에서 제스처 인식
대상 LAD(%) ㎝M(%) 2-상태 HMM(%) 감독된 MLLR(%) 감독되지 않은 MLLR(%)
0 68.91 67.9 66.8 70.4 69.8
1 64.09 63.2 64.6 68.8 66.5
2 59.95 60.4 59.4 61.2 62.3
3 67.52 70.6 72.8 75.6 75.4
4 63.94 67.5 66.7 69.3 69.1
5 78.82 72.7 71.2 75.8 73.1
6 69.27 70.2 71.9 75.7 76.2
평균 67.21 67.49 67.62 70.94 70.34
벤치 탑 모델과 실황인 수술 사이의 수술 운동 유사성의 예비 평가는 이러한 벤치 탑 모델로부터 학습된 인식 알고리즘이 실상황인 수술 모델들의 3개의 시험에 대하여 테스트될 때 평균하여 봉합에 대해 20%, 바늘 통과에 대해 21%의, 매듭 묶기에 대해 17%의 훨씬 낮은 인식율을 가졌다는 것을 보인다.
도구 조직 상호 작용의 분석: 본 발명자들은 동물 모델에서 수행된 트레이닝 수술 동안 기록된 API 데이터에서 도구-조직 상호 작용을 스포팅하는 문제에 대하여 이러한 기술을 적용하였다. 본 발명자들은 도구가 76%(85% 참긍정, 31%의 가긍정)의 전체적인 정확성와 관계로 상호 작용한 경우를 인식할 수 있었다(Voros, S, and Hager, G; Towards "real-Time" Tool-Tissue Interaction Detection in Robotically Assisted Laparoscopy; IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 562-567, 2008)). 여전히 출판되지 않은 작업에서, 본 발명자들은 가장 근접한 이웃 분류기를 사용하여 90% 이상으로 이러한 백분율을 증가시켰다. 이러한 것은 이러한 도전 환경에서 매우 용기를 고무시킨다.
다빈치 비디오에서 봉합의 분석: 본 발명자들은 주석없이 습득된 20회의 다빈치 봉합 시험으로부터 비디오 데이터를 또한 분서가였다(표 3 참조). 이 분석은 각 상태가 수술 제스처 또는 서브 제스처를 나타내는 18 상태를 가진 HMM 모델을 사용한다. 각 시험은 작동된 HMM 및 결정된 18 상태를 통한 각각의 20회 시험을 위한 최선의 경로를 사용하여 라벨링된다. 이러한 것은 각 라벨이 HMM에서의 일정 상태인 라벨의 시퀀스를 제공한다. 수술 기술 또는 전문 지식에서의 차이로부터 따르는 봉합에서의 변화 차이는 그런 다음 편집 거리(삽입, 삭제, 및 교체의 수)를 최소화하는 것에 의해 확인될 수 있다. 이러한 2회의 시험 사이의 프레임의 정렬은 수술 기술과 수술 과제를 위한 서브 제스처의 전문가의 시각 비교를 허용할 수 있다.
표 3: 변화하는 기량 레벨의 사용자 사이의 평균 편집 거리
전문가 중급자 초보자
전문가 0.38 0.51 0.61
중급자 0.51 0.42 0.62
초보자 0.61 0.62 0.65
멀티 센터 데이터 수집
본 발명의 일부 실시예는 많은 수의 로봇 수술 피교육자에 대한 명확한 접근을 제공하는 이러한 멀티-센터 연수 프로그램에서 자동 측정으로 통합될 수 있다. 연수 프로그램 을 위한 준비의 부분으로서, Intuitive Surgical은 또한 그 파일로트 프로그램의 부분인 미국에서 선도적인 로봇 수술 트레이닝 프로그램의 일부의 감독자 의 워크숍을 수용했다.
예 2
서문
최소 침습 흉부 수술은 새로운 외과 로봇 기술로 가능하게 된다. 2010년대 중반에 전세계적으로[1] 임상에 1700 이상의 외과 로봇 시스템이 사용되고 있지만, 흉부 수술에 로봇의 적용은 기술 오차와 지연에 대해 비교적 낮은 공차와 연계되는 외과 로봇 플랫폼[2,3]으로 수술 숙련성을 발전시키는데 있어서 매우 급격한 학습 곡선으로 인해 다른 외과 훈육 분야를 따라잡지 못하고 있다. 구체적으로, 로봇 지원 심장 수술[2,3,4]과 연관된 긴 심폐 바이패스 시간과 대동맥 교차형 클램프 시간 및 제한된 접근법으로 정확하면서 복잡한 재건 기술을 수행하는 중에 나타나는 기술적 문제가 흉부 외과적 공동체에서 로봇의 폭넓은 수용을 방해한다. 로봇 수술 기술의 향상된 채용과 사용은 기술 및 훈련 방법 양자에 있어서 개선을 요구할 것이다.
"하나를 보고, 하나를 행하고, 하나를 교육하는(see one, do one, teach one)" 견습 모델을 이용하여 외과적으로 훈련하는 통상의 Halstedian 원리는 외과 로봇 훈련에 포괄적으로 적용가능하지 않다. 임상 숙련성을 발전시키기 위하여, 외과의를 새로운 로봇 기술에 익숙하게 하기 위한 효율적인 훈련 및 실습 전략이 요구된다[2,3]. 그러나, 현재의 로봇 훈련 접근법에는 기술 및 작동 스킬을 평가하고 추적하기 위한 균일한 기준이 부족하다. 로봇 수술에 대한 효율적인 훈련 과정 및 인증 프로그램을 초래하는 표준적이고 객관적이며 자동화된 스킬 측정을 수립하기 위해서는 (1) 스킬의 습득 시에 (예를 들면, 1년) 종단적으로 추적될 수 있는 유사한 스킬의 로봇 수련 외과의의 유효 집단, (2) 한 세트의 표준화된 외과 임무, (3) 운동 데이터의 큰 용량을 습득하고 분석하기 위한 능력, 및 (4) 전문의에 의한 수집된 데이터의 일관된 "지상 검증 자료(ground truth)"의 평가를 필요로 할 것이다.
로봇 수술 훈련에서 발표된 연구는 비교적 단기간의 초기 훈련[5,6]으로부터 스킬 계측의 계량화로 한정되어 있다. 한정된 수의 훈련생[7,8]에 대하여 스킬의 측정을 객관적으로 계량화하기 위한 이전의 노력은 스킬 수준(전공한 훈련의 연도)을 바꾸는 훈련생을 외과 전문의와 비교하는 것에 근거를 두고 있기도 하다. 이러한 연구는 훈련 및 평가 양자를 위하여 실험적인 임무를 이용한다. 로봇 수술 시스템은 복잡한 인간-기계 상호작용을 필요로 하고, 또한 이는 임상 임무 스킬 및 기계 작동과 기술 스킬 사이를 구분하지 않는다.
작동 및 기술적인 로봇 수술 스킬 사이를 객관적으로 구분하고 스킬 개발 시에 훈련생을 종단적으로 추적할 수 있는 신규한 자동화된 운동 인식 시스템을 개발하여 새로운 접근법을 채용한다. 스킬 개발의 비교 분석을 제공하고, 스킬 부족을 효율적으로 고려하여 피드백을 위한 방법을 개발하는 훈련 단계마다 다수의 학습 곡선을 수립한다. 훈련 임무로서가 아니라 벤치마크 평가(benchmark evaluation)로서의 임무를 이용하기도 한다. 이는 로봇 수술 훈련을 포함하는 제1 종단적 다중심 연구이기도 하고 지금까지 가장 큰 훈련생 집단을 포함한다.
방법
수술 훈련에서 객관적인 성능 지표의 측정(즉, 오른손 이동의 효율성)은, 예를 들면 널리 이용가능하지 않고 수술 기술과 간섭하는 계기화된 프로토타입 장치, 및 공통적으로 이용가능하지 않거나 종래의 수술 기기와 쉽게 통합되는 이용 기술을 이미 필요로 한다.
신규한 "명료한" 대안으로서, 임의의 특정 기기를 필요로 하지 않으며 외과 전문의에 의한 현장 감독을 필요로 하지 않는 훈련 환경의 가능성을 유지하는 로봇 수술 훈련으로부터 운동 및 비디오 데이터를 수집하기 위한 새로운 인프라를 개발하였다.
데이터 수집
본 실시예의 운동 데이터 수집 플랫폼은 다 빈치 외과 로봇 시스템을 사용한다. 상기 시스템의 적용 프로그램 인터페이스(API; Application Programming Interface [10])는 334개의 위치 및 운동 파라미터를 포함하는 강건 운동 데이터 세트를 제공한다. 상기 API는 암호화된 기록 보관 워크스테이션에 이더넷 연결을 통한 마스터 콘솔 조작기, 입체 카메라, 및 기기에 대하여 조인트 각도, 데카르트 위치와 속도, 그리퍼 각도, 및 조인트 속도와 토크 데이터를 운동 벡터를 자동으로 스트리밍한다. 또한, 상기 API는 기기 변화, 조작기 "클러칭(clutching)", 및 시계 조정을 포함하는 여러 시스템 이벤트를 스트리밍한다. 상기 API는 비디오 녹화로 얻어진 것(통상으로 30Hz까지)보다 더 빠른 운동 데이터 습득률(100Hz까지)을 제공할 수 있다. 또한, 고품질 시간 동기화된 비디오는 입체 비디오 시스템으로부터 습득될 수 있다. 상기 데이터 수집 프레임워크(도 1, 좌측 참조)를 이용하여, 334개의 시스템 변수는 50Hz로 샘플링되고, 입체 비디오 스트림은 30Hz로 수집된다. 이러한 데이터는 원점에서 익명으로되고, 고유 대상 식별자에 배정되고, 승인된 IRB 프로토콜에 따라 데이터베이스에 보관된다. 분석을 위해, 상기 보관된 데이터는 임무나 시스템 작동 시퀀스로 더 분할된다. 이러한 프로세스는 시간당 20-25GB의 데이터를 발생시킨다. 외과나 다른 훈련의 사용에 영향을 주지 않고 제 위치에서 좌측으로 연결될 수 있는 기록 보관 워크스테이션을 작동시키는데 어떠한 특정 훈련도 요구되지 않는다.
실험 임무: 훈련 데이터는 모든 훈련 단계에서 수집된다. 본 실시예의 훈련 프로토콜은 상이한 훈련 모듈로 분할된다:
모듈 Ⅰ: 시스템 방위 스킬(System Orientation Skill): 이러한 훈련 모듈은 마스터 콘솔 클러칭, 조작 스케일 변화, 리트랙션, 봉합술, 조직 처리, 양손 조작, 횡절단, 및 절개를 포함하는 기본 시스템 및 외과 스킬에 훈련생을 익숙하게 하도록 의도된다. 훈련생은 현재의 훈련 체제에서 이러한 기본 스킬을 이미 실습하고 있고, 이들은 벤치마킹에 적절한다. 월 단위로, 직관적인 외과 로봇 수술 훈련 실습 교육[11]으로부터 취한 4개의 최소 침습 수술 스킬의 주기적인 벤치마킹 실행으로부터 데이터가 수집된다. 이러한 임무(도 10, 우측 참조)는 다음과 같다:
● 조작: 이러한 임무는 대상체의 시스템 작동 스킬을 시험한다. 상기 임무 포드(task pod)의 중심 페그(peg)로부터 대응하는 외부 페그로 4개의 링의 전달을 필요로 하고, 이는 차례로 상기 링을 내부 페그에 대체함으로써 수반된다. 기본적인 임무 성능 측정은 임무 완료 시간과 임무 오차(예를 들면, 낙하된 링/페그, 시야의 외부로 이동하는 기구)를 포함한다.
● 봉합술: 이러한 임무는 3-0 비크릴(Vicryl) 봉합선의 3가지의 10cm 길이로 선형 결함의 수리를 포함한다. 기본적인 임무 성능 측정은 임무 완료 시간과 임무 오차(예를 들면, 낙하된 니들, 손상된 봉합, 부정확한 근사치)를 포함한다.
● 횡절단(transection): 이러한 임무는 굽은 가위를 이용하여 횡절단 포드 상에 "S"나 원형 패턴을 절단하면서 제3 암으로 상기 포드를 안정화시키는 것을 포함한다. 기본적인 임무 성능 측정은 임무 완료 시간과 임무 오차(예를 들면, 상기 패턴의 외부로 절단)를 포함한다.
● 절개(dissection): 상기 절개 임무는 매립된 용기로 노출을 얻기 위하여 상기 포드의 표면층의 절개를 필요로 하고, 이는 원주방향 절개에 의해 수반되어 상기 용기를 완전히 가동한다. 임무 완료 시간과 임무 오차(예를 들면, 상기 용기에 대한 손상, 불완전한 가동화, 및 과도한 절개)가 측정된다.
이러한 방위 실험실은 통상적으로 한 시간의 훈련 데이터를 생성한다. 이러한 기본 스킬의 성공적인 습득에 따라, 훈련생은 하기의 제2 모듈로 승급된다. 이러한 작업은 제1 훈련 모듈의 분석을 강조한다.
모듈 Ⅱ: 최소 침습 수술 스킬: 이러한 모듈은 포트 배치, 기구 교환, 복잡한 조작, 및 기구 충돌의 해결을 포함하는 기본적인 최소 침습 수술(MIS) 스킬에 훈련생을 익숙하게 하도록 의도된다.
모듈 간의 승급은 훈련생이 숙련된 스킬 수준에 도달하는 것에 기초하거나 또는 6개월의 수료에 따라 기초한다. 훈련생이 데이터 수집을 위해 그의 로봇 시스템에 단지 제한된 접근에 의해 실습하는 경우에 숙련도까지 훈련생을 계속해서 추적하는 것을 목표로 한다.
모집 및 상태
3개의 학문 외과 훈련 프로그램(Johns Hopkins, Boston Children's, U. Penn and Stanford)으로부터 (48명의 목표 중) 30명의 로봇 수술 이용자가 진행중인 연구에 참여하기 위해 모집되었다. IRBs에서 승인이 수신되고 데이터 수집을 위해 훈련 로봇이 로봇 시스템의 제조업자(Intuitive Surgical, Inc.)에 의해 활성화됨에 따라 추가적인 교육 센터와 대상체가 부가되고 있다. 대상체는 4가지 스킬 수준: 초보 수준, 초급 수준, 중급 수준, 및 전문가 수준에 따라 만족된다. 초보 훈련생은 다 빈치 로봇 시스템과 사전 경험이 없는 것으로 규정된다. 초급 훈련생은 제한된 건조 실험실 경험만을 보유하고 다빈치 시스템과의 임상 경험은 없다. 중급 훈련생은 로봇 시스템과의 제한된 임상 경험을 보유한다. 전문가 사용자는 임상 로봇 수술 실습을 갖는 교수 외과의로 구성된다. 각 대상체로부터의 성능 데이터가 훈련 기간 전체에 걸쳐 매월 간격으로 수집된다. 외과 전문의는 스킬 지표를 수립하기 위해 훈련 임무 중 두개의 실행을 제공한다. 여기에서, 4명의 전문가 사용자, 및 비전문가 스킬 수준의 8명의 다른 사용자를 분석한다.
구조화된 평가
프레임워크의 구성을 입증하기 위하여, 각 임무 실행의 평가에 대해 기술 스킬의 객관적인 구조화된 평가(OSATS)[12, 13]를 적용한다. 상기 OSATS 글로벌 평가 척도는 5점 라이커트형 눈금(즉, 1 내지 5) 상에 분류된 시술에서 6가지 스킬 관련 변수로 구성된다. 중간 및 극단 지점은 명시적으로 규정되어 있다. 6개의 측정된 범주는 다음과 같다: (1) 조직에 대한 사항(R), (2) 시간 및 운동(TM), 기구 처리(H), 기구의 지식(K), 절차의 흐름(F), 및 절차의 지식(KP). "보조원의 사용" 범주는 제1 훈련 모듈에서 일반적으로 적용가능하지 않으므로 평가되지 않는다. 6개 범주의 각각에 대한 총 개별 점수의 누적 점수가 얻어진다(최소 점수 = 0, 최대 점수 = 30). OSATS 평가 구성은 기술 성숙[13, 14]과의 연관성 및 평가자 간의 변동성의 측면에서 입증되었으며, 로봇 지원 수술[15]로 시설을 평가하는데 적용되었다.
자동화된 측정
획득된 종단적 데이터로부터 계산될 수 있는 자동화된 측정의 적어도 두가지의 상이한 유형이 있다. 첫 번째는 집계된 운동 통계, 임무 측정, 및 연관된 종단적 평가(즉, 학습 곡선)이다. 두 번째는 훈련생의 기술 스킬을 외과 전문의와 비교하기 위한 통계 분석을 이용하여 계산된 측정을 포함한다.
운동 통계 및 임무 측정: 표 2.1은 규정된 수술 임무 실행을 위해 계산된 기본 측정을 나타낸다. 이러한 측정의 각각은 각각 종단적으로 수집된 데이터에 걸쳐 연관된 학습 곡선을 도출하는데 사용된다.
표 2.1: 종단적 데이터에서 계산된 측정을 집계: 전문가는 변동성을 줄이기 위해 각 임무를 두번 수행한다 - 샘플 임무 시간(초, 상부), 마스터 핸들 운동 거리(미터, 중간), 및 카메라 발 페달 이벤트의 수(카운트, 하부)가 제1 모듈에서 훈련 임무를 위해 상세히 설명된다.
Figure pct00002

기술 스킬의 통계 분류: 본 출원인의 그룹과 공동 연구자들[16, 17, 18, 19]은 수술 스킬의 정량적 평가를 위한 기본적인 수술 동작의 자동 분할 및 분석을 위한 통계적 방법론을 개발하는데 다 빈치 API 운동 데이터를 이전에 사용하였다. Lin 등[16]은 3 또는 4차원 운동 매개 변수를 줄이기 위해 선형 판별 분석(LDA; linear discriminant analysis), 및 "제스처"라고 일컫는 기본적인 외과 동작을 검출하고 분할하기 위한 베이지안 분류를 사용하였다. Reiley 등[19]은 제스처를 모델링하기 위한 숨겨진 마르코프 모델(HMM; Hidden Markov Model) 접근법을 사용하였다. 이러한 연구는 경험이 풍부한 외과의가 상당히 빠르면서 보다 지속적이고, 보다 효율적으로, 그리고 낮은 오류율로 수술 임무를 수행하는 것을 보고하고 있다[19,20]. 능숙도가 다른 수준을 드러내는 클러스터 차원 감소 데이터에 지지 벡터 기계(SVM; Support Vector machines)를 사용하여 로봇 시스템 작동 스킬의 평가를 요약한다. SVM은 커널 함수를 이용하여 더 높은 차원의 공간으로 입력 데이터를 변환시키고, 최적화 단계는 최대 분리로 상기 데이터를 분리하는 초평면(hyperplanes)을 추산한다.
결과
구조화된 평가: 표 2.1은 시스템 작동 스킬 및 임상적 배경에 근거하여 훈련생들 간의 명확한 분리를 보여주고, 이는 자동화된 방법을 평가하기 위하여 입증된 "지상 검증 자료(ground thuth)"를 제공한다.
작업공간 관리: 소형 수술 작업공간을 유지하는 것은 중요한 로봇 시스템 작동 스킬이다. 전문가 로봇 외과의는 항상 시야 내에 기구를 유지하면서 주어진 수술 임무에 대한 최적의 시야를 유지하지만(도 11, 하부 좌측), 훈련생은 임무 수행 시에 조정되지 않는 넓은 시야로 축소하는 경향이 있다(도 11, 하부 우측).
도 11(상부)은 조작 임무를 수행하는 전문가 로봇 외과의와 훈련생 간의 작업공간 사용의 차이를 그래프로 도시하고 있다. 궤도는 마스터 핸들 운동을 나타내고, 둘러싼 체적은 사용된 전체 체적을 나타내며, 상기 체적은 마스터 클러치 조정의 끝에서 마스터 핸들의 위치에 의해 둘러싸인다. 상기 작업공간 사용은 훈련생이 보다 효율적으로 그의 작업공간을 조정하는 것을 학습함에 따라 전문가의 작업공간 사용에 점점 가까워지게 된다. 전문가 임무 실행은 시야 내에 기구를 유지하기 위하여 규칙적으로 이격된 카메라 클러치 이벤트를 또한 포함한다.
기구 팁 운동에 의해 포착되지 않는 마스터 작업공간을 조정하는데 필요한 모든 마스터 운동을 포착하여 작동 스킬을 양호하게 측정함으로 문헌에 보고된 기구 팁 운동에 비해, 여기에서는 계산을 위하여 마스터 핸들 운동을 사용한다. 마스터 거리뿐만 아니라 마스터 핸들이 이동되는 체적 양자를 측정한다. 여기에서 보고되지는 않았지만, 기구 운동 통계뿐만 아니라 다른 발 페달, 기구 교환, 및 기타 시스템 이벤트의 수를 측정하고 분석도 한다.
학습 곡선: 도 12a-12h는 규정된 수술 임무를 완료하는데 필요한 임무 운동 및 시간으로부터 유도된 학습 곡선 및 대응하는 전문가 OSATS 구조 평가에 근거한 대응하는 학습 곡선을 도시하고 있다. ANOVA(1, 3, 및 5개월에서 α = 0.05에서 F = 71.88 > 2.23, F = 51.02 > 2.37, 및 F = 71.4 > 2.57) 결과는 시간에 대한 예상된 값, OSATS, 마스터 운동 및 마스터 체적이 상당히 다르다는 것을 나타내는 5% 유의 수준에서 유의미하다. 작은 임무 완료 시간, 작은 체적, 짧은 운동, 및 OSATS 점수에서 개선된 상관 관계에 나타낸 바와 같이 시간이 지남에 따라 훈련 성능이 향상된다. 비교해보면, 전문가의 측정은 두 실행에서 아주 작은 변동성을 갖는다.
1, 3, 및 5 개월 간격으로 계산된 측정(예를 들어, 임무 시간, 총 시간, 마스터 운동, 및 마스터 체적)은 대응하는 세션(p < O.05)에 대한 OSATS 점수와 상관 관계가 있다. 봉합술에 대해, 1 개월에서, 평균 OSATS(M = 77.58, V = 527.35, N = 12), 및 봉합 시간(M = 466.29, V = 39392.63, N = 12)은 t(11) = -6.27, 두-꼬리 p = 6.07E-5로 제로보다 상당히 크고, 이는 임무 완료 시간이 지상 검증 자료 평가와 상관 관계가 있다는 증거를 제공한다. 표 2.2는 알파 = 0.05에 대한 p-값을 상세히 나타내고 있다.
표 2.2: 1, 3, 및 5개월 시간 간격으로 쌍-방식 t-시험 및 OSATS 점수와 봉합 시간(봉합술)에 대한 두-꼬리 p-값(상부), 총 시간(time), 조작 거리(manip), 총 임무 거리(distance), 절개(dissec)에서 마스터 핸들 체적, 및 총 마스터 핸들 체적(volume). 동일한 간격으로 모든 변수(하부)에 대한 변동의 하나의 팩터 분석(ANOVA)을 위한 P-값.
Figure pct00003
스킬 평가: 데이터세트의 일부(2명의 전문가, 4명의 비전문가)에 대해, 본 출원인은 먼저 데카르트 기구 속도 신호에 대한 데이터 크기를 줄이기 위해 주요 성분 분석(PCA)을 이용하여 운동 데이터를 모았다. 그리고 나서, 데이터의 일부분에서 이진 지지 벡터 기계(SVM) 분류기를 훈련시키고, 전문가 대 나머지 이진 분류를 수행하기 위해 훈련된 분류기를 사용하였다. 이러한 방법론은 봉합 임무에 대한 83.33%의 정확도 및 조작 임무에 대한 76.25%의 정확도로 각각의 스킬 수준에 따른 대상체를 제대로 만족한다. 이것과 확장된 데이터세트에 대한 상세한 자동화된 분석은 별도로 보고되어 있다.
논의
임상 스킬 측정은 기구-환경 상호작용의 측정이어야 한다. 기구 운동이 로봇에 내장된 센서를 이용하여 정확하게 측정되는 동안에, 환경(환자 또는 모델)과 도구의 상호작용 및 효과, 및 니들과 봉합사와 같은 추가 도구는 운동학적인 운동 데이터에 포착되지 않는다. 기구 운동이 "임상" 스킬의 지표로 주로 사용되는 기술과 비교해서, 본 출원인은 로봇 수술 시스템에 대한 "작동" 스킬에 초점을 맞춘다. 로봇 수술은 복잡한 인간-기계 인터페이스를 사용하고, 심지어는 복강경 수술로 훈련된 외과의에 대해 긴 학습 곡선을 생성하는 것이 이러한 인터페이스의 복잡성이다.
구조화된 전문가 평가(OSATS)뿐만 아니라 자동으로 계산된 스킬의 통계 및 측정 양자의 예비 평가를 포함하는 로봇 수술 훈련생의 종단적 연구를 설명한다. 작동 스킬 효과는 로봇 시스템으로부터 이용가능한 텔레미터법을 이용하여 완전히 포착될 수 있고, 적절한 임무와 측정으로 별도의 학습 곡선이 식별될 수 있다. 특히, OSATS를 이용하는 임무 성능의 구조화된 평가와 위에서 계산된 마스터 작업공간 측정(거리, 체적, 시간) 간의 매우 높은 합의에 주목한다. 본 명세서에서는 설명되지 않았지만 계산된 추가적인 측정은 카메라 운동 효과, 문헌과 유사한 기구 운동 측정, 시스템 이벤트에 근거한 학습 곡선, 및 비정상적인 이벤트에 근거한 학습 곡선과 비정상적인 이벤트에 대한 반응을 포함한다.
학습 곡선을 개발하기 위하여 종단적 분석을 수행한다. 이는 훈련 과정 및 작동 스킬을 식별하는 지표 양자의 개발을 향한 필수적인 활동이다. 전술한 바와 같이, 마스터 조작에 근거한 스킬의 측정은 전문가와 비전문가 간의 큰 차이 및 훈련이 진행됨에 따라 전문가를 향한 수렴을 나타낸다. 작동 기술 및 시스템 방향이 가장 중요한 초기의 훈련은 로봇 수술 훈련에서 단지 제1 단계이다. 상기 제1 모듈의 완료에 따른 훈련의 추가 모듈은 포트 제약, 기구 충돌, 및 더 복잡한 임무를 부가한다.
본 명세서에 제시된 이러한 분석은 본 발명의 데이터 중 일부만을 사용하고, 계산된 일부의 측정만을 논의한다. 큰 데이터세트와 대안적인 방법을 포함하는 추가적인 대규모 연구가 현재 진행되고 있다. 진행중인 작업에서, 오류에 대한 응답 시간 및 부가적인 스킬 측정으로서의 개발 곡선을 또한 측정한다. 마지막으로, 비교적 간단한 통계 분류는 본 발명의 데이터의 품질을 강조하기 위해서만 80%보다 큰 정확도로 본 명세서에 보고되어 있다. 진행중인 작업에서, 작동 스킬뿐만 아니라 수술 임무 스킬 양자를 위해 대안적인 감독 및 무감독 다중 클래스 분류를 또한 이용한다.
예 2에 대한 참고
1. Intuitive Surgical Inc,
http://www.intuitivesurgical.com/products/faq/index.aspx, 2010.
2. Novick RJ, Fox SA, Kiaii BB, Stitt LW, Rayman R, Kodera K, et al. Analysis of the learning curve in telerobotic, beating heart coronary artery bypass grafting: a 90 patient experience. The Annals of thoracic surgery 2003;76(3):749--753
3. Rodriguez E and Chitwood Jr WR. Outcomes in robotic cardiac surgery, Journal of Robotic Surgery, 2007;1:19--23
4. Chitwood Jr, WR. Current status of endoscopic and robotic mitral valve surgery. The Annals of thoracic surgery 2005;79(6):S2248--S2253
5. Ro CY, Toumpoulis IK, Jr RCA, Imielinska C, Jebara T, Shin SH, et al. A novel drill set for the enhancement and assessment of robotic surgical performance. Studies in Health Technology and Informatics, Proc. Medicine Meeting Virtual Reality(MMVR). 2005; 111:418--421
6. Judkins TN, Oleynikov D, Stergiou N. Objective evaluation of expert and novice performance during robotic surgical training tasks. Surgical Endoscopy 2009;23(3):590--597
7. Sarle R, Tewari A, Shrivastava A, Peabody J and Menon M. Surgical robotics and laparoscopic training drills. Journal of Endourology. 2004;18(1):63--67
8. Narazaki K, Oleynikov D, and Stergiou N. Objective assessment of proficiency with bimanual inanimate tasks in robotic laparoscopy. Journal of Laparoendoscopic & Advanced Surgical Techniques. 2007;17(1):47--52
9. Datta V, Mackay S, Mandalia M, and Darzi A. The use of electromagnetic motion tracking analysis to objectively measure open surgical skill in the laboratory-based model. Journal of the American College of Surgeons. 2001;193(5):479--485
10. DiMaio S, and Hasser C. The da Vinci Research Interface, Systems and Architectures for Computer Assisted Interventions workshop (MICCAI 2008), http://www.midasjournal.org/browse/publication/622, 2008.
11. Mohr C, and Curet M, The Intuitive Surgical System Skill Practicum. Intuitive Surgical, Inc, 2008
12. Martin JA, Regehr G, Reznick R, MacRae H, Murnaghan J, Hutchison C, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. British Journal of Surgery. 1997;84(2):273--278
13. Faulkner H, Regehr G, Martin J, Reznick R. Validation of an objective structured assessment of technical skill for surgical residents. Academic Medicine. 1996;71(12):1363
14. Darzi A, Smith S, and Taffinder N. Assessing operative skill. British Medical Journal. 1999;318(7188):887
15. Hernandez JD, Bann SD, Munz Y, Moorthy K, Datta V, Martin S, et al. Qualitative and quantitative analysis of the learning curve of a simulated surgical task on the da Vinci system. Surgical Endoscopy. 2004; 18:372-378
16. Lin HC, Shafran I, Yuh D, Hager GD. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery. 2006;11(5):220--230
17. Verner L, Oleynikov D, Hotmann S, Zhukov L. Measurements of level of surgical expertise using flight path analysis from Da Vinci robotic surgical system. Studies in Health Technology and Informatics 2003;94:373-378
18. Gallagher AG, Ritter EM, Satava RM, Fundamental principles of validation, and reliability: rigorous science for the assessment of surgical education and training, Surgical Endoscopy. 2003;17:1525-1529
19. Reiley CE, Hager GD. Task versus Subtask Surgical Skill Evaluation of Robotic Minimally Invasive Surgery, Proc. Medical Image Computing and Computer-Assisted Intervention (MICCAI). 2009;435-442
20. Gallagher AG, Richie K, McClure N, and McGuigan J. Objective psychomotor skills assessment of experienced, junior, and novice laparoscopists with virtual reality. World Journal of Surgery, 2001;25(11):1478-1483
예 3
최소 침습 수술은 로봇 수술 시스템 [1,2]의 도입 및 승인에 대해 마지막 20년에 걸쳐서 급격한 변화를 보였다. 도구 및 기술에서 계속된 발전은 복부[4], 비뇨기[5], 이비인후과[6], 및 신경학적 수술[7], 뿐만 아니라 흉부외과[3] 수술을 포함하는 수술 실시의 많은 영역에서 치료의 표준으로서 최소 침습 수술을 확립하였다.
최소 침습 기술의 증가하는 사용은 감소된 고통 및 트라우마, 감소된 혈액 소모, 및 보다 짧은 회복 시간에 의해 이유가 되었다. 최소 침습 심장 수술에서의 성공은 장기의 움직임, 흉막의 신체적 제약, 수술 에러 또는 과잉 지연의 결과[8] 뿐만 아니라 로봇 디바이스의 실패에 이용 가능한 제한된 경감으로 인하여 다른 특성에서의 로봇 복강경 수술로 달성된 것들 보다 뒤처졌었다.
다빈치 수술 시스템(Intuitive Surgical, Sunnyvale, CA)은 최소 침습 흉부외과 수술을 위하여 초기에 개발되었다. 지금 그 3세대에서, 로봇은, 의사 콘솔, 3개의 로봇 기구 조종기 및 로봇 내시경으로 이루어진 환자측 카트, 및 내시경 구성 요소 및 그 최종 세대에서 계산 엔진을 수용하는 비젼 카트의 3개의 구성 요소로 이루어진다. 의사는 콘솔에 앉으며, 마스터 기구 핸들을 조종하며, 운동은 크기가 조정되고 적절한 기구 운동으로 변환되다. 팁에 있는 로봇 기구는 인간의 손보다 큰 정밀도 및 손재간을 수용하며, 또한 접근 포트 주위에서 복강경 수술 시에 고유한 운동 전도를 반전시킨다.
다빈치 시스템은 지금 복잡한 비뇨기과학 처치에서 치료의 표준이다. 관상동맥 우회로 조성술 [9], 심방 중격 결손 폐쇄술 [10], 트랜스마이오카디알 레이저 혈관재형성 [11], 및 승모변형성술 [12]을 포함하는 성장하는 수의 흉부외과 수술 [4]을 성공적으로 수행하도록 사용되었었다. 트레이닝은 여전히 로봇 심장흉부외과의 적응을 개선하는데 있어서 주요 도전 중 하나이다. 로봇 시스템(the Si)의 최종 세대는 2개의 의사 콘솔까지 가질 수 있다. 이는 집필자중 한 사람에 의해 창작된 원형이 기초하고(Kumar et al, Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures, 2006), 이전 세대의 트레이닝 제한을 다루는 것을 목적으로 한다.
아카데믹 메디컬 센터에서의 수술 트레이닝은 여전히, 인턴과 쥬니어 레지던트가 학부 의사의 교육하에서 수술을 수행하도록 허용되는 Halstedian "보고, 하고, 가르치고" 계획에 입각한다. 조언자는 전형적으로 피교육자의 능력과 피교육자의 처치의 이해에서 그의 주관적 확신성에 기초한 피교육자의 참여를 조정한다. 본 발명자들은 상세한 수행 데이터, 및 기량의 객관적인 측정의 습득을 위하여 방법을 개발하였으며, 이것은 피교육자의 수행의 보다 큰 이해를 허용할 수 있으며, 조언자와 피교육자 모두를 위한 트레이닝 프로세서의 효율을 크게 개선하는 잠재성을 가진다.
재료 및 방법
본 발명자들은 제약을 받지 않는 방식으로 로봇 수술 또는 트레이닝 처치 동안 발생된 모든 운동을 기록한다. 이러한 이전에 필요한 디바이스를 기록하는 것은 수술 또는 트레이닝 작업 흐름에 영향을 주지 않고 수술 및 트레이닝 기반 시설 [9] 내로 용이하게 통합될 수 없었다. 비교에 의해, 다빈치 시스템에 있는 Application Programming Interface (API [10])는 처치 작업 흐름의 임의의 변경없이, 그리고 본 발명자들의 시스템을 사용하여 현장 감독없이 기구 및 손 운동 및 비디오 데이터의 기록을 허용한다.
데이터 수집 시스템: 본 발명자들의 데이터 수집 시스템(도 1)은 주로 다빈치 수술 로봇 시스템으로부터 데이터를 수집하도록 디자인된다. API 스트림(334)들은 모든 로봇 아암과 콘솔 버튼 및 풋 페달을 위한 데카르트 좌표 위치 및 속도, 관절 각도, 관절 속도, 토크 데이터, 및 이벤트를 포함하는 100Hz까지의 속도로 변한다. 이러한 데이터는 이것이 암호화되고 기록되는 작은 휴대용 워크스테이션에 대한 에더넷 연결을 통해 스트림 처리된다. 이러한 데이터와 함께; 본 발명자들은 실시간 프레임 속도(30Hz)로 입체 카메라로부터 동기화된 고품질 비디오를 또한 기록한다.
이러한 데이터는 Johns Hopkins Institutional Review Board 프로토콜에 따라서 소스에서 분석되고, 기록 보관소에 저장된다. 대상들은 학습 곡선의 컴퓨터 계산과 같은 종단 연구(longitudinal analysis)를 허용하도록 고유 식별자가 할당된다. 이러한 프로세서는 시간당 20-25 기가바이트(GB)의 데이터를 생성한다. 기록 보관 워크스테이션은 동작하는데 임의의 특별한 트레이닝을 필요로 하지 않으며, 시스템 동작에 영향을 미치지 않고 연결되어 남겨질 수 있다.
실험적 과제: 본 발명자들의 계속 진행중이 프로토콜은 로봇 수술 트레이닝 기량을 평가하는 것을 목적으로 한다. 이는 한 세트의 최소 침습 수술 트레이닝 과제를 포함한다. 트레이닝의 제 1 모듈(도 4)은 로봇 수술 트레이닝을 위해 상업적으로 사용되는 트레이닝 포드[11](The Chamberlain Group, Inc.) 상에서 대략 매달 수행되는, 시스템 지향을 위한 조종 과제, 및 봉합술, 횡단, 및 절개 기량의 테스트의 벤치마킹을 포함한다.
조종 과제는 전체 로봇 작업 공간 주위에서 고무 링을 움직이는 것을 수반한다. 대상은 또한 8-10㎝ 길이의 Vicryl 3-0 봉합을 사용하는 I-결함(I-defect)을 따르는 단속적 봉합술(3 봉합선)을 수행하고, 곡선 가위를 사용하여 절개 포드 상에서 일정 패턴을 절개하고, 비절개박리(blunt dissection)를 사용하여 겔 모형에 매립된 인공 혈관을 또한 동원한다.
운동 데이터에 부가하여, 본 발명자들은 이러한 벤치마킹 기간 사이의 피교육자의 실시 시간(practice hour)을 기록한다. 대상은 6개의 벤치마킹 기간(대략 6개월)을 완료한 후에, 또는 수행 측정이 과제 능숙을 지시할 때 등급이 매겨진다.
충원 및 등급: 본 발명자들의 주제는 4개의 기구로부터 로봇 수술 레지던트 및 학우이다(Johns Hopkins, Children's Hospital, Boston, Stanford/VA Hospitals, and University of Pennsylvania). 실시하는 임상의는 수행 측정의 능숙도 레벨을 컴퓨터 계산하기 위한 실측 자료(ground truth data)를 제공하도록 충원된다. 현재의 충원은 6명의 전문가를 포함하여 24명에 이른다.
전문가 평가: 전문 의사 공동 연구자들은 각 기록된 시험의 Objective Structured Assessment of Technical Skills (OSATS) [12, 13] 평가를 제공한다. OSATS 등급 시스템은 평가자간 변동성 및 마찬가지로 로봇 수술 [15]에서 기술 능력[13, 14]과의 상관성의 조건에서 입증되었다. OSATS 등급 스케일은 5점 Likert-형 스케일(즉, 1 내지 5) 상에서 등급이 매겨진 과제 수행 측정치를 포함한다. 본 발명자들은 6개의 카테고리를 사용한다: 1) 조직에 대한 존중(Respect for Tissue)(R), 2) 시간 및 운동(TM), 3) 기구 핸들링(H), 4) 기구의 지식(K), 5) 처치의 흐름(F), 및 6) 처치의 지식(KP). '평가의 사용(Use of Assistants)' 카테고리는 제 1 모듈에서 적용할 수 없었으며 스코어링에 포함되지 않았다. 전체 스코어(최소=5, 최대=30)는 개별적인 카테고리로부터 계산되었다.
본 발명자들의 데이터의 복잡도를 이해하고 분석을 개시하도록, 본 발명자들는 먼저 두명의 전문가, 두명의 초보자, 및 두명의 임상 무경험 사용자로부터 데이터를 수집했다. 임상 무경험 사용자는 단지 트레이닝 과제에서 임상적 백그라운드의 유용성만을 평가하도록 이 실험에서 포함되었다. 표 3.2는 이 실험에 참여한 6명의 대상을 위한 OSATS 스코어를 나타낸다.
표 3.2: 6명의 사용자에 대한 OSATS 점수
Figure pct00004

자동 평가 : 우리는 수동 구조적 전문가 평가 이외에 자동화된 평가를 수행하는 두가지 방법 - 집계된 모션 통계 및 작업 성능 측정, 전문가 및 비전문가의 차이를 조사하였다. 이전 연구[6, 8]는 다양한 스킬 레벨의 사용자와 전문가를 비교할 시에만 중점을 두고 스킬을 식별하는 예비 측정을 이용하였다. 표 3.1은 작업 완료 시간, 카메라 이벤트의 수, 작업 공간을 조정한 클러치 패탈 이벤트의 수, 기구가 이동하는 총 거리, 및 카메라의 전체 모션과 같은 기본적인 작업 성능 측정을 보여준다.
표 3.1: 2개의 세션에서 계산된 평균 집계 측정: 작업 완료 시간(초, 제 1 열), 카메라 페달 이벤트의 수, 클러치 발 페달 이벤트의 수, 환자측 기구(미터)가 이동하는 거리, 카메라(미터)가 이동하는 거리는 제 1 모듈에서 교육 작업에 대해 상세히 설명된다.
Figure pct00005

Vinci API로부터의 모션 데이터는 또한 이전에는 통계적 머신 학습 방법을 이용하여 스킬을 분류하는데 사용되었다. 이러한 연구[16, 19]는 주로 수행되는 수술 작업을 인식하는데 초점을 맞추었다. API로부터의 모션 데이터는 고차원적(최대 100 Hz에서의 334 치수)이며, 우리는 데이터를 낮은 낮은 수의 치수로 투사하는 차원 축소법(Principal Component Analysis(PCA))을 이용하였다. PCA는 중복 데이터를 삭제하기 위해 상관된 변수로 구성된 데이터를 상관되지 않은 변수로 구성된 하위 차원 데이터로 변환하는 직교 선형 변환법을 이용한다.
감소된 데이터는 Support Vector Machines(SVM)를 이용하여 전문가와 비전문가의 클래스로 분류된다. SVM은 두 클래스 사이의 최적 분리로 초평면(hyper-plane)을 찾기 위해 커널 함수 및 최적화 알고리즘을 이용한다. SVM은 이전에는 또한 모션 데이터의 수술 스킬을 분류하는데 이용되었다. 주어진 지상 검증 라벨링(ground truth labeling), 분류기의 감도 및 정확도는 직접 성능 측정으로 계산될 수 있다.
결과
방법을 개발하기 위해, 우리는 두 전문가, 두 초보자, 및 임상 경험이 없는 두 사용자로부터의 데이터를 분석하였다. 표 3.2는 실험에 참여하는 모든 여섯 과목에 대한 점수를 보여준다. 비임상 사용자는 우리의 교육 작업에서 임상 배경의 유틸리티를 평가하도록 포함되었다.
구조적 평가: 표 3.2는 시스템 동작 스킬 및 임상 배경에 기초하여 수련생 사이의 명확한 분리를 보여준다. 이러한 작은 데이터셋에 대해, 평가는 또한 자신의 보고 전문성과 상관 관계가 있고, 자동화된 방법에 대한 "지상 검증(ground truth)"을 우리에게 제공한다. 전문가(OSATS 점수> 13) 및 수련생(OSATS 점수<10)은 구조적 평가로 잘 분리된다.
작업 공간 시각화: 도 11(상부 왼쪽)은 처치 작업을 위한 전문가 마스터 핸들 작업 공간 사용을 도시한다. 청색 및 적색 모션 궤도는 제각기 왼쪽과 오른쪽 마스터 핸들을 나타낸다. 녹색 삼각형은 클러치 페달이 마스터 핸들을 조정하기 위해 누른 시점이다. 내부 적색 타원은 서브젝트의 손이 작업 공간 조정 후에 반환하는 볼륨을 보여주지만, 외부 타원은 작업 볼륨을 제한한다. 도 11(상부 오른쪽)은 동일한 작업에 대한 초보자의 작업 공간 사용을 보여준다. 전문가는 초보자보다 작업이 훨씬 더 콤팩트한 볼륨을 갖는다는 것은 시각적으로 자명하다. 교육이 진행됨에 따라, 작업 공간 사용 효율은 전문가와 일치하도록 향상시킨다.
표 3.3: 4개의 세션을 통한 2 수련생의 시간 및 기구 모션 거리의 길이 방향 관찰. 시간은 초단위이고, 거리는 미터 단위이다.
Figure pct00006

도 11(하부 왼쪽)은 동일한 작업에 대한 전문적인 카메라 움직임을 도시한다. 시야에서 기구를 유지하기 위해, 삼각형은 카메라 움직임의 시작과 끝을 나타낸다. 항상 시야에서 기구를 유지하기 위해, 전문가는 거의 동일한 스케일을 유지하면서 정기적인 카메라 움직임을 실시한다. 수련생(도 11, 하부 오른쪽)은 대신에 작은 움직임 내에서 카메라를 더욱 빈번히 축소하고 이동하여 카메라 움직임을 최소화하는 것을 목표로 한다. 이러한 시각화는 수련생에 대한 특정 작업 전략 및 개선을 권장하는데 이용될 수 있다.
통계 분류를 이용한 스킬 평가:
수련생에 비해, 전문가는 보다 적은 클러칭, 병진 운동(봉합 전문가<2.5m, 초보자>4.4m), 충돌, 및 짧은 작업 완료 시간(전문가 <290sec, 초보자>375sec)로 이어지는 최적의 시야를 달성할 시에 74.64%의 많은 비디오스코피(videoscopic) 카메라 움직임을 이용하였다.
봉합의 통계적 스킬 분류를 위해, 우리는 개별적으로 시험(trial)당 3번씩 봉합(사용자당 2세션)을 세그먼트한다. 이것은 전문가에게는 12로 라벨되고, 비전문가에게는 24로 라벨되는 총 36 시험을 제공한다. 우리는 지금 특징 벡터로 각 봉합에 대한 직교 속도 데이터를 이용한다. 각 봉합 시험은 약 5000 샘플이다. 주 성분 분석을 이용하여 우리는 이러한 데이터를 30 치수까지 줄였다.
그 다음, 우리는 시험의 서브세트에서 2진수 지원 벡터 머신(SVM 분류기)을 교육하고, 전문가 대 비전문가 이진 분류를 수행하기 위해 교육받은 분류기를 사용 하였다. 3 전문가 및 3 비전문가 샘플은 교육에 사용되었고, 교육받은 SVM은 나머지 30 샘플에 적용되었다. 이것은 봉합에 대한 83.3 %의 분류 정확도를 달성하였다. 마찬가지로, 96 치수는 처치에 대한 76.3 %의 분류 정확도를 제공한다. 도 13은 3차원의 봉합 직교 속도의 투영을 도시한다. 전문가 시험 클러스터는 잔여 샘플로부터 잘 분리된다. 또한 비임상 사용자는 또한 봉합 스킬을 가진 교육받은 사용자로부터 분리된다는 것에 주목한다.
코멘트
우리는 다빈치 수술 로봇 시스템을 교육하기 위한 새로운 자율 데이터 수집 인프라를 설명한다. 이러한 인프라는 4개의 서로 다른 교육 센터(Johns Hopkins, University of Pennsylvania, Children's Hospital, Boston 및 Stanford)에서 교육 데이터를 캡처하여 사용 중이다.
문헌[7-9, 16-19]에서 보고된 현재의 스킬 레벨을 검출할 목적으로 실험 데이터 수집과 비교하여, 우리는 단지 현재의 스킬 레벨의 평가를 위한 기술 패러다임의 벤치마킹을 이용하지만, 오히려 학습 곡선(Learning curves)을 개발하였다. 학습 곡선과 검증은 별도로 보고되고 있다. 기술에 비해, 수련생은 이러한 스킬을 습득하고, 로봇 외과 의사가 될 자신의 욕망에 의해 동기 부여된다. 그들은 각 센터에서 교육 프로그램에 참여하고 있으며, 우리의 프로토콜에 의한 로봇으로 실시하지 않는다. 그래서, 우리는 또한 벤치마킹 세션 사이의 교육 시간을 수집하고, 스킬 레벨과 교육의 관계는 또한 별도로 보고되고 있다. 마지막으로, 우리는 다빈치 수술 로봇을 이용하기 위한 시스템 동작 스킬이 가파른 학습 곡선의 이유중 하나인 비교적 복잡한 인간-기계 인터페이스의 특징을 이룬다는 것을 조사하였다. 여기서, 우리는 비효율적인 사용을 검출하고 지침을 제공하는데 이용될 수 있는 시각화를 보고한다.
우리는 또한 이진 분류기가 80% 이상의 정확도로 전문가와 비전문가를 구별할 수 있음을 보여준다. 이러한 작업은 데이터의 제한된 세트에서 실험 작업에서 수술 교육의 필요성을 조사하도록 의도되었다. 지속적인 분석은 시스템 이벤트 및 작업 오류에 대한 응답 시간을 탐구하고, 작업 다양성 및 오류에 대한 응답에 기초하여 스킬을 구별하는 방법을 개발하고 있다. 다른 작업은 또한 큰 데이터 세트에서 동작 및 수술 스킬에 대한 감독 및 자율 방법을 탐구한다. 이러한 분석은 별도 제출을 위해 준비하고 있다.
예 3에 대한 참고문헌
1. Intuitive Surgical Inc,
http://www.intu itivesurgical . com / products / faq / index . aspx, 2010.
2. Novick RJ, Fox SA, Kiaii BB, Stitt LW, Rayman R, Kodera K, et al. Analysis of the learning curve in telerobotic, beating heart coronary artery bypass grafting: a 90 patient experience. The Annals of thoracic surgery 2003;76(3):749--753
3. Rodriguez E and Chitwood Jr WR. Outcomes in robotic cardiac surgery, Journal of Robotic Surgery, 2007;1:19-23
4. Chitwood Jr, WR. Current status of endoscopic and robotic mitral valve surgery. The Annals of thoracic surgery 2005;79(6):S2248~S2253
5. Ro CY, Toumpoulis IK, Jr RCA, Imielinska C, Jebara T, Shin SH, et al. A novel drill set for the enhancement and assessment of robotic surgical performance. Studies in Health Technology and Informatics, Proc. Medicine Meeting Virtual Reality(MMVR). 2005;111:418-421
6. Judkins TN, Oleynikov D, Stergiou N. Objective evaluation of expert and novice performance during robotic surgical training tasks. Surgical Endoscopy 2009;23(3):590--597
7. Sarle R, Tewari A, Shrivastava A, Peabody J and Menon M. Surgical robotics and laparoscopic training drills. Journal of Endourology. 2004;18(1):63--67
8. Narazaki K, Oleynikov D, and Stergiou N. Objective assessment of proficiency with bimanual inanimate tasks in robotic laparoscopy. Journal of Laparoendoscopic & Advanced Surgical Techniques. 2007;17(1):47-52
9. Datta V, Mackay S, Mandalia M, and Darzi A. The use of electromagnetic motion tracking analysis to objectively measure open surgical skill in the laboratory-based model. Journal of the American College of Surgeons. 2001 ; 193(5):479-485
10. DiMaio S, and Hasser C. The da Vinci Research Interface, Systems and Architectures for Computer Assisted Interventions workshop (MICCAI 2008), http://www.midasjournal.org/biOwse/publication/622, 2008.
11. Mohr C, and Curet M, The Intuitive Surgical System Skill Practicum. Intuitive Surgical, Inc, 2008
12. Martin JA, Regehr G, Reznick R, MacRae H, Murnaghan J, Hutchison C, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. British Journal of Surgery. 1997;84(2):273-278
13. Faulkner H, Regehr G, Martin J, Reznick R. Validation of an objective structured assessment of technical skill for surgical residents. Academic Medicine. 1996;71 (12): 1363
14. Darzi A, Smith S, and Taffinder N. Assessing operative skill. British Medical Journal. 1999;31 8(7188):887
15. Hernandez JD, Bann SD, Munz Y, Moorthy , Datta V, Martin S, et al. Qualitative and quantitative analysis of the learning curve of a simulated surgical task on the da Vinci system. Surgical Endoscopy.2004; 18:372-378
16. Lin HC, Shafran I, Yuh D, Hager GD. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery. 2006;ll(5):220-230
17. Verner L, Oleynikov D, Hotmann S, Zhukov L. Measurements of level of surgical expertise using flight path analysis from Da Vinci robotic surgical system. Studies in Health Technology and Informatics 2003;94:373-378
18. Gallagher AG, Ritter EM, Satava RM, Fundamental principles of validation, and reliability: rigorous science for the assessment of surgical education and training, Surgical Endoscopy. 2003;17:1525-1529
19. Reiley CE, Hager GD. Task versus Subtask Surgical Skill Evaluation of Robotic Minimally Invasive Surgery, Proc. Medical Image Computing and Computer-Assisted Intervention (MICCAI). 2009; 435-442
20 Gallagher AG, Richie K, McCIure N, and McGuigan J. Objective psychomotor skills assessment of experienced, junior, and novice laparoscopists with virtual reality. World Journal of Surgery, 2001;25(11): 1478-1483
21. Aggarwal R, Moorthy K, Darzi a. Laparoscopic skills training and assessment. The British Journal of Surgery. 2004;91(12):1549-58
22. Judkins TN, Oleynikov D, Stergiou N. Real-time augmented feedback benefits robotic laparoscopic training. Studies in Health technology and Informatics. 2006;119:243-8
23. Narazaki , Oleynikov D, Stergiou N. Identifying objective variables for quantifying the extent of proficiency. Urology. 2006:96-103.
24. Ro CY, Toumpoulis IK, Ashton RC, et al. A novel drill set for the enhancement and assessment of robotic surgical performance. Studies in Health Technology and Informatics. 2005;111:418-21.
25. Vassiliou MC, Feldman LS, Andrew CG, et al. A global assessment tool for evaluation of intraoperative laparoscopic skills. American journal of surgery. 2005;190(1):107-13
26. Rosen J, Brown JD, Barreca M, et al. The Blue DRAGON--a system for monitoring the kinematics and the dynamics of endoscopic tools in minimally invasive surgery for objective laparoscopic skill assessment. Studies in Health Technology and Informatics.
27. Sarle R, Tewari A, Shrivastava A, Peabody J, Menon M. Surgical robotics and laparoscopic training drills. Journal of Endourology / Endourological Society. 2004;18(l):63-6; discussion 66-7
본 명세서에 예시되고 논의된 실시예는 본 발명을 제조하고 이용하는 방법을 당업자에게 가르치기 위해서만 의도되고, 본 발명의 범위를 정의하기 위한 것이 아니다. 본 발명의 실시예를 설명할 시에, 특정 용어는 명확성을 위해 사용된다. 그러나, 본 발명은 그렇게 선택된 특정 용어로 제한하기 위한 것이 아니다. 본 발명의 상술한 실시예는 상술한 요지에 비추어 당업자는 알 수 있는 바와 같이 본 발명에서 벗어나지 않고 수정되거나 변경될 수 있다. 그래서, 청구범위의 범위 및 동등 범위 내에서 본 발명은 설명된 것과 달리 실시될 수 있다는 것이 이해된다.

Claims (32)

  1. 최소 침습 수술을 수행하는 기량의 평가 또는 개선 중 적어도 하나를 돕는 시스템으로서,
    최소 침습 수술 시스템;
    상기 최소 침습 수술 시스템과 사용자의 적어도 하나의 상호 작용 또는 상기 최소 침습 수술 시스템으로 수행되는 과제를 기록하도록 배열된 비디오 시스템; 및
    상기 최소 침습 수술 시스템 및 상기 비디오 시스템과 통신하는 데이터 저장 및 처리 시스템을 포함하며;
    상기 최소 침습 수술 시스템은 상기 비디오 시스템으로부터 시간 등록 비디오 신호와 관련하여 상기 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 제공하며,
    상기 데이터 저장 및 처리 시스템은 평가를 위한 전문가가 이용 가능하게 만들어진 상기 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는, 시스템.
  2. 제 1 항에 있어서, 상기 최소 침습 수술 시스템은 수술 도구를 포함하는, 시스템.
  3. 제 1 항에 있어서, 상기 최소 침습 수술 시스템은 로봇 수술 시스템을 포함하는, 시스템.
  4. 제 3 항에 있어서, 상기 로봇 수술 시스템은 원격 작동 로봇 수술 시스템인, 시스템.
  5. 제 4 항에 있어서, 상기 원격 작동 로봇 수술 시스템은 마스터 핸들을 포함하며, 상기 운동 데이터는 원격 작동 수술 시스템의 마스터 핸들의 운동 데이터를 포함하는, 시스템.
  6. 제 5 항에 있어서, 상기 원격 작동 로봇 수술 시스템은 상기 마스터 핸들을 수용하는 콘솔을 포함하며, 상기 운동 데이터는 인체 공학, 작업 영역, 및 상기 콘솔의 시각화 양태 중 적어도 하나의 구성을 포함하는, 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 최소 침습 수술 시스템은 복강경 수술 시스템인, 시스템.
  8. 제 1 항에 있어서, 상기 평가를 위한 전문가가 이용 가능하게 만들어진 상기 시간 등록 비디오 신호와 관련하여 상기 평가 척도를 디스플레이하도록 상기 데이터 저장 및 처리 시스템과 통신하는 디스플레이 시스템을 추가로 포함하는, 시스템.
  9. 제 8 항에 있어서, 상기 평가 척도과 상기 시간 등록 비디오와 통신하는 상기 전문가로부터 전문가 평가를 수신하도록 상기 데이터 저장 및 처리 시스템과 통신하는 입력 디바이스를 추가로 포함하는, 시스템.
  10. 제 9 항에 있어서, 상기 시간 등록 비디오와 관련하여 상기 전문가 평가를 디스플레이하도록 상기 데이터 저장 및 처리 시스템과 통신하는 제 2 디스플레이 시스템을 추가로 포함하는, 시스템.
  11. 제 9 항에 있어서, 상기 데이터 저장 및 처리 시스템은 과제 성과를 분석하고 과제 비디오와 함께 자동화된 평가와 전문가 평가를 제공하도록 추가로 구성되는, 시스템.
  12. 제 9 항에 있어서, 상기 디스플레이 시스템은 인터넷을 통하여 상기 데이터 저장 및 처리 시스템과 원격으로 통신하는, 시스템.
  13. 제 12 항에 있어서, 상기 입력 디바이스는 인터넷을 통하여 상기 데이터 저장 및 처리 시스템과 원격으로 통신하는, 시스템.
  14. 제 11 항에 있어서, 상기 자동화된 평가는 구성 가능한 과제 척도에 기초하여 과제 수행의 학습 곡선을 포함하는, 시스템.
  15. 제 11 항에 있어서, 상기 데이터 저장 및 처리 시스템은 바이어스의 도입 또는 수련의에 의한 자동화된 평가의 수치적 양태에 대한 초점화를 방지하도록 검토에서 은폐된 자동화된 평가의 특정 양태를 고려하도록 추가로 구성되는, 시스템.
  16. 제 13 항에 있어서, 자동화된 평가는 다음 트레이닝 기간을 위한 과제 특정 피드백을 포함하는, 시스템.
  17. 제 16 항에 있어서, 상기 자동화된 평가는 조언자와 수련의 모두를 위한 특정 객관적인 피드백을 포함하며, 조언자를 위한 피드백은 수련의에 대한 피드백과 다른, 시스템.
  18. 제 17 항에 있어서, 객관적인 피드백은 수련의가 부족함이 있는 것으로 확인되는 과제 단계를 포함하는, 시스템.
  19. 제 17 항에 있어서, 조언자에 대한 객관적인 피드백은 수련의 향상의 요약, 학습 곡선, 대중 확산 경향, 다른 수련의에 대한 수련의의 비교, 트레이닝 시스템 제한, 저장품 및 자재 상태, 및 시스템 유지 문제를 포함하는, 시스템.
  20. 제 17 항에 있어서, 상기 자동화된 평가는 트레이닝 과제 복잡도를 변화시키도록 사용되는, 시스템.
  21. 제 17 항에 있어서, 상기 자동화된 평가는 트레이닝의 빈도를 변화시키도록 사용되는, 시스템.
  22. 제 17 항에 있어서, 상기 자동화된 평가는 다음 트레이닝 기간을 위한 트레이닝 과제를 선택하도록 사용되는, 시스템.
  23. 제 1 항에 있어서, 상기 처리 시스템은 능숙 및 결여의 확인을 포함하는 기량 분류의 통계학적 분석을 위한 방법을 수행하도록 구성되는, 시스템.
  24. 제 23 항에 있어서, 상기 기량 분류는 2진수인, 시스템.
  25. 제 23 항에 있어서, 상기 기량 분류는 다계층 및 서수 중 적어도 하나인, 시스템.
  26. 제 23 항에 있어서, 상기 기량 분류는 과제 통계 또는 기량의 척도 중 적어도 하나에 기초하는, 시스템.
  27. 제 23 항에 있어서, 상기 기량 분류는 다중 분류 방법에 기초하는, 시스템.
  28. 제 23 항에 있어서, 인간-기계 상호 작용, 인체 공학, 및 수술 과제 기량 분류는 개별적으로 수행되는, 시스템.
  29. 제 23 항에 있어서, 인간-기계 상호 작용, 인체 공학, 및 수술 과제 기량 분류의 척도는 별개로 계산되는, 시스템.
  30. 제 23 항에 있어서, 별개의 트레이닝 과제와 난이도는 인간-기계 상호 작용, 인체 공학 및 수술 과제 기량을 위해 사용되는, 시스템.
  31. 최소 침습 수술 기량을 평가하고 그 개선을 돕기 위한 방법으로서,
    사용하는 동안 최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터의 적어도 하나를 유형의 매체에 기록하는 단계;
    시간 등록 비디오 신호를 제공하도록 상기의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터의 적어도 하나의 기록과 관련하여 상기 최소 침습 수술 시스템의 상기 적어도 하나의 구성 요소의 비디오를 유형의 매체에 기록하는 단계; 및
    평가를 위한 전문가가 이용 가능하게 만들어진 상기 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 데이터 처리 시스템에서 상기 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는 단계를 포함하는 방법.
  32. 유형의 기계 판독 가능 저장 매체로서,
    최소 침습 수술 시스템의 적어도 하나의 구성 요소의 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 수신하는 단계;
    상기 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나와 관련하여 상기 최소 침습 수술 시스템의 적어도 상기 구성 요소의 비일시적(non-transient), 시간 등록 비디오 신호를 수신하는 단계; 및
    평가를 위한 전문가가 이용 가능하게 만들어진 상기 비일시적, 시간 등록 비디오 신호와 관련하여 평가 척도를 제공하도록 상기 데이터 처리 시스템에서 상기 운동 데이터, 인체 공학 조정 데이터, 전기적 인터페이스 상호 작용 데이터 또는 기계적 인터페이스 상호 작용 데이터 중 적어도 하나를 처리하는 단계를 포함하는 동작을, 데이터 처리 시스템에 의해 실행될 때 상기 데이터 처리 시스템이 수행하도록 하는 저장된 명령을 포함하는 유형의 기계 판독 가능 저장 매체.
KR1020137014439A 2010-11-04 2011-05-06 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법 KR101975808B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41015010P 2010-11-04 2010-11-04
US61/410,150 2010-11-04
PCT/US2011/035627 WO2012060901A1 (en) 2010-11-04 2011-05-06 System and method for the evaluation of or improvement of minimally invasive surgery skills

Publications (2)

Publication Number Publication Date
KR20150004726A true KR20150004726A (ko) 2015-01-13
KR101975808B1 KR101975808B1 (ko) 2019-08-28

Family

ID=46024758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137014439A KR101975808B1 (ko) 2010-11-04 2011-05-06 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US20140287393A1 (ko)
EP (1) EP2636034A4 (ko)
KR (1) KR101975808B1 (ko)
CN (1) CN103299355B (ko)
WO (1) WO2012060901A1 (ko)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805625B2 (en) 2010-10-29 2017-10-31 KindHeart, Inc. Surgical simulation assembly
CA2816089A1 (en) 2010-10-29 2012-05-03 Richard H. Feins Modular staged reality simulator
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
US20140106326A1 (en) * 2012-10-11 2014-04-17 Dental Equipment, Llc (D/B/A Pelton & Crane) Dental mannequin simulation device and system
WO2014152668A1 (en) * 2013-03-15 2014-09-25 Ratcliffe Mark B System and method for performing virtual surgery
US20150044654A1 (en) * 2013-08-09 2015-02-12 University Of Washington Through Its Center For Commercialization Crowd-Sourced Assessment of Technical Skill (C-SATS™/CSATS™)
CA2929282A1 (en) * 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system
EP4184483A1 (en) * 2013-12-20 2023-05-24 Intuitive Surgical Operations, Inc. Simulator system for medical procedure training
EP3089139A4 (en) * 2013-12-26 2017-06-14 Japan Science And Technology Agency Movement learning support device and movement learning support method
WO2015124159A1 (en) 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
US20150262511A1 (en) * 2014-03-17 2015-09-17 Henry Lin Systems and methods for medical device simulator scoring
USD779678S1 (en) 2014-07-24 2017-02-21 KindHeart, Inc. Surgical tray
CN106999257A (zh) * 2014-09-23 2017-08-01 外科安全技术公司 手术室黑盒设备、系统、方法和计算机可读介质
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
WO2016070124A1 (en) * 2014-10-30 2016-05-06 Pearson Education, Inc. Content database generation
CN104658393A (zh) * 2015-02-10 2015-05-27 上海理工大学 腹腔镜模拟手术训练评价系统及方法
CN107615395B (zh) * 2015-03-26 2021-02-05 外科安全技术公司 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
US20160314711A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
KR20230054760A (ko) 2015-06-09 2023-04-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 절차 아틀라스를 갖는 수술시스템의 구성
CN104992582B (zh) * 2015-07-13 2017-08-15 中国科学院自动化研究所 一种基于混合现实的医学微创手术训练系统
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
CN108024806B (zh) 2015-07-21 2022-07-01 3D集成公司 套管组装套件、套管针组装套件、套筒组件、微创手术系统及其方法
WO2017048922A1 (en) 2015-09-16 2017-03-23 KindHeart, Inc. Surgical simulation system and associated methods
US20200246085A1 (en) * 2015-09-28 2020-08-06 Koninklijke Philips N.V. Optical registation of a remote center of motion robot
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
CA3003058A1 (en) 2015-10-29 2017-05-04 Sharp Fluidics Llc Systems and methods for data capture in an operating room
EP3373834A4 (en) 2015-11-12 2019-07-31 Intuitive Surgical Operations Inc. SURGICAL SYSTEM WITH TRAINING OR ASSISTANCE FUNCTION
EP3414737A4 (en) * 2015-12-07 2019-11-20 M.S.T. Medical Surgery Technologies Ltd. AUTONOMOUS SYSTEM FOR DETERMINING CRITICAL POINTS IN LAPAROSCOPIC SURGERY
WO2017098506A1 (en) * 2015-12-07 2017-06-15 M.S.T. Medical Surgery Technologies Ltd. Autonomic goals-based training and assessment system for laparoscopic surgery
WO2017189317A1 (en) * 2016-04-26 2017-11-02 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and an animating device
EP3480774A4 (en) * 2016-06-30 2019-11-27 Olympus Corporation MEDICAL INFORMATION PROVIDING SYSTEM AND METHOD FOR PROVIDING MEDICAL INFORMATION
EP3538012A4 (en) * 2016-11-11 2020-07-15 Intuitive Surgical Operations Inc. TELE-OPERATED SURGICAL SYSTEM WITH INSTRUMENT CONTROL BASED ON THE COMPETENCE LEVEL OF SURGERY
US10636323B2 (en) 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment
US11017687B2 (en) * 2017-01-31 2021-05-25 Ent. Services Development Corporation Lp Information technology user behavior monitoring rule generation
CN106683518A (zh) * 2017-03-20 2017-05-17 合肥德铭电子有限公司 一种腔镜模拟仿真训练系统及其方法
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US11213353B2 (en) 2017-08-22 2022-01-04 Covidien Lp Systems and methods for planning a surgical procedure and evaluating the performance of a surgical procedure
JP2020537205A (ja) * 2017-08-23 2020-12-17 ザ ジェネラル ホスピタル コーポレーション ドゥーイング ビジネス アズ マサチューセッツ ジェネラル ホスピタル 意思決定理論モデルを用いた手術の意思決定支援
US11026712B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Surgical instruments comprising a shifting mechanism
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP7343394B2 (ja) * 2017-12-05 2023-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用情報処理装置、情報処理方法、および医療用情報処理システム
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11832899B2 (en) * 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11678927B2 (en) 2018-03-08 2023-06-20 Cilag Gmbh International Detection of large vessels during parenchymal dissection using a smart blade
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11534196B2 (en) 2018-03-08 2022-12-27 Cilag Gmbh International Using spectroscopy to determine device use state in combo instrument
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
JP6730363B2 (ja) * 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
US20190336226A1 (en) * 2018-05-03 2019-11-07 The Board Of Regents Of The University Of Oklahoma Training system for robot-assisted laparoscopic surgery
CN108762060B (zh) * 2018-05-07 2021-02-02 中国科学院力学研究所 一种远程操作任务制定的优化方法及系统
US10410542B1 (en) * 2018-07-18 2019-09-10 Simulated Inanimate Models, LLC Surgical training apparatus, methods and systems
US20210335149A1 (en) * 2018-09-04 2021-10-28 Alexander Mottrie Simulator Based Training Processes for Robotic Surgeries
WO2020091385A1 (ko) * 2018-10-29 2020-05-07 주식회사 매니아마인드 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치
EP3881335A1 (en) * 2018-11-15 2021-09-22 Intuitive Surgical Operations, Inc. Training users using indexed to motion pictures
US10910103B2 (en) * 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
CN113366583A (zh) * 2019-01-31 2021-09-07 直观外科手术操作公司 用于计算机辅助手术系统的摄像机控制系统和方法
CN113382691A (zh) * 2019-02-05 2021-09-10 史密夫和内修有限公司 用于膝关节置换术程序的基于算法的优化
US11331100B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Staple cartridge retainer system with authentication keys
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
CN111861049A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的肠镜检查质量标准及打分系统
CN110411506B (zh) * 2019-07-08 2021-09-14 中国航天员科研训练中心 面向遥操作的精细操作能力测试系统
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
CN113547527B (zh) * 2020-04-26 2022-12-02 中移(成都)信息通信科技有限公司 幼教机器人及幼教机器人系统
CN112163974A (zh) * 2020-08-24 2021-01-01 南京巨鲨显示科技有限公司 一种手术采集学习分享方法及其系统
TWI765369B (zh) * 2020-10-12 2022-05-21 臺北醫學大學 基於擴增實境的手術決策支援系統及其方法
US20220233241A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Surgical procedure monitoring
CN113053194B (zh) * 2021-02-28 2023-02-28 华中科技大学同济医学院附属协和医院 一种基于人工智能和vr技术的医师培训系统及方法
US20240087699A1 (en) * 2021-04-27 2024-03-14 Intuitive Surgical Operations, Inc. Graphical user interface for surgical performance assessment
US20230298336A1 (en) * 2022-03-21 2023-09-21 Verb Surgical Inc. Video-based surgical skill assessment using tool tracking

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500941A (ja) * 1998-01-26 2002-01-15 シンバイオニクス リミテッド 内視鏡のチュートリアルシステム
JP2007528029A (ja) * 2004-03-08 2007-10-04 ザ ジョンズ ホプキンス ユニバーシティ 医学的訓練および評価装置および方法
US20080033240A1 (en) * 2005-10-20 2008-02-07 Intuitive Surgical Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
WO2010105237A2 (en) * 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2719690B1 (fr) * 1994-05-04 1996-07-19 Lille Ii Universite Dispositif et procédé de simulation d'un examen ou d'une opération chirurgicale effectuée sur un organe simulé.
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
SE518252C2 (sv) * 2001-01-24 2002-09-17 Goeteborg University Surgical Metod för simulering av ett kirurgiskt moment, metod för simulering av kirurgisk operation och system för simulering av ett kirurgiskt moment
US6994708B2 (en) * 2001-04-19 2006-02-07 Intuitive Surgical Robotic tool with monopolar electro-surgical scissors
US20100248200A1 (en) * 2008-09-26 2010-09-30 Ladak Hanif M System, Method and Computer Program for Virtual Reality Simulation for Medical Procedure Skills Training
CN102362302B (zh) * 2009-03-20 2016-01-06 约翰斯·霍普金斯大学 用于量化技能的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500941A (ja) * 1998-01-26 2002-01-15 シンバイオニクス リミテッド 内視鏡のチュートリアルシステム
JP2007528029A (ja) * 2004-03-08 2007-10-04 ザ ジョンズ ホプキンス ユニバーシティ 医学的訓練および評価装置および方法
US20080033240A1 (en) * 2005-10-20 2008-02-07 Intuitive Surgical Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
WO2010105237A2 (en) * 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training

Also Published As

Publication number Publication date
WO2012060901A1 (en) 2012-05-10
EP2636034A1 (en) 2013-09-11
CN103299355B (zh) 2016-09-14
KR101975808B1 (ko) 2019-08-28
EP2636034A4 (en) 2015-07-22
US20140287393A1 (en) 2014-09-25
CN103299355A (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
KR101975808B1 (ko) 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
US11751957B2 (en) Surgical system with training or assist functions
US10008129B2 (en) Systems for quantifying clinical skill
Kassahun et al. Surgical robotics beyond enhanced dexterity instrumentation: a survey of machine learning techniques and their role in intelligent and autonomous surgical actions
Gao et al. Jhu-isi gesture and skill assessment working set (jigsaws): A surgical activity dataset for human motion modeling
JP6169562B2 (ja) サンプルタスク軌跡を分析する、コンピュータで実現される方法、および、サンプルタスク軌跡を分析するシステム
KR102523779B1 (ko) 수술 절차 아틀라스를 갖는 수술 시스템의 구성
Reiley et al. Review of methods for objective surgical skill evaluation
Oropesa et al. Methods and tools for objective assessment of psychomotor skills in laparoscopic surgery
Kumar et al. Objective measures for longitudinal assessment of robotic surgery training
Reiley et al. Automatic recognition of surgical motions using statistical modeling for capturing variability
Zhang et al. Automatic microsurgical skill assessment based on cross-domain transfer learning
Jog et al. Towards integrating task information in skills assessment for dexterous tasks in surgery and simulation
Long et al. Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario
Menegozzo et al. Surgical gesture recognition with time delay neural network based on kinematic data
Sharon et al. Rate of orientation change as a new metric for robot-assisted and open surgical skill evaluation
Cavallo et al. Biomechanics–machine learning system for surgical gesture analysis and development of technologies for minimal access surgery
Oropesa et al. Virtual reality simulators for objective evaluation on laparoscopic surgery: current trends and benefits
Kunica et al. Conceptualisation of Virtual Reality Experiments for Optimised Sinus Surgery Planning and Execution
Selvaggio et al. Physics-based task classification of da vinci robot surgical procedures
Rosen et al. Objective Assessment of Surgical Skills
Jayender et al. Validation of New Procedures and Training Processes Through Physical Task Analysis
Kassahun et al. Surgical Robotics Beyond Enhanced Dexterity Instrumentation
Pagador Virtual Reality Simulators for Objective Evaluation on Laparoscopic Surgery: Current Trends and Benefits.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant