KR20110136847A - 최소 침습 수술 트레이닝 방법 및 시스템 - Google Patents

최소 침습 수술 트레이닝 방법 및 시스템 Download PDF

Info

Publication number
KR20110136847A
KR20110136847A KR1020117023912A KR20117023912A KR20110136847A KR 20110136847 A KR20110136847 A KR 20110136847A KR 1020117023912 A KR1020117023912 A KR 1020117023912A KR 20117023912 A KR20117023912 A KR 20117023912A KR 20110136847 A KR20110136847 A KR 20110136847A
Authority
KR
South Korea
Prior art keywords
tool
video
input device
surgical
computer
Prior art date
Application number
KR1020117023912A
Other languages
English (en)
Inventor
텐쿠루씨 케사바다스
쿠르시드 구루
고빈다라잔 스리마스베라발리
Original Assignee
헬스 리서치 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 헬스 리서치 인코포레이티드 filed Critical 헬스 리서치 인코포레이티드
Publication of KR20110136847A publication Critical patent/KR20110136847A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00707—Dummies, phantoms; Devices simulating patient or parts of patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Medicinal Chemistry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Abstract

본 발명은 디스플레이, 컴퓨터, 및 제 1 입력 장치를 갖는 시뮬레이터가 제공되는 최소 침습 수술 트레이닝 방법으로서 실시될 수 있다. MIS의 비디오는 디스플레이 상에 표시되고 제 1 수술 도구는 비디오의 적어도 일부에서 보여진다. 제 1 수술 도구의 위치에 대응하는 매치 존이 결정된다. 컴퓨터 생성 가상 수술 도구("CG 도구")는 표시된 비디오 상에 슈퍼임포징된다. CG 도구는 제 1 입력 장치에 의해 선택적으로 제어된다. CG 도구의 타겟 위치가 결정된다. 타겟 위치가 매치 존 내로 결정되지 않으면 추가 스텝이 이루어질 수 있다. 예를 들면, 비디오가 정지될 수 있고 메시지는 조작자에게 표시될 수 있거나 컴퓨터는 입력 장치에 신호를 보내 위치로 이동시켜 타겟 위치가 매치 존 내에 있다.

Description

최소 침습 수술 트레이닝 방법 및 시스템{METHOD AND SYSTEM FOR MINIMALLY-INVASIVE SURGERY TRAINING}
관련 출원의 교차 참조
본 출원은 현재 특허출원 중인 2009년 3월 12일에 출원된 미국 가특허 출원 일련 번호 61/159,629호와, 및 현재 특허출원 중인 2009년 9월 23일에 출원된 미국 가특허 출원 일련 번호 61/245,111호의 우선권의 이익을 주장하고, 그 명세서는 여기에 참조문헌으로 통합된다.
본 발명은 수술 트레이닝, 보다 바람직하게 최소 침습 수술을 실행하는 사람의 트레이닝에 관한 것이다.
최소 침습 수술("MIS")은 다수 건강 조건을 위한 수술 시작을 대신해서 유용한 것으로 받아들여진다. 환자에 대해 안전하지만 MIS는 그것들을 실행할 외과 의사에게 다수의 특별한 과제를 제기한다. 과제는 다음의 2개의 폭넓은 범위로 나뉜다: (i) 외과 의사가 지식과 이전 경험을 사용하여 수술에 관한 결정을 하게 하는 인지 범위, 및 (ⅱ) 외과 의사가 그들의 인지 처리를 통해 이루어진 특정한 결정을 수행하기 위해 신체 기능을 사용하는 모터 제어 범위. 예를 들면, MIS의 타입인 복강경 수술에서 외과 수술은 신체의 흉부나 복부에서 이루어진 작은 절삭을 통해 수행된다. 외과 수술은 인체의 폐쇄 부피 내에 발생되므로 내시경이라 불리는 작은 플렉서블 카메라가 신체 내에 삽입되어 비쥬얼 피드백을 제공한다. 이 설정은 이 형태의 외과 수술이 특히 이하를 포함하는 과제로 되는 다수의 인지적 과제를 발생시킨다:
(1) 비쥬얼 피드백의 부족 - 비쥬얼 피드백은 부족한 깊이 정보를 내시경을 통해 캡쳐링되고 스크린 상에 표시된 화상에 의해 제공되고,
(2) 열악한 화상 품질 - 수술은 폐쇄된 인접한 몸체 캐비티 내에서 수행되므로 내시경으로부터 수신된 화상은 부적절한 광, 조직의 뜸질로부터 연기, 및 렌즈 효과를 포함하는 다수의 인자에 의해 영향을 받고,
(3) 특이성 - 관혈 수술과 달리 해부학적 특이성은 쉽게 식별가능하지 않고, 실패 없이 몸체 내에서 방향을 잡기 어려워 바르게 길을 찾기 어렵고,
(4) 환자 차이 - 생리학에서 병리와 개개의 변화는 2개의 몸체에서 비쥬얼 차이를 생성하고 이 효과는 MIS에서 증폭된다.
상기 기재된 문제의 일부 결과는 외과 의사의 인지 처리가 매우 어렵게 된다. 그들이 스스로 수술을 실행하는 학업을 마칠 수 있기 전에 레지던트에게 다수의 수술과 함께 광범위한 트레이닝을 요구하는 이유이다.
현재 이용가능한 시뮬레이터는 운동 기능 향상을 위해 외과 레지던트를 훈련할 수 있다. 그러나, 현재 트레이닝 방법은 레지던트의 인지적 능력을 향상시키는 문제를 다루기에 적절하지 않다. 그러므로, 레지던트는 통상적으로 외과 의사 아래에서 실제 수술을 보고 트레이닝을 함으로써 식별 해부학적 특이성을 숙지할 수 있다. 이것은 학습 곡선이 느리며 어렵고 비싸다.
따라서, 운동 기능과 트레이너의 인지적 스킬 양쪽을 향상시킴으로써 조작자를 우수하게 준비하는 MIS 트레이닝 방법 및 시스템을 필요로 한다.
현재 개시된 인지적 스킬 트레이닝 방법 및 시뮬레이터는 가상 환경에서 조작자가 수술 스텝을 수행가능하게 함으로써 외과 수술의 스텝을 교육하기 위해 사용될 수 있다. 본 발명에 의한 방법 및 시스템은 예를 들면 텍스트, 비디오, 오디오, 및/또는 보정 포스 피드백을 제공함으로써 입증될 수 있는 보정 지시를 포함하는 피드백을 제공할 수 있다.
본 발명은 디스플레이, 컴퓨터, 및 제 1 입력 장치를 갖는 시뮬레이터가 제공되는 최소 침습 수술 트레이닝의 방법으로서 이용될 수 있다. 최소 침습 수술의 비디오는 디스플레이 상에 표시된다. 비디오는 미리 녹음될 수 있거나 비디오는 MIS로부터 실시간 피딩될 수 있다. 비디오는 스테레오 비디오일 수 있다. 비디오는 비디오, MIS, 또는 수술 환경에 관련된 메타데이터(metadata)를 포함할 수 있다.
제 1 수술 도구는 비디오의 적어도 일부에서 보여진다. 제 1 수술 도구의 위치에 대응하는 매치 존이 결정된다. 매치 존은 2차원 또는 3차원으로 결정될 수 있다.
컴퓨터 생성 가상 수술 도구("CG 도구")는 표시된 비디오 상에 슈퍼임포징(superimposing)된다. CG 도구는 제 1 입력 장치에 의해 선택적으로 제어된다. CG 도구의 타겟 위치가 결정된다. CG 도구의 타겟 위치는 제 1 수술 도구의 결정된 매치 존에 대응한다. 타겟 위치는 2차원 또는 3차원으로 결정될 수 있다.
결정은 CG 도구의 타겟 위치가 제 1 수술 도구의 매치 존 내인지로 이루어질 수 있다. 타겟 위치가 매치 존 내가 아니면 추가 스텝이 발생될 수 있다. 예를 들면, 비디오가 정지될 수 있으면 메시지는 조작자에게 표시될 수 있거나 컴퓨터가 입력 장치를 위치로 이동하는 신호를 보내서 타겟 위치가 매치 존 내일 수 있다.
"투관침"으로서 공지된 제 1 수술 도구의 엔트리 포인트(entry point)의 위치가 산출될 수 있고 제 1 수술 도구의 벡터가 결정될 수 있다. 제 1 수술 도구의 벡터가 CG 도구의 결정된 벡터와 비교될 수 있다. 엔트리 포인트와 벡터가 2차원 또는 3차원으로 결정될 수 있다.
본 발명의 다른 실시형태에서, 제 1 가상 도구는 엔드 이펙터(end-effector)를 포함할 수 있고 액티베이션을 요구할 수 있다. CG 도구는 조작자에 의해 액티베이팅(activating)가능한 유사한 엔드 이펙터를 가질 수 있다. 본 발명의 실시형태에 의한 방법은 CG 도구의 엔드 이펙터의 상태가 엔드 이펙터의 상태를 제 1 수술 도구와 매칭하지 않으면 어떤 추가 스텝(예를 들면, 비디오 정지, 제 1 입력 장치를 이동)이 발생되게 할 수 있다.
다른 실시형태에서, 비디오는 인터액티브(interactive)가능해서 비디오의 관점이 조작자에 의해 변경될 수 있다. 또한, 비디오를 캡쳐링하기 위해 사용되는 카메라의 카메라 이동이 트랙킹될 수 있다. 이들 트랙킹된 카메라 이동은 조작자에 대해 프롬프트를 생성해서 사용되어 비디오의 관점을 변경하기 위해 사용될 수 있다. 추가 스텝은 관점의 이동이 카메라의 이동과 실질적으로 매칭하지 않으면 발생될 수 있다.
본 발명은 컴퓨터, 컴퓨터와 통신하는 디스플레이, 및 컴퓨터와 통신하는 제 1 입력 장치를 갖는 MIS 시뮬레이터로서 이용될 수 있다. 컴퓨터는 상기 기재된 어떤 방법을 실행하도록 프로그램된다.
클러치가 액티베이팅될 때 CG 도구가 제 1 입력 장치로부터 "비접속"으로 되도록 제공될 수 있다. 이 경우에, 제 1 입력 장치의 이동은 더 이상 CG 도구의 이동의 원인이 아니고 CG 도구에 대한 제 1 입력 장치의 위치가 조작자에 의해 변경될 수 있다.
본 발명에 의한 다른 실시형태에서, 제 2 수술 도구는 비디오의 적어도 일부에서 보여진다. 제 2 수술 도구는 제 1 입력 장치 또는 제 2 입력 장치에 의해 선택적으로 제어될 수 있다. 제 2 수술 도구의 매치 존은 제 2 수술 도구의 위치에 대응하는 제 2 매치 존을 결정할 수 있다. 제 2 CG 도구는 표시된 비디오 상에 슈퍼임포징될 수 있고, 제 2 CG 도구는 제 2 타겟 위치를 가질 수 있다.
본 발명의 특성과 목적의 완전한 이해를 위해 참조가 첨부 도면과 결합한 다음의 상세한 설명으로 이루어질 것이다:
도 1a는 본 발명의 실시형태에 의한 MIS 시뮬레이터 시스템의 정면도이며;
도 1b는 도 1a의 MIS 시뮬레이터의 사시도이며;
도 2는 타겟 위치의 위치가 제 1 매치 존 내에 도시된 본 발명의 실시형태에 의해 표시된 비디오를 도시하며;
도 3은 타겟 위치의 위치가 제 1 매치 존 내가 아닌 것으로 도시된 도 2의 표시된 비디오를 도시하며;
도 4는 본 발명의 다른 실시형태에 의한 표시된 비디오를 도시하고;
도 5는 본 발명에 의한 몇 가지 방법을 도시하는 플로우차트이다.
본 발명은 최소 침습 수술("MIS") 트레이닝(도 5 참조)의 방법(100)으로서 도시될 수 있다. 시뮬레이터(10)는 103으로 제공되고, 시뮬레이터(10)는 디스플레이(14), 컴퓨터(24), 및 제 1 입력 장치(16)를 갖는다. 제 1 입력 장치(16)는 실제 수술 장치의 동작을 가장 우수하게 재생성하도록 선택될 수 있다. 실시예에 제한됨이 없이 6 자유도 장치(Phantom Omni® 등)가 da Vinci® Surgical System("DVSS")의 입력 동작을 재생성하는 제 1 입력 장치(16)로서 선택될 수 있다. 적절한 시뮬레이터(10)의 일실시예인 Simulated Surgical System LLC의 Robotic Surgical Simulator("RoSS™")가 도 1에 도시되지만 다른 시뮬레이터가 사용될 수 있는 것이 이해될 것이다.
MIS의 비디오(30)는 디스플레이(14) 상에 106이 표시된다. 비디오(30)는 진보중인 MIS를 도시하고, 제 1 수술 도구(32)는 비디오(30)(예를 들면 도 2 및 3 참조)의 적어도 일부에서 보여진다. 일실시예에서, 비디오(30)는 DVSS를 사용하는 전립선 절제술을 도시할 수 있고 하나의 로봇 도구를 볼 수 있다. 그러한 도구는 메스, 가위, 또는 보비(bovie)를 포함하지만 한정되지 않는다. 다른 실시예에서, 비디오는 통상적인 (비로봇식) 복강경 수술을 도시한다. 적절한 MIS 수술의 다른 비디오는 당업자에게 명백할 것이다.
비디오(30)는 외과 수술 동안 외과 의사 및/또는 동작하는 룸 스텝에 의해 미리 녹음될 수 있다. 대안으로, 비디오(30)는 "라이브 피드(live feed)"인 본 발명에 의한 MIS 트레이닝으로서 동시에 실행되는 외과 수술로부터의 비디오일 수 있다.
비디오(30)는 서로 고정 관계인 2개의 관점으로부터 캡쳐링된 스테레오 비디오일 수 있다. 이와 같이, 조작자는 3차원 비디오로서 비디오(30)를 도시할 수 있다. 이 경우에, 디스플레이(14)는 스테레오 비디오를 표시가능한 스테레오 디스플레이일 수 있다. 3차원 표현은 2개의 2차원 화상/비디오부로 구성된다. 3차원 구성의 이 타입은 2.5차원(2차원 및 2.5차원)으로서 종종 참조된다. 3차원과 2.5차원은 이 명세서에 교체가능하게 사용될 수 있다.
제 1 수술 도구(32)의 매치 존(34)이 결정된다. 매치 존(34)은 제 1 수술 도구(32)의 위치에 대응한다. 실시예에 제한됨이 없이 매치 존(34)은 제 1 수술 도구(32)의 단부의 포인트에 대응할 것이다. 매치 존(34)은 결정 포인트 주위의 마진을 포함하고, 예를 들면 매치 존(34)은 제 1 수술 도구(32)의 단부의 포인트 주위의 1인치 반경을 포함하지만 한정되지 않을 수도 있다. 도구 위의 위치에 대응하는 매치 존(34)을 결정함으로써 매치 존(34)은 도구와 함께 이동할 것이다. 컴퓨터(24)는 비디오(30)를 분석할 수 있고 매치 존(34)이 비디오 공간 내인 것을 결정한다. 예를 들면, 제 1 수술 도구(32)가 비디오 공간의 저부 우측으로부터 상부 좌측으로 이동하는 비디오(30)에 도시되면 컴퓨터(24)는 저부 우측으로부터 상부 좌측으로 매치 존(34)의 대응하는 이동을 결정할 것이다.
매치 존(34)은 2차원으로 결정될 것이다. 이 경우에, 매치 존(34)은 수술 도구(32)의 포인트 주위의 원으로서 구성될 수 있다. 대안으로, 스테레오 비디오의 경우에 매치 존(34)은 3차원으로 결정될 수 있다. 이 경우에, 매치 존(34)은 수술 도구(32)의 포인트 주위의 구(sphere)로서 구성될 수 있다. 그 외에, 적은 정형화는 특정한 업무와 도구에 적절하게 선택될 수 있다. 예를 들면, 3차원 매치 존(34)은 장축 타원체, 편구면, 원뿔, 또는 어떤 다른 형상일 수 있다.
매치 존(34)의 다른 접근을 산출하는 것이 사용될 수 있다. 미리 녹음된 비디오가 피딩되는 경우에 상업 비디오 에디팅 소프트웨어가 로토스코핑(rotoscoping)과 트랙킹을 실행하도록 이용되어 매치 존(34)을 결정할 수 있다. 라이브나 미리 기록된 비디오 피드의 경우에 컴퓨터 비젼 기술은 매치 존(34)을 결정하기 위해 이용될 수 있다. 이것은 일반적으로, 에지 검출 기술을 이용하는 비디오(30)를 처리하는 것과 관련되어 수술 도구(32)의 특성을 추출하고, 도구의 구성을 분류하는 기계 학습 기술에 의해 계속된다. 대안으로, 최대 가능성 추정기는 실시간으로 매치 존(34)을 결정하기 위해 사용될 수 있다. 매치 존(34)을 결정하는 다른 방법이 당업자에게 명백할 것이다.
컴퓨터 생성 가상 수술 도구("CG 도구")(36)는 표시된 비디오(30) 상에 슈퍼임포징된다(109). CG 도구(36)는 시뮬레이터(10)의 컴퓨터(24)에 의해 생성될 수 있다. CG 도구(36)는 제 1 입력 장치(16)에 의해 선택적으로 제어되어 제 1 입력 장치의 이동(16)이 디스플레이(14) 상에 CG 도구(36)의 대응하는 이동의 원인이다. 이동은 "1대1"이어서 제 1 입력 장치(16)의 1차 회전이 CG 도구(36)의 1차 회전의 원인이 되거나 제 1 입력 장치(16)와 CG 도구(36) 사이의 이동 관계가 어떤 다른 관계일 수 있다. 관계는 모의실험된(예를 들면, 수술 로봇) 도구의 느낌을 가장 우수하게 재생성하도록 선택될 수 있다.
CG 도구(36)의 타겟 위치(38)가 결정된다. CG 도구(36)의 타겟 위치(38)는 제 1 수술 도구(32)의 결정된 매치 존(34)에 대응한다. 예를 들면, 제 1 수술 도구(32)의 매치 존(34)이 도구(32)의 단부의 포인트를 둘러싸는 영역이면 CG 도구(36)의 타겟 위치(38)는 가상 도구(36)의 대응하는 포인트이다. 타겟 위치(38)는 2차원 또는 3차원으로 결정될 수 있다.
결정된 매치 존(34)과 타겟 위치(38)를 비교함으로써 컴퓨터는 CG 도구(36)[CG 도구(36)가 MIS의 비디오(30) 상에 슈퍼임포징되고 제 1 수술 도구(32)를 포함함]의 타겟 위치(38)는 제 1 수술 도구(32)의 매치 존(34) 내인지를 결정할 수 있다. 이와 같이, 타겟 위치(38)와 매치 존(34)은 각각의 도구의 이동을 위해 프록시로서 제공하고, 컴퓨터(24)가 제 1 입력 장치(16)를 이용하는 조작자에 의해 원인이 되어 CG 도구(36)의 이동이 비디오(30)에서 제 1 수술 도구(16)의 이동과 실질적으로 매칭하는지를 결정하게 한다. 도구 이동(및 다른 특성)을 위한 다른 프록시는 아래에 더욱 상세하게 기재된다.
타겟 위치(38)와 매치 존(34)의 교차는 당업자에게 공지된 방법으로 결정될 수 있고 다음을 포함하지만 한정되지 않는다: (1) 경계구 충돌 검출 알고리즘을 사용; (2) CG 도구(36)와 타겟 위치(38) 사이의 최소 유클리드 거리를 결정; (3) 교차가 발생한 깊이를 결정하기 위해 그래픽 엔진의 Z 버퍼를 분석; (4) 명백하고 소망하는 눈금과 CG 도구(36)의 사이즈와 구성에 의거한 카메라를 사용.
CG 도구(36)의 이동(예를 들면, 위치 오버 타임)이 제 1 수술 도구(32)의 이동과 실질적으로 매칭하지 않으면 추가 스텝이 이용될 것이다. 본 발명에 의한 실시형태에서, 비디오(30)는 160에 멈출 것이다. 비디오(30)가 정지될 때, 즉시 비디오(30)의 비디오 프레임이 디스플레이(14) 상에 표시되지만 비디오(30)는 소위 "프리즈 프레임"으로 증진하지 않는다. 비디오(30)는 제 1 수술 도구(32)의 위치와 실질적으로 매칭하지 않도록 다시 결정될 때 재개할 것이다. 이러한 방법으로, 조작자는 CG 도구(36)의 이동이 제 1 수술 도구(32)의 이동과 실질적으로 매칭하게 하면 비디오(30)는 정지 없이 증진할 것이다.
다른 실시형태에서, CG 도구(36)의 이동이 제 1 수술 도구(32)의 그것과 실질적으로 매칭하지 않을 때 메시지(40)는 언매칭된 이동의 조작자에게 알리는 상태를 디스플레이(14) 상에 표시할 수 있다. 또한, 메시지(40)는 이동이 매칭되지 않는 방법에 관해 상세하게 제공될 수 있다. 예를 들면, 메시지(40)는 "당신은 너무 안쪽입니다"인 상태일 수 있다. 대안으로, 시뮬레이터(10)는 스피커(42)를 포함할 수도 있고 컴퓨터(24)는 경보가 스피커(42)로부터 소리나게 할 수 있다. 경보는 상세한 설명("당신은 너무 안쪽입니다")을 주는 어조나 목소리 또는 어떤 다른 조작자에게 들을 수 있는 지시일 수 있다.
다른 실시형태에서, 제 1 입력 장치(16)는 컴퓨터(24)로부터 신호를 수신할 수 있고 제 1 입력 장치(16)는 신호에 따라 190으로 이동할 수 있다. 이러한 방법으로, CG 도구(36)의 이동이 제 1 수술 도구(32)의 이동과 실질적으로 매칭하지 않을 때 컴퓨터(24)는 제 1 입력 장치(16)[그리고 CG 도구(36)]에 190으로 CG 도구(36)가 제 1 수술 도구(32)와 매칭하지 않는 위치로 이동하는 신호를 보낼 수 있다. 이러한 방법으로, 조작자는 제 1 입력 장치(16)를 통해 유익한 피드백을 수신할 수 있다.
수술 도구의 포인트의 이동뿐만 아니라 그 도구의 방향도 매칭시키는 것이 조작자에게 유익할 수 있다. 제 1 수술 도구(32)의 이동은 도구에 대한 투관침의 위치를 포함하도록 더욱 규정될 수 있다. MIS에서, 수술 도구는 환자의 신체를 절삭을 통한 엔트리 포인트에 들어간다. 그 후, 도구의 동작은 이 포인트의 중앙이어서 절삭 사이즈가 최소화된다. 이 엔트리 포인트는 투관침으로서 공지되었다. 본 발명의 방법은 제 1 수술 도구의 엔트리 포인트의 위치를 170의 산출의 스텝을 포함할 수 있다. 엔트리 포인트는 비디오(30)가 환자의 신체 내로부터 기록되므로 카메라 뒤의 엔트리 포인트와 보이지 않는 곳에서 비디오(30)(또는 이 명세서에서 도면)에 도시되지 않는다.
엔트리 포인트를 산출하는 방법이 매치 존(34)을 산출하는 그것에 유사할 것이다. 미리 녹음된 비디오가 피딩되는 경우에, 상업 비디오 에디팅 소프트웨어는 엔트리 포인트를 결정하는 로토스코핑과 트랙킹을 실행하기 위해 이용될 수 있다. 라이브 또는 미리 녹음된 비디오 피드의 경우에, 컴퓨터 비젼 기술은 엔트리 포인트를 결정하기 위해 사용될 수 있다. 이것은 일반적으로 수술 도구의 특성을 추출하는 에지 검출 기술을 이용하는 비디오 처리와 관련되고, 도구의 구성을 분류하는 기계 학습 기술로서 계속된다. 대안으로, 최대 가능성 추정기는 실시간으로 엔트리 포인트를 결정하기 위해 사용될 수 있다. 매치 존을 결정하는 다른 방법이 당업자에게 명백할 것이다.
엔트리 포인트와 포인트의 위치[매치 존(34)에서]가 결정되면 제 1 수술 도구(32)의 주축을 나타내는 벡터(48)는 가상 공간에서 173이 결정될 수 있다. CG 도구(36)의 벡터(49)가 173이 결정될 수도 있다. 이들 벡터(48, 49)는 도구 이동을 위한 프록시로서 제공될 것이다. 이미 기재된 액션[예를 들면, 비디오를 176에 정지하고 제 1 입력 장치를 이동시킴(16)]은 CG 도구 벡터(49)의 이동이 제 1 수술 도구 벡터(48)의 이동과 매칭하지 않으면 발생할 수 있다.
벡터(48, 49) 배치를 실행하는 하나의 방법은 비디오 피드로부터 수술 도구를 갖는 평면을 공유하는 벡터로서 도구를 다루는 것이다. 내적은 CG 도구(36)와 트랙킹된 수술 도구(32)를 나타내는 벡터(49) 사이의 상대적 강도를 계산하기 위해 사용될 수 있다. 그 후, 도구의 배치는 커먼 노말(common normal)에 대한 회전을 통해 실행될 수 있다. 정해진 도구 방향에 대해 CG 도구(36) 위치의 깊이는 상대적 카메라 위치와 CG 도구(36)와 수술 도구(32)의 비교적 명백한 사이즈를 통해 제거될 수 있다. CG 도구(36) 손목의 배치는 손목의 소망하는 회전의 원인이 되는 구면각의 계산을 통해 실행될 수 있고 도구 스템을 나타내는 벡터(49)의 투영에 의해 이어진다. 당업자에게 공지된 산출 벡터 배치에 대한 다른 방법이 이용될 수 있다.
엔트리 포인트와 벡터(48, 49)는 소망하는 시물레이션(즉, 스테레오)에 대해 적절한 2차원 또는 3차원으로 결정될 수 있다.
MIS에 사용된 다수의 수술 도구는 작동을 요구하는 엔드 이펙터를 가질 수 있다. 예를 들면, 전기 소작기 기구는 외과 의사가 기구의 가열 요소를 액티베이팅하는 것을 요구할 수 있고 가위 기구는 외과 의사가 가위 기구를 개방하거나 폐쇄하는 등을 요구할 수 있다/ 본 발명의 다른 실시형태에서, 제 1 수술 도구(32)는 액티베이션을 요구하는 엔드 이펙터(62)를 포함할 수 있다. 이와 같이, 엔드 이펙터(62)는 예를 들면 개방, 폐쇄, 온, 오프 등의 "상태"를 가질 수 있다. CG 도구(36)는 조작자에 의해 액티베이팅될 수 있는 유사한 엔드 이펙터(64)를 가질 수 있다. 조작자는 예를 들면 제 1 입력 장치(16)[예를 들면, 핀서 그립(pincer grip), 버튼 등]의 요소를 사용하여 엔드 이펙터(64)를 액티베이팅한다. 대안으로, 시뮬레이터(10)는 하나 이상의 인터페이스 장치(20)를 액티베이팅하거나 엔드 이펙터(64)의 상태의 변경을 포함할 수 있다. 실시예에 제한됨이 없이 도 1에 도시된 RoSS™ 시뮬레이터는 예를 들면 엔드 이펙터(64)를 액티베이팅하는 인터페이스 장치(20)로서 사용될 수 있는 풋페달을 포함한다. 다른 인터페이스 장치가 당업자에게 공지되고, 모의실험 기구의 느낌을 가장 우수하게 재생성하도록 선택될 수 있다.
본 발명의 실시형태에 의한 방법은 CG 도구(36)의 엔드 이펙터의 상태(64)가 엔드 이펙터의 상태(62)를 제 1 수술 도구(32)와 매칭하지 않으면 발생하는 어떤 이미 기재된 액션(예를 들면, 비디오를 180에 정지하고 제 1 입력 장치를 이동시킴)의 원인일 수 있다. 예를 들면, 비디오(30) 동안에 제 1 수술 도구(32)의 엔드 이펙터(62)가 변경-가위가 폐쇄된-되면 CG 도구(36)의 엔드 이펙터의 상태(64)는 조작자에 의해 변경되는 원인일 것이다. 그렇지 않다면, 비디오(30)는 적절한 액션이 조작자에 의해 이루어질 때가지 정지될 것이다. CG 도구(36)의 엔드 이펙터의 상태(64)가 제 1 수술 도구(32)의 엔드 이펙터의 상태(62)와는 다르게 받아들여질 수 있는 시기 동안일 것이다. 예를 들면, 제 1 수술 도구(32)의 가위가 폐쇄되면 조작자는 MIS 비디오가 정지되기 전에 시간(예를 들면 3초)을 가질 것이다. 이러한 방법으로, 2개의 엔드 이펙터(62, 64)[CG 도구(36) 및 제 1 수술 도구(32)]의 상태는 "실질적으로 매칭"으로 알리게 된다.
다른 실시형태에서, 비디오(30)는 인터액티브일 수 있어 비디오의 관점이 조작자에 의해 변경될 수 있다. 예를 들면, 비디오(30)는 QuickTime VR 등의 기술을 이용할 수 있다. 관점은 하나 이상의 인터페이스 장치(20)를 이용하는 조작자에 의해 이동될 수 있다. 인터페이스 장치(20)는 제 1 입력 장치(16) 홀로 또는 결합해서 이용될 수 있다. 비제한된 실시예에서, 인터페이스 장치는 관점이 이동되게 하는 관점일 수 있다. 다른 실시예에서, 인터페이스 장치(20)는 제 1 입력 장치(16)가 카메라를 이동시킬 컴퓨터(24)에 신호를 보내도록 사용된 풋페달일 수 있다. 이러한 방법으로, 조작자는 풋페달이 가압되지 않는 동안 CG 도구(36)를 이동시키는 제 1 입력 장치(16)를 이용할 수 있고 풋페달이 가압되지 않을 때 카메라의 관점을 이동시키는 동일한 제 1 입력 장치(16)를 이용할 수 있다. 예를 들면 버튼, 스위칭, 트랙패드 등의 다른 적절한 인터페이스 장치(20)가 통상적으로 공지되고 이용될 수 있다.
미리 녹음된 비디오가 이용되는 경우에, 비디오(30)를 생성하는 외과 의사는 가시범위를 크게 캡쳐링하기 위해 카메라를 다양한 방향으로 이동시킬 수 있다. 그 후, 이 큰 가시범위는 인터액티브 비디오를 생성하도록 이용될 수 있다. 예를 들면, 몇몇 관점으로부터 얻은 비디오 및/또는 사진을 함께 붙임으로써 큰 가시범위가 인터액티브 비디오를 생성하는 QuickTime VR에 의해 생성되고 이용될 수 있다.
본 발명에 의한 다른 실시형태에서, 비디오(30)를 캡쳐링하도록 사용된 카메라의 카메라 이동이 트랙킹될 수 있다. 이들 트랙킹된 카메라 이동이 조작자에 대해 프롬프트(44)를 생성하도록 사용되어 비디오의 관점(30)을 변경할 수 있다. 예를 들면, 화살표가 신속하게 디스플레이 상에 표시되어 조작자에게 화살표 방향으로 관점을 이동할 수 있다. 이미 기재된 액션(예를 들면, 비디오를 150에 정지 제 1 입력 장치를 이동시킴)은 관점의 이동이 카메라의 이동과 실질적으로 매칭하지 않으면 이루어질 수 있다.
비디오(30)는 트랙킹된 카메라 이동, 수술 도구 상태 정보, 투관침 위치, 또는 비디오, MIS, 수술 환경 등에 관련된 어떤 다른 데이터 등의 정보를 포함하는 메타데이터를 포함할 수 있지만 한정되지 않는다. 메타데이터는 비디오(30)에 대한 시간일 수 있다. 이러한 방법으로, 비디오(30)가 증진되는(디스플레이 상에 표시됨) 동안 메타데이터 정보는 예를 들면 비디오(30)의 시간에 대응한 시간에서 제 1 수술 도구(32)의 엔드 이펙터의 상태(62)를 결정하기 위해 이용될 수 있다.
본 발명은 컴퓨터(24), 컴퓨터(24)와 통신하는 디스플레이(14), 및 컴퓨터(24)와 통신하는 제 1 입력 장치(16)를 갖는 MIS 시뮬레이터(10)로서 이용될 수 있다. 컴퓨터(24)는 상술한 방법을 실행하도록 프로그램된다. 특히, 컴퓨터(24)는 디스플레이(14) 상에 MIS의 비디오(30)를 표시하기 위해 프로그램되고, 비디오(30)의 적어도 일부에서 보여지고 제 1 수술 도구(32)의 매치 존(34)을 결정한다. 컴퓨터(34)는 디스플레이(14) 상에 CG 도구(36)를 표시하도록 프로그램되고, CG 도구(36)는 비디오(30)에 슈퍼임포징된다. CG 도구(36)의 이동은 입력 장치(16)에 의해 선택적으로 제어된다. 컴퓨터(24)도 매치 존(34)에 대응한 CG 도구(36)의 타겟 위치(38)를 결정하도록 프로그램된다.
본 발명의 다른 실시형태에 의한 시뮬레이터는 클러치(22)를 더 포함할 수 있다. 컴퓨터(24)는 클러치(22)가 액티베이팅될 때 CG 도구(36)와 제 1 입력 장치(16)를 접속 해제해서 프로그램되어 제 1 입력 장치의 이동(16)이 더 이상 CG 도구(36)가 이동되지 않게 할 수 있다. 이 문제에서, CG 도구(36)에 대한 제 1 입력 장치(16)의 위치가 조작자에 의해 변경될 수 있다. 예를 들면, 때때로, 조작자는 제 1 입력 장치(16)(예를 들면, 장치가 완전하게 연장됨)의 기계적인 제한에 도달할 수 있지만 여전히 제한된 방향으로 CG 도구(36)를 이동할 필요가 있다. 그러한 경우에, 클러치(22)가 액티베이팅될 수 있지만 제 1 입력 장치(16)는 제한으로부터 멀어지게 이동될 수 있고 클러치(22)는 디액티베이팅될 수 있다. 이러한 방법으로, CG 도구(36) 이동은 제 1 입력 장치(16)의 제한에 의해 다른 방향으로 지속될 수 있다. 클러치(22)는 풋페달, 버튼, 스위칭, 또는 당업자에게 공지된 어떤 다른 기구(즉, 하나 이상의 인터페이스 장치)일 수 있다.
본 발명에 의한 다른 실시형태에서, 제 2 수술 도구(52)는 비디오(30)의 적어도 일부에서 보여진다. 제 2 수술 도구(52)의 매치 존(54)은 제 2 수술 도구(52)의 위치에 대응한 제 2 매치 존(54)이 결정될 수 있다.
제 2 CG 도구(56)는 표시된 비디오(30) 상에 슈퍼임포징될 수 있다. CG 도구(56)는 시뮬레이터(10)의 컴퓨터(24)에 의해 생성될 수 있다. 제 2 수술 도구(52)는 제 1 입력 장치(16)에 의해 선택적으로 제어될 수 있고, 제 1 입력 장치(16)는 제 1 CG 도구(36) 또는 제 2 CG 도구(56)를 제어할 수 있고, 제어는 조작자에 의해 CG 도구(36, 56) 사이에 스위칭될 수 있다. 제어는 하나 이상의 인터페이스 장치(20)의 사용에 의해 스위칭될 수 있다. 대안으로, 제 2 입력 장치(18)는 제 2 CG 도구(56)를 선택적으로 제어하도록 제공될 수 있다.
제 2 CG 도구(56)의 타겟 위치(58)가 제 2 타겟 위치(58)로 결정된다. 제 2 CG 도구(56)의 제 2 타겟 위치(58)는 제 2 수술 도구(52)의 결정된 제 2 매치 존(54)에 대응한다. 이러한 방법으로, 이미 기재된 액션은 제 2 CG 도구(56)의 이동이 제 2 수술 도구(52)의 이동과 실질적으로 매칭하지 않을 때 이루어질 수 있다.
본 발명은 하나 이상의 특정한 실시형태에 대해 기재되지만 본 발명의 다른 실시형태가 본 발명의 사상과 범위로부터 벗어나지 않고 이루어질 수 있는 것이 이해될 것이다. 따라서, 본 발명은 첨부된 청구범위와 이해가능한 설명에 의해서만 한정되는 것으로 생각된다.

Claims (36)

  1. (a) 디스플레이, 컴퓨터, 및 제 1 입력 장치를 갖는 시뮬레이터를 제공하는 스텝;
    (b) 상기 디스플레이 상에 MIS의 비디오를 표시하는 스텝으로서 제 1 수술 도구는 비디오의 적어도 일부에서 보여지고, 상기 제 1 수술 도구의 비디오 상의 위치에 대응하는 매치 존이 결정되는 스텝;
    (c) 표시된 비디오 상에 슈퍼임포징되는 컴퓨터 생성 가상 수술 도구("CG 도구")를 제공하는 스텝으로서 상기 CG 도구는 상기 제 1 입력 장치에 의해 선택적으로 제어되고, 상기 매치 존에 대응하는 CG 도구 상의 타겟 위치가 결정되는 스텝을 포함하는 것을 특징으로 하는 최소 침습 수술("MIS") 트레이닝 방법.
  2. 제 1 항에 있어서,
    상기 비디오는 스테레오 비디오인 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  3. 제 2 항에 있어서,
    상기 매치 존 및 상기 타겟 위치는 3차원으로 결정되는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  4. 제 1 항에 있어서,
    상기 비디오는 미리 녹음되는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  5. 제 4 항에 있어서,
    상기 CG 도구의 타겟 위치가 상기 매치 존 내에 위치되지 않을 때 비디오를 정지시키는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  6. 제 4 항에 있어서,
    상기 비디오는 인터액티브하고, 인터액티브 비디오의 관점은 인터페이스 장치를 통해 이동되는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  7. 제 6 항에 있어서,
    상기 비디오를 기록하는데 이용된 카메라의 카메라 이동은 미리 결정되고, 프롬프트는 인터액티브 비디오 관점의 요구된 이동을 나타내도록 디스플레이 상에 표시되는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  8. 제 7 항에 있어서,
    상기 인터액티브 비디오의 관점의 이동이 카메라의 미리 결정된 이동과 실질적으로 매칭하지 않을 때 비디오를 정지시키는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  9. 제 1 항에 있어서,
    상기 매치 존은 제 1 수술 도구의 단부에 대응하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  10. 제 4 항에 있어서,
    상기 제 1 수술 도구의 엔트리 포인트를 산출하는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  11. 제 10 항에 있어서,
    상기 제 1 수술 도구의 벡터를 산출하는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  12. 제 11 항에 있어서,
    상기 CG 도구의 벡터가 상기 제 1 수술 도구의 벡터와 실질적으로 매칭하지 않을 때 비디오를 정지시키는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  13. 제 12 항에 있어서,
    상기 제 1 수술 도구의 벡터 및 상기 CG 도구의 벡터는 3차원으로 결정되는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  14. 제 4 항에 있어서,
    상기 제 1 수술 도구 및 상기 CG 도구 각각은 엔드 이펙터를 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  15. 제 14 항에 있어서,
    상기 CG 도구의 엔드 이펙터의 상태가 상기 제 1 수술 도구의 엔드 이펙터의 상태와 실질적으로 매칭하지 않을 때 비디오를 정지시키는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  16. 제 1 항에 있어서,
    상기 제 1 입력 장치는 컴퓨터로부터 신호를 수신해서 제 1 입력 장치를 이동시키도록 구성된 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  17. 제 16 항에 있어서,
    상기 CG 도구의 타겟 위치가 상기 매치 존 내에 위치되지 않을 때 상기 제 1 입력 장치를 이동시켜 상기 CG 도구가 상기 매치 존으로 이동되는 스텝을 더 포함하는 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  18. 제 1 항에 있어서,
    상기 비디오는 MIS로부터의 라이브 피드인 것을 특징으로 하는 최소 침습 수술 트레이닝 방법.
  19. (a) 컴퓨터,
    (b) 상기 컴퓨터와 통신하는 디스플레이, 및
    (c) 상기 컴퓨터와 통신하는 제 1 입력 장치를 포함하고;
    (d) 상기 컴퓨터는,
    (i) 상기 디스플레이 상에 MIS의 비디오를 표시하고, 제 1 수술 도구가 비디오의 적어도 일부에서 보여지고, 상기 제 1 수술 도구의 비디오 상의 위치에 대응하는 매치 존이 결정되고,
    (ⅱ) 표시된 비디오 상에 컴퓨터 생성 가상 수술 도구("CG 도구")를 슈퍼임포징하도록 프로그램되어 있으며,
    상기 CG 도구가 상기 제 1 입력 장치에 의해 선택적으로 제어되고, 상기 매치 존에 대응하는 CG 도구 상의 타겟 위치가 결정되는 것을 특징으로 하는 최소 침습 수술("MIS") 시뮬레이터.
  20. 제 19 항에 있어서,
    클러치를 더 포함하고, 상기 컴퓨터는 클러치가 액티베이팅될 때 상기 제 1 입력 장치로부터 상기 CG 도구를 접속 해제해서 상기 제 1 입력 장치가 상기 CG 도구의 이동 없이 이동될 수 있도록 더욱 프로그램된 것을 특징으로 하는 MIS 시뮬레이터.
  21. 제 19 항에 있어서,
    상기 비디오는 미리 녹음되는 것을 특징으로 하는 MIS 시뮬레이터.
  22. 제 21 항에 있어서,
    상기 컴퓨터는 상기 CG 도구의 타겟 위치가 매치 존 내에 위치되지 않을 때 비디오를 정지시키도록 더욱 프로그램된 것을 특징으로 하는 MIS 시뮬레이터.
  23. 제 21 항에 있어서,
    상기 미리 녹음된 비디오는 비디오 메타데이터를 더 포함하고, 상기 제 1 수술 도구의 미리 결정된 위치는 비디오 메타데이터에 기록되는 것을 특징으로 하는 MIS 시뮬레이터.
  24. 제 21 항에 있어서,
    제 2 수술 도구는 비디오의 적어도 일부에서 보여지고, 상기 제 2 수술 도구의 비디오 상의 위치에 대응하는 제 2 매치 존은 미리 결정되고, 제 2 CG 도구는 표시된 비디오 상에 슈퍼임포징되고, 상기 제 2 CG 도구는 제 1 입력 장치에 의해 선택적으로 제어되고, 상기 제 2 매치 존에 대응하는 CG 도구 상의 제 2 타겟 위치는 미리 결정되는 것을 특징으로 하는 MIS 시뮬레이터.
  25. 제 24 항에 있어서,
    제 2 입력 장치를 더 포함하고, 상기 제 2 CG 도구는 제 2 입력 장치에 의해 선택적으로 제어되는 것을 특징으로 하는 MIS 시뮬레이터.
  26. 제 25 항에 있어서,
    상기 컴퓨터는 상기 제 2 CG 도구의 제 2 타겟 위치가 제 2 매치 존 내에 위치되지 않을 때 비디오를 정지시키도록 더욱 프로그램된 것을 특징으로 하는 MIS 시뮬레이터.
  27. 제 21 항에 있어서,
    상기 매치 존은 상기 제 1 수술 도구의 단부에 대응하는 것을 특징으로 하는 MIS 시뮬레이터.
  28. 제 21 항에 있어서,
    상기 컴퓨터는 상기 제 1 수술 도구의 엔트리 포인트를 산출하도록 더욱 프로그램된 것을 특징으로 하는 MIS 시뮬레이터.
  29. 제 23 항에 있어서,
    상기 제 1 수술 도구의 엔트리 포인트의 위치는 미리 산출되고, 미리 산출된 위치는 비디오 메타데이터에 기록되는 것을 특징으로 하는 MIS 시뮬레이터.
  30. 제 29 항에 있어서,
    상기 제 1 수술 도구의 벡터를 산출하는 스텝을 더 포함하는 것을 특징으로 하는 MIS 시뮬레이터.
  31. 제 30 항에 있어서,
    상기 컴퓨터는 상기 CG 도구의 벡터가 상기 제 1 수술 도구의 벡터와 실질적으로 매칭하지 않을 때 비디오를 정지시키도록 더욱 프로그램된 것을 특징으로 하는 MIS 시뮬레이터.
  32. 제 31 항에 있어서,
    상기 제 1 수술 도구의 벡터와 상기 CG 도구의 벡터는 3차원으로 결정되는 것을 특징으로 하는 MIS 시뮬레이터.
  33. 제 19 항에 있어서,
    상기 디스플레이는 스테레오 디스플레이인 것을 특징으로 하는 MIS 시뮬레이터.
  34. 제 19 항에 있어서,
    상기 제 1 입력 장치는 상기 컴퓨터로부터 신호를 수신해서 상기 제 1 입력 장치를 이동시키도록 구성된 것을 특징으로 하는 방법.
  35. 제 24 항에 있어서,
    상기 CG 도구의 타겟 위치가 매치 존 내에 위치되지 않을 때 제 1 입력 장치를 이동시켜 상기 CG 도구가 상기 매치 존으로 이동되는 스텝을 더 포함하는 것을 특징으로 하는 방법.
  36. 제 19 항에 있어서,
    상기 비디오는 최소 침습 수술로부터의 라이브 피드인 것을 특징으로 하는 방법.
KR1020117023912A 2009-03-12 2010-03-12 최소 침습 수술 트레이닝 방법 및 시스템 KR20110136847A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15962909P 2009-03-12 2009-03-12
US61/159,629 2009-03-12
US24511109P 2009-09-23 2009-09-23
US61/245,111 2009-09-23

Publications (1)

Publication Number Publication Date
KR20110136847A true KR20110136847A (ko) 2011-12-21

Family

ID=42729155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117023912A KR20110136847A (ko) 2009-03-12 2010-03-12 최소 침습 수술 트레이닝 방법 및 시스템

Country Status (4)

Country Link
US (1) US20100285438A1 (ko)
EP (1) EP2405822A4 (ko)
KR (1) KR20110136847A (ko)
WO (1) WO2010105237A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181919A1 (ko) * 2021-02-26 2022-09-01 (주)휴톰 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299355B (zh) * 2010-11-04 2016-09-14 约翰霍普金斯大学 用于微创手术技能的评估或改进的系统和方法
US9026247B2 (en) 2011-03-30 2015-05-05 University of Washington through its Center for Communication Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods
US20140378995A1 (en) * 2011-05-05 2014-12-25 Intuitive Surgical Operations, Inc. Method and system for analyzing a task trajectory
ES2416879B1 (es) * 2012-01-27 2014-06-24 Jes�s USON GARGALLO Plataforma de entrenamiento quirúrgico
US20140051049A1 (en) 2012-08-17 2014-02-20 Intuitive Surgical Operations, Inc. Anatomical model and method for surgical training
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
CN106030683B (zh) * 2013-12-20 2020-10-30 直观外科手术操作公司 用于医疗程序培训的模拟器系统
CN105321415A (zh) * 2014-08-01 2016-02-10 卓思生命科技有限公司 一种手术模拟系统及方法
US9501611B2 (en) * 2015-03-30 2016-11-22 Cae Inc Method and system for customizing a recorded real time simulation based on simulation metadata
CN104966431B (zh) * 2015-07-28 2018-05-04 中国医学科学院北京协和医院 一种适用于微创外科技术研究和训练的实验台
WO2018118858A1 (en) 2016-12-19 2018-06-28 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
CA3149196C (en) * 2022-02-17 2024-03-05 Cae Healthcare Canada Inc. Method and system for generating a simulated medical image

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524180A (en) * 1992-08-10 1996-06-04 Computer Motion, Inc. Automated endoscope system for optimal positioning
JPH07508449A (ja) * 1993-04-20 1995-09-21 ゼネラル・エレクトリック・カンパニイ 外科手術の際に身体構造をよく見える様にするコンピュータ・グラフィック及びライブ・ビデオ・システム
US5731804A (en) * 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
US5623582A (en) * 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5800179A (en) * 1996-07-23 1998-09-01 Medical Simulation Corporation System for training persons to perform minimally invasive surgical procedures
IL123073A0 (en) * 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
JP3660521B2 (ja) * 1999-04-02 2005-06-15 株式会社モリタ製作所 医療実習装置及び医療用実習評価方法
US7050955B1 (en) * 1999-10-01 2006-05-23 Immersion Corporation System, method and data structure for simulated interaction with graphical objects
US6842196B1 (en) * 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
NO313477B1 (no) * 2001-01-08 2002-10-07 Simsurgery As Fremgangsmåte og system for å simulere en tråd i datamaskinbaserte grafiske simuleringer
SE518252C2 (sv) * 2001-01-24 2002-09-17 Goeteborg University Surgical Metod för simulering av ett kirurgiskt moment, metod för simulering av kirurgisk operation och system för simulering av ett kirurgiskt moment
CA2633137C (en) * 2002-08-13 2012-10-23 The Governors Of The University Of Calgary Microsurgical robot system
US7053423B1 (en) * 2002-09-24 2006-05-30 T-Ram, Inc. Thyristor having a first emitter with relatively lightly doped portion to the base
SE0202863D0 (sv) * 2002-09-30 2002-09-30 Goeteborgs University Surgical Improved computer-based minimal-invasive surgery simulation system
US7594815B2 (en) * 2003-09-24 2009-09-29 Toly Christopher C Laparoscopic and endoscopic trainer including a digital camera
US20050181340A1 (en) * 2004-02-17 2005-08-18 Haluck Randy S. Adaptive simulation environment particularly suited to laparoscopic surgical procedures
CA2556082A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
WO2006060406A1 (en) * 2004-11-30 2006-06-08 The Regents Of The University Of California Multimodal medical procedure training system
KR101320379B1 (ko) * 2005-10-20 2013-10-22 인튜어티브 서지컬 인코포레이티드 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작
US20070134637A1 (en) * 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
WO2008058039A1 (en) * 2006-11-06 2008-05-15 University Of Florida Research Foundation, Inc. Devices and methods for utilizing mechanical surgical devices in a virtual environment
EP1933276B1 (de) * 2006-12-11 2010-06-30 BrainLAB AG Mehrbandtracking- und Kalibrier-System
US8313432B2 (en) * 2007-06-20 2012-11-20 Surgmatix, Inc. Surgical data monitoring and display system
WO2009004616A2 (en) * 2007-07-02 2009-01-08 M.S.T. Medical Surgery Technologies Ltd System for positioning endoscope and surgical instruments
US20100167250A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator having multiple tracking systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181919A1 (ko) * 2021-02-26 2022-09-01 (주)휴톰 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법

Also Published As

Publication number Publication date
EP2405822A2 (en) 2012-01-18
WO2010105237A3 (en) 2011-01-13
US20100285438A1 (en) 2010-11-11
WO2010105237A2 (en) 2010-09-16
EP2405822A4 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
KR20110136847A (ko) 최소 침습 수술 트레이닝 방법 및 시스템
US11484383B2 (en) Setup of surgical robots using an augmented mirror display
JP7195385B2 (ja) 医療処置トレーニングのためのシミュレータシステム
US11589937B2 (en) Systems and methods for constraining a virtual reality surgical system
EP3107286B1 (en) Medical robotic system providing three-dimensional telestration
US9595207B2 (en) Method and system for minimally-invasive surgery training using tracking data
US9560318B2 (en) System and method for surgical telementoring
US20100167250A1 (en) Surgical training simulator having multiple tracking systems
US10744646B2 (en) Camera control system and method
CN105448155A (zh) 脊柱内镜虚拟训练系统
JP2019508166A (ja) 腹腔鏡画像及び超音波画像を重畳するための計算装置
JP6521511B2 (ja) 手術トレーニング装置
US20220031406A1 (en) Method of graphically tagging and recalling identified structures under visualization for robotic surgery
US20220071716A1 (en) 3d visualization enhancement for depth perception and collision avoidance
Abdurahiman et al. Human-computer interfacing for control of angulated scopes in robotic scope assistant systems
US11690674B2 (en) Mobile virtual reality system for surgical robotic systems
KR101114237B1 (ko) 체감형 수술용 영상 처리 장치 및 방법
Huang et al. Learning kinematic mappings in laparoscopic surgery
KR20150135752A (ko) 체감형 수술용 영상 처리 장치 및 방법
John Basis and principles of virtual reality in medical imaging
US20220354613A1 (en) Creating Surgical Annotations Using Anatomy Identification
Berlage et al. Simulation and planning of minimally invasive coronary artery bypass surgery
Sharma et al. Virtual Reality: Robotic Improved Surgical Precision Using AI Techniques
JP6755080B2 (ja) 組織のボリュームデータに対応した模擬処置開始位置を決定する方法、装置及び手術シミュレータ
Altenhoff et al. Effects of haptic feedback and stereoscopy on a surgical training task in virtual reality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal