KR20160133515A - 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법 - Google Patents

원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20160133515A
KR20160133515A KR1020167028341A KR20167028341A KR20160133515A KR 20160133515 A KR20160133515 A KR 20160133515A KR 1020167028341 A KR1020167028341 A KR 1020167028341A KR 20167028341 A KR20167028341 A KR 20167028341A KR 20160133515 A KR20160133515 A KR 20160133515A
Authority
KR
South Korea
Prior art keywords
tip
instrument
clock
outside
watch
Prior art date
Application number
KR1020167028341A
Other languages
English (en)
Other versions
KR102363661B1 (ko
Inventor
브랜던 디 잇코위츠
브라이언 디 호프먼
폴 더블유 모어
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20160133515A publication Critical patent/KR20160133515A/ko
Application granted granted Critical
Publication of KR102363661B1 publication Critical patent/KR102363661B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A61B2090/0811—Indication means for the position of a particular part of an instrument with respect to the rest of the instrument, e.g. position of the anvil of a stapling instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)

Abstract

의료용 촬상 시스템이, 기구 선단부를 포함하는 의료 기구의 이동을 제어하도록 구성된 원격동작 조립체 및 하나 이상의 프로세서를 포함하는 프로세싱 유닛을 포함한다. 프로세싱 유닛은, 기구 선단부 위치를 결정하도록 그리고 기구 선단부 위치와 연관된 위치 오류를 결정하도록 구성된다. 프로세싱 유닛은 또한 위치 오류를 기초로 적어도 하나의 기구 선단부 경계형성 부피(bounding volume)를 결정하도록 그리고 기구 선단부가 촬상 기구의 시계 내에 있는지를 결정하도록 구성된다.

Description

원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법{SYSTEMS AND METHODS FOR OFFSCREEN INDICATION OF INSTRUMENTS IN A TELEOPERATIONAL MEDICAL SYSTEM}
우선권
본원은, 전체가 본원에서 참조로 포함되는, 2014년 3월 17일자로 출원된 "원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법"이라는 명칭의 미국 가특허출원 61/954,442의 출원일의 이익향유 및 그에 대한 우선권을 주장한다.
기술 분야
본 개시 내용은 원격동작 의료 절차를 실시하기 위한 시스템 및 방법에 관한 것이고 보다 특히 내시경의 시계 외부에 위치된 원격동작 기구의 위치의 표시를 제공하기 위한 시스템 및 방법에 관한 것이다.
최소 침습 의료 기술은, 침습 의료 절차 중에 손상되는 조직의 양을 줄이고 그에 의해서 환자 회복 시간, 불편함, 및 유해한 부작용을 줄이기 위한 것이다. 그러한 최소 침습 기술은 환자의 해부조직 내의 자연적인 구멍을 통해서 또는 하나 이상의 수술 절개부를 통해서 실시될 수 있을 것이다. 이러한 자연적인 구멍 또는 절개부를 통해서, 의료진이 표적 조직 위치에 도달하기 위해서 의료 도구를 삽입할 수 있을 것이다. 최소 침습 의료 도구에는, 치료 기구, 진단 기구, 및 수술 기구와 같은 기구가 포함된다. 최소 침습 의료 도구가 또한 내시경 기구와 같은 촬상 기구를 포함할 수 있을 것이다. 촬상 기구는 환자의 해부조직 내의 시계를 사용자에게 제공한다. 일부 최소 침습 의료 도구 및 촬상 기구가 원격동작되거나 달리 컴퓨터-보조될 수 있을 것이다. 원격동작 의료 시스템에서, 촬상 기구에 의해서 제공되는 시계 내에서 사용자에게 보여지지 않으면서, 기구가 제어될 수 있을 것이다. 시계 외부의 기구의 우발적인 이동이 안전성에 위험을 미친다. 부가적으로, 의료진이, 시계 외부에 위치된 기구의 궤적을 놓칠 수 있을 것이다. 잘못된 표시의 발생을 최소화하면서, 시계 외부의 기구의 위치의 표시를 의료진에게 제공하기 위한 시스템 및 방법이 요구된다.
본 발명의 실시예는 이하에서 후속되는 청구항에 의해서 요약된다.
일 실시예에서, 의료용 촬상 시스템이, 기구 선단부를 포함하는 의료 기구의 이동을 제어하도록 구성된 원격동작 조립체 및 하나 이상의 프로세서를 포함하는 프로세싱 유닛을 포함한다. 프로세싱 유닛은, 기구 선단부 위치를 결정하도록 그리고 기구 선단부 위치와 연관된 위치 오류를 결정하도록 구성된다. 프로세싱 유닛은 또한 위치 오류를 기초로 적어도 하나의 기구 선단부 경계형성 부피(bounding volume)를 결정하도록 그리고 기구 선단부가 촬상 기구의 시계 내에 있는지를 결정하도록 구성된다.
다른 실시예에서, 촬상 방법이 원격동작 조립체에 의해서 제어되는 의료 기구를 위한 기구 선단부 위치를 결정하는 단계 및 기구 선단부 위치와 연관된 위치 오류를 결정하는 단계를 포함한다. 방법은 위치 오류를 기초로 적어도 하나의 기구 선단부 경계형성 부피를 결정하는 단계 및 기구 선단부가 촬상 기구의 시계 내에 있는지를 결정하는 단계를 더 포함한다.
본 개시 내용의 양태가, 첨부 도면과 함께 읽을 때, 이하의 구체적인 설명으로부터 가장 잘 이해된다. 산업계의 표준 실무에 따라, 여러 가지 특징이 실제 축척(scale)으로 도시되지 않았다는 것을 강조하는 바이다. 사실상, 여러 특징의 치수가 설명의 명료함을 위해서 임의적으로 증가되거나 감소될 수 있을 것이다. 또한, 본 개시 내용이 여러 예에서 참조 번호 및/또는 문자를 반복할 수 있을 것이다. 이러한 반복은 단순성 및 명료함을 위한 것이고, 그 자체는 설명되는 여러 실시예 및/또는 구성 사이의 관계를 나타내지 않는다.
도 1a는 본 개시 내용의 실시예에 따른 원격동작 의료 시스템의 개략도이다.
도 1b는, 많은 실시예에 따른, 원격동작 의료 시스템을 위한 의사의 제어 콘솔(control console)의 사시도이다.
도 1c는, 많은 실시예에 따른, 원격동작 의료 시스템 전자장치 카트의 사시도이다.
도 1d는 본원에서 설명된 원리의 하나의 예에 따른, 환자측 카트(patient side cart)의 사시도이다.
도 2a는 제1 배향에서의 축외(off-axis) 내시경 촬상 기구를 도시한다.
도 2b는 제2 배향에서의 도 2a의 축외 내시경 촬상 기구를 도시한다.
도 2c는 도 2a의 축외 내시경 촬상 기구의 원위 단부를 도시한다.
도 3은 촬상 기구 시계를 둘러싸는 수술 작업공간을 도시한다.
도 4a는 시계 내에서 가시적인 2개의 기구와 함께 수술 작업공간의 시계를 도시한다.
도 4b 내지 도 4d는, 시계 외부의 기구 중 하나와 함께, 도 4a의 수술 작업공간의 다른 시계를 도시한다.
도 4e는, 시계 외부의 기구의 양자 모두와 함께, 도 4a의 수술 작업공간의 다른 시계를 도시한다.
도 4f는, 시계의 경계 부근에 위치되는 기구 중 하나와 함께, 도 4a의 수술 작업공간의 다른 시계를 도시한다.
도 5는 촬상 기구 시계를 둘러싸고 오류 경계형성 부피를 가지는 기구를 포함하는 수술 작업공간을 도시한다.
도 6은, 기구가 시계 외부에 있는지의 여부를 결정하기 위한 방법이다.
도 7은 기구 선단부 위치를 평가하기 위한 방법이다.
도 8은 촬상 기구 좌표 공간 내의 기구 선단부 위치 오류를 추정하기 위한 방법이다.
도 9는 화면 좌표 공간 내에서 기구 선단부 경계형성 부피를 결정하기 위한 방법이다.
도 10은, 기구 선단부가 촬상 기구 시계 외부에 있는지를 결정하기 위한 방법이다.
도 11은 도 6의 방법에서 이용되는 편향 프로파일이다.
도 12 내지 도 15는, 기구 선단부가 촬상 기구 시계 외부에 있는지의 여부를 결정하는데 있어서, 촬상 기구로부터의 기구 선단부 거리의 영향을 도시한다.
본 개시 내용의 원리를 이해하는 것을 돕기 위한 목적으로, 이제 도면에 도시된 실시예를 참조할 것이고, 특정의 언어가 그러한 실시예를 설명하기 위해서 이용될 것이다. 그럼에도 불구하고, 개시 내용의 범위에 대한 제한이 의도되지 않았다는 것을 이해할 수 있을 것이다. 본 발명의 양태에 관한 이하의 구체적인 설명에서, 개시된 실시예의 완전한 이해를 제공하기 위해서, 수 많은 구체적인 상세 내용이 전개된다. 그러나, 당업자는, 이러한 구체적인 상세 내용이 없이도 이러한 개시 내용의 실시예가 실시될 수 있다는 것을 명확하게 이해할 수 있을 것이다. 다른 경우에, 본 발명의 실시예의 양태를 불필요하게 불명확하게 하지 않기 위해서, 주지의 방법, 절차, 구성요소, 및 회로를 구체적으로 설명하지 않았다.
개시 내용과 관련된 당업자에 의해서 일반적으로 이루어질 수 있는 바와 같은, 설명된 장치, 기구, 방법, 및 본 개시 내용의 원리의 임의의 추가적인 적용에 대한 임의 변경 및 추가적인 수정이 완전히 이해될 수 있을 것이다. 특히, 일 실시예와 관련하여 설명된 특징, 구성요소, 및/또는 단계가 본 개시 내용의 다른 실시예와 관련하여 설명된 특징, 구성요소, 및/또는 단계와 조합될 수 있다는 것을 완전히 이해할 수 있을 것이다. 또한, 본원에서 제공된 치수가 특정의 예를 위한 것이고, 다른 크기, 치수, 및/또는 비율이 본 개시 내용의 개념을 구현하기 위해서 이용될 수 있다는 것을 이해할 수 있을 것이다. 불필요한 설명적 반복을 피하기 위해서, 다른 묘사된 실시예로부터의 적용이 가능할 때, 하나의 묘사된 실시예에 따라서 설명된 하나 이상의 구성요소 또는 작용이 이용될 수 있거나 생략될 수 있다. 간결함을 위해서, 이러한 조합의 수많은 반복을 별개로 설명하지는 않을 것이다. 간결함을 위해서, 일부 경우에, 동일한 또는 유사한 부분을 지칭하기 위해서, 도면 전체를 통해서 동일한 참조 번호가 이용된다.
이하의 실시예는 여러 가지 기구 및 기구의 부분을 3-차원적인 공간 내에서의 그들의 상태와 관련하여 설명할 것이다. 본원에서 사용된 바와 같이, "위치"라는 용어는 3-차원적인 공간 내의 물체 또는 물체의 일부의 위치를 지칭한다(예를 들어, 데카르트 X, Y, Z 좌표를 따른 3개의 병진운동적 자유도). 본원에서 사용된 바와 같이, "배향"은 물체 또는 물체의 일부의 회전적 배치를 지칭한다(3개의 회전적 자유도 - 예를 들어, 롤, 피치, 및 요(roll, pitch, and yaw)). 본원에서 사용된 바와 같이, "자세(pose)"라는 용어는 적어도 하나의 병진 운동적 자유도의 물체 또는 물체의 일부의 위치를 그리고 적어도 하나의 회전적 자유도(총 6개까지의 자유도)의 물체 또는 물체의 일부의 배향을 지칭한다. 본원에서 사용된 바와 같이, "형상"이라는 용어는 물체를 따라서 측정된 자세, 위치, 또는 배향의 세트를 지칭한다.
도면 중 도 1a를 참조하면, 예를 들어, 진단, 치료 또는 수술 절차를 포함하는 의료적 절차에서 이용하기 위한 원격동작 의료 시스템이 전반적으로 참조 번호 10으로 표시되어 있다. 설명되는 바와 같이, 이러한 개시 내용의 원격동작 의료 시스템이 의사의 원격동작 제어 하에 있다. 대안적인 실시예에서, 원격동작 의료 시스템이 절차 또는 하위-절차를 실시하도록 프로그래밍된 컴퓨터의 부분적인 제어 하에 있을 수 있을 것이다. 또 다른 대안적인 실시예에서, 완전히 자동화된 의료 시스템이, 절차 또는 하위-절차를 실시하도록 프로그래밍된 컴퓨터의 완전한 제어하에서, 절차 또는 하위-절차를 실시하기 위해서 이용될 수 있을 것이다. 도 1a에 도시된 바와 같이, 원격동작 의료 시스템(10)이 일반적으로, 환자(P)가 상부에 배치되는 동작 테이블(O)에 또는 그 근처에 장착된 원격동작 조립체(12)를 포함한다. 원격동작 조립체(12)가 환자측 카트로서 지칭될 수 있을 것이다. 의료 기구 시스템(14) 및 내시경 촬상 시스템(15)이 원격동작 조립체(12)에 동작적으로 결합된다. 조작자 입력 시스템(16)은 의사 또는 다른 유형의 의료진(S)이 수술 장소의 또는 수술 장소를 나타내는 화상을 볼 수 있게 하고 의료 기구 시스템(14) 및/또는 내시경 촬상 시스템(15)의 동작을 제어할 수 있게 한다.
조작자 입력 시스템(16)이 의사의 콘솔에 위치될 수 있을 것이고, 그러한 의사의 콘솔은 일반적으로 동작 테이블(O)과 동일한 공간(room) 내에 위치된다. 그러나, 의사(S)가 환자(P)와 다른 방에 있을 수 있거나 완전히 다른 건물에 있을 수 있다는 것을 이해하여야 할 것이다. 조작자 입력 시스템(16)이 일반적으로, 의료 기구 시스템(14)을 제어하기 위한 하나 이상의 제어 장치(들)를 포함한다. 제어 장치(들)가 손 파지기, 조이 스틱, 트랙볼, 데이터 장갑, 트리거-건, 손-동작형 제어기, 음성 인식 장치, 터치 스크린, 및 신체 이동 또는 존재 센서 등과 같은 임의 수의 다양한 입력 장치 중 하나 이상을 포함할 수 있을 것이다. 일부 실시예에서, 원격 현상감(telepresence), 의사가 수술 장소에 있는 것과 같이 직접적으로 제어하는 기구에 관한 강한 감각을 가지도록 제어 장치(들)가 기구와 일체화되는 인식을 의사에게 제공하도록, 제어 장치(들)가 원격동작 조립체의 의료 기구와 동일한 자유도를 가질 수 있다. 다른 실시예에서, 제어 장치(들)가 연관된 의료 기구 보다 많거나 적은 자유도를 가질 수 있을 것이고 여전히 의사에게 원격 현상감을 제공할 수 있을 것이다. 일부 실시예에서, 제어 장치(들)가 6개의 자유도로 이동하고, 그리고 또한 기구를 작동시키기 위한(예를 들어, 파지 턱부들(grasping jaws)을 폐쇄하기 위한, 전위를 전극으로 인가하기 위한, 의료적 처리를 전달하기 위한, 그리고 기타 등등을 위한) 작동 가능 핸들을 포함할 수 있는 수동 입력 장치이다.
원격동작 조립체(12)는, 의사(S)가 콘솔(16)을 통해서 수술 장소를 관찰하는 동안, 의료 기구 시스템(14)을 지원하고 조작한다. 수술 장소의 화상이, 내시경(15)을 배향하기 위해서 원격동작 조립체(12)에 의해서 조작될 수 있는, 입체형 내시경(stereoscopic endoscope)과 같은, 내시경 촬상 시스템(15)에 의해서 획득될 수 있다. 전자장치 카트(18)는, 의사의 콘솔(16)을 통해서 의사(S)에게 후속하여 디스플레이하기 위해서 수술 장소의 화상을 프로세스하기 위해서 이용될 수 있다. 한번에 이용되는 의료 기구 시스템(14)의 수가 일반적으로, 다른 인자들 중에서, 진단 또는 수술 절차 및 동작 공간 내의 공간적 제약에 의존할 것이다. 원격동작 조립체(12)가 하나 이상의 비-서보 제어형 링크(예를 들어, 셋-업 구조물로서 일반적으로 지칭되는, 수동으로 배치되고 제 위치에서 결속될(locked) 수 있는 하나 이상의 링크)의 운동역학적 구조물 및 원격동작적 조작기를 포함할 수 있을 것이다. 원격동작 조립체(12)가, 의료 기구 시스템(14) 상의 입력부를 구동하는 복수의 모터를 포함한다. 이러한 모터가 제어 시스템(예를 들어, 제어 시스템(20))으로부터의 명령에 응답하여 이동된다. 모터는, 의료 기구 시스템(14)에 결합될 때 의료 기구를 자연적으로 또는 수술적으로 생성된 해부학적인 구멍으로 전진시킬 수 있는 구동 시스템을 포함한다. 다른 모터화된(motorized) 구동 시스템이, 3의 선형 운동도(degrees of linear motion)(예를 들어, X, Y, Z 데카르트 축을 따른 선형 운동)를 포함할 수 있는 복수의 자유도로 그리고 3의 회전 운동도(예를 들어, X, Y, Z 데카르트 축 주위의 회전)로 의료 기구의 원위 단부를 이동시킬 수 있을 것이다. 부가적으로, 모터를 이용하여, 생검 장치 등의 턱부 내에서 조직을 파지하기 위한 기구의 관절화 가능 엔드 이펙터(articulable end effector)를 작동시킬 수 있다.
원격동작 의료 시스템(10)이 또한 제어 시스템(20)을 포함한다. 의료 기구 시스템(14), 조작자 입력 시스템(16), 및 전자장치 시스템(18) 사이의 제어를 실시하기 위해서, 제어 시스템(20)이 적어도 하나의 메모리 및 적어도 하나의 프로세서(미도시), 전형적으로 복수의 프로세서를 포함한다. 제어 시스템(20)이 또한, 본원에서 개시된 양태에 따라 설명된 방법의 일부 또는 전부를 실시하기 위한 프로그래밍된 명령어(예를 들어, 명령어를 저장하는 컴퓨터-판독가능 매체)를 포함한다. 제어 시스템(20)이 도 1a의 단순화된 개략도에서 단일 블록으로 도시되어 있지만, 시스템이 둘 이상의 데이터 프로세싱 회로를 포함할 수 있을 것이고, 프로세싱의 하나의 부분이 원격동작 조립체(12) 상에서 또는 그에 인접하여 선택적으로 실시되고, 프로세싱의 다른 부분이 조작자 입력 시스템(16)에서 실시되고, 기타 등등이 이루어질 수 있다. 매우 다양한 중앙집중형 또는 분산형 데이터 프로세싱 아키텍처 중 임의의 것이 이용될 수 있을 것이다. 유사하게, 프로그래밍된 명령어가 많은 수의 분리된 프로그램 또는 서브루틴으로서 구현될 수 있거나, 그러한 명령어가 본원에서 설명된 원격동작 시스템의 많은 수의 다른 양태 내로 통합될 수 있을 것이다. 일 실시예에서, 제어 시스템(20)이, 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 검침(Wireless Telemetry)과 같은 무선 통신 프로토콜을 지원한다.
일부 실시예에서, 제어 시스템(20)이, 의료 기구 시스템(14)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기를 포함할 수 있을 것이다. 피드백에 응답하여, 서보 제어기가 조작자 입력 시스템(16)으로 신호를 송신한다. 신체 내의 개구부를 통해서 환자 신체 내의 내부 수술 장소로 연장될 수 있는 의료 기구 시스템(들)(14) 및/또는 내시경 촬상 시스템(15)을 이동시키기 위해서, 서보 제어기(들)가 또한 원격동작 조립체(12)에 명령하는 신호를 송신할 수 있을 것이다. 임의의 적합한 통상적인 또는 특별한 서보 제어기가 이용될 수 있을 것이다. 서보 제어기가 원격동작 조립체(12)와 분리될 수 있거나, 그와 통합될 수 있을 것이다. 일부 실시예에서, 서보 제어기 및 원격동작 조립체가, 환자의 신체에 인접하여 배치되는 원격동작 아암 카트(teleoperational arm cart)의 일부로서 제공된다.
원격동작 의료 시스템(10)이, 조명 시스템, 조향 제어 시스템, 관류(irrigation) 시스템, 및/또는 흡입 시스템과 같은 선택적인 동작 및 지원 시스템(미도시)을 더 포함할 수 있을 것이다. 대안적인 실시예에서, 원격동작 시스템이 하나 초과의 원격동작 조립체 및/또는 하나 초과의 조작자 입력 시스템을 포함할 수 있을 것이다. 조작기 조립체의 정확한 수가, 다른 인자들 중에서, 수술 절차 및 동작 공간 내의 공간적 제약에 의존할 것이다. 조작자 입력 시스템들이 함께 위치될 수 있거나, 조작자 입력 시스템들이 분리된 위치들에 배치될 수 있을 것이다. 복수의 조작자 입력 시스템은 한 명보다 많은 조작자가 하나 이상의 조작기 조립체를 다양한 조합으로 제어할 수 있게 한다.
도 1b는 의사의 콘솔(16) 사시도이다. 깊이 인식을 가능하게 하는 수술 장소의 협력적인 입체적 장면을 의사(S)에게 제시하기 위해서, 의사의 콘솔(16)이 왼쪽 눈 디스플레이(32) 및 오른쪽 눈 디스플레이(34)를 포함한다. 콘솔(16)은 하나 이상의 입력 제어 장치(36)를 더 포함하고, 그러한 입력 제어 장치(36)는 다시 원격동작 조립체(12)가 하나 이상의 기구 또는 내시경 촬상 시스템을 조작하게 한다. 입력 제어 장치(36)가 그들과 연관된 기구(14)와 동일한 자유도를 제공하여, 원격 현상감, 또는 의사가 직접적으로 제어하는 기구(14)에 관한 강한 감각을 가지도록 입력 제어 장치(36)가 기구(14)와 일체화되는 인식을 의사(S)에게 제공할 수 있다. 이러한 목적을 위해서, 위치, 힘, 및 촉각 피드백 센서(미도시)를 이용하여, 기구(14)로부터 입력 제어 장치(36)를 통해서 의사의 손으로 다시 위치, 힘, 및 촉각적 감각을 전달할 수 있을 것이다.
도 1c는 전자장치 카트(18)의 사시도이다. 전자장치 카트(18)가 내시경(15)과 결합될 수 있고, 예를 들어 의사의 콘솔 상에서, 또는 근거리에 및/또는 원격지에 위치되는 다른 적합한 디스플레이 상에서 의사에게 후속하여 디스플레이하기 위해서, 캡쳐된 화상을 프로세스하기 위한 프로세서를 포함할 수 있다. 예를 들어, 입체적 내시경이 사용되는 경우에, 전자장치 카트(18)가 캡쳐된 화상을 프로세스하여, 수술 장소의 협력적인 입체 화상들을 의사에게 제시할 수 있다. 그러한 협력이, 대향 화상들 사이의 정렬을 포함할 수 있고 입체적 내시경의 입체적 작업 거리를 조정하는 것을 포함할 수 있다. 다른 예에서, 화상 프로세싱이, 광학적 수차와 같은, 화상 캡쳐 장치의 촬상 오류를 보상하기 위해서, 미리 결정된 카메라 영점교정 매개변수(calibration parameter)의 이용을 포함한다. 전자장치 카트(18)가 또한 디스플레이 모니터 및 제어 시스템(20)의 구성요소를 포함할 수 있을 것이다.
도 1d는 환자측 카트로서 지칭될 수 있는 원격동작 조립체(12)의 일 실시예의 사시도이다. 도시된 환자측 카트(12)가, 3개의 수술 도구(26)(예를 들어, 기구 시스템(14)), 및 절차가 이루어지는 장소의 화상의 캡쳐를 위해서 이용되는 입체적 내시경과 같은, 촬상 장치(28)(예를 들어, 내시경 촬상 시스템(15)) 의 조작을 위해서 제공된다. 촬상 장치가 케이블(56)을 통해서 전자장치 카트(18)로 신호를 송신할 수 있을 것이다. 조작이 많은 수의 관절을 가지는 원격동작적 메커니즘에 의해서 제공된다. 절개부의 크기를 최소화하기 위해서 운동역학적 원격 센터(kinematic remote center)가 절개부에서 유지되도록, 촬상 장치(28) 및 수술 도구(26)가 환자 내의 절개부를 통해서 배치되고 조작될 수 있다. 수술 도구(26)의 원위 단부가 촬상 장치(28)의 시계 내에 배치될 때, 수술 장소의 화상이 수술 도구(26)의 원위 단부의 화상을 포함할 수 있다.
환자측 카트(22)가 구동 가능한 기저부(58)를 포함한다. 구동 가능한 기저부(58)가 망원경식 기둥(57)에 연결되고, 이는 아암(54)의 높이의 조정을 가능하게 한다. 아암(54)이 회전 관절(55)을 포함할 수 있을 것이고, 그러한 회전 관절은 회전되고 상하로 이동된다. 아암(54)의 각각이 배향 플랫폼(53)에 연결될 수 있을 것이다. 배향 플랫폼(53)이 360도 회전될 수 있다. 환자측 카트(22)가 또한, 배향 플랫폼(53)을 수평 방향으로 이동시키기 위한 망원경식 수평 외팔보(52)를 포함할 수 있을 것이다.
이러한 예에서, 아암(54)의 각각이 조작기 아암(51)에 연결된다. 조작기 아암(51)이 조작기 구조용 보(manipulator spar)(59)를 통해서 의료 기구(26)로 직접적으로 연결될 수 있을 것이다. 조작기 아암(51)이 원격동작 가능할 수 있을 것이다. 일부 예에서, 배향 플랫폼에 연결되는 아암(54)이 원격동작될 수 없다. 그 대신에, 그러한 아암(54)이, 원하는 바에 따라서, 의사(18)가 원격동작적 구성요소로 동작을 시작하기에 앞서서 배치된다.
내시경 촬상 시스템(예를 들어, 시스템(15, 28))이 강성 또는 가요성 내시경을 포함하는 다양한 구성으로 제공될 수 있을 것이다. 강성 내시경은, 내시경의 원위 단부로부터 근위 단부까지 화상을 전달하기 위한 릴레이 렌즈 시스템을 수용하는 강성 관을 포함한다. 가요성 내시경은 하나 이상의 가요성 광섬유를 이용하여 화상을 전달한다. 내시경이, 전방 축방향 관찰을 위한 0°관찰 각도 또는 전방의 비스듬한 관찰을 위한 0°내지 90°의 관찰 각도를 포함하는 상이한 관찰 각도들을 가질 수 있을 것이다. 디지털 화상 기반의 내시경이 "선단부 상의 칩(chip on the tip)"의 설계를 가지며, 여기에서 하나 이상의 전하-결합 소자(CCD) 또는 상보적 금속 산화물 반도체(CMOS) 소자와 같은 원위 디지털 센서가 화상 데이터를 저장한다. 내시경 촬상 시스템이 2-차원적 또는 3-차원적 화상을 관찰자에게 제공할 수 있을 것이다. 2-차원적인 화상이 제한된 깊이 인식을 제공할 수 있을 것이다. 3-차원적인 입체 내시경 화상이 보다 정확한 깊이 인식을 관찰자에게 제공할 수 있을 것이다. 입체 내시경 기구는, 환자 해부조직의 입체 화상을 캡쳐하기 위해서 입체 카메라를 이용한다. 도 2a는, 핸들(102) 및 그러한 핸들에 상대적으로 이동되지 않게 결합된(rigidly coupled) 샤프트(104)를 포함하는 강성 축외 입체 내시경 촬상 기구(100)를 도시한다. 롤 어댑터(roll adaptor)(106)가 샤프트(104) 및/또는 핸들(102)에 회전식으로 결합된다. 샤프트가 원위 단부(108) 및 근위 단부(110)를 포함하고, 디지털 화상 저장 장치, 렌즈 시스템, 광섬유, 또는 다른 입체 화상 캡쳐 및 전달 구성요소(미도시)를 수용한다. 샤프트(104)가 광학적 축(OA)을 따라서 연장된다. 도 2c에 도시된 바와 같이, 기구(100)가 관찰각(112) 및 원뿔형의 광학적 시계(114)를 갖는다. 이러한 실시예에서, 관찰각이 약 30°이나, 광학적 축(OA)에 대한 비스듬한 각도의 관찰에 적합한 임의 각도일 수 있을 것이다. 수동적 또는 원격동작적 제어에 응답하여, 원격동작 조립체(예를 들어, 조립체(12))가 동작되어, 기구 본체(102) 및 샤프트(104)를 포함하는, 촬상 기구(100)를 광학적 축(OA) 주위로 회전시킬 수 있을 것이다. 도 2a는 광학적 축(OA)에 대한 -30°또는 하향 각도로 촬상 기구(100)를 도시한다. 도 2b는 광학적 축(OA)에 대한 +30° 또는 상향 각도로 180°회전된 촬상 기구(100)를 도시한다. "위", "아래", "상향" 및 "하향"이라는 용어는, 일반적으로 반대되는 방향들을 표시하기 위해서 단지 예시적인 목적으로 이용되었고 제한적으로 의도된 것이 아니다.
도 3은 촬상 기구(204)(예를 들어, 촬상 기구(15, 100))를 위한 촬상 기구 시계(202)를 둘러싸는 수술 작업공간(200)을 도시한다. 촬상 기구(204)가 원위 단부(205)를 갖는다. 2개의 수술 기구(206, 208)(예를 들어, 기구(14))가 작업공간(200) 내에서 동작될 수 있다. 이러한 실시예에서, 시계(202)가 3-차원적인 피라미드형 절두체 형상을 갖는다. 만약 촬상 기구(204)가 2개의 촬상 장치를 가지는 입체 촬상 기구라면, 촬상 기구의 시계는, 촬상 기구의 각각의 촬상 장치에 대한 3-차원적인 피라미드형 절두체들의 조합된 부피가 된다. 대안적인 실시예에서, 촬상 기구 또는 촬상 장치를 위한 3-차원적인 시계가 원뿔형 절두체 형상일 수 있을 것이다. 의료 기구(206)가 원위 기구 선단부(210)를 포함하고, 그러한 원위 기구 선단부(210)는, 이러한 실시예에서, 근위 선단부 부분(212), 제1 원위 선단부 부분(214), 및 제2 원위 선단부 부분(216)을 포함하는 2-핑거 작동 가능 선단부(two-finger actuatable tip)이다. 유사하게, 의료 기구(208)가 원위 기구 선단부(218)를 포함하고, 그러한 원위 기구 선단부(218)는, 이러한 실시예에서, 근위 선단부 부분(220), 제1 원위 선단부 부분(222), 및 제2 원위 선단부 부분(224)을 포함하는 2-핑거 작동 가능 선단부이다.
도 3의 구성에서, 의료 기구(206, 208)가 촬상 기구(204)의 시계 외부에 있다. 기구(206, 208)가 촬상 기구(204)의 시계 내부에 또는 외부에 있는지의 여부를 결정하는 것이, 도 7에서 더 구체적으로 설명되는 바와 같은 기구 원위 선단부(210, 218)의 계산된 위치를 기초로 할 수 있을 것이다. 도 3의 수술 작업공간은 전역 공간을 위한 전역 좌표계(XW, YW , ZW )를 가지고, 촬상 기구의 원위 단부는 내시경 공간을 위한 촬상 또는 내시경 좌표계(XI, YI , ZI)를 갖는다.
도 4a는 수술 작업공간(200) 내의 촬상 기구(204)의 시계(231)의 디스플레이되는 화상(230)을 도시한다. 기구(206, 208)가 디스플레이되는 화상(230) 내에서 시각적으로 확인할 수 있다. 이러한 구성에서, 기구(206, 208)는 "화면-상(on-screen)"인 것으로 간주되며, 다시 말해서 화상(230)을 디스플레이하는 디스플레이 화면 상에 있는 것으로 간주된다. 시계(231)가 경계(232)를 갖는다. 디스플레이되는 화상이 디스플레이 또는 화면 공간에 대한 디스플레이 또는 화면 좌표계(XS, YS , ZS )를 갖는다. 입체 촬상 시스템에서, 좌측 및 우측 화면 각각에 대한 분리된 화면 좌표계가 있을 수 있을 것이다.
도 4b는 수술 작업공간(200) 내의 촬상 기구(204)의 시계(241)의 디스플레이되는 화상(240)을 도시한다. 시계(241)가 경계(242)를 갖는다. 기구(204)의 시계가, 예를 들어, 줌-인, 줌-아웃, 피치 운동의 이동, 요 운동의 이동, 또는 상향 관찰각과 하향 관찰각 사이의 롤링에 의해서, 변화될 수 있을 것이다. 기구(206)가 시계(241) 내에 잔류하고 그에 따라 디스플레이되는 화상(240) 내에서 시각적으로 확인할 수 있다. 그에 따라, 기구(206)가 화면-상인 것으로 간주된다. 기구(208)가 시계(241) 내에 있지 않고 그에 따라 디스플레이되는 화상(240) 내에서 시각적으로 확인할 수 없다. 그에 따라, 기구(208)가 화면-외(off-screen)인 것으로 간주된다.
기구(206, 208)가 시계 내에서 의료진에게 보여지지 않으면서도 원격동작적으로 제어될 수 있기 때문에, 시계 외부에서의 기구의 우발적인 이동이 안전상의 위험을 발생시킬 수 있다. 부가적으로, 의료진이, 시계 외부에 위치된 기구의 궤적을 놓칠 수 있을 것이다. 이러한 위험을 최소화하기 위해서, 시계-외 기구 표지(indicator)를 시각적으로 또는 청각적으로 제시하여, 시계 내에서 보여지지 않는 기구의 위치에 관한 의료진의 인식을 높일 수 있을 것이다. 예를 들어, 도 4b에 도시된 바와 같이, 시계-외 기구 표지(244)가 시계(241)의 경계(242)를 따라서 제공되어, 기구(208)가 표지의 대체적인 방향을 따라 시계 외부에 위치된다는 것을 나타낸다. 이러한 실시예에서, 표지(244)가 도식적 막대이나, 다른 실시예에서 일련의 점, 아이콘, 글자-숫자 표지일 수 있을 것이다. 시각적인 표지(244)에 부가적으로 또는 대안적으로, 삐삐 소리 또는 언어-기반의 지시와 같은 청각적 시계-외 표지가, 기구(208)가 시계를 벗어났다는 것을 의료진에게 경고할 수 있을 것이다. 청각적 신호(cue)가 의사의 콘솔의 좌측 스피커와 우측 스피커 사이에서 좌우로 이동되어(pan) 장면에 대한 기구 위치를 보강할 수 있을 것이다. 대안적으로, 청각적 신호가 기구와 연관된 왼손 또는 오른손 제어에 응답하여 좌측 또는 우측 스피커로부터 방출될 수 있을 것이다. 시각적 표지(244)에 더하여 또는 대안적으로, 시계-외 기구와 관련된 문자 정보(246)가 제공되어, 의료진에게 경고하고 및/또는 기구에 관한 식별 정보 또는 기구를 가시화하기 위한 지시를 제공할 수 있을 것이다.
여러 실시예에서, 의료진의 주의가 산만해지는 것을 방지하기 위해서, 시계-외 표지의 이용이 제한될 수 있을 것이다. 시계-외 표지가 원격동작 시스템의 특정 모드의 동작 중에만 디스플레이될 수 있도록, 시계-외 표지의 이용이 상황-대응적(context-sensitive)일 수 있을 것이다. 예를 들어, 카메라 제어 모드로서 공지되어 있을 수 있는 모드인, 조작자가 촬상 시스템의 이동을 제어하는 시스템의 모드 중에 시계-외 표지가 디스플레이될 수 있을 것이다. 다른 예로서, 연관 기구의 제어를 하기 위해서 시스템이 조작자로부터의 입력을 대기하는 동안에, 시계-외 표지가 디스플레이될 수 있을 것이다. 다른 예로서, 후속 모드(following mode)로서 공지되어 있을 수 있는 모드인, 조작자가 기구의 이동을 제어하는 시스템의 모드를 개시한 후 몇초 동안 시계-외 표지가 디스플레이될 수 있을 것이다. 또 다른 대안적인 실시예에서, 시계-외 표지가 불능화될(disabled) 수 있거나 의료진이 시계-외 기구의 위치에 관해서 알기를 원할 때 선택적으로 가능화될 수 있을 것이다. 일부 실시예에서, 의료진은, 시계외 기구의 동작이 가능화되기에 앞서서, 기구 선단부가 시계 외부에 있다는 것에 대한 확인(acknowledgement)을 제공하여야 한다. 에너지 방출 장치, 날카로운 장치, 또는 시각화 없이 사용되는 경우에 환자 위험의 증가를 제공하는 장치를 위해서, 부가적인 경고 또는 확인이 이용될 수 있을 것이다. 일부 실시예에서, 시계-외 표지가, 시계 내에 있으나 가리는 조직 또는 다른 구조물로 인해서 보이지 않는 기구를 위해서 제공될 수 있을 것이다.
도 4c는, 촬상 기구(204)를 도 4b에서의 위치 또는 배향으로부터 이동시킨 후에, 수술 작업공간(200) 내의 촬상 기구(204)의 시계(251)의 디스플레이되는 화상(250)을 도시한다. 시계(251)가 경계(252)를 갖는다. 기구(206)가 시계(251) 내에 잔류하고 그에 따라 디스플레이되는 화상(250) 내에서 시각적으로 확인할 수 있다. 기구(208)가 시계(251) 외에 있고 그에 따라 디스플레이되는 화상(250) 내에서 시각적으로 확인할 수 없다. 촬상 기구가 이동된 후에 시계외 기구의 위치를 반영하기 위해서, 시계-외 표지(244)가 경계(252)를 따라서 다른 위치로 재배치되었다. 일부 실시예에서, 촬상 기구가 이동될 때 표지(244)의 전체 길이가 동일하게 유지될 수 있을 것이다. 대안적인 실시예에서, 시계외 기구의 시계로부터의 거리를 나타내도록 표지의 축척이 달라질 수 있을 것이다.
도 4d는, 촬상 기구(204)를 도 4c에서의 위치 또는 배향으로부터 이동시킨 후에, 수술 작업공간(200) 내의 촬상 기구(204)의 시계(261)의 디스플레이되는 화상(260)을 도시한다. 시계(261)가 경계(262)를 갖는다. 기구(206)가 시계(261) 내에 잔류하고 그에 따라 디스플레이되는 화상(260) 내에서 시각적으로 확인할 수 있다. 기구(208)가 시계(261) 외에 있고 그에 따라 디스플레이되는 화상(260) 내에서 시각적으로 확인할 수 없다. 촬상 기구가 이동된 후에 시계외 기구의 위치를 반영하기 위해서, 시계-외 표지(244)가 경계(262)를 따라서 추가적으로 재배치되었다.
도 4e는, 촬상 기구(204)를 도 4a에서의 관찰각 상향 구성으로부터 관찰각 하향 구성으로 롤링시킨 후의, 수술 작업공간(200) 내의 촬상 기구(204)의 시계(271)의 디스플레이되는 화상(270)을 도시한다. 시계(271)가 경계(272)를 갖는다. 기구(206 및 208) 모두가 시계(271) 외에 있고 그에 따라 디스플레이되는 화상(270) 내에서 시각적으로 확인할 수 없다. 시계-외 표지(244)는 시계외 기구(208)의 대체적인 방향을 표시하고, 시계-외 표지(274)는 시계외 기구(210)의 대체적인 방향을 표시한다.
도 4f는 수술 작업공간(200) 내의 촬상 기구(204)의 시계(281)의 디스플레이되는 화상(280)을 도시한다. 시계(271)가 경계(282)를 갖는다. 기구(206 및 208) 모두가 시계(281) 내에 있고 그에 따라 디스플레이되는 화상(280) 내에서 시각적으로 확인할 수 있다. 경고 표지(284)가 제공되어, 기구 선단부(218)가 경계(282)에 근접한다는 것을 나타낼 수 있을 것이다. 이러한 실시예에서, 경고 표지(284)가 링이나, 대안적인 실시예에서, 다른 유형의 도식적 상징 또는 청각적 표지일 수 있을 것이다. 선단부(218)가 경계(282)에 더 근접하여 이동될 때, 표지가 변화될(예를 들어, 번쩍일) 수 있을 것이다. 임의의 기구 선단부가 경계(282)로부터 미리 규정된 거리(예를 들어, 1 cm) 내에서 이동될 때, 경고 표지(284)가 디스플레이되는 화상(280) 내에서 나타날 수 있을 것이다.
전술한 바와 같이, 기구(206, 208)가 촬상 기구(204)의 시계 내부에 또는 외부에 있는지의 여부를 결정하는 것이, 기구 원위 선단부(210, 218)의 계산된 위치를 기초로 할 수 있을 것이다. 원격동작 시스템, 기구, 및/또는 촬상 시스템과 연관된 작은 오류 인자로 인해서, 촬상 기구(204)에 대한 기구 원위 선단부(210, 218)의 위치의 결정이, 연관된 누적적 오류 인자를 갖는다. 허위양성(false-positive) 시계-외 표지를 의료진에게 제공하는 것을 방지하기 위해서, 기구 선단부가 촬상 시스템 시계 외부에 있는지의 여부에 대한 결정이, 원위 선단부에 대한 가능한 위치의 범위를 추정하는 것 그리고 원위 선단부에 대한 추정된 가능한 위치의 임의의 또는 지정된 백분율이 시계 내에 있는 경우에 시계-외 표지를 억제하는 것에 의해서, 편향될(biased) 수 있을 것이다. 편향의 감도가, 허위양성 시계-외 표지에 대한 의료진의 공차를 기초로 조정될 수 있을 것이다.
도 5는 촬상 기구(204)에 대한 촬상 기구 시계(202)를 둘러싸는 수술 작업공간(200)을 도시한다. 이러한 도시 내용에서, 의료 기구(206, 208)의 기구 선단부(210, 218)와 연관된 위치 오류가 도시되어 있다. 오류 경계형성 부피의 세트가 각각의 기구 선단부(210, 218)와 연관된다. 오류 경계형성 부피는 90 내지 99%와 같은 높은 정도의 확실성 내에서 선단부 부분의 원위 및 근위 단부의 예측되는 위치를 제시할 수 있을 것이다. 오류 경계형성 부피(290)는 기구 선단부(210)의 근위 선단부 부분(212)의 예측된 위치를 제시한다. 오류 경계형성 부피(292)는 기구 선단부(210)의 원위 선단부 부분(214, 216)의 예측된 위치를 제시한다. 이러한 구성에서, 원위 선단부 부분(214, 216)은, 그러한 원위 선단부 부분들이 서로 근접하는 파지-폐쇄 구성으로 배열된다.(예를 들어, 선단부 부분들 사이의 각도가 대략적으로 영(zero)이다). 그에 따라, 단일 경계형성 부피(292)가 원위 선단부 부분(214, 216)을 개산하기(approximate) 위해서 이용될 수 있을 것이다. 만약 원위 선단부 부분(214, 216)이 파지-개방 구성으로 배열된다면(예를 들어, 선단부 부분들 사이의 각도가 실질적으로 영 보다 크다면), 별개의 경계형성 부피를 이용하여 각각의 원위 선단부 부분의 위치를 개산할 수 있을 것이다. 오류 경계형성 부피(294)는 기구 선단부(218)의 근위 선단부 부분(220)의 예측된 위치를 제시한다. 오류 경계형성 부피(296)는 기구 선단부(218)의 원위 선단부 부분(222, 224)의 예측된 위치를 제시한다. 경계형성 부피가, 시계-외 표지를 의료진에게 제시할 지의 여부를 결정하기 위한 기초로서 이용될 수 있을 것이다. 예를 들어, 양 경계형성 부피(290, 292)가 시계(202)의 외부에 있고, 그에 따라 시계-외 표지가 기구(206)에 대해서 생성될 수 있을 것이다. 경계형성 부피(294, 296) 중 적어도 하나가 시계(202) 내에 있고, 그에 따라 시계-외 표지가 기구(208)에 대해서 생성되지 않을 수 있을 것이다. 대안적인 실시예에서, 경계형성 부피가 또한, 시계의 경계와 연관된 오류의 인식에서 시계에 대해서 제공될 수 있을 것이다. 유사하게, 만약 시계의 경계형성 부피가 기구의 경계형성 부피와 교차한다면, 시계-외 표지가 의료진에게 제시되지 않을 것이다.
도 6은, 기구가 시계 외부에 있는지의 여부를 결정하기 위한 방법(300)을 도시한다. 프로세스(302)에서, 방법(300)은, 도 7에서 더 구체적으로 설명되는 바와 같이, 내시경 선단부 좌표 공간 내의 기구 선단부 위치를 평가하는 단계를 포함한다. 프로세스(304)에서, 방법(300)이, 도 8에서 더 구체적으로 설명되는 바와 같이, 내시경의 원위 선단부에 대한 기구 선단부 위치 오류를 추정하는 단계를 포함한다. 프로세스(306)에서, 방법(300)은, 도 9에서 더 구체적으로 설명되는 바와 같이, 화면 좌표 공간 내에서 기구 선단부 경계형성 부피를 결정하는 단계를 포함한다. 프로세스(308)에서, 방법(300)은, 도 10에서 더 구체적으로 설명되는 바와 같이, 기구 선단부가 내시경 시계 외부에 있는지를 결정하는 단계를 포함한다. 비록 도 6 내지 도 10에서 촬상 기구가 내시경으로 지칭되지만, 다른 촬상 기구가 이용될 수 있을 것이다.
도 7은 내시경 선단부 좌표 공간 내의 기구 선단부 위치를 평가하기 위한 방법(310)을 도시한다. 방법(310)에서, 내시경 좌표계 내에서, 근위 및 원위 선단부 부분과 같은 기구 선단부 상의 표시물(landmark)의 위치를 결정하기 위해서, 원격동작 시스템 및 의료 기구의 전방 운동(forward kinematics)이 평가된다. 평가는 전방 운동 및 강성 본체 변환을 이용한다. 프로세스(312)는 전역 좌표 공간 내에서 조작기(예를 들어, 조작기(51)) 및 기구(예를 들어, 기구(206, 208)) 전방 운동 위치 데이터를 평가하는 단계를 포함한다. 프로세스(314)는 전역 좌표 공간 내에서 조작기 및 내시경(예를 들어, 촬상 기구(204)) 전방 운동 위치 데이터를 평가하는 단계를 포함한다. 프로세스(316)는 기구 선단부 위치 데이터를 내시경 선단부 좌표 공간으로 변환하는 단계를 포함한다. 프로세스(320)는 원위 선단부 부분에 대한 파지 각도(예를 들어, 원위 선단부 부분들(214, 216) 사이의 각도)를 결정하는 단계를 포함한다. 프로세스(322)는 기구 선단부의 길이(예를 들어, 근위 선단부 부분(212)과 원위 선단부 부분(214, 216) 사이의 길이)를 결정하는 단계를 포함한다. 프로세스(318)에서, 파지 각도 및 기구 선단부 길이를 이용하여, 근위 및 원위 기구 선단부 지점의 위치를 평가한다. 프로세스(324)에서, 근위 선단부 부분 위치가 내시경 선단부 좌표 공간 내에서 결정된다. 프로세스(326)에서, 제1 원위 선단부 부분(예를 들어, 부분(214)) 위치가 내시경 선단부 좌표 공간 내에서 결정된다. 프로세스(328)에서, 제2 원위 선단부 부분(예를 들어, 부분(216)) 위치가 내시경 선단부 좌표 공간 내에서 결정된다.
도 8은 내시경에 대한 기구 선단부 위치 오류를 추정하기 위한 방법(330)을 도시한다. 원격동작 시스템의 운동 체인 내의 많은 수의 링크 및 조작기 위치의 가변성으로 인해서, 기구 선단부 위치 오류가 예를 들어 0.5 cm 내지 2.0 cm 범위의 변동을 가지는 구성에 크게 의존할 수 있다. 오류의 전체적인 상한선이 모든 구성에 대해서 추측될 수 있으나, 이러한 전체적인 접근방식은 특별한 구성에 대한 추정에 비해서 오류를 과대 평가할 수 있을 것이다. 방법(330)에서, 선단부 위치 오류가, 운동 체인의 주요 구성요소 부분이 기여하는 오류의 합계로서 모델링된다(modeled). 예를 들어, 기구가 원격 센터에 근접하여(즉, 얕은 삽입 깊이에서) 작업할 때, 선단부 위치 오류의 대부분이 셋-업 관절에 의한 것일 수 있는 반면, 조작기는 오류의 매우 작은 부분에 기여한다.
방법(330)은, 기구 조작기 아암 원격 센서 위치 오류를 결정하기 위한 프로세스(332) 및 내시경 조작기 아암 원격 센터 위치 오류를 결정하기 위한 프로세스(334)를 포함한다. 조작기 아암의 원격 센터 위치가 그 셋업 관절 센서 및 원격동작 조립체의 운동 체인의 링크들 사이의 일정한 기계적 오프셋에 의해서 결정된다. 제조 및 조립 중의 가변성에 대처하기(account for) 위해서, 단부-대-단부 운동 영점교정 절차가 실시될 수 있을 것이다. 결과적인 위치 오류가 셋업 관절 센서 내의 비-선형성, 센서의 해상도, 및 영점교정 중의 조립체의 편차(deflection)에 기인할 수 있을 것이다. 조작기 아암의 원격 센터 위치는, 아암이, 설치된 의료 기구 또는 촬상 기구를 가지는지의 여부와 무관하다. 조작기 아암 원격 센터 위치 오류가 2개의 아암의 사이에서 상대적이고, 그러한 아암 중 하나가 기구를 가지고 다른 하나가 촬상 기구를 갖는다.
방법(330)은, 기구 조작기 아암 배향 오류를 결정하기 위한 프로세스(336) 및 기구 조작기 아암 배향 오류를 결정하기 위한 프로세스(342)를 더 포함한다. 아암 배향 오류는, 조작기의 외부 피치 및 요 관절의 정확도 및 원격동작 조립체의 셋업 구조물에 대한 조작기의 장착에 있어서의 임의의 오정렬에 의해서 영향을 받는 조작기 구조용 보의 지향 방향에서의 오류와 관련된다. 프로세스(338)에서, 기구 아암 배향 오류가 삽입 깊이와 조합된다. 프로세스(340)에서, 내시경 아암 배향 오류가 내시경 삽입 깊이와 조합된다. 프로세스(344)에서, 기구 아암 관찰 불가능 오류가 결정되고, 프로세스(346)에서, 내시경 아암 관찰 불가능 오류가 결정된다. 관찰 불가능 오류는, 관절 위치 센서로부터 관찰될 수 없는 오류를 설명한다(account for). 일차적인 오류는 환자 신체 벽에서 발생되는 하중으로 인한 셋업 관절의 편차이다. 이는 원격 센서의 위치에 직접적으로 영향을 미친다. 기구 샤프트의 편차를 설명할 수 있는 다른 오류 인자는, 삽입 깊이의 함수일 수 있는 순응도(compliance)이다. 프로세스(348)에서, 프로세스(332 내지 346)에서 결정된 모든 오류 인자가 조합되어 내시경에 대한 근위 부분 선단부 오류를 결정한다. 그러한 방법은 기구 손목(wrist) 오류를 결정하기 위한 프로세스(350) 및 기구 선단부 길이를 결정하기 위한 프로세스(352)를 더 포함한다. 프로세스(354)에서, 프로세스(350 및 352)로부터의 오류 인자가 프로세스(348)로부터의 근위 부분 선단부 오류와 조합되어 내시경에 대한 원위 기구 선단부 오류를 결정한다.
도 9는 화면 좌표 공간 내에서 기구 선단부 경계형성 부피를 결정하기 위한 방법(360)을 도시한다. 방법(360)은 방법(310)으로부터의 기구 선단부 위치를 방법(330)으로부터의 추정된 위치 오류와 조합한다. 방법(360)에서, 위치 오류가 화면에 대해서 맵핑되고(mapped), 시계 테스트를 위한 편향으로서 이용하기 위한 오류의 양이 결정된다. 위치 오류는 시계 테스트의 진입/진출에 대한 편향을 결정하기 위한 기초이다. 그에 따라, 위치 오류가 기구 선단부 부분의 경계형성 부피를 인위적으로 성장 또는 수축시켜, 기구 선단부가 촬상 기구 시계의 내부에 또는 외부에 있는지의 여부를 검출할 때, 허위양성 및 허위음성 오류의 균형에 영향을 미칠 수 있다.
방법(360)은 내시경 선단부 공간 내의 기구 선단부 부분 위치를 조회(retrieve)하는 프로세스(362), 영점교정된 입체 카메라 모델을 조회하는 프로세스(364), 및 내시경 선단부 좌표 공간 내의 추정된 기구 선단부 위치 오류를 조회하는 프로세스(366)를 포함한다. 프로세스(370)에서, 선단부 위치 오류가 (예를 들어, 입체 카메라 모델로부터) 화면-공간 좌표계 위치 오류로 투영된다. 프로세스(372)에서, 투영된 위치 오류가 편향에 대해 맵핑된다. 편향이 영일 때, 시스템이 허위양성(즉, 시계-외 표지를 부정확하게 보고하는 것) 오류 및 허위음성(시계-외 표지가 제시되어야 할 때 제시되지 않는 것) 오류의 혼합을 보고할 것이다. 편향이 클 때(예를 들어, 100% 편향), 기구가 실질적으로 시계 외부에 있을 때, 시스템은 기구가 시계 외부에 있다는 것만을 검출할 것이다. 추정된 위치 오류를 편향에 대해서 맵핑하는 프로세스는 비-편향과 완전-편향(full-bias) 사이의 상충이 조율될 수 있게 한다. 명백한 허위양성 오류를 최소화하는 것이 중요한데, 이는, 기구 선단부가 시계 내에서 명확하게 가시적일 때 시계-외 표지가 제시되는 경우에, 시계-외 표지가 주의를 산만하게 하고 혼란스럽게 만들 수 있기 때문이다. 너무 많은 허위양성 오류는 의료진이 경고에 대해서 둔감해지게 만들 수 있고, 그에 따라 의료진이 후속하는 진정한 양의 검출을 무시하게 될 수 있다. 기구 선단부가 내시경 선단부에 근접할 때(즉, 기구 선단부가 시계의 대부분을 차지할 때), 선단부 위치 오류의 크기가 시계 부피의 횡단면적 치수에 접근한다. 이러한 구성에서, 편향의 이용이 없는 경우에, 큰 비율의 허위양성 검출이 있을 수 있을 것이다. 도 11 내지 도 15는 편향의 이용을 보다 구체적으로 도시한다.
프로세스(368)에서, 기구 선단부의 삽입 깊이가 결정된다. 프로세스(374)에서, 경계형성 부피(예를 들어, 290, 292, 294, 296, 522, 524)가 기구 선단부 지점 주위에 생성된다. 프로세스(376)에서, 기구 선단부 경계형성 부피가 화면 공간 좌표계 내에서 결정된다. 일반적으로, 경계형성 부피가 사용자에게 디스플레이되지 않으나, 선택적으로 디스플레이될 수 있을 것이다.
도 10은, 기구 선단부가 촬상 기구 시계 외부에 있는지를 결정하기 위한 방법이다. 프로세스(382)에서, 기구 선단부 경계형성 부피가 좌측 눈 화면 좌표 공간을 위해서 조회되고, 프로세스(384)에서, 기구 선단부 경계형성 부피가 우측 눈 화면 좌표 공간을 위해서 조회된다. 프로세스(386)에서, 테스트를 실시하여, 경계형성 부피가 좌측 시계의 내부에 또는 외부에 있는지의 여부를 결정한다. 프로세스(388)에서, 테스트를 실시하여, 경계형성 부피가 우측 눈 시계의 내부에 또는 외부에 있는지의 여부를 결정한다. 프로세스(390)에서, 모든 경계형성 부피가 시계 외부에 있는 경우에, 시계-외 표지가 의료진에게 제시된다.
도 11은, 도구 시계-외 표지를 편향시키기 위해서 얼마나 많은 위치 오류를 이용할 것인지를 결정하기 위해서, 투영된 위치 오류를 편향 인자에 대해서 맵핑하기 위한 편향 프로파일(400)을 도시한다. 위치 오류의 겉보기 크기(apparent size)가 클 때(예를 들어, 위치 오류 크기가 화면 크기의 20% 이상일 때), 편향 프로파일(400)이 완전 편향(편향 인자 = 1)을 적용한다. 이는 일반적으로, 기구 선단부가 내시경 선단부에 매우 근접할 때 발생된다. 오류의 겉보기 크기가 작을 때(예를 들어, 위치 오류 크기가 화면 크기의 20% 미만일 때), 편향 프로파일이 편향을 감소시킨다(예를 들어, 편향 인자 < 1). 이는 일반적으로, 기구 선단부가 내시경으로부터 멀 때 발생된다. 이러한 맵핑 방법은 인지된 오류를 기초로 시계-외 검출 프로세스를 조율하기 위한 직접적인 방식을 제공하고, 기구 깊이에 관한 가정과 독립적일 수 있을 것이다.
도 12 내지 도 15는 편향 프로파일(400)의 이용을 도시한다. 도 12는 기구 선단부(210)의 근위 선단부 부분(212)에 대한 위치 오류(500)를 도시한다. 위치 오류(502)가 원위 선단부 부분(214)에 대해서 도시되어 있고, 위치 오류(504)가 원위 선단부 부분(216)에 대해서 도시되어 있다. 위치 오류 원(500, 502, 504)이 선단부 부분에 대한 기구 위치 오류의 상한선의 추정을 제시한다. 오류 반경(506)이 또한 식별된다. 치수(508)가 화면 크기의 10%이고, 치수(510)는 화면 크기의 20%이다. 지점(512, 514, 516)이 지점(212, 214, 및 216)에 각각 상응하고, 내시경 선단부에 대한 기구 선단부 위치에 관한 시스템의 절대적 감지의 중첩(overlay)을 나타낸다. 내시경 선단부로부터 비교적 먼 기구 선단부를 가지는 이러한 구성에서, 오류 반경(506)이 화면 크기의 10% 보다 작다. 편향 프로파일(400)을 기초로, 편향이 선단부 위치(512 내지 516)에 적용되지 않고 그 대신에 위치(512 내지 516)가 이용된다. 기구 선단부가 시계의 내부 또는 외부에 있는지의 여부를 결정하기 위해서, 연결 단편(connecting segment) 자체가 경계형성 부피로서 이용된다.
도 13은 내시경 선단부로부터의 중간 거리에서 기구 선단부(210)를 도시한다. 이러한 구성에서, 위치 오류의 오류 반경(520)이 10% 치수(508)와 20% 치수(510) 사이이다. 편향 프로파일(400)을 기초로, 경계형성 부피(522)가 완전 위치 오류의 백분율(0% 내지 100%)로 결정된다. 기구 선단부가 시계의 내부 또는 외부에 있는지의 여부를 결정하기 위해서, 이러한 경계형성 부피(522)가 이용된다.
도 14는 내시경 선단부로부터 가까운 거리에서 기구 선단부(210)를 도시한다. 이러한 구성에서, 오류 반경이 20% 치수(510) 보다 크다. 편향 프로파일(400)을 기초로, 경계형성 부피(524)가 완전 위치 오류인 것으로 결정된다. 기구 선단부가 시계의 내부 또는 외부에 있는지의 여부를 결정하기 위해서, 이러한 경계형성 부피(524)가 이용된다. 도 15에 도시된 바와 같이, 기구 선단부가 시계의 내부 또는 외부에 있는지의 여부를 결정하기 위해서 지점(512, 514, 516)이 이용되는 경우에, 시스템이 시계-외 표지를 잘못 보고할 수도 있는데, 이는 지점(512, 514, 516)이 시계 외부에 있기 때문이다. 시계 내부/외부를 테스트하기 위해서 경계형성 부피(524)가 이용될 때, 시스템은, 경계형성 부피(524)가 시계의 내부에 있다는 것을 결정하고 그에 따라 시계-외 표지를 보고하지 않는다.
본 발명의 실시예의 하나 이상의 요소가 제어 프로세싱 시스템과 같은 컴퓨터 시스템의 프로세서를 실행하기 위한 소프트웨어로 구현될 수 있을 것이다. 소프트웨어로 구현될 때, 본 발명의 실시예의 요소가 본질적으로 필요 과업을 실시하기 위한 코드 단편(code segment)이다. 전송 매체 또는 통신 링크를 통해서 반송파로 구현된 컴퓨터 데이터 신호의 방식으로 다운로드된 것일 수 있는 프로그램 또는 코드 단편이 프로세서 판독 가능 저장 매체 또는 장치에 저장될 수 있다. 프로세서 판독 가능 저장 장치가, 광학적 매체, 반도체 매체, 및 자기적 매체를 포함하는, 정보를 저장할 수 있는 임의 매체를 포함할 수 있을 것이다. 프로세서 판독 가능 저장 장치에는 전자 회로; 반도체 소자, 반도체 메모리 소자, 리드 온리 메모리(ROM), 플래시 메모리, 소거 가능한 프로그래머블 리드 온리 메모리(EPROM); 플로피 디스켓, CD-ROM, 광학적 디스크, 하드 디스크, 또는 다른 저장 장치가 포함된다. 코드 단편이 인터넷, 인트라넷 등과 같은 컴퓨터 네트워크를 통해서 다운로드될 수 있을 것이다.
제시되는 프로세스 및 디스플레이가 본질적으로 임의의 특별한 컴퓨터 또는 다른 장치와 관련되지 않을 수 있을 것이다. 여러 가지 범용 시스템이 본원의 교시 내용에 따른 프로그램과 함께 이용될 수 있거나, 설명된 동작을 실시하기 위해서 보다 특별화된 장치를 구축하는 것이 편리할 수 있을 것이다. 다양한 이러한 시스템을 위해서 요구되는 구조가 청구항 내의 요소로서 나타날 것이다. 또한, 임의의 특별한 프로그래밍 언어를 참조하여 본 발명의 실시예를 설명하지 않았다. 본원에서 설명된 바와 같은 본 발명의 교시 내용을 구현하기 위해서, 다양한 프로그래밍 언어가 이용될 수 있다는 것을 이해할 수 있을 것이다.
본 발명의 특정의 예시적 실시예를 설명하고 첨부 도면에서 도시하였지만, 여러 가지 다른 수정이 당업자에 의해서 이루어질 수 있기 때문에, 그러한 실시예가 단지 예시적인 것이고 넓은 본 발명을 제한하지 않는다는 것, 그리고 본 발명의 실시예가 도시되고 설명된 구체적인 구성 및 배열로 제한되지 않는다는것을 이해할 수 있을 것이다.

Claims (30)

  1. 의료용 촬상 시스템이며:
    기구 선단부를 포함하는 의료 기구의 이동을 제어하도록 구성된 원격동작 조립체; 및
    하나 이상의 프로세서를 포함하는 프로세싱 유닛을 포함하며, 상기 프로세싱 유닛은,
    기구 선단부 위치를 결정하도록;
    상기 기구 선단부 위치와 연관된 위치 오류를 결정하도록;
    상기 위치 오류를 기초로 적어도 하나의 기구 선단부 경계형성 부피를 결정하도록; 그리고
    적어도 하나의 기구 선단부 경계형성 부피를 기초로, 상기 기구 선단부가 촬상 기구의 시계 외부에 있는 때를 나타내도록 구성되는, 시스템.
  2. 제1항에 있어서,
    상기 기구 선단부가 시계 외부에 있는 때를 나타내는 것이, 시계의 화상과 함께 디스플레이하기 위한 시계-외 기구 표지를 생성하는 것을 포함하는, 시스템.
  3. 제2항에 있어서,
    상기 시계-외 기구 표지가 상기 시계의 화상의 적어도 하나의 연부를 따라서 연장되는 도식적 막대를 포함하는, 시스템.
  4. 제2항에 있어서,
    상기 시계-외 기구 표지가 상기 의료 기구와 관련된 문자 디스플레이를 포함하는, 시스템.
  5. 제1항에 있어서,
    상기 기구 선단부가 시계 외부에 있는 때를 나타내는 것이 청각적 시계-외 기구 표지를 생성하는 것을 포함하는, 시스템.
  6. 제1항에 있어서,
    상기 촬상 기구의 시계가 입체 촬상 기구의 입체 시계인, 시스템.
  7. 제1항에 있어서,
    상기 프로세싱 유닛이:
    기구 선단부가 촬상 기구의 시계 내에 있지 않은 것으로 결정되는 경우에 시계-외 표지의 지속적인 또는 일시적인 디스플레이를 위한 상황(context)을 인식하도록 추가적으로 구성되는, 시스템.
  8. 제1항에 있어서,
    상기 기구 선단부와 연관된 위치 오류가 원격동작 조립체 내의 운동 가변성으로부터 결정되는, 시스템.
  9. 제1항에 있어서,
    상기 기구 선단부와 연관된 위치 오류가 의료 기구 내의 운동 가변성으로부터 결정되는, 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 기구 선단부 경계형성 부피가 상기 촬상 기구의 원위 단부로부터의 기구 선단부의 거리에 추가적으로 기초하는, 시스템.
  11. 제1항에 있어서,
    상기 적어도 하나의 기구 선단부 경계형성 부피가 상기 기구 선단부의 원위 단부와 연관된 제1 부피 및 상기 기구 선단부의 근위 단부와 연관된 제2 부피를 포함하는, 시스템.
  12. 제1항에 있어서,
    상기 기구 선단부가 촬상 기구의 시계 외부에 있는 때를 나타내는 것이, 전체 기구 선단부 경계형성 부피가 촬상 기구의 시계 외부에 있다는 것을 결정하는 것을 포함하는, 시스템.
  13. 제1항에 있어서,
    상기 프로세싱 유닛이:
    상기 기구 선단부가 상기 촬상 기구의 시계 내에 그리고 상기 시계의 연부에 대한 미리 규정된 근접도 내에 있는 경우에, 경고 표지를 생성하도록 추가적으로 구성되는, 시스템.
  14. 제13항에 있어서,
    상기 경고 표지가 시계의 화상과 함께 디스플레이하기 위한 시각적 표지를 포함하는, 시스템.
  15. 제1항에 있어서,
    기구를 더 포함하는, 시스템.
  16. 촬상 방법이며:
    원격동작 조립체에 의해서 제어되는 의료 기구에 대한 기구 선단부 위치를 결정하는 단계;
    상기 기구 선단부 위치와 연관된 위치 오류를 결정하는 단계;
    상기 위치 오류를 기초로 적어도 하나의 기구 선단부 경계형성 부피를 결정하는 단계; 및
    적어도 하나의 기구 선단부 경계형성 부피를 기초로, 상기 기구 선단부가 촬상 기구의 시계 외부에 있는 때를 나타내는 단계를 포함하는, 방법.
  17. 제16항에 있어서,
    상기 기구 선단부가 시계 외부에 있는 때를 나타내는 단계가, 시계의 화상과 함께 디스플레이하기 위한 시계-외 기구 표지를 생성하는 단계를 포함하는, 방법.
  18. 제17항에 있어서,
    상기 시계-외 기구 표지가 상기 시계의 화상의 적어도 하나의 연부를 따라서 연장되는 도식적 막대를 포함하는, 방법.
  19. 제17항에 있어서,
    상기 시계-외 기구 표지가 상기 의료 기구에 관한 문자 정보를 포함하는, 방법.
  20. 제16항에 있어서,
    상기 기구 선단부가 시계 외부에 있는 때를 나타내는 단계가 청각적 시계-외 기구 표지를 생성하는 단계를 포함하는, 방법.
  21. 제16항에 있어서,
    상기 촬상 기구의 시계가 입체 촬상 기구의 입체 시계인, 방법.
  22. 제16항에 있어서,
    상기 기구 선단부 위치와 연관된 위치 오류를 결정하는 단계가 원격동작 조립체 내의 운동 가변성으로부터 위치 오류를 결정하는 단계를 포함하는, 방법.
  23. 제16항에 있어서,
    상기 기구 선단부 위치와 연관된 위치 오류를 결정하는 단계가 상기 의료 기구 내의 운동 가변성으로부터 위치 오류를 결정하는 단계를 포함하는, 방법.
  24. 제16항에 있어서,
    상기 적어도 하나의 기구 선단부 경계형성 부피를 결정하는 단계가 상기 촬상 기구의 원위 단부로부터의 기구 선단부의 거리를 기초로 상기 경계형성 부피를 결정하는 단계를 포함하는, 방법.
  25. 제16항에 있어서,
    상기 적어도 하나의 기구 선단부 경계형성 부피를 결정하는 단계가 디스플레이 상의 위치 오류의 투영된 크기를 기초로 상기 경계형성 부피를 결정하는 단계를 포함하는, 방법.
  26. 제16항에 있어서,
    상기 적어도 하나의 기구 선단부 경계형성 부피가 상기 기구 선단부의 원위 단부와 연관된 제1 부피 및 상기 기구 선단부의 근위 단부와 연관된 제2 부피를 포함하는, 방법.
  27. 제16항에 있어서,
    상기 기구 선단부가 촬상 기구의 시계 외부에 있는 때를 나타내는 단계가, 전체 기구 선단부 경계형성 부피가 촬상 기구의 시계 외부에 있다는 것을 결정하는 단계를 포함하는, 방법.
  28. 제16항에 있어서,
    상기 기구 선단부가 상기 촬상 기구의 시계 내에 그리고 상기 시계의 연부에 대한 미리 규정된 근접도 내에 있는 경우에, 경고 표지를 생성하는 단계를 더 포함하는, 방법.
  29. 제28항에 있어서,
    상기 경고 표지가 시계의 화상과 함께 디스플레이하기 위한 시각적 표지를 포함하는, 방법.
  30. 제16항에 있어서,
    상기 의료 기구에 대한 시계-외 기구 상태의 확인을 수신하는 단계; 및
    상기 시계-외 기구 상태의 수신에 응답하여, 상기 의료 기구의 기능성을 가능화시키는 단계를 더 포함하는, 방법.
KR1020167028341A 2014-03-17 2015-03-17 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법 KR102363661B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461954442P 2014-03-17 2014-03-17
US61/954,442 2014-03-17
PCT/US2015/021109 WO2015142956A1 (en) 2014-03-17 2015-03-17 Systems and methods for offscreen indication of instruments in a teleoperational medical system

Publications (2)

Publication Number Publication Date
KR20160133515A true KR20160133515A (ko) 2016-11-22
KR102363661B1 KR102363661B1 (ko) 2022-02-17

Family

ID=54145247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167028341A KR102363661B1 (ko) 2014-03-17 2015-03-17 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US11317979B2 (ko)
EP (2) EP3566672B1 (ko)
JP (3) JP6542252B2 (ko)
KR (1) KR102363661B1 (ko)
CN (2) CN106470634B (ko)
WO (1) WO2015142956A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470634B (zh) 2014-03-17 2019-06-14 直观外科手术操作公司 用于遥控操作医疗系统中的器械的屏外指示的系统和方法
EP3189768B1 (en) * 2014-09-05 2019-04-17 Olympus Corporation Endoscope system
KR20170127561A (ko) 2015-03-17 2017-11-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
KR102501099B1 (ko) 2015-03-17 2023-02-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
CN109496135B (zh) * 2016-06-01 2021-10-26 恩达马斯特有限公司 内窥镜检查系统部件
US11730550B2 (en) 2016-08-12 2023-08-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen menus in a teleoperational medical system
US11370113B2 (en) * 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
CN117885097A (zh) 2017-03-07 2024-04-16 直观外科手术操作公司 用于控制具有可铰接远侧部分的工具的系统和方法
JP2018202032A (ja) * 2017-06-08 2018-12-27 株式会社メディカロイド 医療器具の遠隔操作装置
US20200163731A1 (en) * 2017-07-13 2020-05-28 Intuitive Surgical Operations, Inc. Systems and methods for switching control between multiple instrument arms
WO2019032450A1 (en) * 2017-08-08 2019-02-14 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR RENDERING ALERTS ON A SCREEN OF A TELEOPERATION SYSTEM
JP6880324B2 (ja) * 2017-11-10 2021-06-02 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボットマニピュレータ又は関連ツールを制御するためのシステム及び方法
JP7367990B2 (ja) * 2018-02-02 2023-10-24 インテリジョイント サージカル インク． 手術室の遠隔監視
US20210030497A1 (en) * 2019-07-31 2021-02-04 Auris Health, Inc. Apparatus, systems, and methods to facilitate instrument visualization
EP3804630A1 (en) * 2019-10-10 2021-04-14 Koninklijke Philips N.V. Ultrasound object zoom tracking
US11844497B2 (en) * 2020-02-28 2023-12-19 Covidien Lp Systems and methods for object measurement in minimally invasive robotic surgery
CN114099005B (zh) * 2021-11-24 2023-09-15 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
WO2023100234A1 (ja) * 2021-11-30 2023-06-08 オリンパス株式会社 内視鏡システムおよび座標系補正方法
US20230210579A1 (en) * 2021-12-30 2023-07-06 Verb Surgical Inc. Real-time surgical tool presence/absence detection in surgical videos
JP2023180371A (ja) * 2022-06-09 2023-12-21 株式会社メディカロイド 手術システム
WO2024033828A1 (en) * 2022-08-10 2024-02-15 Medical Microinstruments Inc. Method for controlling a slave device, controlled by a master device in a robotic system for medical or surgical teleoperation, taking into account limits of a field of view, and related robotic system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050137751A1 (en) * 2003-12-05 2005-06-23 Cox Damon K. Auto-diagnostic method and apparatus
US20100039380A1 (en) * 2004-10-25 2010-02-18 Graphics Properties Holdings, Inc. Movable Audio/Video Communication Interface System
US20140055489A1 (en) * 2006-06-29 2014-02-27 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4150326A (en) * 1977-09-19 1979-04-17 Unimation, Inc. Trajectory correlation and error detection method and apparatus
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6850794B2 (en) * 2000-09-23 2005-02-01 The Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
US7607440B2 (en) * 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
JP4047567B2 (ja) * 2001-10-05 2008-02-13 オリンパス株式会社 手術用システム
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
US7135992B2 (en) * 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
JP2005040205A (ja) * 2003-07-23 2005-02-17 Olympus Corp 立体内視鏡装置
JP2005143918A (ja) 2003-11-17 2005-06-09 Olympus Corp 遠隔手術支援システム
EP1720480A1 (en) * 2004-03-05 2006-11-15 Hansen Medical, Inc. Robotic catheter system
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20070005002A1 (en) * 2005-06-30 2007-01-04 Intuitive Surgical Inc. Robotic surgical instruments for irrigation, aspiration, and blowing
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US8190238B2 (en) * 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US8469945B2 (en) 2006-01-25 2013-06-25 Intuitive Surgical Operations, Inc. Center robotic arm with five-bar spherical linkage for endoscopic camera
US9782229B2 (en) * 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
US20090192523A1 (en) * 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
DE102007030907A1 (de) 2007-07-03 2009-01-08 Manroland Ag Verfahren zum Antrieb eines Schaufelrads sowie Regelungsvorrichtung und Antriebsvorrichtung dafür
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8086026B2 (en) * 2008-06-27 2011-12-27 Waldean Schulz Method and system for the determination of object positions in a volume
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8579012B2 (en) 2009-03-27 2013-11-12 Novelis Inc. Continuous casting apparatus for casting strip of variable width
US8423186B2 (en) * 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
US8918211B2 (en) * 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9125669B2 (en) * 2011-02-14 2015-09-08 Mako Surgical Corporation Haptic volumes for reaming during arthroplasty
CN102909728B (zh) * 2011-08-05 2015-11-25 鸿富锦精密工业（深圳）有限公司 机器人工具中心点的视觉校正方法
AU2012301718B2 (en) * 2011-09-02 2017-06-15 Stryker Corporation Surgical instrument including a cutting accessory extending from a housing and actuators that establish the position of the cutting accessory relative to the housing
CN106470634B (zh) 2014-03-17 2019-06-14 直观外科手术操作公司 用于遥控操作医疗系统中的器械的屏外指示的系统和方法
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
US11737663B2 (en) * 2020-03-30 2023-08-29 Auris Health, Inc. Target anatomical feature localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050137751A1 (en) * 2003-12-05 2005-06-23 Cox Damon K. Auto-diagnostic method and apparatus
US20100039380A1 (en) * 2004-10-25 2010-02-18 Graphics Properties Holdings, Inc. Movable Audio/Video Communication Interface System
US20140055489A1 (en) * 2006-06-29 2014-02-27 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools

Also Published As

Publication number Publication date
CN110236693A (zh) 2019-09-17
EP3566672A1 (en) 2019-11-13
EP3119339A4 (en) 2017-11-29
US11903665B2 (en) 2024-02-20
CN106470634B (zh) 2019-06-14
US20170165013A1 (en) 2017-06-15
JP2019162511A (ja) 2019-09-26
EP3566672B1 (en) 2023-08-23
US20220218426A1 (en) 2022-07-14
JP6851427B2 (ja) 2021-03-31
JP2021072900A (ja) 2021-05-13
JP6542252B2 (ja) 2019-07-10
KR102363661B1 (ko) 2022-02-17
EP3119339A1 (en) 2017-01-25
EP3119339B1 (en) 2019-08-28
US11317979B2 (en) 2022-05-03
WO2015142956A1 (en) 2015-09-24
JP2017515523A (ja) 2017-06-15
JP7295153B2 (ja) 2023-06-20
CN110236693B (zh) 2022-11-04
CN106470634A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
JP6851427B2 (ja) 遠隔操作医療システムにおける器具のオフスクリーン表示のためのシステム及び方法
US10905506B2 (en) Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US20220047343A1 (en) Systems and methods for onscreen identification of instruments in a teleoperational medical system
KR102218244B1 (ko) 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
US8734431B2 (en) Remote control system
CN111132631A (zh) 用于远程操作组件中交互点显示的系统和方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right