KR20080027256A - 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템 - Google Patents

최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템 Download PDF

Info

Publication number
KR20080027256A
KR20080027256A KR1020077029372A KR20077029372A KR20080027256A KR 20080027256 A KR20080027256 A KR 20080027256A KR 1020077029372 A KR1020077029372 A KR 1020077029372A KR 20077029372 A KR20077029372 A KR 20077029372A KR 20080027256 A KR20080027256 A KR 20080027256A
Authority
KR
South Korea
Prior art keywords
tool
image
state
endoscope
camera
Prior art date
Application number
KR1020077029372A
Other languages
English (en)
Other versions
KR101296215B1 (ko
Inventor
브라이언 데이빗 호프만
데이빗 큐. 라르킨
기우세페 프리스코
광화 지. 짱
라제쉬 쿠마르
Original Assignee
인튜어티브 서지컬 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 인코포레이티드 filed Critical 인튜어티브 서지컬 인코포레이티드
Publication of KR20080027256A publication Critical patent/KR20080027256A/ko
Application granted granted Critical
Publication of KR101296215B1 publication Critical patent/KR101296215B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0818—Redundant systems, e.g. using two independent measuring systems and comparing the signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

본원발명의 방법과 시스템은, 최소침습 수술을 하는 동안에 툴 추적을 수행한다. 툴 상태는, 비내시경적으로 얻어진 툴상태 정보 및 내시경으로부터 얻어진 툴 상태 정보 중 어느 한개나 양자 모두로부터, 또는 비시각적으로 얻어진 툴 상태 정보 및 시각적으로 얻어진 툴 상태 정보 중 어느 한개나 양자 모두로부터, 삼각측량 기법이나 베이스 필터를 사용하여 결정된다. 상기 비내시경적으로 얻어진 툴 상태 정보는, 툴을 조작하기 위한 기구와 관련된 센서나, 상기 툴로부터 발산되거나 상기 툴에 의해 반사되고 상기 툴의 위치를 지시하는 식별될 수 있는 신호를 감지할 수 있는 센서나, 상기 신체의 외부로 뻗어있는 상기 툴의 일단부를 관찰하는 외부 카메라 중 어느 한개로부터 제공된 센서 데이터로부터 도출된다. 상기 내시경으로부터 얻어진 툴 상태 정보는, 상기 툴을 관찰하도록 상기 신체 내에 삽입된 내시경에 의해 제공되는 이미지 데이터로부터 도출된다.
Figure 112007090168713-PCT00023
최소침습, 수술, 내시경, 툴, 추적, 입체, 비내시경, 비시각, 정보, 위치, 방향.

Description

최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된 데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR PERFORMING 3-D TOOL TRACKING BY FUSION OF SENSOR AND/OR CAMERA DERIVED DATA DURING MINIMALLY INVASIVE ROBOTIC SURGERY}
연방정부로부터 지원받은 연구 또는 개발에 의하여 이루어진 발명에 대한 권리의 선언
본원발명은 미합중국 정부의 지원에 의하여 국가 표준 및 기술원(NIST)에 의해 부여된 협력약정번호: 70NANB1H3048하에 이루어진 것이다. 미합중국 정부는 본원발명에 대하여 소정의 권리를 가진다.
기술분야
본원발명은 일반적으로 최소침습수술과 관련되고, 특히 최소침습 로봇수술 동안 센서 및/또는 카메라 추출 데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한 방법 및 시스템에 관련된다.
최소침습수술기법(minimally invasive surgical technology)은 진단 또는 수술과정 동안에 손상되는 외부 조직의 양을 감소시켜, 환자의 회복시간, 불편함 및 해로운 부작용을 감소시키는 것을 목적으로 한다. 그 결과, 최소침습수술기법을 사 용하면 표준 수술에 대한 평균적인 병원 입원시간이 상당히 줄어든다. 또한, 상기 최소침습수술에 의하여 환자의 회복시간, 환자의 불편함, 수술로 인한 부작용 및 업무를 못하는 시간도 감소된다.
최소침습수술의 일반적인 유형은 내시경검사(endoscopy)이고, 내시경검사의 일반적인 유형은 복강경검사(laparoscopy)인데, 이것은 복강(abdominal cavity) 내의 최소침습 진단 및 수술이다. 표준적인 복강경 수술에서, 환자의 복부에 가스가 불어 넣어지고, 캐뉼라 관(cannula sleeves)이 작은(약 1/2 인치 이하) 절개부를 통과하여져, 복강경 수술도구를 위한 진입포트를 제공한다.
상기 복강경 수술도구는 일반적으로 복강경 또는 내시경(수술부위를 관찰하기 위한) 및 작업툴을 포함한다. 상기 작업툴은, 각 툴의 작업단(working end)이나 엔드이펙터(end effector)가 연장튜브에 의해 그 핸들로부터 분리되어 있다는 점을 제외하고는 종래의(개방) 수술에서 사용되는 것과 유사하다. 여기에서, 상기 "엔드이펙터"라는 용어는 수술도구에서의 실질적인 작업부분을 의미하며, 예를 들면 클램프, 그래스퍼(graspers), 가위, 스테플러, 이미지 캡쳐 렌즈 및 바늘홀더를 포함할 수 있다.
수술절차를 수행하기 위해, 외과의사는 상기 작업툴 또는 작업도구를 상기 캐뉼라 관을 통하여 내부 수술부위로 이동시키고, 이들을 복부 밖에서 조작한다. 의사는 상기 복강경에 의해 촬영된 수술부위의 이미지를 시현하는 모니터에 의하여 수술과정을 관찰한다. 유사한 내시경 검사기법이, 예컨대 관절경검사(arthroscopy), 레트로페리토네오검사(retroperitoneoscopy), 골반경 술(pelviscopy), 신장경술(nephroscopy), 방광경검사(cystoscopy), 시스터노술( cisternoscopy), 부비동검사(sinoscopy), 자궁경검사(hysteroscopy), 요도경검사(urethroscopy) 등에 채택된다.
내부 수술부위 내에서 수술할 때에 의사의 민첩성(dexterity)을 향상시키고 의사로 하여금 환자로부터 떨어진 위치에서 환자에게 수술하는 것을 가능하게 하기 위하여 최소침습 원격수술 로봇 시스템이 개발되고 있는 중이다. 원격수술 시스템에서, 종종 수술부위의 이미지가 컴퓨터 워크스테이션에서 의사에게 제공된다. 적합한 뷰어 또는 디스플레이장치 상에서 수술부위의 3차원 이미지를 관찰하면서, 의사는 상기 워크스테이션의 주(master) 입력 또는 주제어장치를 조작하는 것에 의하여 수술절차를 수행한다. 상기 각 주 입력장치는 서보기구적으로(servomechanically) 작동되는 수술도구의 움직임을 제어한다. 수술과정 동안, 원격수술 시스템은 엔드이펙터를 가지는 다양한 수술도구 또는 툴을 기계적으로 구동 및 제어하는데, 상기 엔드이펙터는 상기 주 입력장치의 조작에 응답하여 의사를 위하여 예를 들면, 바늘을 잡거나 구동하는 작업, 혈관을 잡는 작업 또는 조직을 해부하는 작업 등의 다양한 기능을 수행한다.
그러나, 수술과정 동안에, 의사는 상기 툴을 조작하여 그 엔드이펙터가 내시경의 관찰범위를 벗어나도록 할 수 있으며, 또는 상기 엔드이펙터가 유체나 다른 간섭에 의해 가려져 관찰하는 것이 곤란해질 수도 있다. 이러한 경우에 상기 워크스테이션의 디스플레이 스크린 상에 상기 엔드이펙터의 위치확인 및/또는 식별을 함에 있어 의사에게 조력수단을 제공할 수 있다면 유용할 것이다.
툴을 카메라 이미지 내에서 식별하기 위한 다양한 기술이 개발되어 왔다. 예컨대, 이러한 기술 중 하나가 Guo-Qing Wei, Klaus Arbter 및 Gerd Hirzinger에 의해 개발된 "복강경 수술을 위한 실시간 시각적인 서보제어(servoing)" IEEE Engineerig in Medicine and Biology , Vol. 16, No. 1, pp. 40-45, 1997에 개시되어 있는데, 여기에는 컬러 마커(color marker)가 툴을 카메라 이미지 내에서 식별하기 위하여 사용되어, 카메라는 상기 툴을 그 시각 이미지의 중앙에 유지하도록 자동적으로 조작된다. 이러한 기술 중 또다른 것이 예컨대 Xiaoli Zhang 및 Shahram Payandeh에 의해 개발된 "로봇의 조력을 받은 복강경 수술을 위한 시각적인 추적의 적용례" Journal of Robotics Systems, Vol. 19, No. 7, pp. 315-328, 2002에 개시되어 있는데, 여기에는 줄무늬가 그려진 마커가 툴 및 카메라 이미지 내에서 그 깊이를 식별하기 위하여 사용되어, 상기 카메라는 상기 툴을 시각적으로 추적하도록 자동적으로 조작된다.
그러나, 이러한 기술들은 엔드이펙터가 내시경의 관찰범위의 밖에 있거나, 유체 또는 다른 물체에 의해 가려지는 때에는 일반적으로 유용하지 못하다. 상기 두 경우 모두에, 상기 마커들은 발견될 수 없고 툴 식별은 불가능하다. 둘째로, 단순한 컬러마커 및 상기 툴 상에 위치된 방향(orientation)과 독립적인 마커는 툴의 방향이나 위치를 결정하는 것을 용이하게 하지 않는다. 셋째로, 상기 툴마커를 식별 및 추적함에 있어 연산의 복잡함은 실시간 추적을 곤란하게 만들 수 있다. 특히, 각 캡쳐된 비데오 프레임을 처리하는데 소요되는 증가된 시간은 비데오 캡쳐가 발생하는 주파수를 감소시켜, 어느 이미지로부터 다음 이미지로부터의 갑작스러운 변이(abrupt transition)를 야기할 수 있다. 넷째로, 보정되지 않은 카메라 눈금(uncorrected camera calibration) 및/또는 다른 시스템 측정의 오류는, 상기 카메라의 시각이미지로부터 툴의 위치 및 방향을 결정할 때에 오류를 야기할 수도 있다.
의사와 또한 환자측(patient-side) 스텝으로 하여금 다수의 툴을 워크스테이션 디스플레이 스크린 상에서 용이하게 식별할 수 있도록 하기 위하여, 다음과 같은 다수의 컴퓨터의 조력을 받은 기술들이 채택될 수 있다: 상기 툴의 위치 및 방향을 예측하고, 상기 디스플레이 스크린 내에서 상기 툴의 예측된 위치 및 방향에 걸쳐서 상기 툴이나 다른 시각적인 마크 또는 지시자(indicator)의 컴퓨터 조력 설계(CAD) 모델을 중첩시키는 것(overlaying); 상기 툴의 위치 및 방향을 예측하여 상기 디스플레이 스크린 상에 각 툴의 예측된 위치 및 방향에서 그것이 다른 툴과 구별되도록 독특하게 마킹하는 것; 및 상기 툴의 위치 및 방향을 예측하여, 그것의 엔드이펙터를 소정의 방법으로 강조하는 한편 그 축부분을 삭제하거나 지워, 상기 엔드이펙터가 상기 디스플레이 스크린 상에서 떠있거나 두드러지도록 보이게 하는 것.
각 툴을 상기 디스플레이 스크린 상에서 다른 툴과 구별되도록 하기 위해 그 예측된 위치 및 방향에서 독특하게 마킹하는 것의 장점은, 예를들면 a) (신체 내부에 있는 툴만을 보는)의사로 하여금 (신체 외부의 툴만을 보는)환자측 스텝과 특정의 툴에 관하여 의사소통하는 것을 용이하게 하고, b) 의사가 관찰범위 밖에 있을 수도 있는 툴을 확실하게 인지할 수 있도록 한다. 이것은 오직 2개의 툴만이 있는 때에 특히 중요한데, 실제로는 의사는 관찰범위 밖에 있는 다른 툴을 조정하고(즉, 움직이고) 있으면서, 잠재적으로는 조직을 손상하고 있는 때에, 의사는 오직 2개의 툴만을 보면서 그것이 그가 양손으로 조정하고 있는 2개의 툴이라고 속단할 수 있기 때문이다.
이와 비슷하게, 툴의 위치 및 방향을 예측하고 그것의 엔드이펙터를 소정의 방법으로 강조하는 한편 그 축부분을 삭제하거나 지워, 상기 엔드이펙터가 상기 디스플레이 스크린 상에서 떠있거나 두드러지도록 보이게 하는 것의 장점은, 예를 ㄷ들면, 의사로 하여금 그 아래에 있는 더 많은 조직을 보이게 한다는 것이다. 그러나, 상기 조직의 현재 상태는 상기 툴에 의해 가려져 있기 때문에, 상기 아래에 있는 조직의 관찰은 당연히 합성된(synthetic) 것이라는 점을 주목하여야 한다. 따라서, 상기 툴 축부분을 삭제하기 위하여는, 상기 가려진 영역이 마지막으로 알려진 상기 영역의 가려지지 않는 화면으로 대체되도록 하되, 상기 데이터가 현재의 것이 아니라는 것을 나타내기 위해 희미한(dimmed) 방식이나 빛바랜(grayed-out) 방식(즉, 전장안개효과(Fog-of-War))으로 나타나도록 하기 위해, 수술 부위의 이전의 이미지를 저장하는 것이 필요하다.
툴 추적(tool tracking)이란 시간의 경과에 따른 툴의 상태의 결정을 의미한다. 상기 툴의 상태는 일반적으로, 기준 프레임 내에서 그 해독된(translational) 속도 및 회전속도 등의 다른 관련 파라미터 뿐만 아니라, 그 위치 및 방향도 포함한다. 바람직한 실시예에서는, 상기 툴 추적은 카메라 기준 프레임 내에서 수행된다. 툴 추적은, 상기 툴이 시야로부터 벗어나 있거나 내시경의 관찰범위 내에서 가려져 있는 때에, 상기 툴이 관찰되고 식별 가능할 때인 이전 시간에서의 위치 및 방향 정보 및/또는 상기 시점 및 그 이전 시간에서의 비내시경(non-endoscope) 소스로부터 얻어진 위치 및 방향 추정값을 사용하는 것에 의해, 어떤 시점에서 툴의 위치 및 방향을 추적하는 것을 가능하게 한다.
상기 툴의 위치 및 방향을 결정하는 것은, 무엇보다도 상기 툴을 상기 워크스테이션 디스플레이 스크린 상에 위치를 표시하기 위하여 유용하다. 예컨대, 툴 위치 및 방향정보는 의사가 관심이 있는 정보를 포함하고 있는 그래픽 오버레이를 생성하는데 사용될 수 있다. 이러한 오버레이는 다음을 포함할 수 있다: 천공(telestration), 툴 간의 거리, 툴과 환자의 신체와의 거리, 카메라 기준 프레임 내에서의 해부학적 모습의 치수(measurements of antomical features) 또는 다른 기준 프레임 내에서의 해부학적 모습의 치수. 또한, 상기 툴의 위치 및 방향은 현재의 툴 및 카레라 위치를, 고정(fixed) 또는 세계 기준 프레임(world reference frame)에서 제공된 수술 이전이나 계획 데이터와 맞추는데 사용되거나, 상기 툴을 조작하는 로봇 장치의 일반적인 안정성과 제어를 향상시키는데 사용될 수 있다.
다른 예로서, 상기 툴의 위치 및 방향의 결정은 수술 과정 동안에 상기 툴 그 자체 상에 탑재된 예컨대 초음파 센서 등의 센서로부터 수집된 데이터를 표시(registration)하는 데에도 유용하다. 이 경우, 상기 센서를 가지는 상기 툴의 위치 및 방향을 상기 카메라 기준 프레임(즉, 상기 내시경의 기준 프레임) 내에서 알 수 있다면, 상기 툴 상에 탑재된 초음파 센서로부터 수집된 어떤 정보도 수술과정 동안에 의사를 조력하기 위하여 상기 워크스테이션 디스플레이 스크린 상에 수술 이미지와 완전히 맞춰진 상태로 디스플레이될 수 있다.
이러한 표시 예 중 일부에 있어서, 상기 툴의 고정(또는 세계) 기준 프레임 내에서의 위치 및 방향을 결정하는 것이 필요하다. 따라서, 상기 내시경의 고정 기준 프레임 내에서 위치 및 방향을 알 수 있다면, 상기 내시경에 의해 관찰되는 상기 툴의 위치 및 방향도 상기 카메라 기준 프레임으로부터 상기 고정 기준 프레임으로 해석될 수 있다. 이를 대체하여, 상기 툴의 상기 고정 기준 프레임 내에서의 위치 및 방향이 독립적으로 결정될 수 있다면, 상기 독립적인 결정은 전술한 기준 프레임 해석과정을 생략할 뿐만 아니라, 상기 내시경의 고정 기준 프레임 내에서의 위치 및 방향을 결정하는 대체적인 수단을 제공한다.
따라서, 본원발명의 과제는, 최소침습수술 동안에 툴의 일부분 또는 심지어 그 전부가 내시경의 관찰범위 내에서 가려지거나 또는 내시경의 관찰범위로부터 벗어나는 때에도 툴 추적을 수행하기 위한 방법 및 시스템을 제공하는 것이다.
본원발명의 또 다른 과제는, 툴의 자세를 결정하기 위하여 방향에 종속적인 마커를 사용하는 시각적인 추적을 포함하는 툴 추적을 수행하기 위한 방법 및 시스템을 제공하는 것이다.
본원발명의 과제는, 정교하고, 신뢰성 있고 및/또는 연산적으로 신속한 툴 추적을 수행하기 위한 툴 추적을 수행하기 위한 방법 및 시스템을 제공하는 것이다.
본원발명의 또 다른 과제는, 실시간으로 작동하며 결정된 툴 위치 및 방향의 급작스러운 변화를 최소화하여 부드러운 툴의 추적을 제공할 수 있는 툴 추적을 수행하기 위한 방법 및 시스템을 제공하는 것이다.
본원발명의 또 다른 과제는, 눈금 오류를 보정하거나 다른 방식으로 보상하는 툴 추적을 수행하기 위한 방법 및 시스템을 제공하는 것이다.
상기 및 기타 과제는 본원발명의 다양한 특징에 의해 구현되는데, 여기에는 단순하게 언급하면 그 한가지 특징으로서 툴 추적방법은 다음을 포함한다: 툴이 신체 내에 최소침습 절개부를 통하여 삽입되고 조작되는 동안에 생성된 비내시경적으로 얻어진(derived) 툴 상태의 정보 및 내시경으로부터 얻어진 툴 상태의 정보를 처리하는 것에 의해 툴을 추적하는 것.
혼합접근 방식(hybrid approach)을 이용함으로써, 수술부위를 관찰하기 위하여 환자의 신체 내에 삽입된 상기 내시경으로부터의 비데오의 프레임 내에서 상기 툴이 완전히 가리는 때에도, 상기 툴의 상태(예컨대, 그 위치, 방향 및 이행 및 회전속도)는, 비내시경적으로 얻어지는 툴 위치 정보로부터 결정될 수 있는데, 상기 비내시경적으로 얻어되는 툴 위치 정보는 다음에 의해 생성된다: 상기 툴을 조작하는 로봇 기구 내에서의 조인트 위치부터의 시스템 운동학을 이용하는 것; 전자기학, 음향학 또는 상기 툴로부터 발산되거나 반사되는 탐지가능한 다른 유형의 신호를 사용하여 툴의 위치를 결정하는 것; 환자의 신체 밖으로 뻗어 있는 상기 툴의 다른 단부를 관찰하는 외부 카메라에 의해 생성되는 이미지를 사용하는 것.
또한, 툴의 위치 및 방향을 결정함에 있어서, 상기 비내시경적으로 도출된 툴 위치 정보를 내시경으로부터 도출된 툴위치 정보와 함께 추가적으로 사용하는 것은, 상기 비내시경적으로 도출된 툴위치 정보가 연속적이어서 샘플링률로(at a sampling rate) 이용할 수 있다면, 결정된 툴의 위치 및 방향에 있어서 이미지 정보의 프레임 사이의 급격한 변화를 최소화하거나 적어도 상당한 정도로 감소시킨다. 더욱이, 상기 내시경으로부터 얻어진 툴위치 정보를 상기 비내시경적으로 얻어진 툴위치 정보와 함께 사용하는 것은 툴 상태를 결정하기 위한 중복적인 정보 소스를 제공하므로, 시간의 경과에 따라 툴의 위치 및 방향을 보다 정교하게 결정하는데 사용될 수 있다.
또 다른 특징은 다음을 포함하는 툴 추적방법이다: 툴이 신체에 있는 절개부를 통과하여 삽입될 때에 툴의 위치 및 방향을 지시하는 센서정보를 수용하는 것; 상기 툴을 위한 이미지 정보를 수용하는 것; 및 상기 센서 및 이미지 정보를 사용하여 툴의 위치 및 방향을 결정하는 것.
또 다른 특징은 다음을 포함하는 툴 추적을 수행하는 최소침습 로봇 수술시스템이다: 데이터를 제공하는 1개 이상의 비내시경 장치로서, 상기 데이터로부터 툴이 신체에 있는 절개부를 통과하여 삽입되어 로봇에 의해 조작되는 때에 비내시경적으로 도출되는 툴 상태 정보가 생성되는 비내시경 장치; 이미지를 캡쳐하는 내시경으로서, 이 이미지로부터 상기 툴이 신체 내부로 삽입되는 때에 신체의 부분에 대한 내시경으로부터 얻어진 툴 상태정보가 생성되는 내시경; 및 상기 툴의 상태를 추적하기 위하여 상기 비내시경적으로 얻어진 툴 상태 정보와 내시경으로부터 얻어진 툴 상태 정보를 처리하도록 설정된 프로세서.
또 다른 특징은 다음을 포함하는 툴 추적을 수행하는 최소침습 로봇 수술시스템이다: 센서 데이터를 제공하는 1개 이상의 센서로서, 상기 센서 데이터로부터 툴이 신체에 있는 절개부를 통과하여 삽입되어 로봇에 의해 조작되는 때에 비내시경적으로 도출되는 툴 상태 정보가 생성되는 센서; 상기 툴이 신체 내부로 삽입되는 때에 툴의 이미지 정보를 캡쳐하는 1개 이상의 카메라; 및 상기 툴의 상태를 추적하기 위하여 상기 비내시경적으로 얻어진 툴 상태 정보와 상기 이미지 정보를 처리하도록 설정된 프로세서.
또 다른 특징은 다음을 포함하는 툴 추적방법이다: 툴의 컴퓨터 모델을 결정하는 것; 툴의 모습을 포함하여 캡쳐된 이미지를 수신하는 것; 상기 캡쳐된 이미지로부터 상기 툴의 추정 위치 및 방향을 결정하고, 상기 캡쳐된 이미지와 관련하여(in reference to) 상기 추정된 위치 및 방향에 상기 컴퓨터 모델을 위치시키고 방향을 향하게 하는 것; 상기 툴의 추정 위치 및 방향을 상기 캡쳐된 이미지를 위하여 보정하기 위하여, 상기 컴퓨터 모델이 상기 이미지와 거의 중첩될 때까지 상기 컴퓨터 모델의 추정 위치 및 방향을 상기 캡쳐된 이미지 내의 상기 툴의 이미지에 대하여(with respect to) 변화시키는 것(modifying).
또 다른 특징은 다음을 포함하는 툴 추적방법이다: 툴의 상태를 시지사는 센서데이터가 어떤 시점에서 사용가능한지를 결정하는 것; 상기 툴의 상태를 지시하는 이미지 데이터가 상기 시점에서 사용가능한지를 결정하는 것; 및 상기 시점에서 상기 센서 데이터 및 이미지 데이터 모두가 사용가능하다면 상기 센서 데이터 및 이미지 데이터 모두를 사용하거나, 상기 센서 데이터만이 사용가능하다면 상기 센서 데이터만을 사용하거나, 상기 이미지 데이터만이 사용가능하다면 상기 이미지 데이터만을 사용하요 상기 툴의 상태를 결정하는 것.
또 다른 특징은 다음을 포함하는 툴 추적방법이다: 어떤 시점에서의 상기 툴의 상태를 지시하는 제1 센서 데이터를 사용하여 상기 시점에서의 지표(landdmark)에 대한(relative to) 제1 추정 툴 상태를 결정하는 것; 상기 시점에서의 카메라 상태를 지시하는 제2 센서 데이터를 사용하여 상기 시점에서의 상기 지표에 대한 추정 카메라 상태를 결정하는 것; 상기 카메라에 의해 생성되고 상기 시점에서의 툴상태를 지시하는 이미지 데이터를 사용하여 상기 시점에 대하여 상기 카메라에 대한 제2 추정 툴상태를 결정하는 것; 및 상기 제1 및 제2 추정 툴상태 사이의 에러 변환을(error transform) 산정하여, 후속 시점에서 상기 후속 시점에서의 툴 상태를 지시하는 이미지 데이터가 사용가능하지 않다면, 상기 지표를 대신하여 상기 카메라에 대하여 산정된(traslated) 상기 후속 시점에서의 상기 툴의 상태를 지시하는 센서 데이터를 사용하여 결정된 제3 추정 툴 상태에 상기 에러 변환을 적용하는 것.
또 다른 특징은 다음을 포함하는 추적방법이다: 주어진 시간에서의 툴을 위한 비내시경적으로 얻어진 추정상태 정보를 결정하는 것; 상기 주어진 시점에서의 상기 툴을 위한 내시경으로부터 얻어진 추정 상태 정보를 결정하는 것; 및 상기 툴의 상태의 최적 추정값을 생성하도록 설정된 베이스 필터(Bayesian filter)에 상기 비내시경적으로 얻어진 추정상태 정보 및 상기 내시경으로부터 얻어진 추정 상태 정보를 제공하는 것.
또 다른 특징은 다음을 포함하는 툴 추적 및 교정(calibration)방법이다: 툴을 관찰하는 카메라로부터 수신된 이미지 데이터로부터 시각적으로 도출된 상태정보를 생성하는 것; 1세트의 카메라 파라미터에 대한 초기 값을 상기 시각적으로 도출된 상태 정보와 결합시킴으로써 상태 벡터 정보를 생성하는 것; 및 상기 툴의 상태의 최적 추정값과 상기 카메라 파라미터의 세트에 대한 교정된 값을 생성하기 위하여 상기 상태 벡터 정보를 베이스 필터에 제공하는 것.
또 다른 특징은 다음을 포함하는 카메라 추적 방법이다: 툴의 위치를 지시하는 센서 데이터로부터 생성된 비시각적으로 얻어진 툴 상태정보로부터 고정 기준 프레임 내에서 툴의 위치를 결정하는 것; 상기 툴을 관찰하는 동안 상기 카메라에 의해 제공된 이미지 데이터로부터 생성된 시각적으로 얻어진 툴 상태 정보를 이용하여 카메라와 함께 이동가능한 카메라 프레임 내에서 상기 툴의 위치를 결정하는 것; 및 상기 고정 기준 프레임 내에서의 상기 툴의 위치 및 상기 이동(moveable) 카메라 프레임 내에서의 상기 툴의 위치를 이용하여 상기 고정 기준 프레임 내에서의 상기 카메라의 위치를 결정하는 것.
또 다른 특징은 다음을 포함하는 툴 추적 방법이다: 상기 카메라의 위치를 지시하는 센서데이터로부터 얻어진 비시각적으로 얻어진 카메라 상태 정보로부터 고정 기준 프레임 내에서 카메라의 위치를 결정하는 것; 상기 툴을 관찰하는 동안 상기 카메라에 의해 제공되는 이미지 데이터로부터 생성된 시각적으로 얻어진 툴 상태 정보를 사용하여, 상기 카메라와 함께 이동가능한 카메라 프레임 내에서 툴의 위치를 결정하는 것; 및 상기 고정 기준 프레임 내에서의 상기 카메라의 위치 및 상기 이동 카메라 프레임 내에서의 상기 툴의 위치를 이용하여 상기 고정 기준 프레임 내에서 상기 툴의 위치를 결정하는 것.
또 다른 특징은 다음을 포함하는 툴 추적방법이다: 툴이 신체 내의 절개부를 통과하여 삽입되고 조작되는 동안에 복수의 각 시점에서의 복수의 추정 툴 상태를 생성하는 것; 및 베이스 기술(Bayesian techniques)을 이용하여 상기 복수의 추정 툴 상태를 처리하여 상기 복수의 각 시점에 대한 최적 추정 툴 상태를 결정하는 것.
기타의 과제, 특징 및 본원발명의 다른 특징의 장점들은 다음의 선호되는 실시예의 설명으로부터 명백해질 것인데, 상기 실시예는 첨부된 도면과 연계하여 설명될 것이다.
도1은 본원발명의 특징을 이용한 최소침습 로봇 수술시스템을 도시한다.
도2는 본원발명의 특징을 이용한 최소침습 로봇수술 시스템과 관련된 3차원 기준 프레임을 도시한다.
도3은 본원발명의 특징을 사용하여, 툴 센서 및 툴 이미지 데이터 중 어느 한개 또는 이들 모두를 이용하여 툴 상태를 결정하기 위한 툴 추적 방법의 흐름도를 예시하고 있다.
도4는 본원발명의 특징을 사용하여, 툴 센서 및 툴 이미지 데이터 모두를 이용하여 툴 상태를 결정하기 위한 툴 추적 방법의 흐름도를 예시하고 있다.
도5는 본원발명의 특징을 사용하여, 툴 상태를 결정하기 위한 칼만 필터(Kalman filter) 툴 추적 방법의 작동 블록선도를 예시한다.
도6은 3차원 공간 내의 위치를 이에 대응하는 2차원 이미지 평면 내의 위치와 연계하기 이하여 사용되는 투시 투영도를 도시한다.
도7은 강체 상의 3차원 위치의 투영을 도시한다.
도8은 본원발명의 특징을 이용하여, 툴 추적을 수행함에 있어 유용한 제1 방향-종속 툴마커를 도시한다.
도9는 본원발명의 특징을 이용하여, 툴 추적을 수행함에 있어 유용한 제2 방향-종속 툴마커를 도시한다.
도10은 본원발명의 특징을 이용한, 컴퓨터 모델 툴 추적 방법의 절차도를 도시한다.
도1은 보통 1명 이상의 조수(A)의 조력을 받아 수술테이블(O) 상에 누워있는 환자(P)에 대하여 최소침습 진단 또는 수술절차를 수행하는 동안에, 의사(S)에 의해 사용되는 콘솔(C)을 포함하는 최소침습 로봇 수술(MIRS) 시스템을 예시하고 있다.
상기 콘솔은 지지부(102), 수술 부위의 이미지를 의사에게 디스플레이하기 이한 모니터(104) 및 1개 이상의 제어장치(108)를 포함한다. 상기 제어장치(108)는 조이스틱, 장갑, 방아쇠달린 총, 수조작되는 컨트롤러, 음성인식장치 등의 다양한 입력장치를 1개 이상 포함할 수 있다.
의사는 상기 제어장치(108)을 조작함에 의해 수술과정을 수행하는데, 상기 제어장치는 의사가 상기 모니터(104)를 통하여 수술부위를 관찰하는 동안에, 로봇 기구(114)로 하여금 떼어낼 수 있도록 연결된 그 각각의 도구 또는 툴조립체(110, 이하에는 단순히 "툴"이라고 한다)를 상기 환자의 신체 내의 최소 침습 절개부를 통과하여 조작하도록 한다. 1회에 사용되는 상기 수술 툴(110) 및 상기 시스템(100) 내의 로봇 기구(114)의 개수는, 다른 인자 보다도 진단이나 수술 과정 및 상기 수술실 내에서의 공간적 제약에 일반적으로 종속된다. 위 과정 동안에 사용되는 1개 이상의 툴을 교체할 필요가 있다면, 조수는 더 이상 사용되지 않는 상기 툴(110)을 그 로봇 기구(114)로부터 떼어내고 이를 상기 수술실 내에 있는 트레이(T)로부터 다른 툴(110)로 대체한다.
상기 의사의 콘솔은 일반적으로 상기 환자와 같은 방 안에 위치하여, 필요하다면 물리적으로 가능하도록 의사는 상기 과정을 직접 모니터할 수 있고, 전화나 다른 통신매체를 통해서보다는 조수에게 직접적으로 말할 수 있다. 그러나, 원격 수술과정을 고려한다면, 의사는 다른 방, 전혀 다른 건물 또는 다른 원격 위치에 위치할 수도 있다는 것은 이해될 것이다.
상기 제어장치(108)는 그와 관련된 툴(110)과 동일한 자유도가 부여되어, 의사가 상기 툴(110)을 직접 조정하고 있다는 강한 느낌을 가질 수 있도록 의사에게 원격현장감(telepresence)이나, 상기 제어장치(108)가 상기 툴(110)과 통합되어 있다는 인식을 제공하는 것이 바람직하다. 이를 위하여, 위치, 힘 및 촉각 피드백 센서(미도시)가 상기 툴(110) 상에 배치되어, 의사가 상기 제어장치(108)을 작동하는 때에 의사의 손에 상기 툴(110)로부터의 위치, 힘 및 촉각을 전송하는 것이 바람직하다.
모니터(104)가, 1개 이상의 카메라를 포함하는 관찰 스코프 조립체에 적절히 연결되고, 상기 콘솔의 지지부(102) 상에 배치되어, 수술부위가 의사의 손 근처에 제공된다. 상기 모니터(104)는, 의사가 실제로 수술부위를 직접 내려다 보고 있다고 느낄 수 있도록 방향 잡힌 디스플레이(1060 상에 전도된(inverted) 이미지를 디스플레이하는 것이 바람직하다. 이를 위하여, 비록 관찰 지점(즉, 내시경 또는 관찰카메라)이 상기 이미지의 관찰지점이 아닐지라도, 상기 툴(110)의 이미지는 조작자의 손이 위치된 곳에 실질적으로 위치하도록 보인다.
또한, 상기 실시간 이미지는 원근적인(perspetive) 이미지로 변환되어, 상기 조작자는 상기 작업 공간을 거의 실제 존재(true presence)로 관찰하는 것처럼, 엔드이펙터의 대응하는 제어장치(108)를 조작함으로써 상기 툴(110)의 엔드이펙터를 조작하는 것이 바람직하다. 상기 실제 존재라는 것은, 이미지의 전시가, 물리적으로 상기 툴(110)을 조작하고 있는 작업자의 관찰지점을 가장한(simulating) 실제 원 근적 이미지라는 것을 의미한다. 따라서, 상기 프로세서(101, 또는 상기 콘솔 내의 다른 프로세서)는 상기 툴(110)의 좌표(coordinates)를 인식된 위치로 변환하여, 상기 원근적인 이미지는 상기 관찰 스코프 조립체(112)가 상기 툴(110)의 바로 뒤에 위치한다면 관찰자가 관찰하게 될 이미지이다.
상기 프로세서(101)는 상기 시스템(100) 내에서 다양한 기능을 수행한다. 이것은, 상기 제어장치(108)의 기계적인 운동을 CS1 및 CS2 등의 제어신호를 통하여 상기 툴(110)에 연결된 로봇 기구(114)로 전달하는데 사용되는 것이 바람직하다. 또한, 이것은 제어신호 CS3을 통하여 상기 관찰 스코프 조립체(112)의 운동을 그 로봇기구(115)에 의해 제어하기 위하여 사용되는 툴 추적방법을 수행하는데 사용되어, 전술한 다른 목적에 사용될 수 있을 뿐만 아니라 1개 이상의 툴(110)을 추적하는 것이 바람직하다. 상기 프로세서(101)는 상기 로봇기구(114,115)와 분리되어 있거나, 적절하게 통합되어 있을 수도 있으며, 그 전체 또는 그 일부가 상기 콘솔에 통합되어 그 프로세서나 그 프로세서에 대한 보조프로세서(co-processor)로서 기능할 수도 있다.
또한, 상기 프로세서(101)는 상기 툴(110)로부터의 힘 및 토크를 상기 수조작되는 제어장치(108)에 피드백 제공하는 것이 바람직하다. 또한, 이것은, 상기 환자에 대한 과도한 힘이 가해지거나 상기 로봇 기구(114,115)의 폭주(running away)와 같은 상황의 인식에 응답하여, 모든 로봇의 운동을 동결시키거나 적어도 억제시키는 안전 감시기능을 수행하는 것이 바람직하다.
비록 프로세서로 설명되었지만, 상기 프로세서(101)는 실제로는 하드웨어, 소프트웨어 및 펌웨어의 어떠한 조합에 의해서도 구현될 수 있다는 점이 이해되어야 한다. 또한, 전술한 상기 프로세서의 기능은 1개의 유닛에 의해 수행되거나, 여러 부분에 의해 분담될 수도 있으며, 그 각각도 하드웨어, 소프트웨어 및 펌웨어의 어떠한 조합에 의해 구현될 수 있다.
상기 툴(110)의 조작 및 제어와 관련하여 상기 시스템(100)의 일반적인 작동 및 구조의 추가적인 상세한 사항은, "다수 부재 원격존재 시스템 및 방법"이라는 명칭의 미국 특허번호 6,346,072에도 공통으로 포함되어 있는 예를 들어 설명될 것인데, 상기 특허는 본원에 선행기술로서 포함되어 있다.
도2는 상기 MIRS 시스템(110)과 관련된 다양한 기준 프레임을 예시하고 있다. 세계 기준 프레임(201)은 그 중심이, 예컨대 상기 최소침습 진단 또는 수술이 시행되는 수술술 내의 고정점(즉, 어떤 지표)에 맞춰진 고정 기준 프레임이다. 반면, 툴 기준 프레임(202)은 그 중심이 예를 들면 상기 툴 상의 고정점에 맞춰져, 상기 툴과 함께 이동하게 되는 이동 기준 프레임이다. 이와 비슷하게, 카메라 기준 프레임(202)은 그 중심이 예를 들면 상기 카메라 상의 고정점에 맞춰져, 상기 카메라와 함께 이동하게 되는 이동 기준 프레임이다. 상기 툴 기준 프레임(202) 및 카메라 기준 프레임(203)의 상기 세계 기준 프레임(201)에 대한 위치 및 방향은, 그들의 위치 및 방향을 조작하는데 사용되는 로봇기구와 관련된 센서데이타에 의해 결정되는 것이 바람직하다.
또 다른 툴 기준 프레임(204)는, 상기 카메라 프레임(203)으로부터 결정된 상기 툴 기준 프레임의 위치 및 방향을 나타낸다. 시스템 에러가 엇다면, 상기 툴 기준 프레임(202,204)은 정확히 일치할 것이다. 환자 기준 프레임(205)는, 그 중심이 예를 들면 상기 환자상의 고정점에 맞춰져, 상기 환자가 움직이면 상기 고정점과 함께 이동하는 반고정(semi-fixed) 기준 프레임이다.
상기 카메라 기준 프레임(203)을 정의하는 상기 카메라는, 그 좌측 및 우측 이미지 평면 상의 대응하는 위치의 각 쌍이 상기 카메라 기준 프레임(203) 내의 3차원 위치로 매핑(mapping)될 수 있도록 눈금이 정하여진(calibrated) 입체사진 촬영용 카메라(stereo camera)인 것이 바람직하다. 그 후, 상기 카메라에 의해 인식된 툴의 위치(즉, 상기 툴 기준 프레임)는, 예를 들면, 먼저 상기 카메라의 상기 좌측 및 우측 이미지 평면에서 상기 툴을 식별하고, 그 후 상기 카메라 기준 프레임(203)에서 상기 툴의 위치를 결정하기 위하여 상기 눈금 조정 정보를 사용하는 것에 의해 결정될 것이다.
일반적으로, 상기 카메라 기준 프레임(203)은, 수술과정 동안에 상기 툴의 엔드이펙터를 관찰할 수 있도록 상기 수술부위 내에 삽입된 내시경과 관련된다. 위에서 지적된 바와 같이, 여기에서의 상기 내시경은 입체적인(stereocopic) 내시경인 것이 바람직하다. 제2 카메라 기준 프레임(미도시)은, 상기 환자의 외부에 위치하나 충분히 근접하게 위치되어 수술과정 동안 상기 환자의 밖으로 뻗어 있는 상기 툴의 후단부(rear end)를 관찰할 수 있는 외부카메라와 관련되어 정의될 수 있다. 또한, 상기 외부 카메라 유닛은 3-D 결정을 가능하게 하는 입체적인 카메라인 것이 바람직하다.
전술된 바와 같이, 상기 툴 및 내시경 모두는, 상기 환자의 신체에 있는 절개부를 통하여 로봇 기구를 사용하는 것에 의해 조작되는 것이 바람직하다. 상기 각 로봇기구는 조인트와 링크장치를 포함하고, 이들은 그들의 각 툴이나 내시경이 5 또는 6의 자유도로 운동하는 것을 가능하게 한다.
상기 (상기 툴 기준 프레임(202)의 위치 및 방향에 의해 나타내지는) 툴 및 (상기 카메라 기준 프레임"(203)의 위치 및 방향에 의해 나타내지는) 내시경의 위치 및 방향은, 그에 대응하는 상기 로봇기구의 상기 조인트 및/또는 링크기구에 센서를 부착하여 그들의 움직임을 감지하는 것에 의해, 상기 세계 기준 프레임(201) 내에서 결정될 수 있다. 이러한 기술은 로봇 업계에서는 그 결과는 상기 로봇기구 의 특수한 구조 및 작동에 종속한다는 사실과 함께 잘 알려진 것이다. 기타 상세한 사항은, 예를 들면 John J. Craig저, "Introduction to Robotics - Mechanics and Control", 2nd Ed, Addison Wesley Longman, 1986에서 찾을 수 있을 것이다.
상기 세계 기준 프레임(201) 내에서 툴 및 내시경의 위치 및 방향을 결정하기 위한 다른 방법은, 그 위치 및 방향을 지시하기 위하여, 전자기, 음향 또는 상기 툴이나 내시경으로부터 발산되거나 이로부터 반사되는 다른 식별가능한 신호를 감지하는 것을 포함한다. 상기 세계 기준 프레임(201) 내에서 상기 툴 및 내시경의 위치 및 방향을 결정하기 위한 또 다른 방법은, 전술한 입체적인 카메라의 사용을 포함하는데, 이는 상기 환자의 신체 밖으로 뻗어 있는 툴 및 내시경의 후단부를 관찰하고, 그 좌측 및 우측 이미지 평면에 기초한 연산을 통하여 그 위치 및 방향을 결정한다.
(상기 카메라 기준 프레임(203)에 의해 나타내지는) 상기 내시경 및 (상기 툴 기준 프레임(203)에 의해 나타내지는) 상기 툴의 위치 및 방향을 상기 세계 기준 프레임(201) 내에서 센서에 의해 결정함으로써, 상기 세계 기준 프레임(201) 내에서의 상기 툴의 위치 및 방향을 결정한 것은, 상기 세계 기준 프레임(201) 내에서 결정된 내시경 위치 및 방향과 상기 내시경의 카메라 기준 프레임(203) 내에서 결정된 (툴 기준 프레임(204)에 의해 나타내지는) 툴의 위치 및 방향을 채택한 종래의 삼각측량 기술에 의해 검산될 수 있다. 역으로, (상기 카메라 기준 프레임(203)에 의해 나타내지는) 상기 내시경의 상기 세계 기준 프레임(201) 내에서의 위치 및 방향의 결정은, 상기 세계 기준 프레임(201) 내에서 결정된 (툴 기준 프레 임(202)에 의해 나타내지는) 툴의 위치 및 방향을, (상기 툴 기준 프레임(204)에 의해 나타내지는) 상기 내시경의 상기 카메라 기준 프레임(203) 내에서 결정된 상기 툴의 위치 및 방향과 함께 채택한 종래의 삼각측량 기술에 의해 검산될 수 있다. 상기 툴 및 내시경의 위치 및 방향을 결정함에 있어서 추가적인 수단을 가진다는 것은 그 각 위치 및 방향을 검산하게 하고, 보다 정확한 결정을 제공한다.
도3은 상게 툴의 가용한 센서 및 이미지 데이터를 처리하는 것에 의해, 툴을 추적하는 툴 추적 방법의 흐름도를 예시하고 있는데, 이들은 상기 툴이 상기 신체에 있는 최소침습 절개부를 통하여 삽입되어 조작되는 도중에 생성된 것이다. 여기에서 상기 센서 데이터는, 상기 툴을 조작하는 로봇 기구에 있는 조인트 포지션을 감지하기 위하여 제공되었거나, 상기 툴의 위치를 지시하기 위하여 상기 툴에 의해 발산하거나 상기 툴로부터 반사되는 전자기, 음향 기타 감지가능한 신호를 감지하기 위하여 제공된 위치센서로부터 제공된다. 상기 데이터를 함께 적절하게 처리하기 위하여, 상기 센서 및 이미지 데이터 모두는 소정의 방식으로 시간이 각인되어(time stamped), 동일한 시점과 관련된 데이터는 함께 처리될 수 있다.
301 단계에서는, 예를 들면 사용자에 의하여 상기 대응하는 제어 장치가 켜짐으로써, 툴이 현재 사용자에 의한 능동적인 제어상태 하에 있는가가 결정된다. 만일 상기 301 단계에서의 결정이 "아니오" 라면, 301 단계에서의 결정결과가 "예"가 될 때까지, 상기 방법은 주기적으로 301 단계를 통과하여 반복되고, "예"로 된 때에 302 단계에서 상기 툴의 상태를 ㅈ지g하는 센서데이터가 가용한지가 결정된다. 상기 302단계에서의 결정이 "아니오"라면, 303단계에서 상기 툴의 상태를 지시 하는 이미지 데이터가 가용한지가 결정된다. 303 단계에서의 결정도 "아니오"라면, 이 시점에서 툴의 상태를 결정하기 위하여 어떤 정보도 가용하지 않으며, 상기 방법은 301 단계로 점프하여, 상기 과정을 다른 시간에 대하여 반복하기 시작한다. Q반면, 303 단계에서의 결정이 "예"라면, 304 단계에서 이 시점에서 오직 이미지 데이터만을 사용하여 상기 툴의 상태가 결정되고, 상기 결정에 후속하여, 상기 방법은 301 단계로 점프하여 다른 시간에 대한 상기 과정을 재시작한다.
그러나 302 단계에서의 결정이 센서 데이터가 가용하다는 것을 지시하는 "예"라면, 305 단계에서 상기 툴의 위치가 그 마지막 결정 이래로 변화하였는가가 결정된다. 이 시점에서 상기 결정을 수행하는 것이 더 유리한데, 상기 결정은 상대적으로 쉽고 신속하게 수행할 수 있으며, 상기 툴이 이동되지 않았다면 상기 새로운 툴의 위치 및 방향을 결정하기 위하여 불필요한 연산을 피할 수 있기 때문이다.
305 단계에서의 결정을 수행하기 위한 기술의 일 예는 다음과 같다: (i) 상기 툴을 조작하는 상기 로봇 기구의 조인트 상에 제공된 센서로부터 조인트 속도가 결정된다, (ii) 상기 조인트 속도 각각은 제곱으로 된다, (iii) 제곱된 상기 조인트 속도는 함께 더하여진다, (iv) 상기 결과값이 드레쉬홀드(threshhold) 값과 비교되어, 상기 결과값이 상기 드레쉬홀드 값보다 큰 경우에만 상기 툴은 이동되었다고 결정된다.
305 단계에서의 결정이 "아니오"라면, 상기 방법은 301단계로 다시 점프하여, 다른 시간에서 상기 과정을 반복하기를 시작한다. 반면, 305 단계에서의 결정이 "예"라면, 306 단계에서 상기 툴의 상태를 지시하는 이미지 데이터가 가용한지 를 결정한다. 306 단계에서의 결정이 "아니오"라면, 308 단계에서 상기 툴의 상태는 이 시점에서의 센서데이터만을 사용하여 결정되고, 상기 결정을 후속하여, 상기 방법은 301 단계로 다시 점프하여 다른 시간에서의 상기 과정을 재시작한다. 그러나, 306 단계에서의 결정이 "예"라면, 307 단계에서 이 시점에서의 상기 센서 및 이미지 데이터 모두를 사용하여 상기 툴의 상태가 결정되고, 이러한 결정을 후속하여, 상기 방법은 301 단계로 다시 점프하여 다른 시간에 대하여 상기 과정을 재시작한다.
도3을 참조하여 위와 같이 설명된 방법에서, 상기 센서 또는 이미지 데이터의 가용성과 관한 어떤 가정도 행하여지지 않는다. 따라서, 전술된 방법은 상기 양 타입의 데이터가 가용한 지를 독립적으로 확인할 수 있으며 이에 따라 상기 툴의 위치를 결정할 수 있다. 비록 상기 방법에서는, 센서 데이터의 가용성의 확인이 이미지 데이터의 가용성의 확인보다 먼저 이루어졌지만, 이러한 확인 절차는 그 순서가 바뀔 수도 있으며, 여전히 본원발명의 상기 특성의 범위 내에 있다는 점이 이해되어야 한다.
상기 센서 데이터는, 수술 과정 동안에 상기 툴을 조작하는 로봇 기구 상의 조인트 및/또는 링크기루 상에 위치된 센서 또는 인코더(encoder)로부터 수신될 수도 있으며, 또는 상기 툴의 위치를 지시하기 위하여 상기 툴로부터 발산하거나 상기 툴에 의하여 반사되는 전자기, 음향 또는 기타 식별가능한 신호를 감지하는 센서로부터 수신될 수도 있다. 상기 이미지 데이터는 상기 환자의 신체 내부에서 상기 툴의 엔드이펙터를 관찰하는 내시경으로부터 수신되거나, 상기 수술과정 동안에 환자의 신체 외부로 뻗어 있는 상기 툴의 노출된 단부를 관찰하는 외부 카메라로부터 수신될 수도 있다.
도4는 툴 센서 및 가용한 툴 이미지 데이터 모두를 사용하여 툴의 상태를 결정하기 위한 툴 추적방법을 예시하고 있다. 상기 방법에서, 401 및 402 단계는 수술 절차 이전에 오프라인으로 수행되고, 403 내지 401 단계는 수술과정 동안에 온라인으로 수행된다.
401 단계에서, 내시경의 좌측 및 우측의 2차원 평면과 그 3차원 카메라 프레임(203) 사이에서 포인트의 맵핑이 수행될 수 있도록, 입체적인 내시경은 오프라인으로 눈금조정된다(calibrated). 여기에서의 눈금조정은, 촛점길이(예컨대, 도6에서의 "F"의 길이를 본다), 주점(principal point), 비스듬함(skew) 및 상기 입체 짝(stereo pair)의 각 카메라의 왜곡(distortion)과 같은 고유(intrinsic) 카메라 파라미터를 결정하는 것을 포함한다. 또한, 상기 입체 짝에서의 상기 2 카메라 사이의 회전 및 이동도 결정될 수 있다.
카메라 눈금조정은 예컨대 상기 MIRS 시스템(100)의 초기 셋업과정 동안에 1회 수행될 수도 있고, 또는 예컨대 최소침습 진단 또는 수술과정을 수행하기 직전에 주기적으로 수행될 수도 있다. 상기 눈금조정을 수행하기 위한 한가지 기법은, 다양한 위치 및 방향에서 눈금조정 그리드의 수개(several)의 이미지를 캡쳐하는 것이다. 그 후, 상기 이미지는 상업적으로 가용한(또는 가정용의(home grown)) 눈금조정 팩키지로 제공되는데, 이것은 상기 눈금조정 그리드의 이미지에서 코너 위치를 추출하고, 원하는 파라미터를 얻기 위하여 눈금조정/최적화 과정을 수행한다.
402 단계에서, 에러 변환을 위한 초기값이 각 수술과정의 시작 시점에서 결정된다. 상기 에러변환은, 상기 세계 기준 프레임(201) 내에서 센서 데이터로부터 결정되어, 입체적인 카메라의 상기 카메라 기준 프레임(203)으로 해석된 (상기 툴 기준 프레임(202)에서 나타내진 바와 같은) 제1 추정 툴 상태의 기준 프레임 내에서의, 상기 카메라 기준 프레임(203)에서 상기 입체적인 카메라의 좌측 및 우측 이미지 평면으로부터 결정된 (상기 툴 기준 프레임(204)에서 나타내진 바와 같은) 제2 추정 툴 상태의 위치 및 방향으로 정의된다. 전술한 "Introduction to Robotics - Mechanics and Control"에저 정의된 변환표기에 따라, 이것은 202 204 T 로 나타내진다.
상기 과정은, 예컨대 상기 이동된 툴의 위치의 원근투상(perspective projection)이 상기 좌측 및 우측 이미지 내에서 중심에 위치하도록, 센서 데이터로부터의 상기 툴의 위치에 대한 초기 이동을 적용함으로써(applying an initial traslation to the tool location) 시작된다. 그 후, 상기 사용자는 상기 툴을 상기 입체적인 이미지의 4개의 코너로 이동시키고, 상기 좌측 및 우측 이미지 모두에서 상기 2차원 툴 위치 상에서 클릭한다. 상기 초기 이동을 결합하여, 상기 툴의 3차원 센서 위치 및 상기 툴의 2차원 이미지 위치는, 상기 센서로부터 결정된 (상기 툴 기준 프레임(204)에 나타내진 바와 같은) 툴 위치와 상기 입체적인 이미지로부터 결정된 (상기 툴 기준 프레임(202)에 나타내진 바와 같은) 툴 위치 사이의 상기 에러변환 202 204 T 의 초기값을 얻게 한다. 이들의 결정 후에, 그 초기값은 403 내지 410 단계를 시작하기 직전에 단기 메모리 내에 로드(load)된다.
403 단계에서, 상기 센서 데이터로부터 상기 세계 기준 프레임(201) 내에서의 상기 툴의 상태가 결정된다. 상기 툴의 상태가 위치 및 방향만으로 이루어져 있는 노미널 케이스(nominal case)에서, 이는 201 202 T로 나타낼 수 있다(상세한 내용은 "Introduction to Robotics - Mechanics and Control"을 참조). 이것은, 예컨대 상기 툴을 조작하는 로봇기구와 관련된 조인트 또는 링크기구 위치 센서로부터 제공된 데이터를 이용하여 시스템 운동학으로부터 결정되거나, 상기 툴로부터 발산되거나 툴에 의해 반사되어 상기 툴의 위치를 지시하는 신호를 이용하여 상기 세계 기준 프레임(201) 내에서 상기 툴의 위치를 연산하는 것에 의해 결정될 수 있다. 상기 2경우 모두 상태 정보를 제공하지만, 상기 과정을 수행하기 위하여는 시스템 운동학을 사용하는 것이 더 선호되는데, 그 이유는 일반적으로 상기 툴 위치를 지시하는 신호보다 더 많은 툴 상태정보를 제공하기 때문이다.
또한, 404 단계에서, 상기 세계 기준 프레임(201) 내에서의 상기 카메라 상태가 상기 센서 데이터로부터 결정된다. 상기 툴의 상태가 위치 및 방향만으로 이루어져 있는 노미널 케이스(nominal case)에서, 이는 201 203 T로 나타낼 수 있다(상세한 내용은 "Introduction to Robotics - Mechanics and Control"을 참조). 403 단계에서의 툴 상태의 결정의 경우와 마찬가지로, 이것은, 예컨대 상기 카메라를 조 작하는 로봇기구와 관련된 조인트 또는 링크기구 위치 센서로부터 제공된 데이터를 이용하여 시스템 운동학으로부터 결정되거나, 상기 카메라로부터 발산되거나 카메라에 의해 반사되어 상기 카메라의 위치를 지시하는 신호를 이용하여 상기 세계 기준 프레임(201) 내에서 상기 카메라의 위치를 연산하는 것에 의해 결정될 수 있다.
405 단계에서, 403 단계에서 결정된 상기 추정 툴 상태는, 404 단계에서 결정된 (세계 기준 프레임(201)에서의) 추정 카메라 상태를 사용하여, 종래의 기준 프레임 변환 공식을 이용하여, 상기 카메라의 카메라 기준 프레임(203)으로 번역될 수 있다.
201 203 T = 201 203 T -1 201 202 T (1)
406 단계에서는, 403 단계에서 상기 툴상태가 결정된 대응 시점에서 상기 툴의 이미지 데이터가 가용한지가 결정된다. 상기 대응 시점에서 상기 카메라에 의해 이미지가 캡쳐되지 않거나, 상기 대응 시점에서 상기 카메라에 의해 캡쳐된 이미지에서 상기 툴이 식별가능하지 않다면, 상기 이미지 데이터는 가용하지 않을 수 있다. 후자의 경우는, 수술과정 동안에 의사에 의한 상기 툴의 조작 때문에 상기 툴이 상기 카메라의 관찰 범위 내 및 관찰범위를 벗어나게 움직이는 때에 발생한다. 캡쳐된 이미지에서 툴을 식별하는 것을 보조하기 위하여, 전술된 바와 같은 특수한 마커를 사용하는 것을 포함하여 다양한 툴 식별 기술이 사용될 수 있다.
위에 대한 개량으로서, 상기 툴이 상기 이미지 데이터에서 식별가능한 경우에도, 이것은 이상값(outlier)으로 인식되고 따라서, 그 상태가 이전의 시점에서 결정된 이전의 툴 상태로부터 생성된 최적합 곡선(best fit curve)의 오차범위 밖에 있다면 버려질 것이다.
406 단계에서의 결정이 "예"라면, 407 단계에서 (상기 툴 기준 프레임(204)에서 나타내지는 바와 같은) 상기 툴 상태의 추정이 상기 카메라 기준 프레임(203) 내에서 직접적으로 결정된다. 상기 툴 상태가 위치 및 방향만으로 이루어져 있는 노미널 케이스에 있어서, 이것은 변형 203 204 T 로 나타내질 수 있다. 상기 작업을 수행하기 위한 기법 중 하나의 예로서, 통제점(control point)이 상기 입체적인 카메라로부터 수신된 상기 좌측 및 우측의 2차원 이미지 평면 상에서 상기 툴 상에서 식별되고, 그 후 전술한 생성된 눈금조정 데이터를 사용하여 상기 점의 3차원 카메라 기준 프레임(203) 내에서의 대응위치가 결정된다.
상기 통제점이 상기 2개의 이미지 플레인 내에서 식별될 수 있는 방식의 예로서, 상기 통제점을 포함하는 작은 창(window)이 상기 좌측 이미지 상에서 선택될 수 있고, 상기 우측 이미지 내에 있는 작은 창과 상호비교되어(cross correlated), 최고 상관 인자(highest correlation factor)를 가지는 상기 이미지 내의 창을 결정하는데, 이로 인해 일치(match) 및 상기 이미지 내에서 상기 통제점의 식별이 얻어진다.
407 단계에서 상기 툴 상태를 결정한 후에, 408 단계에서, 상기 405 단계에서 결정된 툴 상태와 407 단계에서 결정된 툴 상태 사이의 변환으로서 교정된 에러 변환 202 204 T 가 연산되고, 단기간 메모리 내에 거기에 저장된 어떠한 초기값을 대신하여 저장된다. 그 후, 407 단계에서 결정된 상기 추정 툴 상태는 409 단계에서 상기 시점에서의 툴 상태로 결정된다. 그 후, 상기 방법은 403 단계로 다시 점프하여 다른 시점에 대하여 상기 카메라 기준 프레임(203)에서의 상기 툴 상태를 결정한다.
202 204 T = 203 204 T -1 203 204 T (2)
반면, 406 단계에서의 결정이 "아니오" 라면, 410 단계에서, 상기 카메라 기준 프레임(203) 내에서의 (상기 툴 기준 프레임(204)에 나타내진 바와 같은) 상기 툴 상태는, 402 단계에서 결정된 툴 상태에 대응하는 에러 변환에 의해 조정된, 405 단계에서 결정된 상기 추정 툴 상태로 결정된다. 이 경우에, 상기 에러 변환은 갱신(update)되지 않는다. 그 후, 상기 방법은 403 단계로 다시 점프하여 다른 시점에 대하여 상기 카메라 기준 프레임(203) 내에서의 상기 툴 상태를 결정한다.
203 204 T = 203 202 T 202 204 T (3)
상기 에러 변환은 408 작업을 수행함에 있어, 수술과정 동안에 갱신될 수도 있음을 주목해야 하는데, 그 이유는 상기 툴이나 그것을 조작하는 로봇기구에 가해지는 외력, 히스테리시스(hysteresis)나기타 상기 로봇 기구에서의 비선형성(non-linearities)와 같은 인자 뿐만 아니라, 초기 에러 변환 추정값에서의 오류, 초기 상관(initial correlation), 시스템 운동학 또는 카메라 눈금조정 등과 같은 다양 한 인자들에 기인하여, 상기 에러 변환이 시간의 경과에 따라 천천히 변화(drift)할 수 있기 때문이다.
도5는 대체적인 툴 추적 방법을 위한 기능적인 블록선도를 예시하고 있다. 이 경우의 툴 추적 방법은 확장된 칼만 필터(Extended Kalman Filter, EKF)를 채택하고 있는데, 이것은 1개 이상의 비내시경적으로 얻어진 툴 상태 정보, 예를 들면, (각각 상기 툴과 관련되는 센서 및/또는 외부 카메라 데이터를 처리함으로써 블록 501 및 502에서 생성되는) ZNV1 -k 및 ZNV2 -k을,(각각 대응하는 시각 알고리즘을 사용하여 입체적인 내시경으로부터 수신된 상기 툴의 이미지 데이터를 처리함으로써 블록 511, 512 및 513에서 생성된) ZV1 -k , ZV2 -k 및 ZV3 -k 와 같은 1개 이상의 내시경으로부터 얻어진 툴 상태와 결합시키고 시스템 동역학의 모델을 사용함으로써, 툴 상태의 최적 추정치, ＾ｘk 를 얻기 위한 목적을 가진다.
이 방법에서, 비내시경적으로 얻어지거나 내시경으로부터 얻어진 툴상태 정보가 가용한지 여부를 (도3에서 센서 데이터 및 이미지 데이터에 대하여 302 및 306 단계에서 수행된 바와 같이) 판단하는 것은 불필요한데, 그 이유는, 상기 연산 시점에서 상기 두 정보가 모두 가용하지 않다면, 이 사실은 단지 이전의 값으로 유지되고 있는 측정값으로 이루어진 비가용한 정보에 의해 고려되기 때문이다(즉, 상기 시점에서 갱신되지 않음). 상기 및 다른 이유 때문에, 도5를 참조하여 설명되는 방법은 툴 상태를 결정함에 있어서 더 선호되는 기술로서 인식된다.
비록 EKF가 이 실시예에서 사용되고 있지만, 칼만 필터나 파티클(Particle) 필터와 같은 다른 베이스 필터나 기술이 채택되어 질수도 있고, 이는 본원발명의 범위 내에서 완전히 인식되는 것임을 주목하여야 한다. 베이스 필터라 함은, 베이스 추정 기술에 기초한 통계적인 필터군을 의미한다.
또한, 센서 데이터, 외부 카메라 데이터 또는 내시경 이미지 데이터로 칭하여진 모든 입력값은 측정값으로 인식될 수도 있으며, 여기에서 그 측정되는 양은, 그와 대응하는 센서, 외부 카메라 또는 내시경 기준 프레임에서의 상기 툴상태(전형적으로는 위치 및 방향)의 일부의 부분집합(subset)이다. 일반적으로, 상기 툴 상태의 센서 측정값 모두는 정운동학 연산(forward kinematics computation)과 같은 어느 정도의 연산과정을 포함하는데, 상기 정운동학 연산은 일반적으로 상기 로봇 조인트 위치 센서로부터 상기 툴 상태를 연산하는데 필요하다. 더욱이, 모든 측정은 일반적으로 비동기적이나(asynchronous), 시간 각인에 의해 절대 시계(absolute clock)에 의지할 수도 있다.
각 측정값은 일반적으로, 제로 평균 노이즈(zero mean noise)와 같은 일부의 임의(random) 에러에 의해 오염될수도 있으며, 일부 시점에서는 가용할 수 없거나(생략) 완전히 오류일 수도 있다(이상값). 따라서, 상기 EKF는 노이즈 측정값의 상기 툴 상태 추정값에 대한 영향을 감소시킨다. 각 센서, 외부 카메라 또는 내시경 기준 프레임 사이의 상기 노미널 변환은 상기 측정값들을 융합(fuse)시키는데 사용된다.
기능블록 501은, 센서 데이터로부터 비내시경적으로 얻어진 툴상태 정보 ZNV1-k 를 생성하고, 상기 비내시경적으로 얻어진 툴상태 정보를 상기 EKF 521에 연산을 위하여 제공한다. 전술한 바와 같이, 상기 비내시경적으로 얻어진 툴상태 정보는, 조인트 위치 센서, 툴 위치 신호 감지기나 외부 카메라로부터 얻어질 수 있다. 기능 블록 502와 같은 추가적인 기능블록은, 위와 동일하거나 다른 센서 데이터나 외부 카메라로부터 얻어진 ZNV2 -k 와 같은 추가적인 비내시경적으로 얻어진 툴 상태 정보를 생성하고, 상기 추가적인 비내시경적으로 얻어진 툴상태 정보를 상기 EKF 521에 연산을 위하여 제공하기 위하여 포함될 수 있다.
한편, 기능블록 511은, 내시경 이미지 데이터로부터 내시경으로부터 얻어진 툴상태 정보 ZV1 - k 를 생성하고, 상기 내시경으로부터 얻어진 툴상태 정보를 상기 EKF 521에 연산을 위하여 제공한다. 전술한 바와 같이, 상기 내시경 이미지 데이터는 입체적인 내시경으로부터 상기 좌측 및 우측평면일 수도 있다. 기능 블록 512 및 513과 같은 추가적인 기능블록은, 일반적으로 동일한 내시경 이미지 데이터로부터 얻어진 ZV2 -k 및 ZV2 -k와 같은 추가적인 내시경으로부터 얻어진 툴 상태 정보를 생성하고, 상기 추가적인 내시경으로부터 얻어진 툴상태 정보를 상기 EKF 521에 연산을 위하여 제공하기 위하여 포함될 수 있다.
상기 기능블록 501-502 및 511-513은, 어느 정도 공통된 작업을 수행할 뿐만아니라, 그들의 개별적인 특수한 연산(processing)을 수행하여, 그들 각각의 툴 상태 정보를 생성한다. 그 예로서, 상기 각 기능 블록은 그 수신 센서나 이미지 데이터에 위치되어 상기 데이터가 감지 또는 캡쳐된 시간을 지시하는 시간 각인을 추적 하여, 어느 주어진 시점에서 상기 기능 블록에 의해 상기 EKF(521)에 제공된 모든 툴 상태 정보는 상기 시간 각인 상에서 지시된 시간과 거의 동일하다. 다른 예로서, 상기 각 기능블록은 그 수신된 센서나 이미지 데이터에서 노이즈를 걸러내어, 상기 EKF(521)에 제공된 툴 상태 정보는 거의 제로 평균 노이즈를 가지는 것이 바람직하다.
다음은 최소침습 진단 또는 수술과정 동안에 툴 추적을 위하여 EKF(521)이 사용되는 방식의 단순화한 예이다. 일반적으로, 상기 EKF의 보다 정밀한 설명을 위하여는, 예컨대 Greg Welch and Gary Bishop 저, "An Introduction to the Kalman Filter", TR 95-041 , 컴퓨터 과학부, 샤펠 힐 소재 노스캐롤라이나 대학, 2004. 4. 5.편찬을 참조하라.
잘 알려져 있는 것과 같이, 상기 EKF 구조(framework)는 2개의 구별되는 상(phases)을 가지며, 이들은 "시간 갱신(time update, 또는 "예측(predict)")" 상과, "측정값 갱신"(또는 "보정(correct)") 상으로 명명된다.
칼만 필터 갱신 사이클의 제1상에서, 직전의 상기 필터의 반복(iteration)으로부터 얻어진 상태 추정값은, (잠재적으로) 상기 시스템 동역학의 비선형 모델인, ｆ와 가력 함수, Uk -1 에 기초하여, 다음의 식(4)에 따라, 금번 사이클에 대한 새로운 상태 추정값의 예측값, ＾X-을 주기 위하여 사용된다.
＾X- = ｆ(＾X-, Uk -1 , 0) (4)
여기에서, 상기 식(4) 내의 '0'은 상기 예측된 상태 추정값을 얻기 위하여 사용된 상태 노이즈 추정값이다.
상기 비선형 시스템 모델, f, 를 포인트 ＾X- 주위로 선형화(linearizagion)하면, 선형화된 상태 변이 행렬(state transition matrix), A,가 얻어진다. 그 후, 상기 필터의 직전 반복으로부터의 에러 공분산(covariance) 행렬, Pk -1, 을 사용하여, 다음의 식 (5)에 따라 금번 사이클에 대한 새로운 에러 공분상 행렬의 예측값, Pk - , 가 얻어진다.
Pk - = AkPk -1Ak T + WkQk -1Wk T (5)
여기에서, 행렬 W는 상태 노이즈 w에 대한 시스템 해석(system dynamics)의 야코비안(Jacobian)을 나타내며, Q는 가변 게인(tunable gain) 행렬이다.
물리적으로 고려할 때, 상기 행렬 P가 상기 시스템 상태 오더(order)과 동일한 개수의 차원을 가지는 에러 타원(error ellipse)를 나타낸다면, 상기 에러 타원의 크기는 상기 식(5)를 적용함으로써, 상기 선현화된 상태 변이 행렬, A,로 나타내진 우리의 시스템 해석 모델과 프로세스 노이즈의 스케일 추정값(scaled estimate)을 사용하여 확장될 수 있는데, 상기 프로세스 노이즈의 스케일 추정값은 상기 시스템 해석 모델에서의 불확실성을 나타낸다. 상기 에러 타원의 크기를 증가시키는 것은, 상기 시스템 상태의 추정값에 있어서 더 큰 불확실성이 존재한다고 말하는 것과 동등하다.
상기 칼만 필터 갱신 사이클의 제 2상에서, 상기 예측된 상태 추정값 및 예측된 에러 공분산 행렬은, 상기 시스템의 1개 이상의 측정값에 의하여 보정될 수 있다.
그 후, 상기 칼만 게인은 계산된다. 상기 칼만 게인은, 근본적으로 1개 이상의 측정값으로부터의 기여도(contiribution)를 가중하여(weights), 새로운 상태 추정값에 대한 그들의 영향은 그들의 신뢰도(reliability)의 현재의 추정값을 반영한다.
또한, 이것은 상기 모델의 상기 측정값에 대한 신뢰도(reliance on the model vs. the measurement)를 가중치를 두는 것을 가능하게 한다. 환언하면, 신뢰할 수 있는 측정값으로부터의 기여도에 더 가중치를 둘 수 있고, 신뢰할 수 없는 측정값에 덜 둘 수 있다. 이렇게 하기 위하여, 식 (6)은 다음과 같이 적용된다.
Kk - = Pk -Hk T(HkPk -Hk T + VkRkVk T)-1 (6)
식 (6)을 설명하기 위하여, 측정값 함수로 알려진 함수, h ,가 먼저 제안되는데, 이것은 상기 시스템, z, 내에서 측정될 수 있는 양을, 실제 시스템 상태, x, 와 관련시킨다.
식 (6)에서, 식(5)로부터 새로운 에러 공분산 행렬, Pk - 이 이용된다. 상기 행렬 H는 상기 '측정값' 함수 h의 상기 시스템 상태 x 에 대한 야코비언이다. 실질적으로, 상기 행렬 H는, 측정되고 있는(관찰되는) 양의 변화가 실제 시스템 상태에 서 어떻게 변화할 것인지를 나타낸다.
상기 행렬 V는 노이즈 측정값의 추정을 나타내는데, 이는 센서 노이즈, 및 상기 측정값 함수 h에서의 불확실성 모두를 포함한다. 상기 행렬 R은 가변 게인이다.
일단 칼만 케인이 식 (6)에 따라 계산되면, 상기 예측된 시스템 상태 추정값, ＾X- 과 상기 측정값을 이용하여, 상기 시스템 상태의 추정값이 갱신된다. 이 경우에, 상기 예측된 시스템 상태 추정값은, 실제 측정값, zk , 와 예측된 추정값, ＾zk , 사이에서 상기 칼만-게인-가중된- 에러(Kalman-gain-weighted error)에 의해 다음의 식(7)에 따라 조정된다.
＾Xk = ^Xk - + Kk (zk - h(^Xk -, 0)) (7)
마지막으로, 상기 에러 공분산의 추정값은 다음의 식 (8)에 따라 갱신된다.
Pk = (I - KkHk)Pk - (8)
상기 Pk 의 값은 상기 측정값이 상기 예측값과 비교할 때 신뢰가능하게 될 정도로 점진적으로 감소하여야 한다. 물리적으로, 이것은 시스템 상태 추정값을 둘러싸는(enclosing) 에러 타원이 추가적인 측정값이 얻어짐에 따라 수축한다는 것을 암시한다.
상기 EKT 구조가 설명되었으므로, 본원과 관련한 그 표현(formulation)이 설명된다. 특히, 시스템 상태, x, 시스템 상태 함수, f, 시스템 변이 행렬, A, 특정값, z, 측정값 함수, h, 및 측정값 야코비언, H,이 정의된다.
시스템의 상태는, 식 (9)에 나타낸 바와 같이, 복강경 툴 엔드이펙터의 위치, 방향, 변위속도 및 회전속도이다. 이러한 방식으로, 회전하는 강체의 상태는 설명된다.
Figure 112007090168713-PCT00001
상기 엔드이펙터의 방향, Θ는 회전 행렬보다는 4원법 표기(quaternion notation)에 의해 표시된다. 이것은, 상기 각속도의 부드러둔 적분(smooth integration)을 가능하게 하여, 상기 시스템 상태 갱신 방정식에 의해 필요로 되는 새로운 강체 방향을 얻게 한다.
상기 시스템 갱신 함수, f, 를 위하여, 어떠한 가력 함수의 인풋(forcing function input)이 없는 상태에서 자유 공간(free-space) 내에 있는 강체가 설명된다. 상태의 전파(state propagation)은 식의 세트 (10)에서 설명된다. 그러나, 선호되는 실시예에서, 속도는 샘플들 사이에서 △T에 의해 먼저 곱해져서(premultipled), 시스템 델타(system delta)가 얻어지고, 식 (10)에서 단순히 합산된다.
여기에서, 어떠한 힘의 작용도 없다는 가정을 하는데, 그 이유는 시간 단계(time step)가 매우 작고, 상기 강체에 가해진 가속도는 상기 시스템 모델에서 노이즈로 모델화될 수 있기 때문이다.
Figure 112007090168713-PCT00002
방향 상태, Θ, 에 대한 상태 전파는 4원법의 사용때문에 약간 더 복잡하다. 첫째, 4원법 미분계수(quatenion derivative)가 계산되는데, 이는 현재의 방향 및 각속도의 함수이다. 이를 위하여, 각속도 4원수(quatenion), q1 및 방향 4원수 q2 가 식 세트 (11)에 도시된 바와 같이 설명된다.
Figure 112007090168713-PCT00003
그 후, 4원법 미분계수가 식 (12)에 따라 연산된다:
dq = 1/2 q2 * q1 (12)
여기에서, '*'는 4원법 곱셈을 나타내는 연산자이다.
일단, 4원법 미분계수가 연산되면, 식 (13)에 대한 적분(integration)이 수행된다.
Figure 112007090168713-PCT00004
적분 후에, 그 결과인 4원수는 정규화(normalization), ＾Θ- 에 의해 강제적으로 단위길이(unit length)로 된다. 상기 시스템 상태 함수, f,를 정의하였으므로, 칼만 필터 갱신 사이클의 식(4)가 계산된다.
상기 칼만 필터 갱신 사이클의 식 (5)를 충족시키기 위하여, 시스템 상태 야코비언 행렬, A,가 정의되어야 한다. 현재의 경우에서, 상기의 논의를 행렬의 형태로 다시 쓴다면, 필요한 행렬은 식 (14)와 같이 표시될 것이다.
Figure 112007090168713-PCT00005
상기 행렬 0mxn 은 0의 m x n 행렬이다. 식 (15)에 나타나 있는 상기 행렬 Aq는 4원법 오메가(omega) 행렬인데, 이는 식 (12)에서 설명된 4원법 곱셈 연산자 '*'를 나타낸다.
Figure 112007090168713-PCT00006
시스템 야코비언 행렬, A,를 이미 정의하였으므로, 이제 칼만 필터 사이클 갱신이 계산된다.
현재의 시스템에서는 다수의 측정값 소스가 제공된다. 이 경우, 기능 블록(501)에 의해 제공되는 제1 측정값은 로봇 운동학(엔코더나 위치 센서)로부터 제공되고, 식 (16)에 나타내진 바와 같이 상기 상태의 직접적인 값이다.
Figure 112007090168713-PCT00007
상기 엔드이펙터 방향은, 전술한 구조에 부합하도록, 회전 행렬로부터 4원수로 변환되었음을 주목하여야 한다. 또한, 로봇 운동학으로부터의 상기 측정값이 상기 내시경의 카메라 기준 프레임에 근거하는 경우에, 식 (16)은 상기 카메라 기준 프레임으로의 변환을 수용하기 위하여 수정되어야 함을 주목하여야 한다.
기능블록(511)에 의해 제공되는 제2측정값은 상기 입체적인 내시경에 의하여 제공되는 상기 좌측 및 우측 이미지를 처리함으로써 얻어진다. 좌표 (ul, vl) 및 (ur, vr)은 각각 상기 좌측 및 우측 이미지 평면에서의 상기 엔드이펙터의 위치이다.
Figure 112007090168713-PCT00008
비내시경적으로 얻어진 툴 상태 정보를 내시경으로부터 얻어진 툴상태 정보와 아래의 식 (18)에 의해 결합시키기 전에, 상기 내시경으로부터 얻어진 툴상태의 추정값이 이상값이 아니라는 것을 검증하는 것이 가장 유용하다.
이들이 이상값이 아니라고 가정하면, 완전 측정값 벡터(full measurement vector)를 형성하기 위하여, 상기 2개의 측정값은 식 (18)에 나타낸 바와 같이 스택된다(stacked).
Figure 112007090168713-PCT00009
블록(502) 에서와 같이 추가적인 비내시경적인 처리 알고리즘이 수행되어, 그 각각으로부터 zNV2 -k와 같은 측정값의 세트가 얻어질 수도 있고, 블록(512, 513)에서와 같은 내시경 이미지에 대하여 추가적인 내시경적인 처리 알고리즘이 수행되어, zV2 -k 및 zV3 -k와 같은 측정값의 세트가 그 각각으로 얻어질 수도 있으며, 이들 모두는 상기 측정값 벡터 내에 스택된다.
상기 칼만 필터 갱신 사이클의 식 (7)을 충족시키기 위하여, 측정값 함수, h,가 정의되어야 하는데, 이것은 상기 시스템 상태 x를 측정된(관찰된) 양, z와 연관시킨다.
앞에서 지적한 바와 같이, 현재의 시스템에는 다수의 측정값 소스가 있다. 그러므로, 측정값 함수, h, 는 각 소스에 대하여 필요하다.
상기 운동학적 (엔코더나 위치 센서의) 측정값은 직접적으로 상기 상태의 일부를 이루므로(is of the state directly), 상기 측정값 함수, hNV1 -k 는, 회전 행렬로부터 4원수로 변환된 점을 제외하고 상기 엔드이펙터 방향과 일치한다.
상기 내시경 이미지로부터의 제2 측정값은 상기 좌측 및 우측 이미지 평면에서의 상기 내시경 엔드이펙터의 위치 (u,v)이다. 이 경우에, 상기 측정값 함수는 원근 투영(perspective projection) 함수인데, 이것은 도6에 도시된 바와 같이, 3차원 공간에서의 위치를 이미지 공간에서의 위치와 상관시킨다.
포인트(P)가 (상기 내시경의) 상기 카메라 기준 프레임 내에서 좌표 (x,y,z)를 가진다면, 그 투영은 바늘구멍(pinhole) 카메라 모델을 사용하면 식 (19)로 주어진다.
ucam = x/z
vcam = y/z (19)
상기 카메라가 반경방향의 렌즈 왜곡을 가진다면, 상기 왜곡된 u, v 좌표는 식 (20)에 의해 주어지는데, 여기에서 r2 = (x/z)2 + (y/z)2, 이고 kn은 상기 카메라 눈금조정의 반경방향 왜곡계수이다.
ucam = x/z(1 + k1r2 + k2r4 + k3r6)
vcam = y/z(1 + k1r2 + k2r4 + k3r6) (20)
그 후, 픽셀(pixel) 좌표로의 변환이, 픽셀에서 나타내진 상기 촛점길이, f, 를곱하는 것에 의하여 수행되는데, 여기에서 c는 식 (21)에 의해 주어지는 바와 같이 광학 중심(optical center)이다.
u = fxucam + cx
v = fyvcam + cy (21)
상기 아래에 적은 x, y는 상기 촛점 길이 또는 광학 중심의 x 또는 y 성분값이다. 여기의 논의에서, 접선방향 또는 비스듬한 왜곡(skew distortion)의 기여도는 무시되었는데, 이들은 상기 식에 추가적인 조건들을 부가할 수 있다.
상기 측정값 함수, h, 를 정의하였으므로, 상기 상태에 대한 h의 편미분계수(partial derivative)는 상기 칼만 필터 갱신 사이클의 식 (7)을 충족하도록 선택된다.
전술된 바와 같이, 상기 운동학적인 측정값은 직접적으로 상기 상태의 일부를 이룬다. 그러므로, 상기 운동학적 측정값에 대한 측정값 야코비언은 13×13 단위행렬(identity matrix), (22)이다.
HNV1 -k = I13 ×13 (22)
상기 시각적인 측정값 함수를 상기 상태에 대하여 편미분하면, 이미지 야코비언이 얻어지는데, 이것은 엔드이펙터의 변위 및 회전 속도를 이미지 공간 속도와 상관시킨다.
소개하는 방식으로, 3차원 공간에서 이동하는 포인트에 대한 식은 식 (23)과 같다.
Figure 112007090168713-PCT00010
얻어진 포인트가 상기 회전중심으로부터 축심이 벗어나 있는(off-axis), 입체 시각 시스템으로 확장된다면, 식의 세트 (24)가 얻어진다. 상기 식의 세트의 유도과정을 위하여는, 예컨대, Bijoy K. Ghosh, Ning Xi, T.J. Tarn 저 "Control in Robotics and Automation: Sensor Based Integration", Academic Press, Sandiego, 1999를 참조하라.
Figure 112007090168713-PCT00011
여기에서:
Figure 112007090168713-PCT00012
이고,
Figure 112007090168713-PCT00013
이다.
상기 식 (25) 및 (26)에서, 변수 'b'는 상기 내시경의 입체 카메라 사이의 기준선(baseline) 거리를 의미한다. 아래에 써진 '1' 또는 'r'은 각각 상기 좌측 및 우측 카메라를 의미한다. Xc, Yc, Zc는 상기 강체가 회전하는 좌표 프레임의 중 심(origin)을, Xt, Yt, Zt는 도7에 도시된 바와 같이, 상기 회전 중심에 대한 상대적인 상기 강체에 붙어있는 관심을 가지는 포인트를 의미하는데, 도7에서, Xc, Yc, Zc 는 중심 포인트 Pc의 x,y,z 좌표이고, Xt, Yt, Zt 는 상기 포인트 Pt의 x,y,z 좌표이다.
도7을 참조하면, 상기 포인트 Pc 는 상기 툴 클레비스(clevis)를 관통하는 핀의 중심이다. 예를 들면, 클레비스 표면은 녹색으로 채색될 수 있고, 이로 인한 컬러 얼룩(color blob)의 중심(centroid)이 추적될 수 있다. 그렇다면, 상기 얼룩의 중심은 도7에서 포인트 Pt 가 된다.
상기 내시경 관찰 벡터를 가지는, 상기 엔드이펙터 Y 축의 상기 점 결과(dot product)에 기초하여, 상기 클레비스의 어느 면이 상기 카메라 쪽으로 제공되고 있는지를 결정할 수 있고, 거리 Yt의 부호(sign)도 적절하게 조절될 수 있다.
그리하여, 식 (27)에 나타내진 바와 같이, 상기 이미지 평면 속도는 식 (24)를 상기 상태 추정값의 예측값(state estimate prediction)으로 곱함으로써 얻어질 수 있다.
Figure 112007090168713-PCT00014
상기 칼만 필터 갱신 사이클의 식(3) 및 (5)에 이용되기 위한 상기 완전한 H 행렬을 구하기 위하여, 상기 2개의 측정값 야코비언이, 식 (28)에 나타내진 바오 k같이 스택된다.
Figure 112007090168713-PCT00015
도5에 도시된 바와 같이, 상기 칼만 필터의 구조(architecture)는 점선으로 표시된 바와 같이 수개의(several) 확장을 가능하게 한다.
먼저, 블록 511 내지 513에 의해 도시된 바와 같이, 상기 내시경 생성 이미지 내에서 수개의(several) 툴의 위치의 추정값을 얻기 위하여, 다수의 내시경 비디오 처리 알고리즘이 사용될 수 있다. 이들은 식 (18)에 나타내진 바와 같이, 상기 측정값 벡터 내에 스택될 수 있다.
상기 내시경 시각 처리알고리즘은, 도5에 도시된 바와 같이, 억지기법으로(by brute force) 상기 이미지 내에서 툴을 찾는다. 그러나, 바람직하게는, 먼저 상기 툴이 이전에 발견된 영역을 관찰함으로써 수색 공간을 감소시키기 위하여, 상기 내시경 시각 처리 알고리즘은 피드백 될 수 있다.
상기 EKF(521)의 상태 추정 결과는, 상기 내시경 시각 처리 결과와 함께 사용되거나, 그 자체만으로, 위와 비슷한 방식으로 수색 공간을 감소시킬 수 있다. 반면, 이를 대신하여 상기 내시경 시각 처리 알고리즘은 단지 가공되지 않은 운동학적 입력값(raw kinematic input)을 사용할 수도 있다.
마지막으로, 상기 내시경 비디오 처리 알고리즘은 상기 에러 공분산 행렬을 사용하여, 상기 툴의 진짜 위치에 대한 확신에 기초하여 상기 수색 범위를 동적으로 계량한다(scale). 이것은 상기 툴의 수색범위를 상기 에러 공분산 행렬에 의해 설명된 상기 에러 타원으로 경계지음으로써(bounding) 상기 툴 추적의 수행의 질을 높일 수 있다.
거꾸로, 상기 시각 처리 시스템이 그 측정값과 관련하여 질적 척도(quality measure)를 제공할 수 있다면, 상기 게인 행렬 R은 갱신될 수 있다. 이와 비슷하게, 상기 툴이나 그 로봇기구의 암(arm)이 그 위에 탑재되거나 그 내부에 묻혀진 힘 센서(force sensor)를 가진다면, 상기 실제의 위치와 명령된(commanded) 위치 사이의 오차를 관찰함으로써, 상기 운동학적 정보에 대한 질적 척도가 결정될 수 있다. 이 경우에 운동학적 상태 측정값에 있어서의 오차는, 가해진 힘이 상기 툴 및/또는 그 로봇 기구의 암의 변형을 초래하는 경우에 발생할 수 있다. 그 후, 상기 질적 척도는, 상기 운동학적 상태 측정값의 상기 상태 추정값에 대한 기여도에 대하여 대략 가중치를 두기 위하여, 상기 EKF(521) 내에서 게인을 동적으로 조정하는데 사용될 수 있다.
상기 EKF(521)은, 공식화된 바와 같이(as formulated), 상기 카메라 기준 프레임(203) 내에서 기능한다는 것을 주목하여야 한다. 그러나, 반드시 그렇게 되어야 한다는 조건은 없다. 실제로, 특히 작동 이전의(pre-operative) 또는 다른 합성된(synthetic) 이미지를, 상기 카메라 이미지 데이터와 맞추는 것이 바람직하다면, 상기 세계 기준 프레임(201)을 사용하는 것이 유리할 수도 있다.
또한, 상기의 공식화에서, 상기 입체적인 내시경의 입체 형상(streo geometry)는, (사실은 상기 원근 투시 작동의 일부인) 상기 행렬 Hv1 - k 에서 명시적으로 표현되어 있음을 주목하여야 한다. 이를 대신하여, 입체적인 상관(stereo correlation)이, 상기 2 이미지와, 상기 툴의 3차원으로 추출된 상기 위치 및 방향, 및 상기 EKF(521)에 직접적으로 피드백된 상기 측정값 사이에서 수행될 수도 있다. 이 경우의 결과는 "단위(identy)"인 상기 새로운 측정값 함수 hv1 -k와 동등할 것이다.
다음은, 동시간적인 툴추적 및 카메라 눈금조정을 가능하게 하는, 상기 공식의 확장예이다. 상기의 EKF 공식에서, 상기 카메라 파라미터는 알고 있거나, 그전에 눈금조정된 것으로 가정한다. 3차원에서 상기 툴 엔드이펙터 위치의 추정은, 다음 공식에서 나타내진 바와 같이, 상기 시각 측정값 함수, hv1 -k를 통하여 상기 파라미터를 안다는 것에 기초한다:
zv1 -k = hv1 -k(xk) + noise (29)
여기에서, xk는 추정되는 상태, 즉, 다음의 식에 의해 나타내진 바와 같이, 상기 툴의 3차원 위치, 속도, 방향 및 각속도이다.
Figure 112007090168713-PCT00016
상기 시각 측정값, zv1 -k 는, 다음 식에서 나타내진 바와 같이, 상기 툴의 (u,v) 좌표를 추출하기 위하여, 상기 좌측 및 우측 이미지 평면을 처리함으로써 얻어진다:
Figure 112007090168713-PCT00017
전술한 공식에서, 다음과 같은 고유 카메라 파라미터의 에러 모두가 상기 툴 추적에 있어서의 에러에 기여한다:
K1 ...n: 반경방향 왜곡계수(좌측 및 우측),
fx, fy: 촛점길이(좌측 및 우측)
cx, cy: 카메라 광학중심(좌측 및 우측), 및
R,T: 2 카메라의 상대적인 위치/방향, 여기에서 R은 상기 방향 의 4원수임,
상기 파라미터들의 눈금조정은, 관찰범위 내에서의, 예를 들면 상기 툴의 엔드이펙터 등의 목적물의 실제의 3차원 위치를 아는 것에 의해 수행된다. 물론, 정확하게 추산되어야 할 것이지만, 불행하게도 이것을 아는 것은 가용하지 않다.
다음의 방법은, 실제의(true) 카메라 파라미터와 실제의(true) 툴 상태를 결합시킴으로써 일련의 시각 측정값, zv1 -k,이 최선의 방식으로, 즉 시간의 경과에 따라 최소의 통계적 오차를 가지도록, 설명될 것이라는 생각에 기초하여, 동시간적인 툴 추적 및 카메라 눈금조정을 달성한다.
다시, 이것의 현실적인 실행은, 여기에서는 xtoolk라고 불리는 식 (29)로부터의 툴 상태 xk와 함께, 확장된 칼만 필터를 사용하고, 상기 상태 벡터를 상기 미지의 카메라 파라미터(또는 추산될 필요가 있는 부분집합)을 포함하도록 확장하여, 달성된다:
Figure 112007090168713-PCT00018
Figure 112007090168713-PCT00019
상기 카메라 상태에 대한 상기 상태 변이 함수는 일정하다. 즉:
xcamk = xcamk -1 (34)
상기 시각 측정값 함수, hv1 -k는 불변이나, 이것의 상기 카메라 파라미터에 대한 종속성은 명백하게 되어, 상기 칼만 필터 갱신에서 사용될 hv1 -k의 상기 상태에 대한 편미분계수는 다음과 같다:
Figure 112007090168713-PCT00020
식 (32) 및 (34)를 이용하여, 상기 EKF는 전술한 바와 동일한 방식으로 연산된다. 연속적이거나 불연속적인 갱신의 옵션에 대한 상대적인 동일한 확장(extension)은 모두 동일하게 적용된다. xcam에 대한 초기값은 가용한한 최적의 추측값으로 설정되어야 하고, 상기 게인 행렬은 상기 xcam 상태에 그 추측에서의 불확정성에 비례하여 가중치를 두어야 한다.
다음은 상기 공식에 대한 확장예인데, 이것은 상기 로봇 운동학으로부터의 상기 툴 상태 측정값과 상기 카메라 기준 프레임 사이에서의 상기 변환에 있어서 서서히 변화하는 시스템의 에러의 존재를 고려한다. 상기의 EKF 공식에서, 상기 로봇 위치 센서로부터 및 상기 내시경으로부터의 측정값은, 동일한 기준 프레임 내에서 표현되는 것으로 가정하거나, 이를 대신하여 각 측정값 (Rerr, Terr)의 기준 프레임 사이의 변환을 안다고 가정한다. 상기 후자의 경우에서, 상기 측정값 함수, hNV1 -k는 다음의 식으로 나타내진 바와 같이,
zNV1 -k = hNV1 -k (xk) + noise (36)
아래의 표현과의 비료에 의해 쉽게 얻어진다:
zNV1 -k = Uxk + [T x T y T z 01×10] (37)
여기에서,
Figure 112007090168713-PCT00021
이고, Rerr 및 Terr과 관련된 4원법의 오메가 행렬인 Aerr = (T x T y T z) 이 다.
(Rerr, Terr)의 초기 추정값으로서, 어떤 주어진 초기화 시점에 상기 툴 위치의 입체적 시각 측정값을 상기 로봇 운동학에 의해 제공되는 상기 툴 위치로 변환시키는 변환을 연산하는 것도 가능하다.
다음의 방법은, 밀접한(coherent) 측정값과 실제의 툴 상태를 결합시킴으로써 일련의 내시경 시각 측정값, zv1 -k,이 최선의 방식으로, 즉 시간의 경과에 따라 최소의 통계적 오차를 가지도록, 설명될 것이라는 생각에 기초하여, 동시간적인 툴 추적 및 (Rerr, Terr)의 갱신을 달성한다.
다시, 이것의 현실적인 실행은, 확장된 칼만 필터를 사용하고, 상기 상테 벡터를 상기 변환의 미지의 파라미터 (Rerr, Terr) (또는 추정되어야할 부분집합)를 포함하도록 확장함으로써 달성되고,
xerr = [Rerr, Terr] T (39)
여기에서, Rerr은 상기 변환 회전 행렬의 4원법적 표현이고(quaternion representation), xtoolk로 불리는 식 (36)으로부터 얻어진 상기 툴 상태 xk는 다음과 같다:
xk = [xtoolk xerrk]T (40)
상기 xerr 상태에 대한 상기 상태 변이 함수는 일정하다. 즉:
xerrk = xerrk -1 (41)
상기 측정값 함수, hNV1 -k는 식 (36)에서와 같이 불변이나, 이것의 상기 파라미터 (Rerr, Terr)에 대한 종속성은 명백하게 되어, 상기 칼만 필터 갱신에서 사용될 hNV1-k의 상기 상태에 대한 편미분계수는 다음과 같다:
Figure 112007090168713-PCT00022
운동학적 추정값을 도2에 도시된 바와 같은 현재의 툴 위치에서의 상기 카메라 기준 프레임 내로 부합시키기 위한 상기 초기 변환은, 오프라인으로 구비된 장기간 메모리 내에 저장된다. 상기 변환은 단기간 메모리 내에도 복사되고, 식 (40)에 따라 연속적으로 갱신된다. 상기 변환은 툴 위치에 따라 변화하기 때문에, 전체적인 내시경 및 툴 작동 공간은 다수의 입방 쎌(cubic cell)로 쪼개어지고, 1개의 변환은 각 입방 쎌과 관련된다. 툴은 상이한 조인트 조합을 가진 상태로 어떤 위치로 이동할 수 있기 때문에, 이 점을 고려하여, 상기 변환은, 목표(target) 쎌에서의 다수 조인트 조합으로부터 수집된 데이터로부터 최적화된다.
앞에서 언급된 바와 같이, 캡쳐된 이미지 안에서 툴을 식별하는 것을 보조하기 위하여, 특수한 마커를 사용하는 것을 포함하여 다양한 툴 식별 기술이 사용될 수 있다. 도8 및 도9는, 툴 추적을 수행함에 있어 유용한 2개의 방향에 종속적인 툴 마커를 예시하고 있다. 상기 툴 마커의 독특한 특징은, 상기 카메라 및 툴(들)을 추적하기 위하여 사용된 전술된 마커와 달리, 방향에 종속적이다는 것이다. 그 러므로, 상기 툴이 그 축을 중심으로 회전하면, 상기 툴 마커는 이러한 툴의 새로운 방향을 지시하도록 디자인되어 있다.
상기 툴 마커는 상기 툴의 엔드이펙터 상에 그려지거나, 형성되는 것이 바람직하다. 도8에서, 4개의 띠(stripe, 801-804)가 상기 툴의 상기 엔드이펙터 상에 그려져 있다. 또한, 4개의 선부분(line segment, 811-814)은 대응하는 띠를 가로질러 그려지고, 상기 툴의 축을 중심으로 90도 만큼 이격되어, 상기 툴이 상기 축을 중심으로 회전함에 따라, 그 회전은, 이 시점에서 상기 선부분 중 어느 것이 시야에 들어오는가에 따라 결정된다.
또한, 이와 유사하게, 도9에서는 4개의 띠(901-904)가 상기 툴의 엔드이펙터의 단부 상에 그려져 있다. 그러나, 이 경우에, 4개의 오목부(dimple, 911-914)가 이에 대응하는 띠에 형성되고, 상기 툴의 축을 중심으로 90도만큼 이격되어, 상기 툴이 상기 축을 중심으로 회전함에 따라, 그 회전은 이 시점에서 상기 오목부 중 어느 것이 시야에 들어오는가에 따라 결정된다.
도10은 툴 추적 방법의 컴퓨터 모델의 흐름도를 도시하고 있다. 이 방법의 다른 방법에 대한 장점은, 환경이 대체로 갖춰지지 않은(ustructured) 수술과정에서 흔히 마주치게 되는 부분 가림(partial occlusions)의 경우에도 일반적으로 더 확고하다는(robust) 것이다. 예컨대, 이러한 과정에서, 상기 툴은 조직, 혈액, 또는 연기에 의해 부분적으로 가려질 수 있고; 상기 툴은 관찰범위를 완전히 벗어날 수도 있고; 조명상태가 시간에 따라 급격하게 변화할 수도 있고; 일부분의 집중조명은 상기 툴의 정상적인 컬러를 왜곡시킬 수 있다. 상기 방법은 그 자체로 툴 추 적 목적으로 쓰일 수 있으며, 또한, 상기 시각 알고리즘 중 하나로서 도5를 참조하여 설명된 상기 칼만 필터로의 입력값으로 사용될 수도 있다.
1001 단계에서, 예컨대 공지의 컴퓨터 보조 디자인(computer-aided-design) 툴 및 기술을 이용하여, 상기 툴의 3차원 컴퓨터 모델이 생성된다. 그 후, 1002 단계에서는, 수술 부위의 3차원 공간 내에서의 상기 툴의 초기 위치 및 방향이, 예컨대 상기 과정 동안에 상기 툴을 조작하는데 사용되는 로봇 기구와 연계된 1개 이상의 엔코더에 의해 제공되는 운동학적 정보로부터 결정된다.
1003 단계에서, 이미지 정보의 프레임(frame)이 수술부위를 관찰하는 카메라 조립체로부터 수신된다. 이 경우, 상기 프레임은 상기 카메라 조립체에 의해 찍히는 상기 수술부위의 장면(scene)이나 스냅사진을 의미하는데, 상기 카메라 조립체는, 예를 들면, 단일의 카메라이거나(monoscopic) 눈금조정된 카메라 1쌍(입체식(stereoscopic))을 포함할 수 있다.
1004 단계에서, 상기 컴퓨터 모델을 상기 관찰범위(view) 상에 투영한 후에, 상기 수신된 프레임의 상기 2차원적 관찰범위 내에서 상기 컴퓨터 모델의 윤곽(silhouette)이 결정된다. 이 경우, 상기 윤곽은, 예를 들면, 상기 가장자리(edge)에 근접한 다각형과 면수직을(face-normal) 이루는 다각형(polygon)을 가지는 관찰 벡터(view-vector)의 내적(dot product)의 부호를 변화시키는 것에 의해 결정될 수 있다. 그 후, 1005 단계에서, 종래의 감춰진 라인 제거 기술 중 어느 한개를 이용하여, 윤곽 가장자리의 기본적인 세트가 처리되어(processed), 주어진 툴 배열(configuration)에서 감춰진 가장자리를 제거한다.
1006 단계에서, 예를 들면 종래의 가장자리 탐지 기술 중 어느 한개를 이용하여, 상기 수신된 이미지 정보의 프레임에서 가장자리/윤곽(contours)이 식별되거나, 상기 툴 이미지로부터 추출된다.
1007 단계에서, 상기 컴퓨터 모델의 윤곽이 상기 프레임 내에서의 툴 이미지의 가장자리와 비교되고, 수정된(modified) 윤곽과과 상기 툴 이미지의 탐지된 가장자리 사이의 차이가 최소화될 때까지 그 위치 및 방향이 수정된다. 예를 들면,질적 계량(quality metric)이 상기 이미지 정보로부터 추출된 툴 가장자리 픽셀과 그들의 가장 근접한 윤곽 가장자리 사이의 차이의 절대값의 합으로 정의되어, 상기 질적 계량이 최소가 되는 위치 및 방향을 찾기 위하여, 상기 윤곽의 위치 및 방향은 상기 이미지 내에서 다수의 위치 및 방향을 통하여 이동된다.
그 후, 1008 단계에서, 1007 단계에서 얻어진 상기 컴퓨터 모델의 수정된 위치 및 방향은 상기 툴 위치 및 방향의 현재의 추정값으로서 제공되고, 상기 방법은 다시 단계 1003으로 점프하여, 가용할 때에 후속의 이미지 정보의 프레임을 수신하여, 이를 상기 컴퓨터 모델의 초기 위치값으로서 전술한 바와 같이, 각 경우에 대하여 상기 컴퓨터 모델의 수정된 위치 및 방향을 이용하여, 1003 내지 1008 단계를 통하여 이를 처리한다.
본원 발명의 여러 특징을 선호되는 실시예와 관련하여 설명하였지만, 본원 발명은 첨부된 특허청구범위의 완전한 범위 내에서 그 완전한 보호를 받을 권리가 있다는 점은 이해될 것이다.

Claims (126)

  1. 툴이 신체에 있는 최소침습 절개부를 통하여 삽입되고 조작되는 동안에 생성된, 비내시경적으로 얻어진(non-endoscopically derived) 툴 상태 정보와 내시경으로부터(endoscopically) 얻어진 툴 상태 정보를 처리(processing)함으로써 상기 툴을 추적하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  2. 제1항에 있어서, 상기 비내시경적으로 얻어진 툴 상태 정보와 내시경으로부터 얻어진 툴 상태 정보의 처리는, 베이스 필터(Bayesian filter)를 사용하여 수행되는 것을 특징으로 하는 툴 추적방법.
  3. 제2항에 있어서, 상기 내시경으로부터 얻어진 툴 상태 정보는, 상기 비내시경적으로 얻어진 툴 상태 정보보다 더 작은 주파수로(less frequently) 상기 베이스 필터에 제공되는 것을 특징으로 하는 툴 추적방법.
  4. 제2항에 있어서, 상기 비내시경적으로 얻어진 툴 상태 정보는 연산을 위하여 상기 베이스 필터에 표본 추출 속도로(at sampling rate) 연속적으로 제공되고, 상기 내시경으로부터 얻어진 툴 상태 정보는 연산을 위하여 상기 베이스 필터에 불연속적으로 제공되는 것을 특징으로 하는 툴 추적방법.
  5. 제2항에 있어서, 상기 베이스 필터에는, 비내시경적으로 얻어진 툴 상태와 내시경으로부터 얻어진 툴 상태 사이의 평균 차이의 초기 추정값이 제공되는 것을 특징으로 하는 툴 추적방법.
  6. 제5항에 있어서, 상기 베이스 필터는, 상기 비내시경적으로 얻어진 툴 상태와 내시경으로부터 얻어진 툴 상태를 이용하여 상기 툴의 상태를 추정하는(estimate) 동안, 상기 비내시경적으로 얻어진 툴 상태와 내시경으로부터 얻어진 툴 상태 사이의 평균 차이의 추정값을 갱신하는(update) 것을 특징으로 하는 툴 추적방법.
  7. 제1항에 있어서, 상기 비내시경적으로 얻어진 툴 상태 정보는, 적어도 상기 툴의 고정 기준 프레임 내에서 위치를 지시하는 센서 데이터로부터 생성되는 것을 특징으로 하는 툴 추적방법.
  8. 제7항에 있어서, 상기 센서 데이터는, 상기 고정 기준 프레임 내에서 상기 툴의 방향(orientation)을 지시하는 것을 특징으로 하는 툴 추적방법.
  9. 제7항에 있어서, 상기 센서 데이터는 상기 신체 내의 상기 절개부를 통하여 상기 툴을 조작하기 위한 기구(mechanism)과 짝지어진(coupled) 위치 센서에 의해 제공되고, 상기 비내시경적으로 얻어진 툴 상태 정보는 상기 센서 데이터를 이용하 여 상기 기구의 운동학(kinematics)으로부터 생성되는 것을 특징으로 하는 툴 추적방법.
  10. 제9항에 있어서, 상기 비내시경적으로 얻어진 툴 상태 정보와 내시경으로부터 얻어진 툴 상태 정보의 처리는, 베이스 필터를 사용하여 수행되는 것을 특징으로 하는 툴 추적방법.
  11. 제11항에 있어서, 상기 비내시경적 및 내시경으로부터 얻어진 툴 상태 각각에 대하여 질적 척도(quality measure)가 얻어지고, 상기 질적 척도에 의하여 상기 비내시경적으로 및 내시경으로부터 얻어진 툴 상태 정보의 상기 베이스 필터에서의 기여도(contributions)의 가중치(weightings)가 결정되는 것을 특징으로 하는 툴 추적방법.
  12. 제11항에 있어서, 상기 비내시경적으로 얻어진 툴 상태에 대한 질적 척도는, 상기 센서 데이터에 의해 지시되는 고정 기준 프레임 내에서의 위치와, 상기 툴을 조작하기 위하여 로봇 기구를 제어하는 명령신호에 의해 지시되는 상기 고정 기준 프레임 내에서의 위치와의 차이로부터 결정되는 것을 특징으로 하는 툴 추적방법.
  13. 제11항에 있어서, 상기 센서 데이터는, 고정 기준 프레임 내에서의 상기 툴의 위치를 지시하는 신호를 감지하는 감지기에 의해 제공되는 것을 특징으로 하는 툴 추적방법.
  14. 제13항에 있어서, 상기 신호는 상기 툴로부터 발산되는 것을 특징으로 하는 툴 추적방법.
  15. 제13항에 있어서, 상기 신호는 상기 툴에 의해 반사되는 것을 특징으로 하는 툴 추적방법.
  16. 제11항에 있어서, 상기 센서 데이터는 상기 시간에 상기 툴이 조작되는 중인가를 결정하기 위하여 처리되고, 상기 시간에 상기 툴이 조작되는 중일 때에만 상기 내시경으로부터 얻어진 툴 상태의 처리가 수행되는 것을 특징으로 하는 툴 추적방법.
  17. 제1항에 있어서, 상기 비내시경적으로 얻어진 툴 상태 정보는, 상기 신체 밖으로 뻗어 있는 상기 툴의 한쪽 단부를 관찰하는 외부카메라로부터 유래하는 것을 특징으로 하는 툴 추적방법.
  18. 제1항에 있어서, 상기 내시경으로부터 얻어진 툴 상태 정보는, 상기 툴이 상기 신체에 있는 상기 최소침습 절개부를 통하여 삽입되어 조작되는 동안 상기 툴을 관찰하는 내시경에 의하여 제공된 이미지 데이터로부터 생성되는 것을 특징으로 하 는 툴 추적방법.
  19. 제18항에 있어서, 상기 내시경은 좌측 및 우측 이미지 평면을 제공하는 입체적인(stereoscopic) 내시경이고, 상기 내시경으로부터 얻어진 툴 상태 정보의 생성은, 적어도 상기 좌측 및 우측 이미지 평면의 정보를 처리함으로써 상기 내시경의 기준 프레임 내에서의 상기 툴의 위치를 결정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  20. 제19항에 있어서, 고정 기준 프레임 내에서의 상기 내시경의 위치를 결정하는 것과, 상기 내시경의 기준 프레임 내에서의 상기 툴의 위치 및 상기 고정 기준 프레임 내에서의 상기 내시경의 위치 정보로부터, 상기 고정 프레임 내에서의 상기 툴의 위치를 결정하는 것을 더 포함하는 것을 특징으로 하는 툴 추적방법.
  21. 제18항에 있어서, 상기 내시경으로부터 얻어진 툴 상태 정보의 생성은, 방향에 종속적인 툴 마커(marker)를 상기 이미지 데이터 내에서 식별하는 것과, 상기 이미지 데이터 내에 있는 상기 방향에 종속적인 툴 마커의 정보를 처리함으로써, 적어도 상기 툴의 방향의 내시경으로 얻어진 추정값을 결정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  22. 제18항에 있어서, 상기 비내시경적으로 얻어진 툴 상태 정보와 상기 내시경 으로부터 얻어진 툴 상태 정보의 처리는, 상기 비내시경적으로 얻어진 툴 상태 정보에 따라, 상기 이미지 데이터에 의하여 정의된 이미지 평면 내에 위치되고 방향잡힌(oriented) 상기 툴의 컴퓨터 모델을 생성하는 것; 및 상기 툴의 보정된(corrected) 위치 및 방향을 생성하기 위하여, 상기 컴퓨터 모델이 상기 툴의 이미지와 거의 중첩될 때까지 상기 컴퓨터 모델의 위치 및 방향을, 상기 이미지 평면 내의 상기 툴의 이미지에 대하여 수정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  23. 제22항에 있어서, 상기 컴퓨터 모델이 상기 툴의 이미지와 거의 중첩될 때까지 상기 컴퓨터 모델의 위치 및 방향을 상기 툴의 이미지에 대하여 수정하는 것은, 상기 컴퓨터 모델과 상기 툴의 이미지 사이의 차이를 최소화함으로써 상기 툴 이미지에 거의 중첩되는 상기 컴퓨터 모델의 수정된 위치 및 방향을 결정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  24. 제2항에 있어서, 상기 베이스 필터는 칼만 필터(Kalman filter)인 것을 특징으로 하는 툴 추적방법.
  25. 제24항에 있어서, 상기 칼만 필터는 확장된(extended) 칼만 필터인 것을 특징으로 하는 툴 추적방법.
  26. 제2항에 있어서, 상기 베이스필터는 파티클 필터(particle filter)인 것을 특징으로 하는 툴 추적방법.
  27. 툴이 신체 내에 있는 절개부를 통하여 삽입되는 때에 상기 툴의 위치 및 방향을 지시하는 센서 정보를 수신하는 것; 상기 툴에 대한 이미지 정보를 수신하는 것; 및 상기 센서 및 이미지 정보 모두를 사용하여 상기 툴의 위치 및 방향을 결정하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  28. 제27항에 있어서, 상기 센서 정보는, 상기 신체 내의 상기 절개부를 통과하여 상기 툴을 로봇식으로 조작하는데 사용되는 기구(mechanism)와 관련되는(associated with) 것을 특징으로 하는 툴 추적방법.
  29. 제28항에 있어서, 상기 기구는, 상기 툴을 조작하기 위한 로봇 암과, 그로부터 운동학적 정보가 도출되는, 상기 로봇 암의 운동과 관련된 데이터를 생성하는 복수의 센서를 포함하는 것을 특징으로 하는 툴 추적방법.
  30. 제27항에 있어서, 상기 이미지 정보는, 상기 툴이 상기 신체 내로 삽입되는 때에 상기 툴의 이미지를 캡쳐하기 위하여 상기 신체 내에 삽입된 1개 이상의 카메라에 의해 생성되는 것을 특징으로 하는 툴 추적방법.
  31. 제30항에 있어서, 상기 1개 이상의 카메라는 1개 이상의 내시경에 포함되는 것을 특징으로 하는 툴 추적방법.
  32. 제30항에 있어서, 상기 1개 이상의 카메라는, 입체적인 내시경에 포함되어 있는 2개의 카메라로 이루어지는 것을 특징으로 하는 툴 추적방법.
  33. 제27항에 있어서, 상기 이미지 정보는, 상기 툴의 일단부가 상기 신체 내로 삽입되는 때에, 상기 신체 밖으로 뻗어있는 상기 툴의 타단부의 이미지를 캡쳐하기 위한, 상기 신체의 외부에 있는 1개 이상의 카메라에 의해 생성되는 것을 특징으로 하는 툴 추적방법.
  34. 제27항에 있어서, 상기 툴의 위치 및 방향의 결정은, 상기 센서 정보로부터 고정 기준 프레임에 대한 상기 툴의 운동학적 추정(kinematic estimated) 위치 및 방향을 1개 이상 결정하는 것; 상기 이미지 정보로부터 카메라 기준 프레임에 대한 상기 툴의 이미지 추정 위치 및 방향을 1개 이상 결정하는 것; 상기 1개 이상의 상기 툴의 운동학적 추정 위치 및 방향을 상기 고정 기준 프레임으로부터 상기 카메라 기준 프레임으로 변위시키는 것(translating); 및 상기 카메라 기준 프레임에 대한 상기 툴의 위치 및 방향을 생성하기 위하여, 상기 1개 이상의 운동학적 및 상기 1개 이상의 이미지 추정 위치 및 방향을 처리하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  35. 제34항에 있어서, 상기 1개 이상의 운동학적 추정 위치 및 방향과, 상기 1개 이상의 이미지 추정 위치 및 방향을 처리하는 것은, 상기 1개 이상의 운동학적 및 상기 1개 이상의 이미지 추정 위치 및 방향을 베이스 필터에 제공하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  36. 제35항에 있어서, 상기 1개 이상의 이미지 추정 위치 및 방향은, 상기 1개 이상의 운동학적 추정 위치 및 방향보다 더 작은 주파수로 결정되는 것을 특징으로 하는 툴 추적방법.
  37. 제35항에 있어서, 상기 베이스 필터에는, 센서로부터 도출된 툴 상태와 이미지로부터 도출된 툴 상태의 평균적 차이의 초기 추정값(estimate)이 제공되는 것을 특징으로 하는 툴 추적방법.
  38. 제37항에 있어서, 상기 베이스 필터는, 상기 센서로부터 도출된 툴 상태와 상기 이미지로부터 도출된 툴 상태를 사용하여 상기 툴의 상태를 추정하는 동안, 센서로부터 도출된 툴 상태와 이미지로부터 도출된 툴 상태의 평균적 차이의 추정값을 갱신하는 것을 특징으로 하는 툴 추적방법.
  39. 제36항에 있어서, 상기 1개 이상의 운동학적 추정 위치 및 방향은, 상기 신 체에 있는 상기 절개부를 통과하여 상기 툴을 조작하기 위한 기구와 짝지어진 1개 이상의 센서에 의해 제공된 시간적으로 표본추출된 정보(time sampled information)로부터 도출되고, 상기 1개 이상의 이미지 추정 위치 및 방향은, 상기 툴의 이미지를 캡쳐하기 위한 1개 이상의 카메라에 의해 제공되는 표본추출된 이미지로부터 도출되는 것을 특징으로 하는 툴 추적방법.
  40. 제39항에 있어서, 상기 1개 이상의 운동학적 추정 위치 및 방향과, 상기 1개 이상의 이미지 추정 위치 및 방향 각각에 대하여 질적 척도가 도출되고, 상기 질적 척도에 의하여. 상기 1개 이상의 운동학적 추정 위치 및 방향과, 상기 1개 이상의 이미지 추정 위치 및 방향의 상기 베이스 필터에서의 기여도의 가중치가 결정되는 것을 특징으로 하는 툴 추적방법.
  41. 제40항에 있어서, 상기 1개 이상의 운동학적 추정 위치 및 방향에 대한 상기 질적 척도는, 상기 운동학적 추정 위치들 중 1개와 상기 툴을 조작하기 위하여 상기 기구를 제어하는 명령 신호에 의해 명령되는 위치와의 차이로부터 결정되는 것을 특징으로 하는 툴 추적방법.
  42. 제41항에 있어서, 상기 1개 이상의 카메라는, 상기 신체 내부로 뻗어있는 상기 툴의 일단부의 이미지를 캡쳐하기 위하여 상기 신체 내부에 위치된 내시경에 포함되는 것을 특징으로 하는 툴 추적방법.
  43. 제41항에 있어서, 상기 1개 이상의 카메라는 상기 신체 밖으로 뻗어있는 상기 툴의 일단부의 이미지를 캡쳐하기 위하여, 상기 신체의 외부에 위치되는 것을 특징으로 하는 툴 추적방법.
  44. 제37항에 있어서, 상기 베이스 필터는 칼만 필터인 것을 특징으로 하는 툴 추적방법.
  45. 제44항에 있어서, 상기 칼만 필터는 확장된 칼만 필터인 것을 특징으로 하는 툴 추적방법.
  46. 제37항에 있어서, 상기 베이스필터는 파티클 필터인 것을 특징으로 하는 툴 추적방법.
  47. 제27항에 있어서, 상기 툴의 위치 및 방향의 결정은, 상기 이미지 정보를 처리하여, 상기 툴 상의 마커를 식별하고, 상기 마커를 이용하여 상기 툴의 방향을 결정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  48. 제27항에 있어서, 상기 툴의 위치 및 방향의 결정은, 상기 센서 정보를 이용하여 상기 이미지 정보에 의해 정의되는 이미지 평면 내에서 위치되고 방향잡히도 록 상기 툴의 컴퓨터 모델을 생성하는 것; 및 상기 컴퓨터 모델이 상기 이미지와 실질적으로 중첩될 때까지 상기 컴퓨터 모델의 위치와 방향을 상기 툴의 이미지에 대하여 수정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  49. 제48항에 있어서, 상기 이미지 평면 내의 상기 컴퓨터 모델의 위치 및 방향은, 선행 시간의 이미지 평면에 대하여 결정된 상기 컴퓨터 모델의 수정된 위치 및 방향인 것을 특징으로 하는 툴 추적방법.
  50. 제48항에 있어서, 상기 이미지 평면 내의 상기 컴퓨터 모델의 위치 및 방향은, 적어도 상기 이미지 평면에 시간적으로 대응하는 상기 운동학적 정보로부터 도출되는 것을 특징으로 하는 툴 추적방법.
  51. 제49항에 있어서, 상기 이미지 정보는, 상기 신체 내로 삽입되는 상기 툴의 일단부의 이미지를 캡쳐하기 위하여 상기 신체 내에 삽입된 내시경에 의하여 생성되는 것을 특징으로 하는 툴 추적방법.
  52. 제51항에 있어서, 상기 내시경은 입체적인 내시경인 것을 특징으로 하는 툴 추적방법.
  53. 제49항에 있어서, 상기 이미지 정보는, 상기 툴의 일단부가 상기 신체 내로 삽입되는 때에 상기 신체의 밖으로 뻗어 있는 상기 툴의 타단부의 이미지를 캡쳐하기 위한, 상기 신체의 외부에 있는 1개 이상의 카메라에 의해 생성되는 것을 특징으로 하는 툴 추적방법.
  54. 데이터를 제공하는 1개 이상의 비내시경 장치로서, 상기 데이터로부터 신체에 있는 절개부를 통과하여 툴이 삽입되고 로봇조작되는 때에, 비내시경적으로 얻어진 툴 상태 정보가 생성되는 1개 이상의 비내시경 장치;
    이미지를 캡쳐하는 내시경으로서, 상기 이미지로부터 상기 툴이 신체 내로 삽입되는 때에 상기 신체 내의 영역에 대하여, 내시경적으로 얻어진 툴 상태 정보가 생성되는 이미지를 캡쳐하는 내시경; 및
    상기 툴 상태를 추적하기 위하여, 상기 비내시경적 및 내시경으로부터 얻어진 툴 상태 정보를 처리하도록 설정되어 있는 프로세서를 포함하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  55. 제54항에 있어서, 상기 내시경은 입체적인 내시경인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  56. 제54항에 있어서, 상기 신체에 있는 상기 절개부를 통과하여 상기 툴을 조작하기 위하여 사용되는 기구를 더 포함하고, 상기 1개 이상의 비내시경 장치는 상기 조작에 따라 운동학적 정보를 나타내는 센서데이터를 제공하기 위한 1개 이상의 센 서를 포함하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  57. 제56항에 있어서, 상기 센서데이터는, 상기 툴의 위치를 지시하기 위하여, 상기 툴로부터 발산되거나 상기 툴에 의해 반사된 식별가능한 신호의 디지털화된 샘플을 포함하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  58. 제54항에 있어서, 상기 1개 이사의 비내시경 장치는, 상기 신체의 외부로 뻗어있는 상기 툴의 일단부를 관찰하는 카메라를 포함하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  59. 제54항에 있어서, 상기 프로세서는, 상기 비내시경적으로 얻어진 툴 상태 정보로부터 1개 이상의 비내시경적 추정 툴 상태를 결정하고; 상기 내시경으로부터 얻어진 툴 상태 정보로부터 1개 이상의 내시경적 추정 툴 상태를 결정하고; 상기 툴의 상태를 생성하기 위하여 상기 1개 이상의 비내시경적 및 1개 이상의 내시경적 추정 툴 상태를 처리하여, 상기 툴의 상태를 추적하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  60. 제59항에 있어서, 상기 프로세서는, 상기 툴의 상태를 생성하기 위하여, 상 기 1개 이상의 비내시경적 및 1개 이상의 내시경적 추정 툴 상태를 처리하기 위하여 베이스 필터를 사용하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  61. 제60항에 있어서, 상기 베이스 필터는 칼만 필터인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  62. 제61항에 있어서, 상기 칼만 필터는 확장된 칼만 필터인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  63. 제60항에 있어서, 상기 베이스 필터는 파티크ㅍ 필터인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  64. 제54항에 있어서, 상기 프로세서는, 상기 내시경 캡쳐 이미지로부터 상기 툴 상의 마커를 식별하고, 상기 툴의 상태를 추적하는 동안 상기 마커를 이용하여 상기 툴의 방향을 결정하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  65. 제54항에 있어서, 상기 프로세서는, 상기 내시경 캡쳐 이미지 내에서 정의된 이미지 평면 내에 위치되고 방향잡힌 상기 툴의 컴퓨터 모델을 생성하고, 상기 컴 퓨터 모델이 상기 이미지와 실질적으로 중첩될 때까지 상기 컴퓨터 모델의 위치 및 방향을 상기 이미지 평면 내에서 상기 툴의 이미지에 대하여 수정하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  66. 제65항에 있어서, 상기 프로세서는, 선행 시간의 이미지 평면에 대하여 상기 프로세서에 의해 결정된 컴퓨터 모델의 수정된 위치 및 방향으로부터, 상기 컴퓨터 모델의 상기 이미지 평면 내에서의 위치 및 방향을 도출하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  67. 제65항에 있어서, 상기 프로세서는, 상기 이미지 평면에서의 상기 컴퓨터 모델의 위치 및 방향을, 적어도 상기 이미지 평면에 시간적으로 대응하는 상기 비내시경적으로 얻어진 툴 상태 정보로부터 도출하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  68. 데이터를 제공하는 1개 이상의 센서로서, 상기 데이터로부터 신체에 있는 절개부를 통과하여 툴이 삽입되고 로봇조작되는 때에, 상기 툴에 대한 비시각적으로(non-visually) 얻어진 툴 상태 정보가 생성되는 1개 이상의 센서;
    상기 툴이 신체 내로 삽입되는 때에 상기 툴의 이미지 정보를 캡쳐하는 1개 이상의 카메라; 및
    상기 툴 상태를 추적하기 위하여, 상기 비시각적으로 얻어진 툴 상태 정보와 상기 이미지 정보를 처리하도록 설정되어 있는 프로세서를 포함하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  69. 제68항에 있어서, 상기 신체에 있는 상기 절개부를 통과하여 상기 툴을 조작하기 위하여 사용되는 기구를 더 포함하고, 상기 센서 데이터는 상기 조작에 따라 운동학적 정보를 나타내는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  70. 제68항에 있어서, 상기 센서 데이터는, 상기 툴로부터 발산되거나 상기 툴에 의해 반사되고 상기 툴의 위치를 지시하는 식별가능한 신호의 디지털화된 샘플을 포함하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  71. 제68항에 있어서, 상기 1개 이상의 카메라는, 상기 신체 내로 삽입되는 상기 툴의 일단부를 관찰하도록 위치된 1개 이상의 내시경에 포함되는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  72. 제68항에 있어서, 상기 1개 이상의 카메라는, 상기 입체적인 내시경에 포함된 2개의 카메라로 이루어지는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  73. 제68항에 있어서, 상기 프로세서는, 상기 비시각적으로 얻어진 툴 상태 정보로부터 1개 이상의 비시각적 추정 툴 상태를 결정하고; 상기 이미지 정보로부터 1개 이상의 시각적 추정 툴 상태를 결정하고; 상기 툴의 상태를 생성하기 위하여, 상기 1개 이상의 비시각적 및 1개 이상의 시각적 추정 툴 상태를 처리함으로써, 상기 툴의 상태를 추적하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  74. 제73항에 있어서, 상기 프로세서는, 상기 비시각적 및 시각적 추정 툴 상태의 서로 대응하는 짝으로부터 에러 변환을 결정하고; 상기 에러 변환을 사용하여 후속의(subsequent) 시간에 대한, 상기 비시각적 및 시각적 추정 툴 상태 중 선택된 어느 한개를 보정함으로써 후속 시간에 대한 상기 툴의 상태를 생성하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  75. 제74항에 있어서, 상기 프로세서는, 연산을 위하여 상기 비시각적으로 얻어진 툴 상태 정보보다 더 작은 주파수로, 상기 이미지 정보를 수신하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  76. 제75항에 있어서, 상기 1개 이상의 비시각적 추정 상태는, 상기 1개 이상의 센서에 의해 제공되는 시간에 따라 표본추출된 정보로부터 도출되고, 상기 1개 이상의 시각 추정 상태는, 상기 1개 이상의 카메라에 의해 제공되는 시간에 따라 표본추출된 이미지로부터 도출되는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  77. 제75항에 있어서, 상기 프로세서는, 상기 툴의 상태를 생성하기 위하여, 상기 1개 이상의 비시각적 및 상기 1개 이상의 시각적 추정 상태를 처리하기 위하여 베이스 필터를 사용하도록 추가적으로 설정된 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  78. 제77항에 있어서, 상기 베이스 필터는 칼만 필터인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  79. 제78항에 있어서, 상기 칼만 필터는 확장된 칼만 필터인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  80. 제77항에 있어서, 상기 베이스 필터는 파티클 필터인 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  81. 제77항에 있어서, 상기 프로세서는, 연산을 위하여 상기 비시각적으로 얻어 진 툴 상태 정보보다 더 작은 주파수로 상기 이미지 정보를 수신하는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  82. 제81항에 있어서, 상기 1개 이상의 비시각적 추정 상태는, 상기 1개 이상의 센서에 의해 제공되는, 시간에 따라 표본추출된 정보로부터 도출되고, 상기 1개 이상의 시각 추정 상태는, 상기 1개 이상의 카메라에 의해 제공되는, 시간에 따라 표본추출된 이미지로부터 도출되는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  83. 제68항에 있어서, 상기 프로세서는, 상기 이미지 정보로부터 상기 툴 상의 마커를 식별하고, 툴 상태를 추적하는 동안 상기 마커를 이용하여 상기 툴의 방향을 결정하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  84. 제68항에 있어서, 상기 프로세서는, 상기 이미지 정보 내에서 정의된 이미지 평면 내에 위치되고 방향잡힌 상기 툴의 컴퓨터 모델을 생성하고, 상기 컴퓨터 모델이 상기 이미지와 실질적으로 중첩될 때까지 상기 컴퓨터 모델의 위치 및 방향을 상기 이미지 평면 내에서 상기 툴의 이미지에 대하여 수정하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  85. 제80항에 있어서, 상기 프로세서는, 선행 시간의 이미지 평면에 대하여 상기 프로세서에 의해 결정된 컴퓨터 모델의 수정된 위치 및 방향으로부터, 상기 컴퓨터 모델의 상기 이미지 평면 내에서의 위치 및 방향을 도출하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  86. 제84항에 있어서, 상기 프로세서는, 상기 이미지 평면에서의 상기 컴퓨터 모델의 위치 및 방향을, 적어도 상기 이미지 평면에 시간적으로 대응하는 상기 비시각적으로 얻어진 툴 상태 정보로부터 도출하도록 추가적으로 설정되어 있는 것을 특징으로 하는 툴 추적을 수행하는 최소침습 로봇 수술 시스템.
  87. 툴의 컴퓨터 모델을 결정하는 것;
    상기 툴의 관찰을 포함하는 캡쳐된 이미지를 수신하는 것;
    상기 캡쳐된 이미지로부터 상기 툴의 추정 위치 및 방향을 결정하고, 상기 컴퓨터 모델을 상기 캡쳐된 이미지와 관련하여(in reference to) 상기 추정 위치 및 방향으로 위치시키고 방향잡는 것(orienting); 및
    상기 캡쳐된 이미지에 대한 상기 툴의 추정 위치 및 방향을 보정하기 위하여, 상기 컴퓨터 모델이 상기 이미지와 거의 중첩될 때까지, 상기 컴퓨터 모델의 추정 위치 및 방향을 상기 캡쳐된 이미지 내에서 상기 툴의 이미지에 대하여 수정하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  88. 제87항에 있어서, 상기 컴퓨터 모델의 추정 위치 및 방향을 상기 캡쳐된 이미지 내에서 상기 툴의 이미지에 대하여 수정하는 것은, 상기 컴퓨터 모델과 상기 툴의 이미지 사이의 차이를 최소화시킴으로써 상기 툴 이미지와 거의 중첩되는 상기 컴퓨터 모델의 수정된 위치 및 방향을 결정하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  89. 제87항에 있어서, 상기 캡쳐된 이미지는, 상기 신체의 부위에 삽입된 입체 내시경에 의해 캡쳐되는 것을 특징으로 하는 툴 추적방법.
  90. 제87항에 있어서, 상기 툴의 컴퓨터 모델의 윤곽(silhouette)을 추출하는 것; 상기 캡쳐된 이미지 내에서 상기 툴의 이미지의 가장자리(edges)를 추출하는 것; 및 상기 캡쳐된 이미지 내에서 상기 컴퓨터 모델의 상기 윤곽이 상기 툴의 이미지의 가장자리와 거의 중첩될 때까지 상기 컴퓨터 모델의 윤곽을 위치시키고 회전시키는 것;을 더 포함하는 것을 특징으로 하는 툴 추적방법.
  91. 제90항에 있어서, 상기 컴퓨터 모델의 상기 윤곽이 상기 캡쳐된 이미지 내에서 상기 툴의 이미지의 가장자리와 거의 중첩될 때까지 상기 컴퓨터 모델의 상기 윤곽을 위치시키고(positioning) 회전시키기 전에, 상기 캡쳐된 이미지 내의 상기 툴의 이미지 내의 가려진 라인(hidden lines)에 대응하는 상기 툴의 컴퓨터 모델의 윤곽 내의 라인을 제거하는 것을 더 포함하는 것을 특징으로 하는 툴 추적방법.
  92. 제90항에 있어서, 상기 윤곽이 상기 캡쳐된 이미지 내에서 상기 툴의 이미지의 가장자리와 거의 중첩될 때까지 상기 컴퓨터 모델의 상기 윤곽을 위치시키고 회전시키는 것은, 상기 컴퓨터 모델의 윤곽과 상기 캡쳐된 이미지 내의 상기 툴의 이미지 사이의 차이를 결정하는 것; 및 상기 차이가 최소화될 때까지 상기 컴퓨터 모델의 윤곽을 위치시키고 회전시키는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  93. 제92항에 있어서, 상기 최소화되어야 하는 차이는, 상기 툴 이미지로부터 추출된 가장자리 픽셀과, 그들로부터 가장 근접한 상기 윤곽 가장자리 사이의 차이의 절대값의 합인 것을 특징으로 하는 툴 추적방법.
  94. 제92항에 있어서, 상기 툴이 삽입되는 상기 부위의 모습(view)은, 상기 부위에 삽입된 1개 이상의 카메라에 의해 픽셀의 그리드(grid of pixels)로서 캡쳐되는 것을 특징으로 하는 툴 추적방법.
  95. 어떤 시점에서 툴 상태를 지시하는 센서 데이터가 가용하지 여부를 결정하는 것;
    상기 시점에 대하여 상기 툴 상태를 지시하는 이미지 데이터가 가용한지 여부를 결정하는 것; 및
    상기 시점에서 양자 모두가 가용하다면 상기 센서 데이터 및 이미지 데이터 모두를 사용하여, 또는 상기 센서 데이터만이 가용하다면 상기 센서 데이터만을 사용하여, 또는 상기 이미지 데이터만이 가용하다면 상기 이미지 데이터만을 사용하여, 상기 툴 상태를 결정하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  96. 제95항에 있어서, 상기 시점에서 사용자가 상기 툴을 조작하는 중인지 여부를 결정하는 것; 및 상기 시점에서 상기 사용자가 상기 툴을 조작하는 중으로 결정된 경우에만 상기 센서 데이터 및 이미지 데이터의 가용성 결정을 수행하는 것;을 더 포함하는 것을 특징으로 하는 툴 추적방법.
  97. 제95항에 있어서, 상기 센서 데이터를 사용하여 이전 시간에 비하여 상기 툴의 상태가 변화되었는지 여부를 결정하는 것; 및 상기 툴의 상태가 변화되었다고 결정된 경우에만 상기 이미지 데이터 가용성 및 툴 상태 결정을 수행하는 것;을 더 포함하는 것을 특징으로 하는 툴 추적방법.
  98. 제95항에 있어서, 상기 센서 데이터에 의해 지시된 상기 툴 상태는, 고정 기준 프레임 내에서의 상기 툴의 위치 및 방향을 포함하는 것을 특징으로 하는 툴 추적방법.
  99. 제98항에 있어서, 상기 이미지 데이터는 카메라 유닛에 의해 생성되고, 상기 센서 데이터는 상기 고정 기준 프레임 내에서의 상기 카메라의 위치 및 방향을 추가적으로 지시하고, 상기 이미지 데이터에 의해 지시되는 상기 툴 상태는, 상기 카메라 유닛과 관련된 기준 프레임 내에서의 상기 툴의 위치 및 방향을 포함하는 것을 특징으로 하는 툴 추적방법.
  100. 제99항에 있어서, 상기 센서 데이터 및 상기 이미지 데이터를 이용하는 상기 툴 상태의 결정은, 상기 센서 데이터와 이미지 데이터 모두를 사용하는 때에 상기 툴 상태를 결정하기 전에, 상기 센서 데이터에 의해 지시되는 상기 툴의 위치 및 방향을 상기 고정 기준 프레임으로부터 상기 카메라 유닛과 관련된 기준프레임으로 변위시키는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  101. 어떤 시점에서의 툴 상태를 지시하는 제1센서 데이터를 사용하여, 상기 시점에서 지표(landmark)에 대한 제1 추정 툴 상태를 결정하는 것;
    상기 시점에서의 카메라 상태를 지시하는 제2센서 데이터를 사용하여, 상기 시점에서 지표에 대한 제2 추정 카메라 상태를 결정하는 것;
    상기 카메라에 의해 생성되고 상기 시점에서의 상기 툴 상태를 지시하는 이미지 데이터를 사용하여, 상기 시점에서 상기 카메라에 대한 제2추정 툴 상태를 결정하는 것;
    상기 제1 추정 툴 상태를 상기 지표를 대신하여 상기 카메라에 대하여(relative to the camera) 상대적으로 변위시키는 것; 및
    상기 변위된 제1 및 제2 추정 툴 상태 사이의 에러 변환으로서, 후속(subsequent) 시점에서 상기 툴 상태를 지시하는 이미지 데이터가 사용하지 않다면 상기 후속시점에서, 상기 에러변환을, 상기 지표를 대신하여 상기 카메라에 대하여 변위된, 상기 후속 시점에서 상기 툴 상태를 지시하는 센서데이터를 사용하여 결정된 제3 추정 툴 상태에 적용함으로써 상기 툴 상태가 결정되는, 상기 변위된 제1 및 제2 추정 툴 상태 사이의 에러변환을 연산하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  102. 제101항에 있어서, 상기 후속 시점에서 상기 툴 상태를 지시하는 상기 이미지 데이터가 가용한 경우에: 상기 카메라에 의해 생성되고 상기 후속 시점에서의 상기 툴 상태를 지시하는 이미지 데이터를 사용하여, 상기 후속시점에서 상키 카메라에 대한(relative to) 제4 추정 툴 상태를 결정하는 것; 및 상기 제4 추정 툴 상태를 상기 후속시점에서의 상기 툴 상태로 결정하는 것;을 더 포함하는 것을 특징으로 하는 툴 추적방법.
  103. 제102항에 있어서, 상기 후속시점에서 상기 툴 상태를 지시하는 상기 이미지 데이터가 가용한 경우에: 그 다음 다음(subsequent, subsequent) 시점에서 상기 툴 상태를 지시하는 이미지 데이터가 사용하지 않다면 상기 다음 다음 시점에서, 제2 에러변환을, 상기 지표를 대신하여 상기 카메라에 대하여 변위된, 상기 다음 다음 시점에서 상기 툴 상태를 지시하는 센서데이터를 사용하여 결정된 제5 추정 툴 상 태에 적용함으로써 상기 툴 상태가 결정되도록 하는, 상기 변위된 제3 및 제4 추정 툴 상태 사이의 상기 제2 에러변환을 연산하는 것을 포함하는 것을 특징으로 하는 툴 추적방법.
  104. 주어진 시간에서 툴에 대한 비내시경적으로 얻어진 추정 상태 정보를 결정하는 것;
    상기 주어진 시간에서 상기 툴에 대한 내시경으로부터 얻어진 추정 상태 정보를 결정하는 것; 및
    상기 툴에 대한 상기 비내시경적 및 내시경으로부터 얻어진 추정 상태를, 상기 툴의 최적 추정 상태를 생성하도록 설정된 베이스 필터에 제공하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  105. 제104항에 있어서, 상기 베이스 필터에는, 비내시경적으로 얻어진 툴 상태와 내시경으로부터 얻어진 툴 상태 사이의 평균적인 차이의 초기 추정값이 제공된느 것을 특징으로 하는 툴 추적방법.
  106. 제105항에 있어서, 상기 베이스 필터는, 상기 비내시경적으로 얻어진 툴 상태와 상기 내시경으로부터 얻어진 툴 상태를 이용하여 상기 툴 상태를 추정하는 동안, 상기 비내시경적으로 얻어진 툴 상태와 내시경으로부터 얻어진 툴 상태 사이의 평균적인 차이의 추정값을 갱신하는 것을 특징으로 하는 툴 추적방법.
  107. 제104항에 있어서, 상기 비내시경적으로 얻어진 추정 상태 정보는, 적어도 상기 주어진 시점에서 고정 기준 프레임에서의 상기 툴의 위치를 지시하는 센서 데이터로부터 생성되는 것을 특징으로 하는 툴 추적방법.
  108. 제107항에 있어서, 상기 내시경으로부터 얻어진 추정 상태 정보는, 상기 툴이 신체 내로 삽입되는 때에 상기 신체의 부위에 대한 이미지 정보를 캡쳐하는 1개 이상의 카메라로부터 수신되는 이미지 데이터로부터 생성되는 것을 특징으로 하는 툴 추적방법.
  109. 제104항에 있어서, 상기 베이스 필터는 칼만 필터인 것을 특징으로 하는 툴 추적방법.
  110. 제109항에 있어서, 상기 칼만 필터는 확장된 칼만 필터인 것을 특징으로 하는 툴 추적방법.
  111. 제104항에 있어서, 상기 베이스 필터는 파티클 필터인 것을 특징으로 하는 툴 추적방법.
  112. 툴을 관찰하는 카메라로부터 수신되는 이미지 데이터로부터 시각적으로 얻어 진 상태 정보를 생성하는 것;
    1 세트의 카메라 파라미터에 대한 초기값을 상기 시각적으로 얻어진 상태정보와 결합시킴으로써(by combining) 상태 벡터 정보를 생성하는 것; 및
    상기 툴 상태의 최적 추정값과 상기 카메라 파라미터의 세트에 대한 보정된 값을 생성하기 위하여, 상기 상태 벡터 정보를 베이스 필터에 제공하는 것;을 포함하는 것을 특징으로 하는 툴 추적 및 눈금조정(calibration) 방법.
  113. 제112항에 있어서,
    1개 이상의 센서로부터 수신되고, 상기 툴의 위치를 지시하는 정보를 포함하는 센서데이터로부터, 비시각적으로 얻어진 상태 정보를 생성하는 것; 및
    상기 비시각적으로 얻어진 상태 정보를, 상기 카메라 파라미터의 세트에 대한 초기값과 상기 시각적으로 얻어진 상태 정보와 결합시킴으로써, 상기 상태 벡터 정보를 생성하는 것;을 더 포함하는 것을 특징으로 하는 툴 추적 및 눈금조정 방법.
  114. 제113항에 있어서, 상기 카메라는 내시경인 것을 특징으로 하는 툴 추적 및 눈금조정 방법.
  115. 제113항에 있어서, 상기 1개 이상의 센서는, 신체 내의 최소침습 절개부를 통과하여 상기 툴을 조작하는데 사용되기 위한 로봇기구와 관련되는 것을 특징으로 하는 툴 추적 및 눈금조정 방법.
  116. 툴의 위치를 지시하는 센서 데이터로부터 생성된 비시각적으로 얻어진 상기 툴 상태 정보로부터, 고정 기준 프레임 내에서의 상기 툴의 위치를 결정하는 것;
    상기 툴을 관찰하는 동안 카메라에 의해 제공된 이미지 데이터로부터 생성된 시각적으로 얻어진 툴 상태 정보를 이용하여, 상기 카메라와 함께 이동가능한 카메라 프레임 내에서의 상기 툴의 위치를 결정하는 것; 및
    상기 고정 기준 프레임 내에서의 상기 툴의 위치와 상기 가동(moveable) 카메라 프레임 내에서의 상기 툴의 위치를 이용하여, 상기 고정 기준 프레임 내에서의 상기 카메라의 위치를 결정하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  117. 카메라의 위치를 지시하는 센서 데이터로부터 생성된 비시각적으로 얻어진 카메라 상태 정보로부터, 고정 기준 프레임 내에서의 상기 카메라의 위치를 결정하는 것;
    상기 툴을 관찰하는 동안 상기 카메라에 의해 제공된 이미지 데이터로부터 생성된 시각적으로 얻어진 툴 상태 정보를 이용하여, 상기 카메라와 함께 이동가능한 카메라 프레임 내에서의 상기 툴의 위치를 결정하는 것; 및
    상기 고정 기준 프레임 내에서의 상기 카메라의 위치와 상기 가동 카메라 프레임 내에서의 상기 툴의 위치를 이용하여, 상기 고정 기준 프레임 내에서의 상기 툴의 위치를 결정하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  118. 툴이 신체에 있는 절개부를 통과하여 삽입되어 조작되는 동안에, 복수의 시점에서의 각 시점에 대한 복수의 추정 툴 상태를 생성하는 것; 및
    베이스 기술(Bayesian techniques)을 이용하여 상기 복수의 추정 툴 상태를 처리함으로써, 상기 복수의 시점에서의 각 시점에 대한 최적의 추정 툴 상태를 결정하는 것;을 포함하는 것을 특징으로 하는 툴 추적방법.
  119. 제118항에 있어서, 상기 복수의 추정 툴 상태는, 상기 툴을 조작하기 위한 로봇기구와 관련되어 상기 로봇기구의 운동을 지시하는 센서 데이터만을 사용하여 결정되는 추정 툴 상태를 포함하는 것을 특징으로 하는 툴 추적방법.
  120. 제119항에 있어서, 상기 로봇기구는, 조인트와 링크기구를 포함하고, 상기 센서 데이터는 상기 조인트 및 링크기구의 운동을 지시하는 것을 특징으로 하는 툴 추적방법.
  121. 제118항에 있어서, 상기 복수의 추정 툴 상태는, 상기 툴과 관련되어 상기 툴의 위치를 지시하는 센서 데이터만을 사용하여 결정되는 추정 툴 상태를 포함하는 것을 특징으로 하는 툴 추적방법.
  122. 제121항에 있어서, 상기 센서 데이터는, 상기 툴의 방향을 추가적으로 지시하는 것을 특징으로 하는 툴 추적방법.
  123. 제118항에 있어서, 상기 복수의 추정 툴 상태는, 툴이 상기 신체에 있는 상기 절개부를 통과하여 삽입되고 조작되는 때에 상기 툴의 엔드이펙터를 관찰하도록 위치된 내시경에 의하여 생성된 이미지 데이터만을 이용하여 결정되는 추정 툴 상태를 포함하는 것을 특징으로 하는 툴 추적방법.
  124. 제118항에 있어서, 상기 복수의 추정 툴 상태는, 툴이 상기 신체에 있는 상기 절개부를 통과하여 삽입되고 조작되는 때에 상기 툴의 노출된 단부를 관찰하도록 위치된 외부 카메라에 의하여 생성된 이미지 데이터만을 이용하여 결정되는 추정 툴 상태를 포함하는 것을 특징으로 하는 툴 추적방법.
  125. 제118항에 있어서, 상기 베이스 기술은 칼만 필터링 기술인 것을 특징으로 하는 툴 추적방법.
  126. 제118항에 있어서, 상기 베이스 기술은, 파티클 필터링 기술인 것을 특징으로 하는 툴 추적방법.
KR1020077029372A 2005-05-16 2006-05-08 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템 KR101296215B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/130,471 US10555775B2 (en) 2005-05-16 2005-05-16 Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US11/130,471 2005-05-16
PCT/US2006/017832 WO2006124388A1 (en) 2005-05-16 2006-05-08 Methods and system for performing 3-d tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery

Publications (2)

Publication Number Publication Date
KR20080027256A true KR20080027256A (ko) 2008-03-26
KR101296215B1 KR101296215B1 (ko) 2013-08-13

Family

ID=36941988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077029372A KR101296215B1 (ko) 2005-05-16 2006-05-08 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템

Country Status (5)

Country Link
US (6) US10555775B2 (ko)
EP (9) EP3851021B1 (ko)
KR (1) KR101296215B1 (ko)
CN (3) CN103211563B (ko)
WO (1) WO2006124388A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004965B1 (ko) * 2009-08-28 2011-01-04 주식회사 이턴 수술용 로봇 및 그 세팅방법
KR20160022704A (ko) * 2014-08-20 2016-03-02 재단법인 아산사회복지재단 수술 내비게이션에 의해 수술도구를 표시하는 방법
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
US9437003B2 (en) 2012-10-24 2016-09-06 Samsung Electronics Co., Ltd. Method, apparatus, and system for correcting medical image according to patient's pose variation
KR101876386B1 (ko) * 2011-12-29 2018-07-11 삼성전자주식회사 의료용 로봇 시스템 및 그 제어 방법
KR20180084751A (ko) * 2015-09-18 2018-07-25 아우리스 서지컬 로보틱스, 인크. 관형 조직망의 탐색
KR20210018962A (ko) * 2012-09-26 2021-02-18 스트리커 코포레이션 광학 및 비광학 센서를 포함하는 네비게이션 시스템
WO2021260545A1 (en) * 2020-06-22 2021-12-30 Auris Health, Inc. Control scheme calibration for medical instruments

Families Citing this family (336)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8795332B2 (en) 2002-09-30 2014-08-05 Ethicon, Inc. Barbed sutures
US6241747B1 (en) 1993-05-03 2001-06-05 Quill Medical, Inc. Barbed Bodily tissue connector
US5931855A (en) 1997-05-21 1999-08-03 Frank Hoffman Surgical methods using one-way suture
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6626899B2 (en) 1999-06-25 2003-09-30 Nidus Medical, Llc Apparatus and methods for treating tissue
US7056331B2 (en) 2001-06-29 2006-06-06 Quill Medical, Inc. Suture method
US6848152B2 (en) 2001-08-31 2005-02-01 Quill Medical, Inc. Method of forming barbs on a suture and apparatus for performing same
US6773450B2 (en) 2002-08-09 2004-08-10 Quill Medical, Inc. Suture anchor and method
US8100940B2 (en) 2002-09-30 2012-01-24 Quill Medical, Inc. Barb configurations for barbed sutures
US20040088003A1 (en) 2002-09-30 2004-05-06 Leung Jeffrey C. Barbed suture in combination with surgical needle
US7624487B2 (en) 2003-05-13 2009-12-01 Quill Medical, Inc. Apparatus and method for forming barbs on a suture
US7974681B2 (en) * 2004-03-05 2011-07-05 Hansen Medical, Inc. Robotic catheter system
US7976539B2 (en) 2004-03-05 2011-07-12 Hansen Medical, Inc. System and method for denaturing and fixing collagenous tissue
WO2005112787A2 (en) 2004-05-14 2005-12-01 Quill Medical, Inc. Suture methods and devices
US8005537B2 (en) * 2004-07-19 2011-08-23 Hansen Medical, Inc. Robotically controlled intravascular tissue injection system
DE102004057933A1 (de) * 2004-12-01 2006-06-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und eine Vorrichtung zum Navigieren und Positionieren eines Gegenstands relativ zu einem Patienten
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US9492240B2 (en) * 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8971597B2 (en) 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US11259870B2 (en) 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP2289452A3 (en) 2005-06-06 2015-12-30 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US9266239B2 (en) * 2005-12-27 2016-02-23 Intuitive Surgical Operations, Inc. Constraint based control in a minimally invasive surgical apparatus
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US9636188B2 (en) * 2006-03-24 2017-05-02 Stryker Corporation System and method for 3-D tracking of surgical instrument in relation to patient body
CN104688327B (zh) * 2006-06-13 2017-06-09 直观外科手术操作公司 微创手术系统
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US10258425B2 (en) * 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US7702494B1 (en) * 2006-07-18 2010-04-20 Livermore Software Technology Corporation Method and system for prescribing rigid body orientations in finite element analysis
US7892165B2 (en) * 2006-10-23 2011-02-22 Hoya Corporation Camera calibration for endoscope navigation system
US20100067803A1 (en) * 2006-12-01 2010-03-18 Thomson Licensing Estimating a location of an object in an image
US9232959B2 (en) 2007-01-02 2016-01-12 Aquabeam, Llc Multi fluid tissue resection methods and devices
US20080167662A1 (en) * 2007-01-08 2008-07-10 Kurtz Anthony D Tactile feel apparatus for use with robotic operations
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
US7899226B2 (en) * 2007-04-03 2011-03-01 General Electric Company System and method of navigating an object in an imaged subject
US8915943B2 (en) 2007-04-13 2014-12-23 Ethicon, Inc. Self-retaining systems for surgical procedures
CA2684475C (en) * 2007-04-16 2016-01-12 Neuroarm Surgical Ltd. Frame mapping and force feedback methods, devices and systems
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
EP2197501B8 (en) 2007-09-27 2012-10-03 Ethicon, LLC Self-retaining sutures including tissue retainers having improved strength
WO2009045827A2 (en) * 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
US8916077B1 (en) 2007-12-19 2014-12-23 Ethicon, Inc. Self-retaining sutures with retainers formed from molten material
WO2009086172A2 (en) 2007-12-19 2009-07-09 Angiotech Pharmaceuticals, Inc. Self-retaining sutures with heat-contact mediated retainers
US8118834B1 (en) 2007-12-20 2012-02-21 Angiotech Pharmaceuticals, Inc. Composite self-retaining sutures and method
EP2242430B1 (en) 2008-01-30 2016-08-17 Ethicon, LLC Apparatus and method for forming self-retaining sutures
US8615856B1 (en) 2008-01-30 2013-12-31 Ethicon, Inc. Apparatus and method for forming self-retaining sutures
EP3533399A3 (en) 2008-02-21 2019-10-23 Ethicon LLC Method for elevating retainers on self-retaining sutures
US8216273B1 (en) 2008-02-25 2012-07-10 Ethicon, Inc. Self-retainers with supporting structures on a suture
US8641732B1 (en) 2008-02-26 2014-02-04 Ethicon, Inc. Self-retaining suture with variable dimension filament and method
EP2259742B1 (en) 2008-03-06 2020-01-01 AquaBeam LLC Tissue ablation and cautery with optical energy carried in fluid stream
JP2009240634A (ja) * 2008-03-31 2009-10-22 Olympus Corp 内視鏡装置
WO2009128062A2 (en) * 2008-04-15 2009-10-22 Navotek Medical Ltd. Hybrid medical device localization system
JP5619726B2 (ja) 2008-04-15 2014-11-05 エシコン・エルエルシーEthicon, LLC 双方向リテーナ又は一方向リテーナを持つ自己保持縫合材
US8961560B2 (en) 2008-05-16 2015-02-24 Ethicon, Inc. Bidirectional self-retaining sutures with laser-marked and/or non-laser marked indicia and methods
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US8359549B1 (en) * 2008-09-10 2013-01-22 Adobe Systems Incorporated Multiple-function user interactive tool for manipulating three-dimensional objects in a graphical user interface environment
GB2464092A (en) * 2008-09-25 2010-04-07 Prosurgics Ltd Surgical mechanism control system
EP3420923A1 (en) 2008-11-03 2019-01-02 Ethicon, LLC Length of self-retaining suture and device for using the same
US8594841B2 (en) * 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8374723B2 (en) * 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US10070849B2 (en) * 2009-02-20 2018-09-11 Covidien Lp Marking articulating direction for surgical instrument
US8223193B2 (en) 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
JP5517526B2 (ja) * 2009-08-27 2014-06-11 Ｎｔｎ株式会社 遠隔操作型アクチュエータの工具先端位置検出装置
US9814392B2 (en) 2009-10-30 2017-11-14 The Johns Hopkins University Visual tracking and annotaton of clinically important anatomical landmarks for surgical interventions
WO2011100110A1 (en) * 2010-02-11 2011-08-18 Intuitive Surgical Operations, Inc. Method and system for automatically maintaining an operator selected roll orientation at a distal tip of a robotic endoscope
US20110218550A1 (en) * 2010-03-08 2011-09-08 Tyco Healthcare Group Lp System and method for determining and adjusting positioning and orientation of a surgical device
JP5771598B2 (ja) * 2010-03-24 2015-09-02 オリンパス株式会社 内視鏡装置
US8842893B2 (en) * 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
WO2012169990A2 (en) 2010-05-04 2012-12-13 Pathfinder Therapeutics, Inc. System and method for abdominal surface matching using pseudo-features
US20130180966A1 (en) 2010-05-04 2013-07-18 Jeffrey M. Gross Laser cutting system and methods for creating self-retaining sutures
US8746252B2 (en) 2010-05-14 2014-06-10 Intuitive Surgical Operations, Inc. Surgical system sterile drape
DE102010029275A1 (de) 2010-05-25 2011-12-01 Siemens Aktiengesellschaft Verfahren zum Bewegen eines Instrumentenarms eines Laparoskopierobotors in einer vorgebbare Relativlage zu einem Trokar
EP2446806A4 (en) * 2010-05-31 2017-06-21 Olympus Corporation Endoscope shape detection device and method for detecting shape of inserted part of endoscope
CN102573603B (zh) * 2010-05-31 2015-05-13 奥林巴斯医疗株式会社 内窥镜形状检测装置及内窥镜的插入部的形状检测方法
EP3155978B1 (en) 2010-06-11 2022-04-13 Cilag GmbH International Suture delivery tools for endoscopic and robot-assisted surgery
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
EP2584965B1 (en) * 2010-06-28 2016-04-13 Koninklijke Philips N.V. Real-time quality control of em calibration
US8702592B2 (en) 2010-09-30 2014-04-22 David Allan Langlois System and method for inhibiting injury to a patient during laparoscopic surgery
US9342997B2 (en) 2010-10-29 2016-05-17 The University Of North Carolina At Chapel Hill Modular staged reality simulator
US9805625B2 (en) 2010-10-29 2017-10-31 KindHeart, Inc. Surgical simulation assembly
NZ706725A (en) 2010-11-03 2016-03-31 Tissuegen Inc Drug-eluting self-retaining sutures and methods relating thereto
WO2012059867A1 (en) 2010-11-05 2012-05-10 Koninklijke Philips Electronics N.V. Imaging apparatus for imaging an object
CA2817036C (en) 2010-11-09 2019-01-15 Ethicon, Llc Emergency self-retaining sutures and packaging
US9486189B2 (en) 2010-12-02 2016-11-08 Hitachi Aloka Medical, Ltd. Assembly for use with surgery system
US9439556B2 (en) * 2010-12-10 2016-09-13 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
EP2670291A4 (en) * 2011-02-04 2015-02-25 Penn State Res Found METHOD AND DEVICE FOR DETERMINING THE LOCATION OF AN ENDOSCOPE
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
US10631712B2 (en) * 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
JP6113666B2 (ja) 2011-02-15 2017-04-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ステープル又は血管シール器具におけるナイフ位置のインジケータ
KR101181613B1 (ko) * 2011-02-21 2012-09-10 윤상진 사용자 지정에 따라 결정되는 변위 정보에 기초하여 수술을 수행하는 수술용 로봇 시스템과 그 제어 방법
RU2659454C2 (ru) 2011-03-23 2018-07-02 ЭТИКОН ЭлЭлСи Самоудерживающиеся нити с регулируемой петлей
US9026247B2 (en) 2011-03-30 2015-05-05 University of Washington through its Center for Communication Motion and video capture for tracking and evaluating robotic surgery and associated systems and methods
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
CN102151179B (zh) * 2011-05-13 2012-07-04 南开大学 用于微创外科手术机器人的三维力传感器
US20130172931A1 (en) 2011-06-06 2013-07-04 Jeffrey M. Gross Methods and devices for soft palate tissue elevation procedures
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CN106913366B (zh) 2011-06-27 2021-02-26 内布拉斯加大学评议会 工具承载的追踪系统和计算机辅助外科方法
CA3082073C (en) 2011-07-11 2023-07-25 Board Of Regents Of The University Of Nebraska Robotic surgical devices, systems, and related methods
US9418442B2 (en) 2011-07-22 2016-08-16 The Trustees Of Columbia University In The City Of New York Tool tracking during surgical procedures
WO2013016251A2 (en) * 2011-07-28 2013-01-31 Alouani Ali T Image guided surgery trackers using multiple asynchronous sensors
KR20130015441A (ko) * 2011-08-03 2013-02-14 주식회사 이턴 수술용 로봇 시스템
JP6021353B2 (ja) * 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
CN104039251B (zh) 2011-10-26 2017-09-08 直观外科手术操作公司 具有整体的手术刀刀片的外科手术器械
CN103945783B (zh) 2011-11-15 2016-10-26 直观外科手术操作公司 具有收起的刀片的手术器械
KR101901961B1 (ko) * 2011-12-21 2018-09-28 한국전자통신연구원 부품을 인식하기 위한 장치 및 그 방법
EP2797543A2 (en) * 2011-12-27 2014-11-05 Koninklijke Philips N.V. Intra-operative quality monitoring of tracking systems
US9956042B2 (en) 2012-01-13 2018-05-01 Vanderbilt University Systems and methods for robot-assisted transurethral exploration and intervention
CN108606773B (zh) 2012-02-29 2020-08-11 普罗赛普特生物机器人公司 自动化图像引导的组织切除和处理
EP2836959A2 (en) * 2012-04-13 2015-02-18 Lightcraft Technology, LLC Hybrid precision tracking
US9539726B2 (en) * 2012-04-20 2017-01-10 Vanderbilt University Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots
US9549720B2 (en) 2012-04-20 2017-01-24 Vanderbilt University Robotic device for establishing access channel
US9687303B2 (en) 2012-04-20 2017-06-27 Vanderbilt University Dexterous wrists for surgical intervention
US10383765B2 (en) * 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
CA2871149C (en) 2012-05-01 2020-08-25 Board Of Regents Of The University Of Nebraska Single site robotic device and related systems and methods
JP6323974B2 (ja) * 2012-05-18 2018-05-16 オリンパス株式会社 手術支援装置
CN103456223A (zh) * 2012-06-01 2013-12-18 苏州敏行医学信息技术有限公司 基于力反馈的腹腔镜手术模拟系统
CN104272349B (zh) * 2012-06-20 2018-03-02 皇家飞利浦有限公司 多相机设备跟踪
US10350013B2 (en) * 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
JP2015526171A (ja) 2012-08-08 2015-09-10 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ ロボット手術用デバイス、システム及び関連の方法
US9413976B2 (en) * 2012-08-08 2016-08-09 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
US9851783B2 (en) * 2012-12-06 2017-12-26 International Business Machines Corporation Dynamic augmented reality media creation
JP6388596B2 (ja) 2012-12-13 2018-09-12 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． インターベンショナルシステム
US20140188440A1 (en) * 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
WO2014106275A1 (en) 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Surgical staple cartridge with enhanced knife clearance
JP6403695B2 (ja) 2013-02-14 2018-10-10 プロセプト バイオロボティクス コーポレイション アクアアブレーションアクアビーム眼科手術方法および装置
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
WO2014152418A1 (en) 2013-03-14 2014-09-25 Board Of Regents Of The University Of Nebraska Methods, systems, and devices relating to force control surgical systems
EP2969409B1 (en) * 2013-03-15 2024-05-01 Intuitive Surgical Operations, Inc. Inter-operative switching of tools in a robotic surgical system
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
AU2014233662B2 (en) * 2013-03-15 2019-01-17 Sri International Hyperdexterous surgical system
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
KR20140121581A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 수술 로봇 시스템
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
CA2918531A1 (en) 2013-07-17 2015-01-22 Board Of Regents Of The University Of Nebraska Robotic surgical devices, systems and related methods
JP6109001B2 (ja) * 2013-07-26 2017-04-05 オリンパス株式会社 医療用システムおよびその作動方法
CN103431832A (zh) * 2013-08-29 2013-12-11 田茂洲 —种手术腔镜摄像处理器纠正腔镜旋转保持正位成像装置
US9370372B2 (en) 2013-09-04 2016-06-21 Mcginley Engineered Solutions, Llc Drill bit penetration measurement systems and methods
AU2014346458B2 (en) 2013-11-08 2018-11-29 Mcginley Engineered Solutions, Llc Surgical saw with sensing technology for determining cut through of bone and depth of the saw blade during surgery
CN110074844B (zh) 2013-12-11 2023-02-17 柯惠Lp公司 用于机器人手术系统的腕组件及钳夹组件
JP6218631B2 (ja) * 2014-02-18 2017-10-25 オリンパス株式会社 マニピュレータ装置の作動方法
CA2935506A1 (en) 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
EP2910187B1 (en) * 2014-02-24 2018-04-11 Université de Strasbourg (Etablissement Public National à Caractère Scientifique, Culturel et Professionnel) Automatic multimodal real-time tracking of a moving marker for image plane alignment inside a MRI scanner
CN103815972A (zh) * 2014-02-26 2014-05-28 上海齐正微电子有限公司 腹胸腔镜的手术区域自动跟踪系统及方法
JP6270537B2 (ja) * 2014-02-27 2018-01-31 オリンパス株式会社 医療用システム
KR102585602B1 (ko) * 2014-03-19 2023-10-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
CN106659541B (zh) 2014-03-19 2019-08-16 直观外科手术操作公司 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
KR20150128049A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법
USD779678S1 (en) 2014-07-24 2017-02-21 KindHeart, Inc. Surgical tray
WO2016036756A1 (en) 2014-09-05 2016-03-10 Mcginley Engineered Solutions, Llc Instrument leading edge measurement system and method
KR101638477B1 (ko) * 2014-09-19 2016-07-11 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
WO2016054256A1 (en) 2014-09-30 2016-04-07 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014222293A1 (de) * 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
US10016551B2 (en) * 2014-12-18 2018-07-10 Gambro Lundia Ab Method of displaying a predicted state, medical apparatus and computer program
JP2016131276A (ja) * 2015-01-13 2016-07-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
WO2016133633A1 (en) 2015-02-19 2016-08-25 Covidien Lp Repositioning method of input device for robotic surgical system
WO2016144937A1 (en) 2015-03-10 2016-09-15 Covidien Lp Measuring health of a connector member of a robotic surgical system
CN112274250A (zh) 2015-03-17 2021-01-29 直观外科手术操作公司 用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CN114795471A (zh) 2015-04-06 2022-07-29 直观外科手术操作公司 在图像引导的外科手术中的配准补偿的系统和方法
US20160314716A1 (en) 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using remote surgery station and party conferencing and associated methods
DE102015109371A1 (de) * 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie
US10779897B2 (en) 2015-06-23 2020-09-22 Covidien Lp Robotic surgical assemblies
US10898271B2 (en) * 2015-06-29 2021-01-26 Medtronic Navigation, Inc. Method and apparatus for identification of multiple navigated instruments
WO2017012624A1 (en) 2015-07-21 2017-01-26 3Dintegrated Aps Cannula assembly kit, trocar assembly kit, sleeve assembly, minimally invasive surgery system and method therefor
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
CA2994823A1 (en) 2015-08-03 2017-02-09 Board Of Regents Of The University Of Nebraska Robotic surgical devices, systems and related methods
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
US10198969B2 (en) 2015-09-16 2019-02-05 KindHeart, Inc. Surgical simulation system and associated methods
EP4252674A3 (en) 2015-09-25 2024-03-20 Covidien LP Robotic surgical assemblies and instrument drive connectors thereof
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US10058393B2 (en) 2015-10-21 2018-08-28 P Tech, Llc Systems and methods for navigation and visualization
WO2017075044A1 (en) 2015-10-27 2017-05-04 Mcginley Engineered Solutions, Llc Unicortical path detection for a surgical depth measurement system
EP3367940B1 (en) 2015-10-27 2020-02-19 McGinley Engineered Solutions LLC Instruments for placement of orthopedic implants relative to bone features
US10321920B2 (en) 2015-11-06 2019-06-18 Mcginley Engineered Solutions, Llc Measurement system for use with surgical burr instrument
US11058386B2 (en) * 2015-11-16 2021-07-13 Canon Medical Systems Corporation X-ray diagnosis apparatus and medical image diagnosis system for specifying a device being currently operated
JP6945293B2 (ja) * 2015-11-16 2021-10-06 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置および医用画像診断システム
CN108348297B (zh) 2015-11-19 2021-08-31 柯惠Lp公司 用于机器人手术系统的光学力传感器
KR102430277B1 (ko) * 2015-11-27 2022-08-09 큐렉소 주식회사 정형외과 수술용 마커 위치 확인 시스템 및 그 확인 방법
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
EP3414686A4 (en) * 2015-12-07 2019-11-20 M.S.T. Medical Surgery Technologies Ltd. AUTOMATIC DETECTION OF MALFUNCTION IN SURGICAL TOOLS
WO2017102761A1 (en) * 2015-12-14 2017-06-22 Koninklijke Philips N.V. System and method for medical device tracking
US10863959B2 (en) * 2015-12-21 2020-12-15 Canon Medical Systems Corporation X-ray CT apparatus
CN105411681B (zh) * 2015-12-22 2018-07-03 哈尔滨工业大学 分体式微创手术机器人的手眼协调控制系统及方法
CN108472090B (zh) * 2015-12-29 2021-06-18 皇家飞利浦有限公司 用于控制外科手术机器人的系统、控制单元和方法
JP6944939B2 (ja) 2015-12-31 2021-10-06 ストライカー・コーポレイション 仮想オブジェクトにより規定される患者の標的部位に対して外科手術を行うシステムおよび方法
US9949798B2 (en) * 2016-01-06 2018-04-24 Ethicon Endo-Surgery, Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10154886B2 (en) 2016-01-06 2018-12-18 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10219868B2 (en) 2016-01-06 2019-03-05 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
JPWO2017130567A1 (ja) * 2016-01-25 2018-11-22 ソニー株式会社 医療用安全制御装置、医療用安全制御方法、及び医療用支援システム
WO2017173524A1 (en) 2016-04-07 2017-10-12 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
WO2017189317A1 (en) 2016-04-26 2017-11-02 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and an animating device
WO2017201310A1 (en) 2016-05-18 2017-11-23 Virtual Incision Corporation Robotic surgicla devices, systems and related methods
CN113180835A (zh) 2016-06-03 2021-07-30 柯惠Lp公司 用于机器人手术系统的控制臂
CN109275333B (zh) * 2016-06-03 2022-05-17 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
WO2018013198A1 (en) * 2016-07-14 2018-01-18 Intuitive Surgical Operations, Inc. Systems and methods for displaying an instrument navigator in a teleoperational system
US10413373B2 (en) * 2016-08-16 2019-09-17 Ethicon, Llc Robotic visualization and collision avoidance
KR101715026B1 (ko) * 2016-08-26 2017-03-13 (주)미래컴퍼니 수술 로봇 시스템 및 그 동작 제한 방법
WO2018059838A1 (en) * 2016-09-27 2018-04-05 Brainlab Ag Efficient positioning of a mechatronic arm
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
CN110248583B (zh) 2016-12-02 2021-12-31 范德比尔特大学 带有连续体操作器的可操纵内窥镜
AU2017378250B2 (en) 2016-12-16 2023-09-28 Mako Surgical Corp. Techniques for detecting errors or loss of accuracy in a surgical robotic system
WO2018112025A1 (en) 2016-12-16 2018-06-21 Mako Surgical Corp. Techniques for modifying tool operation in a surgical robotic system based on comparing actual and commanded states of the tool relative to a surgical site
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
CN110139619A (zh) 2017-02-15 2019-08-16 柯惠Lp公司 用于医疗机器人应用的防挤压系统和设备
US10813710B2 (en) 2017-03-02 2020-10-27 KindHeart, Inc. Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station
KR101892631B1 (ko) 2017-03-06 2018-08-28 한국과학기술연구원 2차원 영상 기반의 수술도구 3차원 위치 추적 장치 및 방법
KR102558061B1 (ko) 2017-03-31 2023-07-25 아우리스 헬스, 인코포레이티드 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
US11779192B2 (en) * 2017-05-03 2023-10-10 Covidien Lp Medical image viewer control from surgeon's camera
KR102695556B1 (ko) 2017-05-12 2024-08-20 아우리스 헬스, 인코포레이티드 생검 장치 및 시스템
EP3629979A4 (en) 2017-05-24 2021-02-17 Covidien LP PRESENCE DETECTION FOR ELECTROSURGICAL TOOLS IN A ROBOTIC SYSTEM
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
WO2018217431A1 (en) 2017-05-25 2018-11-29 Covidien Lp Robotic surgical system with automated guidance
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7130682B2 (ja) 2017-06-28 2022-09-05 オーリス ヘルス インコーポレイテッド 器具挿入補償
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
CN110809452B (zh) 2017-06-28 2023-05-23 奥瑞斯健康公司 电磁场发生器对准
CN117503384A (zh) 2017-06-28 2024-02-06 直观外科手术操作公司 用于将内窥镜图像数据集映射到三维体积上的系统
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
CN107517372B (zh) * 2017-08-17 2022-07-26 腾讯科技（深圳）有限公司 一种vr内容拍摄方法、相关设备及系统
US10772703B2 (en) 2017-08-25 2020-09-15 Titan Medical Inc. Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure
EP3672501B1 (en) 2017-08-25 2023-06-14 McGinley Engineered Solutions, LLC Sensing of surgical instrument placement relative to anatomic structures
US11628022B2 (en) 2017-09-05 2023-04-18 Covidien Lp Collision handling algorithms for robotic surgical systems
US10967504B2 (en) 2017-09-13 2021-04-06 Vanderbilt University Continuum robots with multi-scale motion through equilibrium modulation
CA3076625A1 (en) * 2017-09-27 2019-04-04 Virtual Incision Corporation Robotic surgical devices with tracking camera technology and related systems and methods
WO2019070729A1 (en) 2017-10-02 2019-04-11 Mcginley Engineered Solutions, Llc SURGICAL INSTRUMENT FOR AIDING REAL-TIME NAVIGATION
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US10555778B2 (en) * 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
JP7442444B2 (ja) 2017-11-07 2024-03-04 コーニンクレッカ フィリップス エヌ ヴェ 装置の拡張現実起動
KR102583530B1 (ko) 2017-11-16 2023-10-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작을 위한 마스터/슬레이브 정합 및 제어
WO2019103954A1 (en) 2017-11-21 2019-05-31 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
WO2019106711A1 (ja) * 2017-11-28 2019-06-06 オリンパス株式会社 医療システムおよび医療システムの作動方法
AU2018380139B2 (en) 2017-12-06 2024-01-25 Auris Health, Inc. Systems and methods to correct for uncommanded instrument roll
JP7322026B2 (ja) 2017-12-14 2023-08-07 オーリス ヘルス インコーポレイテッド 器具の位置推定のシステムおよび方法
WO2019125964A1 (en) 2017-12-18 2019-06-27 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
CN108158634A (zh) * 2017-12-28 2018-06-15 姚春龙 一种可超声致动的外科刀
WO2019136062A1 (en) 2018-01-04 2019-07-11 Covidien Lp Systems and assemblies for mounting a surgical accessory to robotic surgical systems, and providing access therethrough
WO2019136360A1 (en) 2018-01-05 2019-07-11 Board Of Regents Of The University Of Nebraska Single-arm robotic device with compact joint design and related systems and methods
EP3737326A4 (en) 2018-01-10 2021-12-29 Covidien LP Determining positions and conditions of tools of a robotic surgical system utilizing computer vision
KR102690164B1 (ko) 2018-02-13 2024-08-02 아우리스 헬스, 인코포레이티드 의료 기구를 구동시키기 위한 시스템 및 방법
US10881472B2 (en) 2018-02-20 2021-01-05 Verb Surgical Inc. Correcting a robotic surgery user interface device tracking input
US10856942B2 (en) * 2018-03-02 2020-12-08 Ethicon Llc System and method for closed-loop surgical tool homing
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
JP7071045B2 (ja) 2018-04-20 2022-05-18 コヴィディエン リミテッド パートナーシップ 外科用ロボットカートの配置のためのシステムおよび方法
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019231895A1 (en) * 2018-05-30 2019-12-05 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
EP3801348B1 (en) 2018-05-31 2024-05-01 Auris Health, Inc. Image-based airway analysis and mapping
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
WO2019231990A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Robotic systems and methods for navigation of luminal network that detect physiological noise
US11576739B2 (en) 2018-07-03 2023-02-14 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US11291507B2 (en) 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
CN109044530A (zh) * 2018-07-17 2018-12-21 哈尔滨理工大学 一种前列腺手术机器人的多模态感知系统及数据融合方法
US10413364B1 (en) 2018-08-08 2019-09-17 Sony Corporation Internal organ localization of a subject for providing assistance during surgery
GB2576574B (en) * 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream
EP3852667A4 (en) 2018-09-17 2022-06-15 Covidien LP SURGICAL ROBOTIC SYSTEMS
US12076100B2 (en) 2018-09-28 2024-09-03 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
KR20210073542A (ko) 2018-09-28 2021-06-18 아우리스 헬스, 인코포레이티드 의료 기구를 도킹시키기 위한 시스템 및 방법
EP3870409A1 (en) 2018-10-22 2021-09-01 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN109559329B (zh) * 2018-11-28 2023-04-07 陕西师范大学 一种基于深度去噪自动编码器的粒子滤波跟踪方法
CN113853151A (zh) * 2018-12-28 2021-12-28 艾科缇弗外科公司 用于在手术期间定向远程相机的用户界面元件
CN114302665A (zh) 2019-01-07 2022-04-08 虚拟切割有限公司 机器人辅助手术系统以及相关装置和方法
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
CN111588464B (zh) * 2019-02-20 2022-03-04 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
EP3930615A1 (en) * 2019-02-28 2022-01-05 Koninklijke Philips N.V. Feedforward continuous positioning control of end-effectors
EP3962396A1 (en) * 2019-04-29 2022-03-09 Smith&Nephew, Inc. Multi-level positional tracking
WO2020223569A1 (en) 2019-05-01 2020-11-05 Intuitive Surgical Operations, Inc. System and method for integrated motion with an imaging device
CN114007521A (zh) * 2019-06-26 2022-02-01 奥瑞斯健康公司 用于机器人臂对准和对接的系统和方法
WO2021011239A1 (en) * 2019-07-12 2021-01-21 Neuralink Corp. Optical coherence tomography for robotic brain surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11529180B2 (en) 2019-08-16 2022-12-20 Mcginley Engineered Solutions, Llc Reversible pin driver
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
EP4025921A4 (en) 2019-09-03 2023-09-06 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION AND COMPENSATION
US11229494B2 (en) * 2019-10-24 2022-01-25 Verb Surgical Inc. Regulating joint space velocity of a surgical robotic arm
EP4051160A4 (en) * 2019-11-01 2023-11-29 True Digital Surgery ROBOTIC SURGICAL NAVIGATION USING A PROPRIOCEPTIVE DIGITAL SURGICAL STEREOSCOPIC CAMERA SYSTEM
US11625834B2 (en) * 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision
JP7023450B2 (ja) 2019-12-12 2022-02-22 株式会社Mujin カメラによって生成される画像情報に基づいて、動作計画を実行する方法および計算システム
US20230056943A1 (en) * 2019-12-13 2023-02-23 Dinesh Vyas Stapler apparatus and methods for use
US20220008068A1 (en) * 2019-12-13 2022-01-13 Dinesh Vyas Stapler apparatus and methods for use
US11589864B2 (en) 2019-12-13 2023-02-28 Dinesh Vyas Stapler apparatus and methods for use
CN110897719B (zh) * 2019-12-16 2020-10-27 福州中康信息科技有限公司 一种医疗手术机器人控制系统
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11660147B2 (en) 2019-12-31 2023-05-30 Auris Health, Inc. Alignment techniques for percutaneous access
WO2021137072A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Anatomical feature identification and targeting
CN118383870A (zh) 2019-12-31 2024-07-26 奥瑞斯健康公司 用于经皮进入的对准界面
WO2021176550A1 (ja) * 2020-03-03 2021-09-10 オリンパス株式会社 外科手術システムおよび外科手術方法
US20220005226A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Camera calibration using measured motion
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
DE102020211507A1 (de) * 2020-09-14 2022-03-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bewerten einer Kamerakalibrierung
US20220104887A1 (en) * 2020-10-06 2022-04-07 Asensus Surgical Us, Inc. Surgical record creation using computer recognition of surgical events
US20220241032A1 (en) * 2021-02-01 2022-08-04 Mazor Robotics Ltd. Multi-arm robotic systems and methods for identifying a target
WO2022178031A1 (en) * 2021-02-18 2022-08-25 Canon U.S.A., Inc. Continuum robot apparatus, method, and medium
WO2022182836A1 (en) * 2021-02-24 2022-09-01 Vicarious Surgical Inc. System and method for autofocusing of a camera assembly of a surgical robotic system
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230015238A1 (en) * 2021-07-16 2023-01-19 Bright Machines, Inc. Method and Apparatus for Vision-Based Tool Localization
US11937799B2 (en) * 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US20230096268A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US20230100698A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
CN114099005B (zh) * 2021-11-24 2023-09-15 重庆金山医疗机器人有限公司 器械是否在视野内、是否被遮挡的判断法及能量显示方法
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
CN115521864A (zh) * 2022-11-29 2022-12-27 季华实验室 一种远程操作的力反馈自适应显微操作仪

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209852A (en) * 1974-11-11 1980-06-24 Hyatt Gilbert P Signal processing and memory arrangement
US3740779A (en) * 1971-11-26 1973-06-26 Leveen H Surgical device
US4312363A (en) 1980-02-26 1982-01-26 Senco Products, Inc. Surgical tissue thickness measuring instrument
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US4614366A (en) * 1983-11-18 1986-09-30 Exactident, Inc. Nail identification wafer
US4754415A (en) * 1984-10-12 1988-06-28 Diffracto Ltd. Robotic alignment and part simulation
US5078140A (en) * 1986-05-08 1992-01-07 Kwoh Yik S Imaging device - aided robotic stereotaxis system
US4725965A (en) 1986-07-23 1988-02-16 American Telephone And Telegraph Company Method for calibrating a SCARA robot
US4922909A (en) 1987-07-17 1990-05-08 Little James H Video monitoring and reapposition monitoring apparatus and methods
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
US4826391A (en) * 1988-02-23 1989-05-02 The University Of British Columbia Manipulator arm position sensing
JP2698660B2 (ja) * 1989-06-12 1998-01-19 株式会社日立製作所 マニピュレータの制御方法及び制御装置並びにマニピュレータ装置
FR2660185B1 (fr) 1990-03-30 1998-04-17 Medirand Inc Systeme et procede destines a indiquer une position devant etre operee dans le corps d'un patient.
US5086401A (en) * 1990-05-11 1992-02-04 International Business Machines Corporation Image-directed robotic system for precise robotic surgery including redundant consistency checking
DE69112538T2 (de) 1990-07-31 1996-03-21 Faro Medical Technologies Us I Computerunterstützte chirurgische Vorrichtung.
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5603318A (en) * 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US7074179B2 (en) * 1992-08-10 2006-07-11 Intuitive Surgical Inc Method and apparatus for performing minimally invasive cardiac procedures
US5657429A (en) 1992-08-10 1997-08-12 Computer Motion, Inc. Automated endoscope system optimal positioning
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
GB9306449D0 (en) * 1993-03-29 1993-05-19 Nat Heart Research Fund Tissue equivalents
EP0699053B1 (en) * 1993-05-14 1999-03-17 Sri International Surgical apparatus
US5803089A (en) * 1994-09-15 1998-09-08 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
US5836869A (en) 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
US6690963B2 (en) * 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
JP3539645B2 (ja) 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US5797849A (en) * 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6122541A (en) 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
DE19529950C1 (de) * 1995-08-14 1996-11-14 Deutsche Forsch Luft Raumfahrt Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie
DE69726576T2 (de) * 1996-02-15 2004-10-14 Biosense, Inc., Miami Probe zur Ortsmarkierung
US5797900A (en) * 1996-05-20 1998-08-25 Intuitive Surgical, Inc. Wrist mechanism for surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
AU3880397A (en) * 1996-07-11 1998-02-09 Board Of Trustees Of The Leland Stanford Junior University High-speed inter-modality image registration via iterative feature matching
US5950201A (en) * 1996-12-06 1999-09-07 International Business Machines Corporation Computerized design automation method using a single logical PFVL paradigm
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6132368A (en) * 1996-12-12 2000-10-17 Intuitive Surgical, Inc. Multi-component telepresence system and method
US6434507B1 (en) 1997-09-05 2002-08-13 Surgical Navigation Technologies, Inc. Medical instrument and method for use with computer-assisted image guided surgery
US6714839B2 (en) * 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
US5978696A (en) * 1997-10-06 1999-11-02 General Electric Company Real-time image-guided placement of anchor devices
US20030163142A1 (en) * 1997-11-27 2003-08-28 Yoav Paltieli System and method for guiding the movements of a device to a target particularly for medical applications
AU743966B2 (en) 1998-01-22 2002-02-14 Biosense, Inc. Intrabody measurement
AU2475799A (en) 1998-01-28 1999-08-16 Eric R. Cosman Optical object tracking system
US6529765B1 (en) * 1998-04-21 2003-03-04 Neutar L.L.C. Instrumented and actuated guidance fixture for sterotactic surgery
ATE272365T1 (de) * 1998-05-28 2004-08-15 Orthosoft Inc Interaktives und rechnerunterstüztes chirurgisches system
US6425865B1 (en) * 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
US6226003B1 (en) * 1998-08-11 2001-05-01 Silicon Graphics, Inc. Method for rendering silhouette and true edges of 3-D line drawings with occlusion
US5959425A (en) * 1998-10-15 1999-09-28 Fanuc Robotics North America, Inc. Vision guided automatic robotic path teaching method
WO2000025185A1 (en) * 1998-10-27 2000-05-04 Irobotics, Inc. Robotic process planning using templates
JP4101951B2 (ja) * 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
US6665554B1 (en) 1998-11-18 2003-12-16 Steve T. Charles Medical manipulator for use with an imaging device
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6398726B1 (en) * 1998-11-20 2002-06-04 Intuitive Surgical, Inc. Stabilizer for robotic beating-heart surgery
EP1150601B1 (en) 1998-11-20 2009-08-19 Intuitive Surgical, Inc. System for performing cardiac surgery without cardioplegia
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6770081B1 (en) * 2000-01-07 2004-08-03 Intuitive Surgical, Inc. In vivo accessories for minimally invasive robotic surgery and methods
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6799065B1 (en) * 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6161296A (en) * 1998-12-21 2000-12-19 Davio; John Leon Thomas Joseph Alignment device for use in welding
AU3350400A (en) * 1999-01-29 2000-08-18 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
US6285902B1 (en) * 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
US6470207B1 (en) * 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
WO2000057767A2 (en) 1999-03-31 2000-10-05 Ultraguide Ltd. Apparatus and methods for medical diagnostic and for medical guided interventions and therapy
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6817972B2 (en) * 1999-10-01 2004-11-16 Computer Motion, Inc. Heart stabilizer
US6235038B1 (en) * 1999-10-28 2001-05-22 Medtronic Surgical Navigation Technologies System for translation of electromagnetic and optical localization systems
DE19961971B4 (de) 1999-12-22 2009-10-22 Forschungszentrum Karlsruhe Gmbh Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
US7689014B2 (en) 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US6725080B2 (en) * 2000-03-01 2004-04-20 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
US7819799B2 (en) * 2000-03-16 2010-10-26 Immersion Medical, Inc. System and method for controlling force applied to and manipulation of medical instruments
JP4468544B2 (ja) * 2000-04-03 2010-05-26 オリンパス株式会社 内視鏡装置
US6484049B1 (en) 2000-04-28 2002-11-19 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6856827B2 (en) * 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6856826B2 (en) 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
DE10025285A1 (de) * 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US6782287B2 (en) * 2000-06-27 2004-08-24 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracking a medical instrument based on image registration
US6741911B2 (en) * 2000-09-20 2004-05-25 John Castle Simmons Natural robot control
US7194118B1 (en) * 2000-11-10 2007-03-20 Lucid, Inc. System for optically sectioning and mapping surgically excised tissue
DE10058123A1 (de) 2000-11-22 2002-05-23 Wella Ag Deckenstativeinheit
US6845190B1 (en) * 2000-11-27 2005-01-18 University Of Washington Control of an optical fiber scanner
US20020072739A1 (en) * 2000-12-07 2002-06-13 Roberta Lee Methods and devices for radiofrequency electrosurgery
US6587742B2 (en) 2000-12-20 2003-07-01 Mark Manuel Method and apparatus for the creation of a tool
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
CN100491914C (zh) * 2001-01-30 2009-05-27 Z-凯特公司 器具的校准器及跟踪器系统
NO20011769D0 (no) * 2001-04-06 2001-04-06 Bjoern Franc Iversen Anordning og system for gjensidig posisjonering av protesedeler
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
US20040243147A1 (en) 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
AU2002331786A1 (en) * 2001-08-31 2003-03-18 The Board Of Regents Of The University And Community College System, On Behalf Of The University Of Coordinated joint motion control system
US6728599B2 (en) * 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
US6587750B2 (en) * 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
US7182770B2 (en) * 2001-10-10 2007-02-27 Medical Designs, Llc Needle positioning forceps
US7008373B2 (en) * 2001-11-08 2006-03-07 The Johns Hopkins University System and method for robot targeting under fluoroscopy based on image servoing
CN100522096C (zh) * 2001-12-04 2009-08-05 能量医学介入公司 用于校准外科器械的系统和方法
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
US20030210812A1 (en) * 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7166112B2 (en) * 2002-03-25 2007-01-23 Depuy Spine, Inc. Device for determining distance between two points in a surgical site
GB0208909D0 (en) * 2002-04-18 2002-05-29 Canon Europa Nv Three-dimensional computer modelling
US6757582B2 (en) * 2002-05-03 2004-06-29 Carnegie Mellon University Methods and systems to control a shaping tool
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
CA2633137C (en) 2002-08-13 2012-10-23 The Governors Of The University Of Calgary Microsurgical robot system
EP1542591A2 (en) 2002-08-29 2005-06-22 Computerized Medical Systems, Inc. Methods and systems for localizing a medical imaging probe and for spatial registration and mapping of a biopsy needle during a tissue biopsy
AU2003268554A1 (en) * 2002-09-09 2004-03-29 Z-Kat, Inc. Image guided interventional method and apparatus
US6826257B2 (en) * 2002-09-13 2004-11-30 Beekley Corporation Device and method for margin marking of radiography specimens
US7135992B2 (en) * 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
US7458936B2 (en) 2003-03-12 2008-12-02 Siemens Medical Solutions Usa, Inc. System and method for performing probabilistic classification and decision support using multidimensional medical image databases
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US20050054910A1 (en) 2003-07-14 2005-03-10 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging applications
US8064985B2 (en) * 2003-09-12 2011-11-22 Ge Medical Systems Global Technology Company System and method for determining the position of a flexible instrument used in a tracking system
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US20050102063A1 (en) 2003-11-12 2005-05-12 Pierre Bierre 3D point locator system
US20050193451A1 (en) * 2003-12-30 2005-09-01 Liposonix, Inc. Articulating arm for medical procedures
US20050234679A1 (en) 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JP2007529007A (ja) * 2004-03-12 2007-10-18 ブラッコ イメージング ソチエタ ペル アチオニ 強化現実システムにおけるオーバーレイ・エラーの測定方法と、その計測システム
WO2005102202A1 (en) 2004-04-26 2005-11-03 Orthosoft Inc. Method for permanent calibration based on actual measurement
JP2005319086A (ja) * 2004-05-10 2005-11-17 Fujinon Corp 体腔内観察システム
DE102004026813A1 (de) * 2004-06-02 2005-12-29 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern von Handhabungsgeräten
WO2005119505A2 (en) * 2004-06-04 2005-12-15 Stereotaxis, Inc. User interface for remote control of medical devices
JP4145275B2 (ja) * 2004-07-27 2008-09-03 富士通株式会社 動きベクトル検出・補償装置
US7283654B2 (en) * 2004-08-26 2007-10-16 Lumeniq, Inc. Dynamic contrast visualization (DCV)
DE102004042489B4 (de) 2004-08-31 2012-03-29 Siemens Ag Medizinische Untersuchungs- oder Behandlungseinrichtung mit dazugehörigem Verfahren
US7464596B2 (en) 2004-09-24 2008-12-16 The Boeing Company Integrated ultrasonic inspection probes, systems, and methods for inspection of composite assemblies
WO2006089887A2 (en) * 2005-02-28 2006-08-31 Abb Ab A system for calibration of an industrial robot and a method thereof
US7664571B2 (en) * 2005-04-18 2010-02-16 Honda Motor Co., Ltd. Controlling a robot using pose
US8971597B2 (en) 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9526587B2 (en) 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP2289452A3 (en) * 2005-06-06 2015-12-30 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
CA2611404C (en) 2005-06-09 2016-01-12 Ife Industrielle Forschung Und Entwicklung Gmbh Device and method for the contactless determination of spatial position/orientation of bodies
US20090037278A1 (en) * 2005-07-01 2009-02-05 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementing visual substitution options in media works
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
KR101320379B1 (ko) * 2005-10-20 2013-10-22 인튜어티브 서지컬 인코포레이티드 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작
US20070161854A1 (en) * 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
US7453227B2 (en) 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
US20070167702A1 (en) * 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
CN101379412B (zh) 2006-02-09 2011-08-10 北方数字股份有限公司 回射标记物跟踪系统
US8526688B2 (en) * 2006-03-09 2013-09-03 General Electric Company Methods and systems for registration of surgical navigation data and image data
EP1854425A1 (de) 2006-05-11 2007-11-14 BrainLAB AG Medizintechnische Positionsbestimmung mit redundanten Positionserfassungseinrichtungen und Prioritätsgewichtung für die Positionserfassungseinrichtungen
CN104688327B (zh) 2006-06-13 2017-06-09 直观外科手术操作公司 微创手术系统
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US7612805B2 (en) 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
US20080013809A1 (en) 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
EP1886640B1 (de) 2006-08-08 2009-11-18 BrainLAB AG Planungsverfahren und System zur Freiform-Implantatsanpassung
DE102007021185B4 (de) 2007-05-05 2012-09-20 Ziehm Imaging Gmbh Röntgendiagnostikeinrichtung mit einer Vielzahl kodierter Marken und ein Verfahren zur Bestimmung der Lage von Einrichtungsteilen der Röntgendiagnostikeinrichtung
US7962313B2 (en) 2007-12-14 2011-06-14 Palo Alto Research Center Incorporated Method and apparatus for using mobile code for distributed data fusion in networked sensing systems
US8473031B2 (en) 2007-12-26 2013-06-25 Intuitive Surgical Operations, Inc. Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
US20090171332A1 (en) 2007-12-27 2009-07-02 Intuitive Surgical, Inc. Medical device with orientable tip for robotically directed laser cutting and biomaterial application
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
US8086026B2 (en) 2008-06-27 2011-12-27 Waldean Schulz Method and system for the determination of object positions in a volume
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8184880B2 (en) 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8223193B2 (en) 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
US9155592B2 (en) 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8218727B2 (en) 2009-09-04 2012-07-10 Siemens Medical Solutions Usa, Inc. System for medical image processing, manipulation and display

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004965B1 (ko) * 2009-08-28 2011-01-04 주식회사 이턴 수술용 로봇 및 그 세팅방법
KR101876386B1 (ko) * 2011-12-29 2018-07-11 삼성전자주식회사 의료용 로봇 시스템 및 그 제어 방법
KR20210018962A (ko) * 2012-09-26 2021-02-18 스트리커 코포레이션 광학 및 비광학 센서를 포함하는 네비게이션 시스템
US9437003B2 (en) 2012-10-24 2016-09-06 Samsung Electronics Co., Ltd. Method, apparatus, and system for correcting medical image according to patient's pose variation
KR20160022704A (ko) * 2014-08-20 2016-03-02 재단법인 아산사회복지재단 수술 내비게이션에 의해 수술도구를 표시하는 방법
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
WO2016195401A1 (ko) * 2015-06-05 2016-12-08 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
KR20180084751A (ko) * 2015-09-18 2018-07-25 아우리스 서지컬 로보틱스, 인크. 관형 조직망의 탐색
US12089804B2 (en) 2015-09-18 2024-09-17 Auris Health, Inc. Navigation of tubular networks
WO2021260545A1 (en) * 2020-06-22 2021-12-30 Auris Health, Inc. Control scheme calibration for medical instruments

Also Published As

Publication number Publication date
EP2687185A1 (en) 2014-01-22
CN103211563A (zh) 2013-07-24
US20190247131A1 (en) 2019-08-15
US20170312036A1 (en) 2017-11-02
EP2687183A1 (en) 2014-01-22
EP2687186B1 (en) 2021-02-17
CN101222882B (zh) 2013-03-27
EP3851021B1 (en) 2022-10-26
US10792107B2 (en) 2020-10-06
EP2689740B1 (en) 2017-10-25
CN103211563B (zh) 2018-10-16
US11116578B2 (en) 2021-09-14
EP2687186A1 (en) 2014-01-22
US11672606B2 (en) 2023-06-13
EP2745795B1 (en) 2020-10-28
US20170079726A1 (en) 2017-03-23
EP2687183B1 (en) 2020-03-25
EP1893118B1 (en) 2018-07-11
EP2687182B1 (en) 2022-04-13
EP1893118A1 (en) 2008-03-05
EP2687185B1 (en) 2019-04-17
CN109077699A (zh) 2018-12-25
EP2687184B1 (en) 2017-03-01
CN109077699B (zh) 2021-02-02
US20210000546A1 (en) 2021-01-07
US20170079725A1 (en) 2017-03-23
EP2687184A1 (en) 2014-01-22
US10555775B2 (en) 2020-02-11
US10842571B2 (en) 2020-11-24
US11478308B2 (en) 2022-10-25
KR101296215B1 (ko) 2013-08-13
US20060258938A1 (en) 2006-11-16
EP2745795A1 (en) 2014-06-25
EP2689740A1 (en) 2014-01-29
EP2687182A1 (en) 2014-01-22
EP3851021A1 (en) 2021-07-21
WO2006124388A1 (en) 2006-11-23
CN101222882A (zh) 2008-07-16

Similar Documents

Publication Publication Date Title
KR101296215B1 (ko) 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
US8971597B2 (en) Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
JP7376569B2 (ja) ロボット操作手術器具の位置を追跡システムおよび方法
US20150320514A1 (en) Surgical robots and control methods thereof
US12082887B2 (en) System and method for inter-arm registration
US20230139402A1 (en) Systems and methods for registration feature integrity checking
Navarro et al. Automatic positioning of surgical instruments in minimally invasive robotic surgery through vision-based motion analysis
Navarro et al. Enhancing perception in minimally invasive robotic surgery through self-calibration of surgical instruments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 7