KR20110118640A - 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지 - Google Patents

기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지 Download PDF

Info

Publication number
KR20110118640A
KR20110118640A KR1020117017601A KR20117017601A KR20110118640A KR 20110118640 A KR20110118640 A KR 20110118640A KR 1020117017601 A KR1020117017601 A KR 1020117017601A KR 20117017601 A KR20117017601 A KR 20117017601A KR 20110118640 A KR20110118640 A KR 20110118640A
Authority
KR
South Korea
Prior art keywords
tool
image
features
marker
primitive
Prior art date
Application number
KR1020117017601A
Other languages
English (en)
Other versions
KR101709277B1 (ko
Inventor
타오 조
원이 조
윌리엄 씨. 노린
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20110118640A publication Critical patent/KR20110118640A/ko
Application granted granted Critical
Publication of KR101709277B1 publication Critical patent/KR101709277B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 하나 이상의 도구 위치 기준 피처로부터 이미지 유도된 데이터를 사용하는 도구 트래킹을 위한 시스템, 방법, 및 도구에 관한 것이다. 본 방법은 복수의 피처 중 적어도 하나가 식별정보 피처를 포함하고, 제1 마커를 형성하는 복수의 피처를 구비한 도구의 제1 이미지를 캡쳐하는 단계; 제1 이미지를 프로세싱함으로써 제1 마커의 위치를 판정하는 단계; 제1 이미지를 프로세싱함으로써 적어도 하나의 식별정보 피처를 사용함으로써 제1 마커에 대한 식별정보를 판정하는 단계; 및 제1 마커의 위치 및 식별정보를 사용함으로써 상기 도구에 대한 도구 상태를 판정하는 단계;를 포함한다.

Description

기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지{CONFIGURATION MARKER DESIGN AND DETECTION FOR INSTRUMENT TRACKING}
본 출원은 (2008년 12월 31일에 출원된) 미국가특허 출원번호 제61/204,084호 및 (동시에 출원된) "수술기기 이미지를 찾기 위한 기준 마커 디자인 및 탐지"란 제목의 미국특허 출원번호 제12/428,657호에 관한 것이다.
미소절개 수술기술은 진단 또는 수술 진행 동안 손상되는 무관한 조직의 양을 줄이는 것을 목적으로 하며, 그로 인해 환자의 회복시간, 불편함, 및 나쁜 부작용을 줄인다. 그 결과, 미소절개수술을 사용함으로써 표준적인 수술을 위해 평균적으로 입원하는 시간이 상당히 단축될 수 있다. 또한, 환자 회복시간, 환자 불편함, 수술 부작용, 및 일 못하는 시간 또한 미소절개수술을 통해 감소될 수 있다.
미소절개 수술의 일반적인 형태는 내시경이고, 내시경의 일반적인 형태는 복강 내부의 미소절개 검사 및 수술인 복강경이다. 표준적인 복강경 수술에서, 환자의 복부에 가스가 주입되고, 복강경 기기를 위한 삽입구를 제공하기 위한 작은(대략 1/2인치 이하) 삽입부를 통해 캐뉼러 슬리브가 관통한다.
복강경 수술기기는 일반적으로 (수술부위를 보기 위한) 복강경 또는 내시경, 및 수술도구를 포함한다. 수술도구는 각각의 도구의 작동 끝단, 또는 말단 작용기가 연장 튜브에 의해 그 핸들부로부터 분리되어 있다는 것을 제외하면, 종래의(개복) 수술에서 사용되는 것과 유사하다. 본 명세서에서, 용어 "말단 작용기"는 수술기기의 실제 작동부를 의미하며, 예컨대, 클램프, 그래스퍼, 가위, 스태플러, 및 바늘 홀더를 포함할 수 있다.
수술을 수행하기 위해, 수술의는 이러한 수술도구 또는 기기를 캐뉼러 슬리브를 통해 내부의 수술부위로 이동시키고, 복부 외부에서 그들을 조종한다. 수술의는 복강경으로부터 얻어진 수술부위의 이미지를 디스플레이하는 모니터를 통해 수술과정을 본다. 유사한 내시경 기술은, 예컨대, 관절경검사, 골반경검사, 방광경검사, 뇌조검사(cisternoscopy), 부비강검사, 자궁경검사, 요도경검사 등에 사용된다.
미소절개 원격수술 로봇 시스템은 몸속의 수술부위에서 수술할 때 수술의의 숙련도(dexterity)를 증가시키는 것은 물론, 수술의가 원격 위치에서 환자를 수술할 수 있게 하기 위해 개발되고 있다. 원격수술 시스템에서, 수술의는 종종 제어 콘솔에서 수술부위의 이미지를 제공받는다. 적절한 뷰어 또는 디스플레이 상으로 수술부위의 3차원(3-D) 이미지를 보는 동안, 수술의는 제어 콘솔의 마스터 입력 또는 컨트롤 디바이스를 조종함으로써 환자에 대한 수술을 수행한다. 각각의 마스터 입력 디바이스는 서보기구에 의해 동작되는 수술기기의 모션을 제어한다. 수술동안, 원격수술 시스템은 마스터 입력 디바이스의 조종에 응답하여, 수술의를 위한 다양한 기능(예컨대, 바늘을 잡거나 구동시키는 것, 혈액 용기를 잡는 것, 조직을 떼어내는 것 등)을 수행하는 말단 작용기를 가진 다양한 수술기기 또는 도구의 기계적 작동 및 제어를 제공할 수 있다.
그러나, 수술하는 동안 수술의가 그 말단 작용기가 내시경의 시야를 벗어나 이동하도록 도구를 조종할 수도 있고, 또는 말단 작용기가 체액 또는 다른 개입된 물체의 가림에 의해 보기 힘들어질 수도 있다. 이러한 경우에, 수술의가 워크스테이션의 디스플레이 스크린상의 말단 작용기를 찾고, 그리고/또는 식별하는 것을 돕는 것은 유용할 것이다. 도구의 3-D 포즈(위치 및 방향)에 관한 정확한 정보가 이러한 도움을 제공하기 위해 사용될 수 있다. 일반적으로, 도구의 3-D 포즈에 관한 정확한 정보는 다수의 이미지 가이드되는 수술 및 사용자 인터페이스 애플리케이션에 대하여 중요하다.
정확한 도구 트래킹을 제공하기 위해 사용되어 온 한가지 접근법은 키네매틱스 기반의 포즈 정보와 이미지 유도된 정보의 결합을 포함한다. 이러한 도구 트래킹 정보의 결합은 연관된 단점없이 두 타입의 데이터의 장점을 제공할 수 있다. 키네매틱스 조인트 데이터는 통상적으로 매우 높은 갱신속도로 사용가능하지만, 키네매틱스 추정된 포즈는 정밀도에 큰 영향을 주는 도구로부터 멀리 떨어져 위치하는 조인트의 오차와 함께, 각각의 조인트에서의 오차 누적으로 인해 매우 정밀하지 못할 수 있다. 이와 대조적으로, 이미지 유도된 도구 포즈 추정은 매우 정밀할 수 있으나, 더 느린 갱신속도로 실행할 수 있는데, 이는 다양한 실시간 애플리케이션에서는 유용한 것이다. 더 정밀한 이미지 유도된 도구 포즈 추정값을 사용하여 더 높은 갱신속도의 키네매틱스-포즈 추정값을 수집함으로써, 더 정밀하고 더 높은 갱신속도의 도구 포즈 추정값을 얻을 수 있다.
수술도구 트래킹을 위해 몇몇 기존의 기술이 사용되어 왔다. 한가지 접근법에서, 환자의 신체 외부의 수술기기 상의 위치에 부착된 마커 어셈블리의 위치를 트래킹하기 위해 광 트래커가 사용된다. 그러나, 광 트래커는 전용의 스테레오 카메라 및 전용의 조명을 필요로 하는데, 이는 이미 복잡한 수술실 내의 공간을 차지한다. 이러한 광 트래커를 부착하는 것은 또한 충돌 가능성으로 인해 로봇 팔의 동작 범위를 감소시킨다. 또한 수술도구 팁에 3-D 포즈를 전달함으로 인해 야기되는 약간의 오차가 존재할 수 있다. 추가적인 문제는 여분의 필요 공간, 제한된 가시범위, 수술 내의 추가적인 하드웨어 셋업, 및 비용을 포함한다. 다른 접근법은 그 자체가 연관된 단점을 가진 전자기 트래커를 사용하는 것이다. 예를 들어, 대부분의 수술기기는 하나의 수술 팁에 부착된 전자기 트래커와 인접한 수술도구의 금속 컴포넌트 사이의 거리 변화로 인해 시간 변화를 일으킬 수 있는 왜곡을 일으킬 수 있는 금속부를 가진다. 전자기 트래커는 또한 추가적인 비용을 포함한다.
카메라에 대하여 리지드 몸체의 3-D 포즈를 계산하는 것은 컴퓨터/로봇 비전 분야에서 잘 연구되는 문제점이다. 3-D 포즈는 물체의 주지된 피처와 함께 시작하여, 그러한 피처를 이미지 내의 이차원(2-D) 대응부와 매칭시킴으로써 해결될 수 있다. 일반적으로 점과 선의 세그먼트와 같은 피처가 사용된다. 하나의 2-D 이미지로부터 리지드 몸체의 3-D 포즈를 판정하는 것을 컴퓨터 비전 분야에서 "포즈 추정"이라 한다(크리스토퍼 도이그넌, "장면 재구성, 포즈 추정, 및 트래킹", 2007의 소개 참조). 점 기반의 대응부를 사용한다면, 이 문제는 "펄스펙티브 n-포인트"로 주지되어 있고, 여기서 n은 대응부의 개수이다. 동일선상에 있지 않은 3개의 점은 4가지 해를 제공한다. 동일 선상에 있지 않은 4개 이상의 점은 고유한 해를 제공한다.
스테레오 카메라를 사용하여 리지드 물체의 3-D 포즈를 판정하는 것은 2가지 접근법을 사용하여 달성될 수 있다. 첫째, 3-D 포즈의 판정은 프로젝팅된 3-D 포인트와 두 이미지 내의 이미지 대응부 사이의 베스트 핏(best fit)을 제공하는 3-D 포즈가 선택되는 최적화 문제로서 접근될 수 있다. 다른 접근법에서, 두 화면내의 이미지 포인트들은 스테레오 삼각측량을 사용하여 대응하는 3-D 포인트를 판정하기 위해 사용될 수 있고, 판정된 3-D 포인트와 대응하는 모델 점 사이의 리지드 변환을 풀어 그 상대적인 포즈가 판정된다(에이 로루소, 디. 더블유. 에게르트, 및 알. 비. 피셔, "3-d 리지드 변환을 추정하기 위한 4가지 알고리즘의 비교", 1995 참조).
그러나, 다수의 요인이 이미지 유도된 도구 포즈 추정을 얻을 수 있는 능력을 방해할 수 있다. 그중 하나로, 이미지 유도된 추정은 오직 물체의 피처가 이미지 디바이스의 시야 내에 있을 때만 사용가능하고 추출될 수 있다. 피처의 추출을 방해할 수 있는 몇가지 요소는 해부학적 구조 또는 다른 기기에 의한 피처의 가려짐, 빠른 기기 또는 카메라 모션에 의해 발생하는 이미지 품질의 저하(즉, 모션 블러(blur)), 역광 상태(예컨대, 광이 너무 강할 때의 세츄레이션, 광이 너무 약할 때 대비 부족, 및 광원, 기기, 및 이미징 디바이스의 상대적 지오메트릭 구성으로 인한 반사성(specularity)), 및 복잡한 배경 클러터(clutter)를 포함한다.
그러므로, 더욱 신뢰성 있는 이미지 유도된 도구 포즈 추정은 매우 정밀한 포즈 추정값이 사용가능한 속도를 증가시키고, 그리고 더욱 정밀한 전체 도구 트래킹을 제공하는 것을 돕는데 유리할 것이다. 따라서, 향상된 이미지 유도된 도구 포즈 추정을 제공하는 향상된 방법 및 시스템, 특히, 가려짐, 모션 블러, 및 역광 현상과 같은 열악한 조건에 대한 민감도가 낮은 방법 및 시스템이 바람직하다.
실시예에 따라, 기준 피처가 위치한 하나 이상의 도구로부터 이미지 유도된 데이터를 사용하여 3-D 도구 트래킹을 수행하는 향상된 시스템, 방법, 및 도구가 제공된다. 하나 이상의 기준 피처의 사용은 더 신뢰성 있게 이미징되고 프로세싱될 수 있는 하나 이상의 피처를 제공함으로써 향상된 이미지 유도된 도구 포즈 추정을 제공할 수 있다. 효율적이고 신뢰성 있는 이미지 유도된 도구 포즈 추정은 미소절개 수술동안 특히 유용할 수 있는데, 정밀하고 신뢰성 있는 도구 트래킹은 수술의가 가려지거나 시야를 벋어난 도구를 찾는데 도움을 주는 것과 같은, 다양한 이점을 제공할 수 있다. 그러나, 개시된 시스템, 방법, 및 도구는 사람 몸속과 몸밖에서는 물론, 수술용이 아닌 도구 트래킹 애플리케이션과 같은, 광범위한 애플리케이션에서 사용될 수 있다. 일반적으로 도구의 3-D 포즈의 정확한 정보는 다수의 이미지 가이드 및 사용자 인터페이스 애플리케이션에 대하여 중요하다.
그러므로, 아래의 설명은 본 발명의 기본적인 이해를 제공하기 위해 본 발명의 몇가지 실시예의 간단한 설명을 제공한다. 이 설명은 본 발명의 광범위한 개요는 아니다. 이 설명은 본 발명의 중요 엘리먼트를 알리거나, 본 발명의 범위를 정하기 위한 것은 아니다. 그 목적은 추후의 더욱 상세한 설명에 대한 전주로서 본 발명의 몇몇 실시예를 간단한 형태로 나타내는 것일 뿐이다.
하나의 실시예에 따라, 이미지화된 도구에 대한 도구 상태를 판정하기 위한 로봇 수술 방법이 제공된다. 본 방법은 피처 중 적어도 하나는 식별정보 피처를 포함하고, 제1 마커를 형성하는 복수의 피처를 포함하는 도구의 제1 이미지를 캡쳐하는 단계; 제1 이미지를 프로세싱함으로써 제1 마커에 대한 위치를 판정하는 단계; 제1 이미지를 프로세싱함으로써 적어도 하나의 식별정보 피처를 사용하여 제1 마커에 대한 위치를 판정하는 단계; 및 제1 마커의 위치 및 식별정보를 사용함으로써 도구에 대한 도구 상태를 판정하는 단계를 포함한다.
이미지화된 도구에 대한 도구 상태를 판정하기 위한 로봇 수술 방법은 다수의 옵션을 포함할 수 있다. 예를 들어, 제1 마커는 에러 체킹 데이터 및/또는 체크썸 데이터를 형성하는 리던던트 피처를 포함할 수 있고, 본 방법은 리던던트 피처를 탐지하고 에러 체킹 데이터 및/또는 체크썸 데이터를 판독하기 위해 제1 이미지를 프로세싱하는 단계, 및 제1 마커의 식별정보가 에러 체킹 데이터 및/또는 체크썸 데이터와 일치하는지 증명함으로써 제1 마커의 식별정보를 검증하는 단계를 포함한다.
몇몇 옵션은 2개 이상의 마커를 가진 도구를 포함한다. 2 이상의 마커 각각은 도구 상의 다른 마커와 상이한 식별정보와 연관된 적어도 하나의 식별정보 피처를 가질 수 있다. 이러한 이미지 프로세싱은, 각각의 마커에 대하여, 마커와 수술도구의 조인트 사이의 연관된 소정의 위치 관계를 나타내는 데이터를 가진 프로세스를 사용하여 달성될 수 있다. 도구에 대한 도구 상태를 판정하는 단계는 제1 마커의 위치, 제1 마커의 식별정보, 및 제1 마커에 대한 연관된 위치 관계 데이터를 사용하는 단계를 포함할 수 있다. 제1 이미지는 도구의 제2 마커를 포함할 수 있다. 본 방법은 제1 이미지를 프로세싱함으로써 제2 마커에 대한 위치를 판정하는 단계; 및 제1 이미지를 프로세싱함으로써 제2 마커의 식별정보를 판정하는 단계; 및 제1 마커의 위치, 제2 마커 식별정보, 및 제2 마커와 연관된 소정의 위치 관계 데이터를 사용함으로써 도구에 대한 도구 상태를 판정하는 단계를 포함한다.
몇몇 옵션은 도구의 복수의 이미지를 포함한다. 예를 들어, 본 방법은 제1 마커를 사용하여 도구 상태를 판정한 후 도구를 이동시키는 단계; 제1 마커가 식별되지 않고(obscured), 제2 마커가 식별될 때 이동된 도구의 제2 이미지를 캡쳐하는 단계; 제2 이미지를 프로세싱함으로써 제2 마커에 대한 위치를 판정하는 단계; 제2 이미지를 프로세싱함으로써 제2 마커의 식별정보를 판정하는 단계, 제2 마커 위치, 제2 마커 식별정보, 및 제2 마커에 연결된 소정의 위치 관계 데이터를 사용하여 도구에 대한 이동된 도구 상태를 판정하는 단계와 같이, 제2 마커가 제1 이미지에서 식별되지 않을 때 사용될 수 있는 단계를 포함할 수 있다.
몇몇 옵션은 도구의 스테레오 이미지를 포함한다. 예를 들어, 스테레오스코픽 내시경과 같은 스테레오 이미징 디바이스는 제1 마커에 대한 3-D 위치 데이터를 판정하기 위해 프로세싱될 수 있는 수술도구의 제1 및 제2 이미지를 캡쳐하기 위해 사용될 수 있다. 도구 상태는 3차원 이상으로 판정될 수 있다.
몇몇 옵션은 특정한 타입의 피처를 가지는 복수의 마커를 구비한 도구를 포함한다. 예를 들어, 각각의 마커는 적어도 하나의 로컬라이저 피처, 및 적어도 하나의 로컬라이저 피처에 대하여 주지된 위치 관계에 있는 적어도 하나의 식별정보 피처를 가질 수 있다. 제1 마커의 위치는 로컬라이저 피처 및 방향 피처를 사용하여 판정될 수 있다. 제1 마커의 식별정보는 제1 마커의 적어도 하나의 로컬라이저 피처를 식별하고, 로컬라이저 피처와 식별정보 피처 사이의 주지된 위치 관계에 따라 식별정보 피처를 판독함으로써 판정될 수 있다.
몇몇 옵션은 "가설과 검정" 접근법을 포함한다. 예를 들어, 본 방법은 적어도 하나의 로컬라이저 피처를 식별하기 위해 제1 이미지를 프로세싱하는 단계; 제1 마커에 대한 후보 아이덴티티를 선택하는 단계; 식별된 적어도 하나의 로컬라이저 피처를 사용하여 후보 아이덴티티를 가진 마커의 후보 뷰(view)를 생성하는 단계; 및 선택된 후보 아이덴티티가 제1 마커 아이덴티티인지 증명하기 위해 제1 이미지와 후보 뷰를 비교하는 단계를 포함한다. 제1 마커에 대한 후보 아이덴티티를 선택하는 단계는 도구의 움직임 발효시키는 로봇 작동 시스템으로부터의 조인트 데이터와 도구의 이전 이미지로부터 적어도 하나의 이전 도구 상태를 사용함으로써 수술도구에 대한 추정된 포즈를 생성하는 단계를 포함할 수 있다. 후보 아이덴티티는 수술도구의 추정된 포즈의 소정의 편차 내에 있는 수술도구의 후보 포즈를 산출하도록 선택될 수 있다. 본 방법은 각각의 수술도구가 아이덴티티를 가지는, 복수의 수술도구를 포함하는 이미지를 프로세싱하는 단계를 포함할 수 있다. 아이덴티티는 제1 마커에 대한 후보 아이덴티티가 제1 마커를 가진 수술도구에 대한 추정된 포즈의 소정의 편차 내에 있는 후보 포즈를 산출하는지 증명함으로써 제1 마커를 가진 이미지화된 도구와 연관될 수 있다.
마커에 대한 위치 데이터를 판정하기 위해 다양한 접근법이 사용될 수 있다. 예를 들어, MSER(Maximally Stable Extremal Region) 접근법이 사용될 수 있다. 다른 예로서, 적응형 쓰레솔딩(Thresholding)이 사용될 수 있다.
다른 실시예에 따라, 이미지화된 도구에 대한 도구 상태를 판정하기 위해 사용될 수 있는 로봇 수술 시스템이 제공된다. 본 시스템은 피처 중 적어도 하나의 피처가 식별정보 피처를 포함하고, 제1 마커를 형성하는 복수의 피처를 가지는 수술도구; 사용하는 동안 도구의 제1 이미지를 캡쳐하고 그에 응답하여 제1 이미지 데이터를 출력하는 이미징 디바이스; 및 상기 이미징 디바이스에 연결되어 있고, 제1 마커에 대한 위치 정보를 판정하고, 식별정보 피처를 사용하여 제1 마커의 식별정보를 판정하고, 그리고 제1 마커에 대한 위치 데이터 및 제1 마커에 대한 식별정보를 사용하여 이미지화된 도구에 대한 도구 상태 데이터를 판정하기 위해 제1 이미지를 프로세싱하도록 조절되어 있는 프로세서;를 포함한다.
이미지화된 도구에 대한 도구 상태를 판정하기 위한 로봇 수술 시스템은 옵션의 컴포넌트 및/또는 변형을 포함할 수 있다. 예를 들어, 본 시스템은 캡쳐된 이미지를 프로세싱하는 프로세서에 의해 실행가능한 기계 판독가능한 명령어를 포함하는 실재적(tangible) 매체를 포함할 수 있다. 본 시스템은 도구를 지지하는 로봇 조인트로부터 유도되는 비-내시경에 의해 유도된 도구 상태 데이터를 위한 입력부를 포함할 수 있고, 프로세서는 도구의 상태를 트래킹하기 위해 비-내시경에 의해 유도된 도구 상태 정보와 이미지 유도된 도구 상태 정보를 프로세싱하도록 구성될 수 있다. 이미징 디바이스는 제1 이미지와 실질적으로 동시에 수술도구의 제2 이미지를 캡쳐하고, 그에 응답하여 제2 이미지 데이터를 출력하도록 조절될 수 있다. 프로세서는 제1 및 제2 이미지 데이터를 프로세싱함으로써 제1 마커에 대한 3-D 위치 데이터를 판정하도록 구성될 수 있다. 이미징 디바이스는 스테레오스코픽 내시경을 포함할 수 있다.
옵션의 컴포넌트 및/또는 변형은 마커 피처들을 포함할 수 있다. 예를 들어, 제1 마커는 에러 체킹 데이터를 형성하는 리던던트 피처를 포함할 수 있다. 프로세서는 제1 마커 리던던트 피처를 탐지하고, 제1 마커 식별정보가 에러 체킹 데이터와 일치하는지 증명함으로써 제1 마커의 식별정보를 검증하기 위해 제1 이미지 데이터를 프로세싱하도록 구성될 수 있다. 리던던트 피처는 또한 체크썸 데이터를 형성할 수 있고, 프로세서는 체크썸 데이터를 판독하기 위해 제1 이미지 데이터를 프로세싱하도록 구성될 수 있다. 프로세서는 제1 마커 식별정보가 체크썸 데이터와 일치하는지 증명함으로써 제1 마커의 식별정보를 검증할 수 있다. 마커는 다양한 구성을 가질 수 있다. 예를 들어, 적어도 하나의 마커는 인접한 마커와 함께 공유되는 적어도 하나의 로컬라이저 피처를 포함할 수 있다. 하나 이상의 마커의 피처는 2-D 패턴으로 배열될 수 있다. 하나 이상의 마커는 로컬라이저 피처로서 원 또는 코너를 사용할 수 있다. 코너는 안장점(saddle point)을 포함할 수 있다. 하나 이상의 마커는 3개의 로컬라이저 피처를 포함할 수 있다. 하나 이상의 마커는 4개의 로컬라이저 피처를 포함할 수 있다. 하나 이상의 마커는 로컬라이저 피처로서 4개의 원 및 하나의 바를 포함할 수 있다. 마커는 위치 데이터 또는 식별가능한 피처를 증가시키도록 조절될 수 있는 텍스트를 포함할 수도 있다.
옵션의 컴포넌트 및/또는 변형은 복수의 마커를 포함할 수 있다. 복수의 마커는 도구 둘레에 배치될 수 있고, 프로세서는 연관된 마커 식별정보 및 마커와 수술도구의 조인트 사이의 연관된 소정의 위치 관계를 나타내는 각각의 마커에 대한 데이터를 포함할 수 있다. 복수의 마커는 제1 이미지 내에 포함된 마커의 식별정보를 판정하기 위해 충분히 상이한 식별정보 피처를 포함할 수 있다.
프로세서는 다양한 방법으로 도구의 디스플레이된 이미지를 조절하기 위해 판정된 3-D 포즈를 사용할 수 있다. 예를 들어, 디스플레이된 이미지는 추가된 기준 피처가 시각적으로 덜 눈에 띄도록, 또는 기준 피처에 대응하는 부분의 이미지를 변경함으로써 완전히 "삭제" 되도록 조정될 수 있다.
다른 실시예에 따라, 로봇 수술 시스템과 함께 사용하기 위한 수술도구가 제공된다. 본 수술 시스템은 사용하는 동안 수술도구의 이미지를 캡쳐하는 이미징 디바이스, 및 수술도구에 대한 이미지 유도된 위치 정보를 판정하기 위해 캡쳐된 이미지를 프로세싱하고 이미징 디바이스에 연결된 프로세서를 포함한다. 수술도구는 각각의 마커가 적어도 하나의 식별정보 피처를 가지는 복수의 마커를 포함한다. 각각의 마커의 식별정보 피처는 마커를 포함한 이미지를 기초로 하여 수술 시스템이 마커들을 구별할 만큼 충분히 상이하다.
다른 실시예에 따라, 로봇 수술 방법이 제공된다. 본 방법은 각각의 마커가 수술도구와의 소정의 위치 관계를 가지는 복수의 마커를 형성하는 복수의 피처를 구비한 수술도구의, 상기 마커 중 하나를 포함하는 제1 이미지를 캡쳐하는 단계; 제1 이미지를 프로세싱함으로써 이미지화된 마커에 대한 위치를 판정하는 단계; 도구의 작동을 유발하는 로봇 작동 시스템으로부터 조인트 데이터 또는 도구의 이전 이미지로부터 적어도 하나의 이전 도구 상태를 사용함으로써 도구에 대한 추정된 도구 상태를 생성하는 단계; 및 이미지화된 마커의 위치, 수술도구와 이미지화된 마커 사이의 소정의 위치 관계, 및 도구에 대한 추정된 도구 상태를 사용하여 도구에 대한 도구 상태를 판정하는 단계를 포함한다.
다른 실시예에 따라, 수술 로봇 도구 트래킹 방법이 제공된다. 본 방법은 로봇 수술도구 상의 광원으로부터의 조명 광을 환자 몸속으로 지향시키는 단계;를 포함하고, 여기서, 조명 광은 가시광선을 포함하고, 도구는 도구 상에 주지된 위치를 가지는 복수의 프리미티브 피처를 포함하고, 각각의 피처는 구형 반사면을 포함한다. 본 방법은 또한 도구가 환자 몸속에 있을 때 복수의 프리미티브 피처의 스테레오 이미지를 캡쳐하는 단계를 포함하고, 스테레오 이미지는 이미지화된 프리미티브 피처로부터 반사된 조명 광이 이미지화된 프리미티브 피처의 표면의 구의 중심과 실질적으로 나란하게 이미지 캡쳐 디바이스를 향하도록, 조명 광원과 인접한 스테레오 이미지 캡쳐 디바이스에 의해 캡쳐된다. 본 방법은 또한 반사된 광을 사용하여 이미지화된 프리미티브 피처의 구의 중심을 찾기 위해 스테레오 이미지를 프로세싱함으로써 도구에 대한 위치를 판정하는 단계를 포함한다.
수술 로봇 도구 트래킹 방법은 다수의 옵션을 포함할 수 있다. 이미지를 프로세싱함으로써 도구에 대한 위치를 판정하는 단계는 특정한 반사된 광에 의해 적어도 하나의 프리미티브 피처를 식별하기 위해 달성될 수 있다. 스테레오 이미지는 이미지화된 프리미티브 피처의 구의 중심에 대한 3-D 위치 데이터를 판정하기 위해 프로세싱될 수 있다. 성상(constellation) 알고리즘이 제1 이미지 내의 프리미티브 피처의 패턴을 식별하기 위해 사용될 수 있다. 본 방법은 도구의 작동을 발효시키는 로봇 작동 시스템으로부터 조인트 데이터 또는 도구의 이전 이미지로부터 적어도 하나의 이전 도구 상태를 사용함으로써 도구에 대한 추정된 도구 상태를 생성하는 단계, 및 성상 알고리즘에서 추정된 도구 상태를 사용하는 단계를 포함할 수 있다. 본 방법은 복수의 시점에 대한 스테레오 이미지를 캡쳐하는 단계, 복수의 시점에 대한 추정된 도구 상태를 생성하는 단계, 및 랜덤 샘플 컨센서스(RANSAC) 기술일 수 있는 로버스트(robust) 추정 기술을 사용하여 임의의 호환불가능한 패턴 탐지를 거절하는 단계를 포함한다. 모델 기반의 이미지 서명은 이미지 내의 프리미티브 피처의 식별에 사용될 수 있다. 본 방법은 두 이미지 내의 도구의 내츄럴 피처를 식별하기 위해 스테레오 이미지를 프로셍하는 단계; 식별된 내츄럴 피처에 대한 3-D 위치를 판정하는 단계, 이미지화된 프리미티브 피처에 대한 3-D 위치 데이터와 결합하여 내츄럴 피처에 대한 3-D 위치를 사용함으로써 이미지 유도된 도구 상태를 판정하는 단계를 포함할 수 있다. 본 방법은 도구의 작동을 발효시키는 로봇 작동 시스템으로부터 조인트 데이터 또는 도구의 이전 이미지로부터 적어도 하나의 이전 상태를 사용함으로써 도구에 대한 추정된 도구 상태를 생성하는 단계, 및 호환불가능한 패턴 탐지를 거절하기 위해 추정된 도구 상태를 사용하는 단계를 포함할 수 있다. 적어도 하나의 프리미티브 피처는 도구의 조인트 축과 나란한 볼록한 또는 오목한 구형 반사면을 포함할 수 있고, 이 반사면은 조인트 구조에 의해 형성될 수 있다.
다른 실시예에 따라, 미소절개 로봇 수술 시스템이 제공된다. 본 시스템은 도구 상에 주지된 위치를 가지고 각각의 피처가 구형 반사면을 가지는 복수의 프리미티브 피처를 구비한 로봇 수술도구; 환자 몸속으로 조명 광을 전달하도록 방향조절되는 광원; 프리미티브 피처로부터 이미지 캡쳐 디바이스를 항해 반사된 조명 광이 구면의 구 중심과 실질적으로 나란하도록, 조명 광원과 인접한 스테레오 이미지 캡쳐 디바이스; 및 이미지 캡쳐 디바이스와 연결되어 있고, 반사된 광을 사용함으로써 프리미티브 피처의 구 중심을 찾기 위해 스테레오 이미지를 프로세싱하여 도구에 대한 위치를 판정하도록 구성되어 있는 프로세서를 포함한다.
미세절개 로봇수술 시스템은 다수의 옵션을 포함할 수 있다. 예를 들어, 본 시스템은 스테레오 이미지를 프로세싱하기 위한 프로세서에 의해 실행가능한 기계 판독가능한 명령어를 포함하는 실재적 매체를 포함할 수 있다. 프로세서는 특정한 반사된 광을 사용함으로써 복수의 프리미티브 피처 중 적어도 하나를 식별하기 위해 스테레오 이미지를 프로세싱하여 도구에 대한 위치를 판정하도록 구성될 수 있다. 프리미티브 피처는 도구의 조인트 축과 나란할 수 있고, 조인트 구조에 의해 형성된 반사 구면을 포함할 수 있다. 프로세서는 스테레오 이미지를 프로세싱함으로써 이미징된 프리미티브 피처의 구 중심에 대한 3-D 위치 데이터를 판정하도록 더 구성될 수 있다. 이미징 디바이스는 스테레오스코픽 내시경을 포함할 수 있다. 구형 만사면은 볼록면 또는 오목면을 포함할 수 있다.
다른 실시예에 따라, 로봇 수술 시스템과 함께 사용하기 위한 수술도구가 제공된다. 본 시스템은 사용하는 동안 수술도구의 스테레오 이미지를 캡쳐하기 위한 스테레오 이미징 디바이스, 및 수술도구에 대한 이미지 유도된 위치 정보를 판정하기 위해 캡쳐된 스테레오 이미지를 프로세싱하고, 이미징 디바이스에 연결되어 있는 프로세서를 포함한다. 수술도구는 복수의 프리미티브 피처를 포함하고, 각각의 프리미티브 피처는 구형 반사면을 포함한다.
다른 실시예에 따라, 물체 트래킹 시스템이 제공된다. 본 시스템은 각각의 프리미티브 피처가 구형 반사면을 포함하는 복수의 프리미티브 피처를 가진 물체; 물체를 향해 조명 광을 전달하도록 방향조절되는 광원; 물체의 스테레오 이미지를 캡쳐하기 위한 스테레오 이미지 캡쳐 디바이스;를 포함하고, 이미지 디바이스는 복수의 프리미티브 피처로부터 이미지 캡쳐 디바이스를 향해 반사된 조명 광이 구면의 구 중심과 실질적으로 나란하도록 조명 소스와 인접하게 배치되어 있고, 스테레오 이미지에 대한 이미지 데이터를 출력한다. 본 시스템은 이미지 캡쳐 디바이스에 연결되어 있고, 3개 이상의 이미지화된 프리미티브 피처에 대한 3-D 위치 데이터를 판정하고, 그 3-D 위치 데이터를 프로세싱함으로써 도구에 대한 위치를 판정하기 위해 이미지 데이터를 프로세싱하도록 구성되어 있는 프로세서를 더 포함한다.
다른 실시예에 따라, 도구 상에 주지된 위치를 가지는 3개 이상의 실질적으로 코너가 없는 프리미티브 피처를 포함하는 수술도구의 포즈를 추정하는 방법이 제공된다. 본 방법은 제1 이미지 및 제2 이미지를 포함하는 3개 이상의 프리미티브 피처의 스테레오 이미지를 캡쳐하는 스테레오스코픽 내시경을 사용하는 단계; 제1 이미지로부터 적어도 3개의 프리미티브 피처 이미지를 추출하는 단계; 제2 이미지로부터 적어도 3개의 프리미티브 피처 이미지를 추출하는 단계, 이미지 서명을 사용함으로써 추출된 프리미티브 피처 이미지들 사이의 일치성을 판단하는 단계; 적어도 3개의 프리미티브 피처에 대한 3-D 위치를 판정하기 위해 판정된 일치성을 사용하는 단계; 도구 프리미티브 피처의 패턴에 대응하는 추출된 프리미티브 피처 이미지의 패턴을 식별하는 단계; 및 식별된 패턴과 판정된 3-D 위치를 사용하여 수술도구에 대한 포즈를 추정하는 단계;를 포함한다.
본 발명의 특성과 이점의 완전한 이해를 위해, 아래의 상세한 설명과 첨부된 도면을 참조할 수 있다. 본 발명의 다른 형태, 대상, 및 이점들은 아래의 설명과 도면으로부터 명백해질 것이다.
도 1은 실시예에 따른, 수술을 수행하기 위해 사용되고 있는 미소절개 로봇 수술 시스템의 평면도이다.
도 2는 실시예에 따른, 로봇 수술 시스템을 위한 수술의의 제어 콘솔의 전면도이다.
도 3은 실시예에 따른, 로봇 수술 시스템 비전 카트의 전면도이다.
도 4는 실시예에 따른, 로봇 수술 시스템을 도식적으로 도시한다.
도 5a는 실시예에 따른, 로봇 수술 시스템의 환자측 카트(수술 로봇)의 전면도이다.
도 5b 및 5c는 실시예에 따른 8mm 사프트 로봇 수술도구, 및 5mm 샤프트 로봇 수술도구의 각각의 전면도이다.
도 6은 실시예에 따른 키네매틱스 추정된 도구 포즈, 이미지 유도 추정된 도구 포즈, 및 실제 도구 포즈 간의 상대적 차이를 도식적으로 도시한다.
도 7은 실시예에 따른, 로 키네매틱스 추정된 도구 포즈, 이미지 유도된 도구 포즈, 실제 도구 포즈의 추정, 및 실제 도구 포즈의 시간에 따른 변화를 도식적으로 도시한다.
도 8은 스테레오스코픽 이미징 디바이스에 대한 가까운 범위 및 먼쪽 범위에서 작동하는 수술도구를 도시하는 도면이다.
도 9는 실시예에 따른, 마커의 이미징을 사용한 도구 트래킹 방법의 흐름도이다.
도 10은 실시예에 따른, 마커로 도구를 트래킹하는 시스템을 도식적으로 도시한다.
도 11은 실시예에 따른, 이미지 유도된 포즈 오프셋을 사용하여 보정된 키네매틱스 추정된 도구 상태를 생성하기 위해 마커의 스테레오스코픽 이미지와 키네매틱스 데이터를 프로세싱하는 단계를 보여주는 도구 상태를 판정하는 도구 트래킹 방법의 흐름도이다.
도 12a는 실시예에 따른, 추가적인 기준점을 제공하기 위해 수술도구에 사용될 수 있는 마커 패턴을 도식적으로 도시한다.
도 12b 및 12c는 실시예에 따른, 미소 절개 로봇 수술 동안 도 12a의 마커 패턴을 가진 수술기기의 이미지이다.
도 13a, 13b, 및 13c는 실시예에 따른 2-D 마커의 버전들을 도시한다.
도 14a 및 14b는 실시예에 따른, 8mm 기기 샤프트용으로 사용될 수 있는 2-D 마커와, 그 마커를 구비한 8mm 기기 샤프트를 각각 도시한다.
도 15a 및 15b는 10mm(초음파) 기기 샤프트용으로 사용될 수 있는 2-D 마커와, 그 마커를 구비한 10mm(초음파) 기기 샤프트를 각각 도시한다.
도 16a 및 16b는 실시예에 따른, 5mm 기기 샤프트용으로 사용될 수 있는 2-D 마커와, 그 마커를 구비한 5mm 기기 샤프트를 각각 도시한다.
도 17a 및 17b는 실시예에 따른, 초음파 트랜스듀서용으로 사용될 수 있는 2-D 마커와, 그 마커를 구비한 초음파 트랜스듀서를 각각 도시한다.
도 18은 실시예에 따른, 도구 트래킹 마커의 스테레오스코픽 이미지를 프로세싱하는 방법의 흐름도이다.
도 19는 실시예에 따른, 2-D 도구 트래킹 마커의 스테레오스코픽 이미지를 프로세싱하는 방법의 흐름도이다.
도 20a 내지 20e는 실시예에 따른, 2-D 도구 트래킹 마커의 이미지를 프로세싱하는 단계들을 도시한다.
도 21a 및 21b는 실시예에 따른, 복수의 위치에 있는 마커들이 상이한 동작 범위를 어떻게 지원할 수 있는지 도시한다.
도 22a는 실시예에 따른, 1차원(1-D) 도구 트래킹 마커를 도식적으로 도시한다.
도 22b는 실시예에 따른, 복수의 1-D 도구 트래킹 마커를 가진 수술도구를 도식적으로 도시한다.
도 22c 및 22d는 실시예에 따른, 다른 1-D 도구 트래킹 마커를 도식적으로 도시한다.
도 23은 실시예에 따른, 1-D 도구 트래킹 마커의 스테레오스코픽 이미지를 프로세싱하는 흐름도이다.
도 24는 실시예에 따른, 각각 3개의 상이한 반향으로부터 조명되는/이미지화된 반사 오목 구면을 가진 프리미티브 피처를 도식적으로 도시한다.
도 25는 실시예에 따른, 각각 반사 볼록 구면을 가진 프리미티브 피처를 도식적으로 도시한다.
도 26a 및 26b는 실시예에 따른, 반사 구면과 포인트 구성 마커를 가진 프로토타입 수술도구의 내시경 이미지이다.
도 27은 실시예에 따른, 반사 구면과 프리미티브 피처를 가진 수술도구의 스테레오스코픽 이미지를 프로세싱하는 것을 사용하는 도구 트래킹 방법의 흐름도이다.
도 28a 및 28b는 실시예에 따른 보고 인식가능한 도구 마커를 도시한다.
도 29a, 29b, 29c, 29d, 29e, 29f, 29g, 및 29h는 실시예에 따른 인식가능한 마커 내에 위치 정보 및/또는 식별정보를 통합하기 위해 사용될 수 있는 몇가지 예시적인 접근법을 도시한다.
도 30a, 30b, 30c, 및 30d는 실시예에 따른, 추가적으로 몇가지 예시적인 인식가능한 마커 디자인을 도시한다.
도 31은 실시예에 따른, 인식가능한 마커를 가진 수술도구의 이미지의 프로세싱을 사용하는 도구 트래킹 방법의 흐름도이다.
실시예에 따라, 하나 이상의 물체 위치된 기준 피처로부터 이미지 유도된 데이터를 사용하여 3차원(3-D) 물체 트래킹을 위한 개선된 방법 및 시스템이 제공된다. 이러한 방법 및 시스템은 특히 미소 절개 로봇 수술동안 수술도구를 트래킹하기 위해 사용될 때 유리할 수 있다.
아래의 용어들이 본 명세서에서 사용된다. "피처"는 어떤 것이든 이미지로부터 추출될 수 있는 유용한 정보를 나타내기 위해 사용된 일반적인 용어이다. "프리미티브 피처"는 이미지로부터 국부적으로 추출될 수 있는 작거나 간단한 피처(예컨대, 눈에 띄는 블라브(blob), 작은 원, 점, 바 등)를 나타내기 위해 사용된다. 프리미티브 피처는 "복합 피처"와 대조되는데, 여기서 복수의 프리미티브 피처가 복합 피처를 만들기 위해 사용된다. "마커"는 물체를 찾기 위해 또는 물체의 포즈를 계산하기 위해 사용되는 몇몇 인식가능한(전형적으로 가시적인) 패턴이다. 마커는 복수의 프리미티브 피처로 이루어질 수 있다. "도구 상태"는 포즈(위치 및 방향)과 같은, 도구에 관련된 임의의 정보는 물론, 도구 또는 임의의 로봇 또는 도구를 조종하기 위해 사용되는 위치조절 시스템의 임의의 관절부에 대한 관련 정보를 나타내기 위해 사용된 일반적인 용어이다. 예를 들어, 도구 상태는 도구의 포즈, 도구의 움직임을 발효시키기 위해 사용되는 로봇 작동 시스템의 로봇 조인트 파라미터, 관절형 말단 작용기 위치, 도구의 속도, 도구의 가속도, 도구에 가해지는 힘 등을 포함할 수 있다. "로컬라이저 피처"는 그 피처에 대한 위치 정보를 제공하기 위해 프로세싱될 수 있는 피처이다. 복수의 프리미티브 로컬라이저 피처는 하나의 패턴의 피처의 나머지에 대한 위치 및 방향(즉, 배열) 정보를 제공하기 위해 프로세싱될 수 있다. "모델"은 트래킹되는 물리적 도구의 임의의 이전 지식을 나타내기 위해 사용된 일반적인 용어이다. 이는 물리적 모델, 가상 모델, 도구 상의 피처의 위치, 및 그 특성 등을 포함할 수 있다.
예컨대, 도구에 위치하는 기준 피처의 하나의 이점은 이미지 내에서 더 쉽게 탐지될 수 있는 적어도 하나의 피처를 제공한다는 점이다. 미소절개 로봇수술과 같은, 몇몇 도구 사용 환경은 도구 위로 흐르는 체액의 존재, 및/또는 도구의 부분적 또는 전체적 가려짐을 일으킬 수 있는 소작(cauterization) 증기의 존재와 같은, 이미지 유도된 도구 트래킹의 사용에 대한 문제점이 존재한다. 하나 이상의 기준 피처를 포함하도록 도구를 구성함으로써, 이미지 유도된 도구 트래킹에 대한 환경의 영향은 감소될 수 있다.
예컨대, 다른 이점은 복수의 기준 피처가 위치/방향 정보 및/또는 식별정보를 포함하는 마커를 정의하기 위해 사용될 수 있다는 것이다. 충분한 위치/방향 정보를 통해, 물체(즉, 도구)의 3-D 포즈(위치 및 방향)가 결정될 수 있다. 위치 및 방향 정보는 하나의 마커 내에 포함될 수도 있고, 또는 마커의 하나의 조합 내에 포함될 수 있다. 식별정보는 이미지화된 마커와 물체에 대한 연관된 위치 관계 데이터와, 이미지화된 마커를 연관시키기 위해 사용될 수 있다. 이러한 식별정보는 복수의 마커 피처가 물체 상에 사용된 때 이미지화된 마커들을 구별하기 위해 사용될 수 있다.
예컨대, 다른 이점은 복수의 마커가 리던던시를 제공하기 위해 사용될 수 있다는 점이다. 예를 들어, 도구는 사용하는 동안 도구의 특정 방향에 관계없이 기준 피처를 제공하기 위해, 도구 둘레에 배치된 복수의 마커를 포함할 수 있다. 마커의 집합 중 임의의 하나의 마커는 도구의 3-D 포즈의 판정을 위한 위치 및 방향 정보를 제공하기 위해 다수의 피처를 포함할 수 있다. 마커의 집합에서 임의의 특정 마커는 그 특정 마커에 대한 식별정보와 연관되어 있는 식별정보 피처를 포함할 수 있다. 복수의 마커에 의해 제공되는 리던던시는 피처를 찾는 동안 발생할 수 있는 랜덤 에러를 줄이기 위해 평균될 수 있는 복수의 포즈 추정값을 제공함으로써 더욱 정밀한 포즈 추정에 기여할 수 있다.
예컨대, 다른 이점은 리던던시 피처가 에러 체킹을 위해 제공되도록 사용될 수 있다는 점이다. 예를 들어, 마커는 에러 체킹 데이터를 정의하는 리던던트 피처를 포함할 수 있다. 이 에러 체킹 데이터는 판정된 식별정보를 검증하기 위해 그 마커에 대한 식별정보와의 일치성에 대하여 검사될 수 있다. 부가적으로, 리던던트 피처는 하나 이상의 마커 피처의 가려짐(또는 일반적으로 이미지화되지 못함)으로 인한 잘못된 식별정보로부터 보호하기 위해 사용될 수 있는 체크썸 데이터를 포함할 수 있다. 명백한 에러 체킹 메카니즘은 배경 클러터로부터 마커를 잘못 탐지하거나, 돌발적인 마커의 배열의 가능성을 매우 낮은 확률로 줄임으로써 이러한 마커의 탐지의 신뢰도를 제공한다.
판정된 3-D 포즈는 다양한 방법으로 도구의 디스플레이된 이미지를 조절하기 위해 사용될 수 있다. 예를 들어, 디스플레이된 이미지는 추가적인 기준 피처가 시각적으로 덜 보이도록, 또는 이미지의 기준 피처에 위치하는 부분을 변경함으로써 완전히 "삭제"되도록 조절될 수 있다.
미소절개 로봇수술
도 1은 본 발명의 설명을 위한 적절한 시작점을 제공한다. 도 1은 수술대(14)에 누워 있는 환자(12)에 미소 절개 진단 또는 수술을 수행하기 위해 전형적으로 사용되는 미소절개 로봇수술(MIRS) 시스템(10)의 평면도이다. 이 시스템은 수술 동안 수술의(18)에 의한 사용을 위한 수술의 콘솔(16)을 포함한다. 한명 이상의 보조(20)들 또한 수술에 참가할 수 있다. MIRS 시스템(10)은 환자측 카트(22)(수술 로봇), 및 비전 카트(24)를 더 포함할 수 있다. 환자측 카트(22)는 수술의(18)가 콘솔(16)을 통해 수술 부위를 보는 동안 환자(12)의 신체의 미소 절개 삽입구를 통해 적어도 하나의 제거가능하게 연결된 도구 또는 도구 어셈블리(26)(이제부터 간단하게 "도구"라 함)를 조종할 수 있다. 수술부위의 이미지는 스테레오스코픽 내시경과 같은 내시경(28)에 의해 획득될 수 있고, 내시경(28)을 방향조절하기 위해 환자측 카트(22)에 의해 조종될 수 있다. 비전 카트(24)는 수술의 콘솔(16)을 통해 수술의(18)에게 연속적인 디스플레이를 위해 수술 부위의 이미지를 프로세싱하기 위해 사용될 수 있다. 한번에 사용되는 수술도구(26)의 개수는 다른 요인들 중에서 특히, 진단 또는 수술, 수술실 내에 제한된 공간에 의존하는 것이 일반적이다. 수술 동안 사용되는 하나 이상의 도구(26)를 변경할 필요가 있다면, 보조(20)는 더 이상 사용되지 않는 시간에 환자측 카트(22)에서부터 도구(26)를 제거하고, 수술실 내의 트레이(30)로부터 다른 도구(26)로 교체한다. 도시된 예의 시스템(10)은 캘리포니아 서니베일의 인튜어티브 서지컬 인코포레이티드에 의해 제조되는 다빈치®수술 시스템이다.
도 2는 수술의 콘솔(16)의 전면도이다. 수술의 콘솔(16)은 수술의(18)에게 깊이 인식이 가능하도록 수술 부위의 좌표화된 스테레오 화면을 보이기 위한 좌안 디스플레이(32) 및 우안 디스플레이(34)를 포함한다. 콘솔(16)은 (도 1에 도시된) 환자측 카트(22)가 하나 이상의 도구를 조종할 수 있게 하는 하나 이상의 제어 디바이스(36)를 더 포함한다. 바람직하게는, 제어 디바이스(36)는 수술의에게 원격 현장감을 제공하기 위해, (도 1에 도시된) 연결된 도구(26)와 동일한 자유도, 및 수술의가 도구(26)를 직접 컨트롤하는 것과 같은 강한 느낌을 가지도록 제어 디바이스(36)가 도구(26)와 통합되어 있다는 인식을 제공할 것이다. 그로 인해, 위치, 힘, 및 촉감 피드백 센서(도시되지 않음)가 도구(26)로부터 제어 디바이스(36)를 통해 수술의의 손으로 다시 위치, 힘, 및 촉감의 감각을 전달하기 위해 사용되는 것이 바람직하다.
수술의 콘솔(16)은 통상적으로 수술의가 직접 수술을 모니터하고, 필요하다면 물리적으로 참석하고, 그리고 전화 또는 다른 통신 매체를 통하지 않고 직접 보조에게 말할 수 있도록 환자와 동일한 방에 위치한다. 그러나, 수술의는 다른 방, 다른 빌딩, 또는 환자로부터 다른 원격 위치에 있을 수도 있고, 그러므로 원격 수술이 가능해야 함을 이해해야 한다.
도 3은 비전 카트(24)의 전면도이다. 비전 카트(24)는 내시경(28)과 연결될 수 있고, 수술의 콘솔, 또는 지역적으로 그리고/또는 원격적으로 위치하는 임의의 다른 적합한 디스플레이 상으로 수술의에게 연속적으로 디스플레이하도록 캡쳐된 이미지를 프로세싱하기 위한 프로세서를 포함할 수 있다. 예컨대, 스테레오스코픽 현미경이 사용된 경우, 비전 카트(24)는 수술 부위의 좌표화된 스테레오 이미지를 수술의에게 보여주기 위해 캡쳐된 이미지를 프로세싱할 수 있다. 이러한 좌표화는 마주한 이미지 사이의 배열을 포함하고, 스테레오스코픽 내시경의 스테레오 작동 거리를 조절하는 것을 포함한다. 다른 예로서, 이미지 프로세싱은 광 수차와 같은, 이미지 캡쳐 디바이스의 이미지화 오차를 보상하기 위해 미리 결정된 카메라 교정 파라미터의 사용을 포함할 수 있다. 사용될 수 있는 몇몇 가능한 이미지 프로세싱의 예시적인 세부사항은, 예컨대, (2004년 3월 7일에 출원된) 미국특허번호 제7,277,120호를 포함하여, 인튜어티브 서지컬 인코포레이티드에게 양도된 다수의 특허 및 특허출원에 개시되어 있다.
도 4는 (도 1의 MIRS 시스템(10)과 같은) 로봇 수술 시스템(50)을 도식적으로 도시하고, 컴포넌트 사이의 통신 경로를 보여준다. 서술된 바와 같이, (도 1의 수술의 콘솔(16)과 같은) 수술의 콘솔(52)은 미소절개 수술동안 (도 1의 환자측 카트(22))와 같은 환자측 카트(수술 로봇)(54)를 제어하기 위해 수술의에 의해 사용될 수 있다. 환자측 카트(54)는 수술부위의 이미지를 캡쳐하고 (도 1의 비전 카트(24)와 같은) 비전 카트(56)로 캡쳐된 이미지를 출력하기 위해 스테레오스코픽 내시경과 같은 이미징 디바이스를 사용할 수 있다. 앞서 서술된 바와 같이, 비전 카트(56)는 임의의 후속한 디스플레이 이전에 다양한 방법으로 캡쳐된 이미지를 프로세싱할 수 있다. 대안으로서, 환자측 카트(54)는 비전 카트(56) 외부에서 프로세싱하기 위해 캡쳐된 이미지를 출력할 수 있다. 예를 들어, 환자측 카트(54)는 캡쳐된 이미지를 프로세싱하기 위해 사용될 수 있는 프로세서(58)로 캡쳐된 이미지를 출력할 수 있다. 이 이미지는 또한 협동하여, 순차적으로, 그리고/또는 이들의 조합으로 캡쳐된 이미지를 프로세싱하기 위해 서로 연결될 수 있는 비전 카트(56)와 프로세서(58)의 조합에 의해 프로세싱될 수도 있다. 하나 이상의 개별 디스플레이(60)는 또한 수술부위의 이미지와 같은 이미지, 또는 임의의 다른 관련 이미지의 로컬 및/또는 원격 디스플레이를 위해 프로세서(58) 및/또는 비전 카트(56)에 연결될 수 있다.
로봇 수술도구 트래킹
도 5a, 5b, 및 5c는 환자측 카트(22), 8mm 샤프트 수술도구(62), 및 5mm 샤프트 수술도구(64)를 각각 도시한다. 수술도구(62 및 64)는 수술도구(26)의 예이다. 도시된 환자측 카트(22)는 수술 부위의 이미지의 캡쳐를 위해 사용된 스테레오스코픽 내시경과 같은 이미징 디바이스(28)와 3개의 수술도구(26)의 조종을 제공한다. 조종은 다수의 로봇 관절을 가진 로봇 메카니즘에 의해 제공된다. 이미징 디바이스(28) 및 수술도구(26)(예컨대, 말단 작용기(66))는 필요한 삽입구의 크기를 최소화하기 위해 키네매틱스 원격 센터가 삽입구에서 유지되도록 환자 몸속으로 삽입구를 통해 놓여지고 조종될 수 있다. 수술 부위의 이미지는 수술도구의 원단부가 이미징 디바이스(28)의 시야 내에 놓여 있을 때, 수술도구(26)의 원단부의 이미지를 포함할 수 있다.
도 6은 키네매틱스 추정된 수술도구 포즈(70), 이미지 유도 추정된 수술도구 포즈(72), 및 실제 수술도구 포즈(74) 사이의 상대적 차이를 도식적으로 도시한다. 앞서 서술한 바와 같이, 도구의 3-D 포즈의 정확한 정보는 많은 이미지 가이드식 수술 애플리케이션 및 사용자 인터페이스 애플리케이션에 중요하다. 키네매틱스 조인트 센서 데이터가 도구의 3-D 포즈를 추정하기 위해 사용된 때, 상당한 량의 에러가 도입될 수 있다. 랜덤 센서 노이즈와 같은, 많은 에러의 원인들이 존재하지만, 이러한 에러의 대부분은 키네매틱스 조인트의 실제 위치와 키네매틱스 조인트 센서 데이터에 의해 지시되는 키네매틱스 조인트의 지시된 위치 사이의 고정된 차이로 인해 발생하는 오프셋 에러에 의한 것일 수 있다. 도구의 원단 작동 끝부로부터 더 멀리 위치하는 키네매틱스 조인트에서의 오프셋 에러는 도구의 원단 작동 끝부와 더 가깝게 위치하는 조인트보다 전체 오프셋 에러에 더 많이 기여하는 것이 전형적이다. 그 결과, 키네매틱스 추정된 포즈(70)는 그 수술도구에 대한 실제 포즈(74)로부터 상당히 벗어날 수 있다. 예를 들어, 예시적인 수술 로봇에 대한 키네매틱스 추정된 도구 포즈는 잘 교정된 시스템에서 10 내지 15mm까지 도구에 대한 실제 포즈와 차이날 수 있고, 시스템이 최근에 그리고/또는 정밀하게 교정되지 않았다면 훨씬 더 차이날 수 있다. 그 결과, 키네매틱스 추정값을 보정하는데 사용하기 위한 위치 보정을 결정하기 위해 사용될 수 있는 더 정밀한 도구 포즈 추정값을 얻기 위한 논-키네매틱스 기반의 방법을 사용하는 것이 바람직할수 있다.
이미지 유도된 수술도구 포즈 추정값(72)은 로 키네매틱스 추정된 도구 포즈(70)보다 상당히 더 정밀할 수 있다. 이러한 높은 정밀도는 도시된 이미지 유도된 도구 포즈(72)와 실제 도구 포즈(74) 간의 비교적 작은 위치 차이만큼 도 6에 도식적으로 도시되어 있다. 그러나, 이미지 유도된 도구 포즈(72)는 요구되는 이미징 프로세싱 시간과 같은 다수의 요인으로 인해 로 키네매틱스 추정된 도구 포즈(예컨대, 대략 1333Hz로 갱신)보다 상당히 더 낮은 속도로(예컨대, 대략 초당 30프레임 이하) 사용가능하고, 도구가 이미징 디바이스의 시야를 벗어나거나, 환자 조직에 의해, 환자의 체액에 의해, 그리고/또는 부식에 의한 불투명 또는 반투명 기체에 의한 것과 같은 몇가지 이유로 가려진 특정한 시간에 전혀 사용될 수 없다.
도 7은 도구의 다양한 추정된 포즈와 실제 포즈(76) 간의 시간에 따른 변동을 도식적으로 도시한다. 도시된 바와 같이, 도구 포즈에 대한 로 키네매틱스 추정값(78)은 실제 포즈(76)와 상당히 벗어날 수 있다. 앞서 서술한 바와 같이, 이러한 편이의 대부분은 로 키네매틱스 추정값(78)과 실제 포즈(76) 사이의 실질적으로 일정한 오프셋으로 도시된 고정 오프셋 에러와 연관될 수 있다. 키네매틱스 센서 데이터의 비교적 높은 속도의 사용가능성으로 인해, 로 키네매틱스 추정된 포즈(78)는 초당 1333회와 같은 높은 속도로 사용가능할 수 있다. 이와 대조적으로, 이미지 유도된 포즈 추정값(80)은 비교적 정밀할 수 있지만, 낮은 속도로 사용가능할 수 있다. 키네매틱스 추정된 포즈와 이미지 유도 추정된 포즈의 조합은 실제 포즈 추정값(82)을 판정하기 위해 사용될 수 있고, 이는 상대적으로 실제 포즈(76)를 잘 트래킹할 수 있다. 실제 포즈 추정값(82)의 결정을 위해 로 키네매틱스 추정된 포즈와 이미지 유도 추정된 포즈의 조합의 사용에 대한 상세한 설명은, 예컨대, (2005년 5월 16일에 출원된) 미국특허출원 공개번호 2006/0258938 A1를 포함하여, 인튜어티브 서지컬 인코포레이티드에게 양도된 다수의 특허 및 특허출원에 서술되어 있다.
도 8은 스테레오스코픽 내시경(28)과 같은 이미징 디바이스(86)의 시야 내에 있는 수술도구(84)(예컨대, 도구(26))의 일부에서 발생할 수 있는 변동을 도시한다. 이미징 디바이스(86)는 시야(88) 내에서 임의의 수술도구 부분과 수술부위의 이미지를 캡쳐하기 위해 사용되는 2개의 오버래핑 시야(88)를 포함할 수 있다. 기기(84)가 이미징 디바이스(86)로부터 먼 범위에서 작동할 때, 수술기기(84)의 더 많은 부분이 캡쳐된 이미지 내에 포함될 수 있을 것이지만, 임의의 도구 피처의 상대적 크기는 전체 시야와 비교하여 더 작아 질 것이다. 기기(84)가 이미징 디바이스(86)로부터 가까운 범위에서 작동할 때, 수술기기(84)의 더 적은 부분이 캡쳐된 이미지 내에 포함될 수 있을 것이지만, 임의의 도구 피처의 상대적 크기는 전체 시야와 비교하여 더 커질 것이다.
도 9는 도구에 부착된 하나 이상의 마커의 이미징을 사용하는 도구 트래킹 방법(100)의 흐름도이다. 아래에 더욱 상세하게 설명된 바와 같이, 수술도구(26)와 같은 도구는 이미지 유도된 도구 포즈 추정값을 제공하기 위해 이미지화되고 프로세싱될 수 있는 피처를 제공하기 위한 하나 이상의 마커를 포함할 수 있다. 단계(102)에서, 도구와 마커의 하나 이상의 이미지가 캡쳐된다. 캡쳐된 이미지는 모노-비전 이미징 디바이스의 사용을 통해 획득된 하나의 이미지일 수 있고, 스테레오 내시경과 같은 스테레오 비전 이미징 디바이스로 획득된 스테레오 이미지일 수도 있다. 단계(104)에서, 캡쳐된 이미지는 하나 이상의 마커와 연관된 위치 데이터를 판정하기 위해 프로세싱된다. 위치 데이터는 이미지 내의 하나 이상의 마커 피처의 위치를 포함할 수 있다. 상이한 식별정보를 가지는 적어도 2개 이상의 마커가 하나 이상의 수술도구에 사용되고, 이미지는 단계(106)에서 하나 이상의 마커의 식별정보를 판정하기 위해 프로세싱될 수 있다. 아래에 더욱 상세하게 서술된 바와 같이, 마커는 마커의 식별정보를 판정하기 위해 이미징되고 후속하여 프로세싱될 수 있는 하나 이상의 식별정보 피처를 포함할 수 있다. 단계(108)에서, 위치 데이터 및 임의의 식별정보는 도구의 3-D 포즈와 같은 도구 상태 데이터를 판정하기 위해 사용될 수 있다. 마커와 도구 사이의 상대적 위치 데이터와 같은, 추가적인 정보가 도구상태 데이터의 판정 동안 사용될 수 있다. 예를 들어, 마커의 3-D 포즈와 도구의 3-D 포즈 사이의 상대적인 3-D 포즈 오프셋 데이터(오프셋 위치 및 오프셋 방향)은 상대 위치 데이터를 제공할 수 있다.
단계(108)에서 판정된 도구 상태 데이터는 예상되는 도구 상태 데이터 범위와 충분하게 일치하지 않는다면 거절될 수 있다. 예를 들어, 도구에 대한 추정된 3-D 포즈는 도구의 움직임을 발효시키는 로봇 작동 시스템으로부터 도구의 이전 이미지 또는 조인트 데이터를 사용함으로써 생성될 수 있다. 이러한 추정된 3-D 포즈는 서로 일치하는지 검증하기 위해 단계(108)에서 판정된 도구 상태 데이터와 비교될 수 있다. 임의의 불일치는 이상치인 것으로 판정된 도구 상태 데이터의 거절 여부를 결정하기 위해 평가될 수 있다.
도 10은 마커(112)를 가진 도구를 트래킹하는 시스템(110)을 도식적으로 도시한다. 이 시스템은 마커(112)를 가진, 도구(26)와 유사한 적어도 하나의 도구를 포함한다. 스테레오스코픽 내시경(28)과 같은 이미징 디바이스(114)는 마커(112)를 가진 도구의 하나 이상의 이미지를 캡쳐하기 위해 사용된다. 이미징 디바이스(114)는 프로세서(116)에 연결되고, 마커(112)를 가진 도구를 이미지화하는 것에 응답하여 이미지 데이터를 프로세서(116)로 전송한다. 프로세서(116)는 마커(112)를 가진 도구에 대한 추정된 3-D 포즈를 포함할 수 있는데, 도구 상태 데이터(118)를 생성하기 위해 수신된 이미지 데이터를 프로세싱하도록 구성된다.
도 11은 하나의 실시예에 따른, 도구 상태를 판정하는 도구 트래킹 방법(120)의 흐름도이고, 이미지 유도된 3-D 포즈 오프셋을 사용하여 보정된 키네매틱스 추정된 도구 상태를 생성하기 위해 마커의 스테레오 이미지와 로 키네매틱스 데이터를 프로세싱하는 단계를 보여준다. 이미지 유도 추정된 도구 상태와 달리 로 키네매틱스 데이터(124)로부터 추정된 도구 상태를 생성하기 위해 사용되는 조인트 센서 데이터의 더 높은 갱신 속도 때문에, 이미지 유도된 포즈 오프셋은 보정된 키네매틱스 추정된 도구 상태를 생성하기 위해 로 키네매틱스로부터 추정된 도구 상태와 함께 결합될 수 있다. 이러한 방식으로, 일련의 보정된 키네매틱스 추정된 도구 상태는 로 키네매틱스 데이터(124)로부터 대응하는 시리즈의 추정된 도구 상태와 결합된 하나의 포즈 오프셋을 사용하여 생성될 수 있다. 이러한 포즈 오프셋은 새로운 이미지 데이터(122)에 응답하여 시간에 따라 갱신될 수 있다.
포즈 오프셋의 판정은 마커를 가진 도구의 이미지 데이터 및 마커를 가진 도구에 대한 대응하는 로 키네매틱스 데이터(124)의 획득과 함께 단계(126)에서 시작한다. 도시된 바와 같이, 이미지 데이터(122)는 좌측 이미지 데이터 및 우측 이미지 데이터를 포함할 수 있으나, 하나 이상의 마커 피처의 하나의 이미지가 포즈 오프셋을 생성하는데 유용한 이미지 유도된 위치 정보를 생성하기 위해 프로세싱될 수도 있음을 이해해야 한다. 예를 들어, 하나의 마커 피처의 이미지 내의 위치는 이전의 포즈 오프셋에 대한 1차원(1-D) 보정을 생성하기 위해 상기 하나의 마커 피처에 대한 이미지 내의 예상되는 위치와 비교될 수 있다. 하나의 이미지가 동일 선상에 있지 않은 4개의 피처를 포함한다면, 스테레오 이미지 내의 동일 선상에 있지 않은 3개의 피처의 위치는 도구에 대한 이미지 유도된 3-D 포즈를 판정하기 위해 충분하다. 로 키네매틱스 데이터(124)는 키네매틱스 조인트 위치 파라미터와 같은, 기본적인 센서 데이터를 포함할 수 있고, 그리고/또는 현재의 로 키네매틱스 유도된 도구 상태를 포함할 수 있다.
단계(128)에서, 좌측 이미지와 우측 이미지는 마커 피처를 탐지하기 위해 프로세싱될 수 있다. 좌측 이미지 내의 마커 피처의 위치와 우측 이미지 내의 마커 피처의 위치는 마커 피처에 대한 3-D 좌표를 생성하기 위해 단계(130)에서 사용된다. 스테레오 삼각측량의 상세한 설명은, 예컨대, 알. 하틀리와 에이. 지셔만, "컴퓨터 비전에서의 복수의 뷰 지오메트리", 캠프릿지 유니버시티 프레스, 2000의 챕터 12를 참조할 수 있다. 특정한 실시예에 관하여 아래에 더욱 상세하게 서술된 바와 같이, 식별정보를 가진 몇몇 마커와 함께, 마커는 마커의 식별정보를 판정하기 위해 프로세싱될 수 있는 적어도 하나의 식별정보 피처를 포함할 수 있다.
단계(132)에서, 마커 피처에 대한 3-D 좌표는 이미지 유도된 도구 상태를 판정하기 위해 마커의 임의의 식별정보와 결합하여 프로세싱될 수 있다. 다수의 마커의 이미지가 도구에 대한 3-D 포즈를 판정하기 위한 충분한 포즈 정보를 제공하기 위해 사용될 수 있으나, 도구에 대한 3-D 포즈를 판정하기 위해 하나의 마커가 충분한 개수의 피처를 포함하는 것이 유리할 수 있다. 부가적으로, 도구 상의 각각의 마커가 이웃한 마커와 상이한 식별정보를 가지는 것이 유리할 수 있다. 이러한 마커와 함께, 이미지 유도된 도구 상태는 마커의 3-D 포즈를 판정하고, 마커의 식별정보를 판정하고, 그리고 식별된 마커가 도구 상에서 어떠한 위치 및 방향인지에 관한 데이터를 사용함으로써 판정될 수 있다. 이러한 접근법의 변형이 사용될 수도 있음을 이해해야 한다. 예를 들어, 마커의 조합으로부터 피처는 마커의 조합으로부터의 피처가 도구 상에 어떠한 위치 및 방향인지에 관한 데이터와 결합될 수 있는, 마커의 조합의 3-D 포즈를 판정하기 위해 결합될 수 있다. 이러한 프로세스 동안, (이전에 판정된 포즈 오프셋으로부터) 보정된 키네매틱스 추정된 도구 상태는 보정된 키네매틱스 추정된 도구 상태와 너무 차이나는 임의의 이미지 유도 추정된 도구 상태를 거절하기 위해 이미지 유도 추정된 도구 상태와 비교될 수 있다.
단계(134)에서, 포즈 오프셋은 보정된 키네매틱스 추정된 도구 상태를 얻기 위해 로 키네매틱스 데이터(!24) 추정된 도구 상태와 비교될 수 있다. 다양한 접근법이 포즈 오프셋을 판정하기 위해 사용될 수 있음을 이해해야 한다. 예를 들어, 포즈 오프셋은 실질적으로 동일한 시점에 대하여 (도 7에 도시된) 실제 도구 포즈의 추정값과 대응하는 로 키네매틱스 데이터(124) 추정된 도구 상태 간의 차이로 계산될 수 있다. 다른 예로서, 포즈 오프셋은 실질적으로 동일한 시점에 대하여 이미지 유도 추정된 도구 상태와 대응하는 로 키네매틱스 데이터(124) 추정된 도구 상태 간의 차이로 계산될 수 있다.
단계(136)에서, 보정된 키네매틱스 기반의 도구 상태가 판정된다. 앞서 서술한 바와 같이, 하나의 포즈 오프셋은 로 키네매틱스 데이터(124) 기반의 도구 상태가 이미지 유도된 도구 상태와 비교하여 더 높은 속도로 사용가능할 때, 보상하기 위해 하나 이상의 로 키네매틱스 데이터(124) 기반의 도구 상태를 보정하기 위해 사용될 수 있다. 보정된 키네매틱스는 프로세스의 시작(단계(126))으로 다시 제공될 수 있다. 여기서, "페칭된" 현재 이미지 및 키네매틱스 데이터는 이미지 데이터, 로 키네매틱스 데이터, 및 현재 포즈 오프셋, 및/또는 보정된 키네매틱스 데이터를 포함할 수 있다.
마커 디자인
도구 마커의 사용 목적은 특히 이미지 가이드된 로봇 수술과 같은 중요한 애플리케이션을 위해 마커를 사용하지 않고 달성하기 어려운 이미지 유도된 도구 상태에 관한 견고함과 신뢰도 레벨을 제공하는 것이다. 이와 같이, 하나의 실시예에서, 마커 디자인은 (i) 도구 포즈 추정을 위한 충분한 제약을 제공하고; (ii) 다양한 구현 상태(예컨대, 시점, 조명) 및 구현 배경에서 구별가능하고; (iii) 도구의 다양한 동작 범위에서 작동하고; (iv) 부분적인 가림에 대하여 내성이 있고, 그리고/또는 견고하고; (v) 시각적으로 수용가능하고; (vi) 쉽게 제조될 수 있고; (vii) 제공된 공간 내에 복수의 마커의 사용이 가능할 만큼 충분히(예컨대, 충분한 리던던시 레벨을 제공할만큼 충분히) 컴팩트하고, 그리고 (viii) 이미지 분석 알고리즘에 의해 추출될 수 있다.
1차원(1-D) 및 2차원(2-D) 마커는 다수의 장점들을 제공할 수 있다. 이러한 장점은 (i) 더 효율적인 탐지 및 파싱(parsing)을 지원하는 식별정보 피처 및 개별 로컬라이저 의 사용; (ii)프리미티브 피처 위치에 대한 명백한 코딩 스킴의 사용; (iii) 명백한 에러 체킹 및 에러 보정의 사용; (iv) 다수의 상이한 패턴을 생성할 수 있는 능력; (v) 밀집 정보를 가진 컴팩트 마커의 사용; 및 (vi) 전체 개수의 마커 패턴과 함께 매우 잘 스케일링(sacle)하는, "가설과 검정" 탐지 알고리즘 프레임워크의 사용을 포함한다.
2차원 마커 디자인
도 12a, 12b, 및 12c는 각각 마커 디자인(140), 이미징 디바이스로부터 먼 범위에서 작동하는 마커 디자인(140)을 사용하는 도구(146), 및 이미징 디바이스로부터 가까운 범위에서 작동하는 마커 디자인(140)을 사용하는 도구를 도시한다. 도 12a의 마커 디자인(140)은 도구 샤프트 둘레에 120도 간격으로 놓여질 수 있는 3개의 동일한 패턴(142) 그룹을 포함한다. 각각의 패턴(142)은 노란색 배경에 8행과 2열의 16개의 원을 가진다. 각각의 패턴(142)은 16개의 원의 중심점이 모두 하나의 평면상에 놓이도록 도구 샤프트의 세로축과 나란하게 배열될 수 있다. 원의 2개의 열(144)은 각각의 패턴(142) 사이의 간격과 비교하여 비교적 근접한 간격이다. 보정된 키네매틱스 추정된 도구 상태와 결합되는, 이러한 차별적 간격은 이미지 내의 특정 패턴(142)을 식별하기 위해 사용될 수 있다. 3개의 패턴(142)이 도구 둘레에 120도 간격으로 배열되어 있으므로, 전체 마커(140)의 동일한 이미지 사이의 충분한 차이가 존재할 것이고, 이미지화된 패턴(142)을 구별하기 위해 보정된 키네매틱스 추정된 도구 상태의 고유한 레벨의 정확도가 주어진다. 마커(140)는 도시된 동일한 패턴(142)과 같은 마커 피처가 도구 상태를 판정하기 위해 이미지화될 수 있는 피처를 보여주도록 배열될 수 있는 방법의 하나의 예를 제공한다. 이러한 마커 디자인의 단점은 (i) 노란 배경이 수술 조명 아래에서 너무 밝고, 간섭이 나타나며; (ii) 마커(140)가 기기 샤프트의 끝부를 커버하지만, 대부분의 경우에 수술동안 완전히 가시적이지 않고; (iii) 3개의 패턴(142) 중 하나와 이미지 관찰을 연관시키기 위해 추정된 도구 회전 각도의 최대 에러가 60도 미만이라는 가정에 따른 필요가 있고, 그리고 (iv) 마커가 구별하기 어렵기 때문에, 기기의 다른 부분에 마커를 더 추가하는 것이 어렵다는 점을 포함한다.
도 13a, 13b, 및 13c는 도구의 상테를 트래킹하기 위해 도구상에 사용될 수 있는 3개의 실시예의 2-D 마커(150, 170, 190)를 도시한다. 2-D 마커는 2차원으로 배열된 프리미티브 피처를 포함한다. 몇몇 피처는 로컬라이저 피처로서 역할할 수 있고, 다른 피처는 식별정보 피처로 역할할 수 있다. 로컬라이저 피처는 마커의 포즈/배열을 판정하기 위한 위치 또는 방향 정보를 제공하고, 식별정보 피처는 상이한 마커를 구별하기 위해 사용된다. 식별정보 피처는 특정 코딩 스킴을 따를 수 있고, 에러 체킹 및/또는 보정을 위한 리던던트 정보를 포함할 수 있다. 컴팩트한 2-D 마커를 사용함으로써, 복수의 마커가 상이한 도구의 지오메트리 형상에 맞도록 상이한 방식으로 배열될 수 있다. 마커는 또한 상이한 작동 범위에 대응하기 위해 도구 샤프트 상의 상이한 위치에 배열될 수 있다. 마커는 또한 도구 또는 기기의회전을 추정하기 위해 사용될 수 있다. 함께 쌓여지는 복수의 1-D 패턴과 달리, 2-D 마커 패턴은 더 우수한 정보 밀집성(compactness) 및 지역성(locality)을 제공하는 이점이 있다.
이러한 2-D 자기-식별형 마커는 다수의 고려사항을 충족시키도록 설계된다. 마커의 크기는 이미지 해상도의 제약이 주어진 때 가능한 한 작게 선택된다. 색상이 조명 및 화이트 밸런스에 대한 의존성으로 인해 신뢰적이지 못한 피처일 수 있으므로, 2-D 마커는 특정한 색상에 의존하지 않는다. 추가적으로, 몇몇 색상은 시각적으로 간섭될 수 있다. 이러한 2-D 마커는 몇몇 피처는 다른 것보다 탐지되기 쉽기 때문에, 이미지 내에서 신뢰성 있게 탐지될 수 있는 피처를 포함하도록 설계된다.
상기 고려사항들은 특정 디자인 피처를 포함하는 2-D 마커에 대한 디자인을 야기한다. 예를 들어, 이러한 2-D 마커는 로컬라이저 형상(흑색 원(152, 154, 156, 158; 172, 174, 176, 178; 흑색 바(160; 180); 및 안장점(192)), 다수의 정보 비트 또는 식별정보 피처(도 13a에서 9개의 회색 점(162), 도 13b에서 13개의 회색 점(182), 도 13c에서 16개의 점(194))을 포함하도록 디자인된다. (도 13a 및 13b에서 원과 점의 개수는 단지 참조의 용이함을 위해 사용된 것일 뿐이다.) 원이 원의 토폴로지(밝은 블라브 내에 어두운 블라브 또는 그 역)가 시점에 대하여 변하지 않고, 통상적으로 배경에서 나타나지 않기 때문에, 로컬라이저 형상으로 선택된다. 다른 그러한 피처는 특정한 코너, 특히 도 13c에 도시된 안장점(192)을 포함한다. 마커 디자인이 정보 비트(162, 182, 194)(식별정보 피처)가 사용되는 방법을 제한하지 않지만, 그들은 데이터와 에러 체크 비트로 분할될 수 있다. 데이터 비트에 대응하는 점의 존재 여부는 다수의 고유한 코드(또는 식별정보)를 지정하기 위해 사용될 수 있다. 에러 체크 비트에 대응하는 회색 점의 존재 여부는 코드 또는 식별정보 판정을 검증하기 위해 사용될 수 있다. 마커 패턴(150, 170, 190)의 크기는 미소 절개 로봇 수술을 위한 원하는 작동 거리 범위를 고려하여 선택된다. 그러나, 기기가 통상적으로 이미징 디바이스로부터 더 가깝게 또는 더 멀리 떨어져 작동한다면, 패턴은 그에 따라 더 크거나 작아질 수 있다. 도 13a 및 13b에 도시된 마커(150 및 170)가 도면에 도시된 바와 같이 백색 배경과 어두운 피처를 포함하지만, 어두운 배경과 흰색 피처가 시각적 경험에 대한 임상적 피드백을 기초로 하여 선택될 수도 있다. 그러나, 백색 배경과 어두운 피처가 또한 사용될 수도 있음을 이해해야 한다.
특정한 직경의 기기의 표면상에 놓여진 때, 3-D 지오메트리의 패턴(로컬 좌표 시스템에서 모든 원과 점의 3-D 좌표)은 고정되고 주지된다. 하나의 이미지가 2-D 좌표를 제공하기 위해 사용된다면, 4개의 점의 좌표는 마커(및 도구)의 포즈를 판정하기에 충분하다. 스테레오 이미지가 3-D 좌표를 제공하기 위해 사용된다면, 3개의 점의 좌표가 기기의 포즈를 판정하기 위해 충분하다. 따라서, 이러한 2-D 마커(150 및 170)의 디자인은 4개의 원을 포함하고, 그로 인해 단일 이미지 또는 스테레오 이미지 프로세싱을 위한 충분한 개수를 제공한다. 점은 또한 물체 포즈 추정을 위해 사용될 수 있다. 또한, 마커가 임의의 개수의 상이한 방향으로 도구 상에 놓여질 수 있지만, 마커는 기기 축 방향과 나란한 수직 방향으로 놓여지는 것이 바람직하다.
도 13a 및 13b의 마커 디자인(150 및 170)은 2개의 개별적인 디자인 버전을 나타내는데, 도 13b의 디자인 버전은 실험후 개선된 버전을 나타낸다. 패턴의 전체 크기는 변하지 않았지만, 다수의 차이점이 존재한다. 정보 비트(162 및 182)(또는 식별정보 피처)의 개수는 9에서 13으로 증가하여, 고유 패턴의 개수가 효과적으로 증가하였다. 정보 비트(162 및 182)에 대한 행의 개수는 3에서 4로 증가하였고, 이는 한정된 공간의 더 효과적인 사용을 위한 것이다.
로봇 수술에서 전형적으로 보는 방향이 측방향에서보다 축 방향에서 도구 이미지의 더 심각한 원근현상(foreshorten)을 야기하는 것이 관찰되므로, 도 13b의 패턴은 수평 간격보다 정보 비트(182) 사이에 더 큰 수직 간격을 포함한다. 도 13b의 패턴에서 정보 비트(182)의 열은 또한 상호배치(interleave)되는데, 이는 상호배치가 아닌 패턴에 비하여 원근현상을 완화시키는데 도움을 준다. 정보 비트(162 및 182)(점)의 직경과 원의 두께가 또한 감소되었는데, 이는 테스팅 비전 시스템이 통상적으로 밝은 피처를 확대시킨다는 점을 관찰한 결과이다. 따라서, 이러한 피처들은 분리(isolation)를 유지하기 위해 더 얇아진다.
이러한 2-D 패턴에서 정보 비트(162, 182, 194)는 식별정보 비트를 위해 하나의 번호를 사용하고, 에러 체킹/보정 비트를 위해 나머지 번호를 사용하는 것과 같은 다양한 방식으로 사용될 수 있다. 식별정보 비트와 에러 체킹/보정 비트 사이의 파티션과 그 배열은 플렉시블하고, 특정한 애플리케이션 요구사항에 따라 결정될 수 있다. 이미징 상황이 문제가 적다면, 에러 체킹/보정을 위해 적은 개수의 비트를 사용할 수 있다. 하나의 접근법으로, 도 13b의 마커의 13개의 정보 비트를 식별정보를 전달하기 위해 사용되는 6개의 비트(64개의 고유 코드)와 에러 체킹/보정을 위해 사용되는 나머지 7비트로 분할된다. 7개의 에러 체크/보정 비트 중에서, 6개는 식별정보 비트의 인버스로 설정될 수 있고, 나머지 비트는 체크썸 데이터로 사용될 수 있다. 이러한 접근에 대한 근본적인 이유는 하나의 패턴 내에 물리적으로 존재하는 6 또는 7개의 비트가 존재한다는 것을(즉, 그들이 1로 설정되었음을) 항상 보장하는 것이다. 이는 유효 코드로서 모두 0(모두 블랭크)인 패턴을 피하고, 필요하다면 포즈 추정을 위한 위치 정보를 제공하기 위해 사용될 수 있는 대안의 피처를 제공한다. 앞서 서술된 코딩 스킴은 코딩 이론의 관점에서는 최적의 것이 아닐 수 있다. 코딩 스킴은 유효 코드 워드 사이에 더 긴 해밍 거리를 가지는 것이 바람직하다. 또한 코팅 이론 관점에서 식별정보 비트와 에러 체크 비트 사이에 구별이 없을 수도 있음을 이해해야 한다. 리던던시는 유효 코드 워드가 단지 코드 공간의 일부를 차지할 뿐이라는(즉, 두 유효 코드워드 사이의 해밍 거리는 1보다 크다는) 사실로 인한 것이다.
도 14a, 14b, 15a, 15b, 16a, 16b, 17a, 및 17b는 4개의 상이한 복수의 마커 패턴 그 자체와, 특정한 로봇 수술도구에 적용된 것을 도시한다. 도 14a 및 14b는 각각 8mm(직경, 다른 기기에 대하여 동일한 관습) 기기 샤프트용으로 사용될 수 있는 2-D 마커, 및 그 마커를 가진 8mm 기기 샤프트를 도시한다. 도 15a 및 15b는 각각 10mm 기기 샤프트용으로 사용될 수 있는 2-D 마커, 및 그 마커를 가진 10mm 기기 샤프트를 도시한다. 도 16a 및 16b는 각각 5mm 기기 샤프트용으로 사용될 수 있는 2-D 마커, 및 그 마커를 가진 5mm 기기 샤프트를 도시한다. 도 17a 및 17b는 각각 초음파 트랜스듀서용으로 사용될 수 있는 2-D 마커와 그러한 마커를 갖춘 초음파 트랜스듀서를 도시한다. 더 얇은 기기에 대하여, 복수의 행의 패턴은 몇몇 패턴이 임의의 각도에서 완전한 가시적임을 보장하기 위해 패턴의 절반만큼 쉬프트될 수 있다.
2차원 마커 추출
다양한 접근법이 이미로부터 마커 피처를 추출하고, 이미지 유도된 도구 포즈 추정값을 판정하기 위해 추출된 정보를 프로세싱하기 위해 사용될 수 있음이 이해될 것이다. 예를 들어, 아래에 서술된 바와 같이, 가능한 접근법은 하향식(tip-down) 접근법, 상향식(bottom-up) 접근법, 결합된 하향식/상향식 접근법을 포함할 수 있다.
하향식 접근법에서, 2-D 이미지는 주어진 포즈에서 기기의 3-D 모델로부터 렌더링될 수 있고, 렌더링된 이미지는 그들이 얼마나 잘 매칭하는지 평가하기 위해 실제 입력 이미지와 비교될 수 있다. 가장 좋은 매칭 점수를 제공하는 포즈가 최고의 해(solution)이다. 이러한 생각은 직관적이긴 하지만, 실제로 높은 관련 비용과 프로세싱 시간으로 인해 구현하는 것은 어려울 수 있다.
상향식 접근법은 이미지 내의 몇몇 로컬 피처를 찾고자 시도하고, 해를 계산한다. 상향식 접근법은 눈에 띄는 로컬 피처가 종종 몇가지 가정하에서 또는 몇가지 학습적 방법을 사용하여 용이하게 추출되고 그룹화될 수 있는 시나리오에 적용할 수 있다. 로컬 피처가 모호함을 가질 가능성이 더 높기 때문에, 마커 또는 배경 색상이 이 방법의 신뢰도를 보장하기 위해 추가될 수 있다. 피처가 로컬적으로 계산될 수 있고, 상향식 접근법이 검색이나 반복적인 최적화를 포함하지 않기 때문에, 상향식 접근법은 하향식 접근법보다 계산적으로 더 효율적인 것이 일반적이다.
상기 2가지 종류의 방법의 이점을 모두 통합한 결합된 하향식/상향식 접근법이 사용될 수 있다. 예를 들어, 상향식 접근법은 하향식 방법을 사용하여 테스트되고 검증되는 유한한 개수의 가설을 보고하기 위해 사용될 수 있다. 이러한 타입의 방법은 종종 "가설과 검정"이라고 한다.
도 18은 도구 트래킹 마커의 스테레오스코픽 내시경 이미지를 프로세싱하는 방법(200)의 흐름도이다. 단계(206)에서, 좌측 이미지 데이터(202)와 우측 이미지 데이터(202)는 프리미티브 이미지 피처를 추출하기 위해 프로세싱된다. "프리미티브 이미지 피처"는 블라브와 코너와 같은, 국부적으로 탐지될 수 있는 시각적으로 눈에 띄는 피처를 의미한다. 블라브는 그 둘레에 관하여 충분한 대조를 가진 작은 패치이다. 코너는 두 에지의 교차점이다. MSER 접근법은 적당한 비용으로 블라브를 탐지하는 우수한 방법을 제공한다. MSER은 경계 대조의 매우 작인 가정을 기초로 하고, 그러므로 임의의 크기, 및 임의의 형상의 눈에 띄는 영역(블라브)을 탐지할 수 있다. MSER의 상세한 설명을 위해, 제이 마타스, 오. 첨, 엠. 우반, 및 티. 파드라, " MSER(Maximally Stable Extremal Region)로부터의 로버스트 와이드 베이스라인 스테레오", 인 프로시딩 BMVC, 2002를 참조할 수 있다. 본 출원인은 MSER이 인공적인 기준 마커를 탐지하는데 매우 효율적이라는 것을 알게 되었다.
대안의 피처(블라브) 탐지 접근법은 적응형 쓰레솔딩과 연결된 컴포넌트 분석을 사용하는 것이다. 이치화(binarization)를 위해 사용되는 임계값은 그 이웃의 평균 그레이 값에 따라 조절가능하게 계산된다. 각각의 픽셀에서의 평균은 계산하기 위해 커널 컨볼루션은 직방형 윈도우 내에 고속 평균을 위해 인테그럴(integral) 이미지를 사용하여 구현될 수 있다. 적응형 쓰레솔딩의 한계는 고정 스케일에 대하여 작동한다는 점이다. 복수의 스케일에 대하여, 상이한 스케일로 여러번 실행되어야 한다. 또한, 적응형 쓰레솔딩과 연관된 컴포넌트 분석을 피라미드 방식으로 실행하는 것을 고려할 수 있다.
이미지로부터 코너 포인트를 탐지하는 다양한 방법이 존재한다. 널리 사용되는 코너 탐지 방법의 예로서, 크리스 해리스 및 마이크 스테판, "결합된 코너와 에지 탐지기", 페이지 147-151, 인. 프로시딩 브리티쉬 머신 비전 컨퍼런스, 1995; 및 지암보 쉬, 및 카를로 토마시의 "트래킹하기 좋은 피처", 페이지 593-600, 인 프로시딩, IEEE 컨퍼런스 컴퓨터 비전 및 패턴 인식, 1994를 참조할 수 있다. 원하는 특성을 찾기 위해 상기 일반적인 코너 탐지기의 결과에 대하여, 더욱 특정한 코너(예컨대, 안장 점)에 대한 분석이 수행될 수 있다.
학습 기반의 접근법이 또한 배경 도트와의 모호함을 없애기 위해 도트의 미세한 외형을 고려하는 점 탐지를 위해 사용가능하다(디. 클라우스와 에이. 더블유. 피츠지본의 "내츄럴 씬에서의 신뢰성 있는 기준 탐지", 인 프로시딩. 유럽 컨퍼런스 컴퓨터 비전, 2004 참조). 이러한 접근법은 점보다 더 복잡한 마커를 위해 사용될 수도 있다.
블라브 탐지기로부터의 출력은 이미지로부터의 블라브의 목록이다. 모든 이미지 픽셀보다 이러한 블라브를 분석하는 것이 훨씬 더 빠를 수 있다. 본 출원인은 평평도(공분산 매트릭스의 첫번째 8개의 값과 두번째 8개의 값의 비율)를 체크함으로써 2-D 마커의 바를 탐지하였다. 우리는 밝은 블라브의 중심이 어두운 블라브의 내부에 있고, 어두운 블라브의 바운딩 박스가 밝은 블라브의 바운딩 박스에 의해 완전히 포함된다는 발견적 방법에 의해 원을 탐지하였다. (예컨대, 더 높은 오더의 모먼트를 분석함으로써) 바 및 원을 탐지하는 더 좋은 방법이 존재할 수 있다. 우리의 전체적인 방법이 낮은 레벨의 프로세싱 에러에 견딜 수 있으므로, 우리는 이러한 방법이 충분하다는 것을 알게 되었다.
프리미티브 이미지 피처의 추출에 이어, 방법(200)의 나머지 단계들이 달성될 수 있다. 단계(208)에서, 추출된 피처는 그룹화된다. 그룹화는 특정한 마커와 같은, 이미지화된 물체와 추출된 프리미티브 피처 사이의 일치를 이루는 프로세스를 의미한다. 이러한 프로세스는 또한 물체 대신에 배경에 속하는 추출된 피처를 고려할 필요가 있다. 프리미티브 피처 그룹화는 추출된 피처를 임의의 특정 마커에 속하는 피처의 그룹으로 어셈블리하기 위해 마커의 설정에 대한 지식에 의존한다. 단계(210)에서, 좌측 이미지 데이터(202)의 그룹화된 피처는 대응하는 우측 이미지 데이터(204)의 그룹화된 피처와 매칭된다. 단계(212)에서, 스테레오 이미지 매칭된 피처는 그 피처에 대한 3-D 데이터를 판정하기 위해 프로세싱될 수 있다. 피처에 대한 3-D 데이터는 그 마커를 식별하고, 그 마커(데이터(214)에 대한 3-D 포즈를 판정하기 위해, 프로세싱될 수 있고, 그 다음 마커를 가진 도구에 대한 3-D 포즈를 판정하기 위해 사용될 수 있다.
도 19는 (도 13a 및 13b에 도시된 실시예의) 도구 트래킹 마커의 스테레오 이미지를 프로세싱하기 위해 사용될 수 있는 방법(220)의 흐름도이다. 방법(220)은 "가설과 검정" 프레임워크를 따른다. 단계(226)에서, 좌측 이미지 데이터(222)와 우측 이미지 데이터(224)는 프리미티브 피처를 추출하기 위해 프로세싱될 수 있는데, 이는 상기 서술된 방법과 같은 다양한 방법에 의해 달성될 수 있다.
단계(228)에서, 추출된 프리미티브 피처 중 일부는 하나 이상의 마커 로컬라이저 피처의 특성을 나타내는 하나 이상의 프리미티브 피처를 식별함으로써 (하나 이상의 마커에 대한) 하나 이상의 로컬라이저 가설을 생성하도록 프로세싱된다. 로컬라이저 가설은 하나 이상의 추출된 프리미티브 피처가 마커 내의 하나 이상의 로컬라이저 피처에 대응한다는 시험적인 가정이다. 하나 이상의 로컬라이저 피처는 마커의 적어도 부분적인 방향 및 위치를 판정하기 위해 사용될 수 있다. 예를 들어, 도 13a 및 13b의 2-D 마커에서, 4개의 원과 바가 로컬라이저 피처로서 사용될 수 있다. 이러한 2-D 마커와 함께, 추출된 프리미티브 피처(또는 일반적으로 이미지 데이터)는 2개의 원을 연결하는 선과 나란한 중앙에 있는 바를 가지는 최소 거리와 최대 거리 사이에 있는 (도 13a와 13b에서 "0"과 "1"로 지정된) 2개의 원을 찾도록 프로세싱될 수 있다. 바가 놓여 있는 라인의 사이드를 식별함으로써, 그 패턴의 부분적인(즉, 이미지 내의 라인에 대한) 방향이 판정될 수 있다. 상이한 마커 패턴의 범위가 사용될 수 있고, 마커 패턴 내의 임의의 피처의 다양한 조합이 하나 이상의 로컬라이저 피처로서 사용될 수 있음을 이해해야 한다.
단계(230)에서, 하나 이상의 완전한 패턴 가설을 생성하기 위해 프로세싱된다. 완전한 패턴 가설은 복수의 프리미티브 피처가 이미징 디바이스에 대한 마커의 3-D 포즈에 의해 판정된, 휘어지거나 원근화(foreshortened)될 수 있는, 이미지 내의 마커 패턴의 기본적인 위치 및 방향을 판정하기 위해 사용될 수 있는 하나 이상의 마커 피처에 대응한다는 시험적인 가설이다. 예컨대, 도 13a 및 13b의 2-D 마커 패턴과 함께, 로컬라이저 가설(사이에 바를 가지는 것으로 식별된 원"0"과 "1")은 나머지 로컬라이저 원(도 13a 및 13b에서 "2"와 "3"으로 표시된)을 찾기 위한 시작점으로 사용될 수 있다. 이러한 검색은 최소 및 최대 패턴 휨, 및 최소 및 최대 패턴 종횡비(aspect ratio)에 의해 정의된 검색 영역 내에 모든 호환가능한 로컬라이저 "2" 및 "3" 피처를 찾을 수 있다. 장점으로서, "2" 및 "3" 원은 그 사이에 바를 가지지 않는데, 이는 그들을 식별하는데 도움을 주기 위해 사용될 수 있다. 로컬라이저 가설과 식별된 "2" 및 "3" 로컬라이저 원의 조합은 전체 패턴 가설을 생성하기 위해 사용될 수 있다. 전체 패턴 가설은 또한 휨 및 종횡비의 일치가 체크됨으로써, 그 펄스펙티브가 최대값보다 작은지 보기 위해 체크될 수 있다.
단계(232)에서, 하나 이상의 생성된 전체 패턴 가설은 마커를 식별하기 위해 이미지 피처를 프로세싱함으로써 검증된다. 다양한 접근법이 마커를 식별하기 위해 이미지 데이터를 프로세싱하기 위해 사용될 수 있음을 이해해야 한다. 예를 들어, 방법(220)에서, 전체 패턴 가설의 생성은 이미지 내의 마커 패턴의 위치 및 방향에 관한 정보를 제공한다. 이러한 정보는 이미지화된 패턴과 후보 마커 패턴을 방향조절 또는 정렬시키기 위해 사용될 수 있다. 이미지 패턴과 정렬된 후보 마커 패턴은 일치성에 대하여 체크될 수 있다. 일치성이 존재하면, 이미징된 마커 패턴은 후보 마커 패턴으로 식별될 수 있다. 예를 들어, 13a 및 13b의 2-D 마커 패턴과 함께, 전체 패턴 가설 내의 탐지된 2-D 블라브의 위치는 전체 패턴 가설과 함께 정열된 후보 마커 패턴 모델의 "1"로 설정된 (즉, 물리적으로 존재하는) 정보 비트의 위치와 비교될 수 있다.
마커 이미지와 후보 마커 패턴의 정렬은 이미징 디바이스에 대한 마커의 3-D 포즈를 추정하고, 추정된 포즈와 후보 마커를 정렬시킴으로써 달성될 수 있다. 포즈 추정은 마커의 3-D 지오메트리와 마커의 이미지 내의 2-D 프로젝션의 지식에 의해 마커의 3-D 포즈를 계산한다. 도 13a 및 13b의 2-D 마커 패턴에 대하여, 포즈 추정은 4개의 로컬라이저 원의 이미지 내의 위치를 사용하여 달성될 수 있다. 이미징 디바이스에 대한 마커의 포즈가 추정된 후, 후보 마커의 피처의 3-D 좌표가 판정되고, 주지된 이미지 디바이스 교정을 사용하여 이미지로 프로젝트된다. 이러한 이미지 위치에서의 픽셀은 그 위치에서 점이 존재하는지 여부를 판정하기 위해 체크될 수 있다.
후보 마커 패턴과 마커 이미지의 정렬은 또한 호모그래피에 의해 달성될 수 있다. 4개의 2-D 포인트 일치성은 펄스펙티브 변환하에서 평면의 모든 가능한 변환을 포함하는, 평면 펄스펙티브 변환(즉, 호모그래피)를 정의한다. 실리더형 도구 샤프트에 부착된 마커 패턴이 평면이 아니라 하더라도, 넓은 범위의 시점을 위해 평면 근사가 사용될 수 있다. 이러한 접근법은 마커 피처가 평면 상에 있다는 근사화를 포함하고, 이는 후보 마커 패턴과 마커 이미지를 정렬하기 위한 간단한 프로세스를 제공한다. 예를 들어, 점에 대한 이미지 위치는 평면 펄스펙티브 변환을 통해 그 패턴에 평면에 부착된 것으로 가정함으로써, 4개의 원의 이미지 위치를 기초로 할 수 있다(알. 하틀리, 및 에이. 지셔만, "컴퓨터 비전에서의 복수의 뷰 지오메트리" 챕터 2, 캠프릿지 대학 프레스, 2000 참조). 평면 가정의 편이로 인해, "평면" 모델 점은 마커 이미지 점과 정확하게 일치하지는 않는다. 이러한 평면 가정을 보상하기 위해, 모델 점의 온/오프 상태는 가장 가까운 이웃 스킴을 사용하여 결정될 수 있다. 가장 가까운 이웃 스킴이 실패한 때, 검증은 실패한다. 경험적으로, 호모그래피는 45도까지의 비스듬한 각도에 대하여 정확하게 2-D 패턴을 탐지할 수 있는 것으로 알게 되었다. 포즈 추정과 달리, 호모그래피에 의한 정렬은 근사치이다. 그러나, 이미징 디바이스 교정이 필요하지 않는다는 점이 여전히 매력적이다. 부가적으로, 마커의 정확한 3-D 지오메트리는 알 필요가 없고(예컨대, 마커가 5mm, 8mm, 및 10mm 도구 샤프트에 부착되었지는 중요하지 않고), 그러므로 마커가 동시에 다른 기기 지오메트리에 부착되는 것을 허용한다. 이러한 유연성은 수술도구 트래킹 애플리케이션에서는 중요한 것은 아닐 수 있지만, 다른 애플리케이션에서는 활성화될 수 있다.
마커 디자인은 이미지로부터 마커 피처가 어떻게 탐지되는지에 가장 관련된다. 본 명세서에 개시된 마커 디자인의 실시예 및 본 명세서에 개시된 피처 탐지 방법은 더 우수한 전체 시스템 성능을 위해 동반 발전되어 왔다. 예를 들어, 도 13a 및 13b의 2-D 마커 패턴에 관하여, 로컬라이저 원 "0"과 "1" 사이에 바가 존재하지 않는다면, 탐지 방법의 특정한 세부사항은 수정될 필요가 있을 것이다. 그러나, 매우 다양한 마커 패턴과 대응하는 마커 피처 탐지 방법이 실시될 수 있고, 여전히 본 발명의 정신과 범위에 있음을 이해해야 한다.
도 20a, 20b, 20c, 20d, 및 20e는 도 13b의 2-D 마커에 적용된 도 19의 방법을 도시한다. 도 20a에서, (크로스헤어 주석에 의해 도시된 바와 같이) 이미지 내의 밝은 원이 탐지된다. 도 20b에서, 2개의 로컬라이저 가설이 정렬된 바를 가진 인접한 밝은 원을 사용하여 형성된다. 도 20c에서, 전체 패턴 가설이 연관된 로컬라이저 가설에 대하여 검색함으로써 지정된 밝은 원을 식별함으로써 형성된다. 도 20d에서, 후보 마커 패턴이 이미지 전체 패턴 가설과 정렬되고, 이미지에 대한 후보 마커 패턴 피처의 위치가 결정된다. 결정된 위치는 대응하는 탐지된 피처가 존재하는지 보기 위해 이미지를 체크하기 위해 사용된다. 패턴이 매칭할 때, 후보 마커 패턴은 검증된다. (도 20e는 검증된 후보 마커 패턴에 대한 하나의 예시적인 패턴 식별 코드를 도시한다.) 로 키네매틱스 포즈 추정, 또는 보정된 키네매틱스 포즈 추정과 같은, 임의의 기존의 포즈 추정이 후보 마커 패턴의 개수를 제한하기 위해 사용될 수도 있음을 이해해야 한다. 또한, 탐지된 마커 피처가 마커 패턴 피처가 존재하는지 존재하지 않는지 직접적으로 판정함으로써 마커 패턴의 식별정보를 판정하기 위해 직접적으로 사용될 수 있음을 이해해야 한다.
마커 패턴은 다양한 목적으로 다양한 방법으로 도구 위에 배열될 수 있다. 예를 들어, 마커는 복수의 작동 범위를 제공하기 위해 도구 상의 복수의 위치에 배열될 수도 있다. 도 21a 및 21b는 도구 샤프트를 따라 축방향의 거리만큼 떨어져 있는 2개의 원주형 밴드의 마커를 가진 로봇 수술도구를 도시한다. 도 21a에서, 도구는 이미징 디바이스와 근접하여 작동되고 있고, 그로 인해 마커의 밴드 중 하나는 시야 밖에 놓여진다. 도 21b에서, 도구는 이미징 디바이스로부터 멀리 떨어져 작동되고 있고, 그로 인해 마커의 두 밴드 모두 시야 내에 놓여진다. 도 21b에 도시된 바와 같이, 이미징 디바이스와 가장 가까운 마커 밴드 내의 피처는 이미징 디바이스로부터 가장 멀리 떨어진 마커 내의 피처보다 더 크다. 이러한 더 큰 피처는 더 작고 멀리 떨어진 피처와 비교하여 더 쉽게 탐지가능할 수 있는데, 특히 가장 멀리 떨어진 마커 피처가 부분적으로 또는 전체적으로 가려져 있다면 그러하다. 도 21a에 도시된 바와 같이, 수술도구의 원단의 작동 끝부와 가장 근접하게 배치된 마커의 밴드는 다른 밴드가 시야를 벗어날 때 이미징을 위한 구별되는 피처를 제공할 수 있다.
1차원 마커 디자인
1차원(1-D) 마커는 기기 포즈를 판정하기 위해 사용될 수 있다. 1-D 마커는 1차원으로 배열된 프리미티브 피처를 포함한다. 피처 중 일부는 로컬라이저 피처로 역할할 수 있고, 나머지 피처는 식별정보 피처로 역할할 수 있다. 2-D 마커와 마찬가지로, 로컬라이저 피처는 마커의 포즈/배열을 판정하기 위해 위치 또는 방향 정보를 제공하기 위해 사용될 수 있고, 식별정보 피처는 다른 마커들과 구별하기 위해 사용될 수 있다. 식별정보 피처는 하나의 코딩 스킴을 따를 수 있고, 에러 체크 및/또는 보정을 위한 리던던트 정보를 포함할 수 있다. 예를 들어, 도 22a, 22b, 및 22c는 점, 또는 원과 점의 조합인 1-D 마커를 도시한다. 도 22a는 직선을 형성하는 점을 포함하는 1-D 마커(240)를 도시한다. 그러나, 다른 색상이 정보를 전달하기 위해 사용될 수 있음을 이해해야 하고, 마커(240)는 존재하거나(즉 "1"로 설정된), 존재하지 않는 (즉, "0"으로 설정된) 점을 사용한다. 마커(240)는 12개의 데이터 비트를 가진 스타트 패턴(242), 엔드 패턴(244), 및 중앙 패턴(246)을 포함한다. 이러한 12개의 데이터 비트는 데이터 비트 중 일부를 식별정보 비트로서 사용하고, 데이터 비트 중 일부를 하나 이상의 체크썸 데이터 비트를 포함할 수 있는 에러 체킹/보정 비트로서 사용하는 것과 같이, 다양한 방법으로 사용될 수 있다. 스타트 패턴(242)과 엔드 패턴(244)은 인접한 여백(blank) 영역(248)에 의해 윤곽이 정해질 수 있다.
1차원 패턴은 장점과 단점을 가진다. 예를 들어, 1-D 패턴을 사용하는 장점은 2-D 패턴이 기능할 수 없는 바늘과 같은 매우 얇은 기기에서 기능한다는 점이다. 1-D 패턴의 단점은 하나의 1-D 마커가 물체의 완전한 6-차원의 포즈를 제공하지 않는다는 점이다. 완전한 6-차원 포즈를 위해 적어도 2개의 동일선상에 있지 않는 마커가 요구된다. 매우 얇은 물체에 대하여, 축 회전은 전형적으로 관찰불가능하므로, 하나의 1-D 마커에 의해 제공되는 5-차원 포즈가 전형적으로 획득될 수 있는 대부분이다.
도 22b는 1-D 마커(240)를 가진 수술도구(250)의 이미지를 도시하고, 수술도구의 샤프트 축과 나란하게 놓여진 3개의 마커(240)를 보여준다. 실린더형 표면에 1-D 마커를 부착할 때, 마커는 실린더의 축과 나란하게 정렬될 수 있고, 이는 마커가 3-D 공간에서 직선을 따라 배치되게 한다. 이러한 마커는 전형적으로 1-D 마커가 비교가능한 2-D 마커 보다 샤프트 둘레에 더 많이 배열될 수 있으므로, 비교적 작은 직경의 도구 샤프트에 사용될 때 특히 유리할 수 있다. 그러나, 1-D 마커에 대한 한가지 고려사항은 근접한 작동 범위에서 1-D 마커의 일부가 시야를 벗어나게 되는 문제가 될 수 있는 기기 샤프트 상에 요구되는 길이이다.
도 22c는 도 22a의 1-D 마커(240)의 수정된 버전을 도시한다. 마커(260)는 앞서 서술된 도 13a 및 13b의 2-D 마커의 로컬라이저 피처와 유사한 로컬라이저 피처로 사용될 수 있는 원형 피처(262)를 포함한다. 이러한 원형 피처(262)의 사용은 패턴의 길이를 줄이는데 도움을 줄 수 있고, 그로 인해, 더 우수한 근접 범위 패턴을 제공한다는 점에서 유리하다. 점(264)은 마커 식별정보 및 에러 체크/보정 데이터를 위해 사용될 수 있다.
도 22d는 도 22c의 1-D 마커(260)의 대안의 버전을 도시한다. 마커(265)는 원형 피처(266)와 바 피처(268)의 조합을 포함한다. 원형 피처(266)는 로컬라이저 피처로 사용될 수 있고, 바 피처(268)는 마커 식별정보 및 에러 체크/보정 데이터용으로 사용될 수 있다. 마커(260)의 점(264)과 마커(265)의 바 피처(268) 사이의 차이는 마커(260)는 정보를 전달하기 위해 점의 중심의 위치를 사용하지만, 마커(265)는 어두운 영역과 밝은 영역 사이의 트랜지션의 위치에 의해 정보가 코팅된다는 것이다.
1차원 마커 추출
도 23은 하나 이상의 1-D 도구 트래킹 마커(도 22a, 22b, 및 22c에 도시된 실시예)의 스테레오 이미지를 프로세싱하기 위해 사용될 수 있는 방법(270)의 흐름도이다. 단계(276)에서, 좌측 이미지 데이터(272)와 우측 이미지 데이터(274)는 2-D 마커로부터 2-D 블라브의 추출에 관하여 앞서 서술된 바와 같은 접근법을 사용하여 달성될 수 있는 2-D 블라브(즉, 피처)를 추출하기 위해 프로세싱될 수 있다(도 19와 관련된 설명 참조). 단계(278)에서, 추출된 블라브는 선으로 그룹화된다. 라인 그룹화는 모든 탐지된 피처 포인트로부터 복수의 직선을 추출함으로써 랜덤 샘플 컨센서스(RANSAC) 접근법을 사용하여 수행될 수 있다. (랜덤 샘플 컨센서스의 상세한 설명은 엠. 에이. 피슬러 및 알. 씨. 볼레스, "랜덤 샘플 컨센서스: 이미지 분석과 자동 카타그래피(cartography)에 대한 애플리케이션과 맞는 모델에 대한 패러다임" ACM 위원회, 24: 381-395, 1981을 참조할 수 있다.) 도 22c의 마커에서 원과 같은, 배경 클러터에 대하여 더 식별가능한 피처는 또한 가설을 형성하기 위해 사용될 수 있다.
단계(280)에서, 하나 이상의 라인이 정류(rectification)된다. 라인 정류는 정보 비트(예컨대, 점)의 메트릭 관계를 저장하기 위해 하나의 라인에 펄스펙티브 효과를 제거하는 것을 의미한다. 샤프트와 평행한 선의 소멸점은 선을 정류하기 위해 충분하다 (알. 하틀리 및 에이 지셔만, "컴퓨터 비전에서의 복수의 뷰 지오메트리", 캠프릿지 유니버시티 프레스, 2000 참조.) 소멸점의 위치를 획득하기 위한 다양한 방법이 존재한다. 예를 들어, 샤프트 상에 하나 이상의 가시적인 선형 마커가 존재한다면, 소멸점은 이들 선의 교차점이다. 다른 예로서, 동일하거나 주지된 공간을 가진 점의 이미지는 소멸점을 계산하기 위해 사용될 수 있다. (예컨대, 동일한 간격의 원을 가진 선형 마커의 예로 도 22c를 참조할 수 있다.)
단계(282)에서, 하나 이상의 마커가 식별된다. 마커 식별은 스타트 패턴 및 엔드 패턴을 찾는 단계, 및 그 다음 패턴을 식별하기 위해 데이터 비트를 판독하는 것을 포함한다. 코딩 스킴은 에러 체크를 위해 충분한 리던던시를 인코딩하도록 설계될 수 있다. 몇몇 데이터 비트가 에러 체크를 위해 사용되었다면, 에러 체킹 비트는 식별을 검증하기 위해 판독될 수 있다. 앞서 서술한 바와 같이, 에러 체크 데이터 비트는 체크썸 데이터로 사용되는 적어도 하나의 데이터 비트를 포함한다.
스테레오 카메라가 사용된 때, 마커(1-D 도는 2-D)가 식별된 후, 3-D 재구성 단계(282)는 간단한 단계가 된다. 좌측 및 우측 이미지 모두에서의 이미징된 피처 간의 일치는 이 단계에서는 알고 있고, 단지 삼각측량이 필요하다. 결과적은 3-D 마커 피처 위치는 도구의 3-D 포즈를 판정하기 위해 도구에 대한 마커 피처의 주지된 상대적 공간적 배열과 결합하여 사용될 수 있다.
컨피규레이션 마커
수술도구(26)와 같은 도구는 이미지 내에서 탐지될 수 있는 복수의 프리미티브 피처를 제공하기 위해 컨피규레이션 마커를 포함하도록 구성될 수 있다. 각각의 프리미티브 피처는 통상적으로 그것이 고유하지 않고, 물체 포즈를 판정하기 위해 충분한 지오메트릭 제약을 제공하지 않을 수 있기 때문에, 마커로 역할하기에 충분하지 못하다. 다수의 프리미티브 피처가 3-D 공간에 고유한 컨피규레이션을 가지는 패턴을 형성하기 위해 사용될 수 있고, 본 명세서에서 이른 "컨피규레이션 마커"라 한다. 패턴(즉, 컨피규레이션)은 전체로서 배경으로부터 더 용이하게 탐지되도록, 각각의 개별적인 프리미티브 피처의 식별력과 그 지오메트릭 관계의 식별력을 결합한다. 스테레오 이미지로부터 추출된 동일 선상에 있지 않은 3개의 피처는 도구의 포즈를 판정하기 위한 충분한 정보를 제공한다. 그러나, 최소 필요양보다 더 많은 피처를 가지는 것이 더 높은 탐지 신뢰도와 더 정밀한 포즈 판정을 얻는데 유리할 수 있다. 프리미티브 피처의 형상 또는 외형은 동일할(예컨대, 동일한 크기의 원형 디스크) 수 있고, 약간의 변화를 포함할 수도 있고, 또는 고유한 것일 수 있다. 이처럼, 원형, 점, 바, 코너 등과 같은, 매우 다양한 프리미티브 피처가 사용될 수 있다. 사용된 프리미티브 피처가 약간의 변화를 포함한다면, 외형의 결과적인 차이는 (피처 매칭 동안 피처 서명을 사용하는) 2개의 스테레오스코픽 이미지와 (시점 및 조명 변화에 덜 민감하거나, 변하지 않는 피처 서명을 사용하는) 모델을 가진 이미지 사이의 특정한 피처에 대한 이미지 위치를 매칭하는 것을 돕기 위해 사용될 수 있다.
하나의 이러한 프리미티브 피처는 반사 구면이다. 반사 구면은 전형적으로 미소절개 로봇수술 동안 내시경으로 이미징하는 경우인, 광원과 이미징 디바이스가 공통 방향을 따라 배열되는 한, 시점에 무관하게 밝은 스팟으로서 나타난다는 좋은 특성을 가진다. 밝은 스팟의 코너는 또한 구면의 중심의 돌출부와 일치한다. 반사 구면은 오목하거나 볼록한 것 중 하나일 수 있다. 대부분의 경우, 반사 구면은 다양한 시점과 거리에 대한 이미지에서 탐지를 가능하게 하기 위해 그 배경에 관하여 충분한 대조를 가진 밝은 점을 산출할 수 있다. 그러나, 이러한 대조는 인접한 배경 표면이 광 방향에 수직이고, 그 전체 영역이 이미징 디바이스에서 상당한 량의 광이 뒤로 반사시킨다면, 바람직하지 않은 레벨로 감소될 수 있다(이로 인해 이미지 세츄레이션을 야기한다). 이러한 환경에서, 향상된 이득 제어 또는 높은 작동 범위 비디오는 문제를 완화시키는데 도움을 줄 수 있다.
도 24는 오목 구면을 포함하고, 3 방향으로 조명/이미지화된 프리미티브 피처(300)를 도시한다. 마커(300)의 구면(302)은 이미징 디바이스를 향해 뒤로 다시 반사되는 조명 광이 통과하여 지나가는 중심점(304)을 가진다. 중심점을 실질적으로 통과하지 않은 조명 광은 조명/이미징 방향으로부터 멀리 반사된다.
도구(또는 일반적으로 기계적 디바이스) 상의 몇몇 내츄럴 피처는 또한 캡쳐된 이미지 내에 눈에 띄는 시각적 피처로 나타날 수 있다. 이러한 내츄럴 피처는 도구의 3-D 포즈에 관한 추가적인 이미지 유도된 정보를 제공할 수 있다. 예시적인 수술도구에 대한 이러한 내추럴 피처의 예는 대략적인 구면을 가진 볼트의 끝부, 반사형 오복 구면을 가진 관절형 기기의 힌지의 끝부를 포함할 수 있다. 이러한 내츄럴 피처는 인공적인 마커와 유사한 이미지 내의 안정적인 밝은 블라브를 형성할 수 있다. 그러나, 다수의 도구에 대하여, 이러한 내츄럴 피처는 그 자체로 클러터링된 배경에 대항하여 추출될 만큼 충분히 식별가능한 패턴을 형성할만큼 충분한 개수의 피처를 제공할 수 없다. 이러한 내츄럴 피처와 결합하여 인공적인 프리미티브 피처를 도입함으로써, 충분한 식별력이 달성될 수 있다. 기존의 내츄럴 피처의 사용은 추가되는 인공적인 피처의 개수를 줄이는데 도움이 되고, 그로 인해 트래킹될 기계적 디바이스에 대한 (외형과 같은) 변화를 줄일 수 있다.
도 25는 볼록 구면(322)을 포함하고, 3방향으로부터 조명/이미징되고 있는 프리미티브 피터(320)를 도시한다. 도 24의 프리미티브 피처와 유사하게, 구면(322)은 이미징 디바이스를 향해 다시 직접적으로 반사되는 조명 광이 통과하여 지나가는 중심점(324)을 가진다. 실질적으로 중심점을 통과하지 않는 조명 광은 조명/이미징 방향으로부터 멀리 반사된다. 반사형 볼록 구면은 혈액(또는 일반적으로 임의의 유체 또는 물체)가 오목한 오목부에 더 쉽게 가두어질 수 있는데, 이는 오목 프리미티브 피처가 도구의 인접한 영역과의 대조를 손실시키거나, 또는 가두어진 혈액의 양에 따라 인접한 영역보다 더 어두워질 수 있다는 점에서, 오목 반사 구면보다 수술 애플리케이션에 더 적합할 수 있다. 이와 대조적으로, 반사형 볼록 구면은 혈액을 가둘 가능성이 낮다. 또한, 반사형 볼록 구면과 조직의 상호작용은 그 표면을 깨끗하게 유지하는 것을 돕고, 이는 혈액이 많은 곳에서도 밝은 스팟을 산출하는데 도움을 준다.
도 26a 및 26b는 반사 구면을 가진 프리미티브 피처를 구비한 수술도구를 도시한다. 이러한 수술도구는 임의의 특별한 조명 없이 사용하기 위한 것이지만, 하나의 예시적인 로봇 수술 시스템에서 수술부위를 보기 위해 수술의에 의해 사용되는 기존의 스테레오 이미징 시스템과 함께 사용하기 위한 것 일 수도 있다. 이러한 사용은 제어되는 액티브 적외선(IR) 조명을 사용하는 기존의 조명과 달리, 마커 포인트 만이 화면 내에서 밝음을 보장하고, 이는 관련된 이미지 프로세싱 및 추정을 상당히 단순화시킨다. 그러나, 기존의 스테레오 이미징 시스템의 사용은 제어되는 액티브 IR 조명과 연관된 추가적인 시스템 복잡도를 피할 수 있다. 이러한 수술도구는 그들의 원단 클레비스 상에 놓여진 프리미티브 피처를 가지지만, 프리미티브 피처는 기기 샤프트 및/또는 근단 클레비스와 같은 다른 위치에 놓여질 수도 있음을 이해해야 한다. 반사 이미지 세츄레이션에 대한 경향이 없는 위치를 선택하는 것이 유리할 수 있다.
컨피규레이션 마커 탐지
도 27은 컨피규레이션 마커를 가진 도구의 스테레오 이미지의 프로세싱을 사용하는 도구 트래킹 방법(340)의 흐름도이다. 본 방법은 3차원 공간에서 프리미티브 피처간의 지오메트릭 불변을 이용하므로, 스테레오 매칭/3-D 재구성이 먼저 수행된다. 단계(346)에서, 좌측 이미지 데이터(342)와 우측 이미지 데이터(344)는 인접한 영역에 대한 한정적인 크기의 대조를 나타내는 프리미티브 피처(즉, 밝은 스팟)를 추출하기 위해 개별적으로 프로세싱될 수 있다.
단계(348)에서, 추출된 프리미티브 이미지 피처는 사용된 프리미티브 피처와 일치하는 "이미지 서명"을 식별하기 위해 프로세싱된다. "서명"은 모든 프리미티브 이미지 피처에 대하여 추출될 수 있다. 사용된 프리미티브 피처가 형상이 동일하다면, 그들의 이미지 서명은 실질적으로 유사할 수 있다. 사용된 프리미티브 피처가 형상 또는 외관의 변화를 가진다면, 외관의 결과적인 차이는 밝은 스팟과 같은 특별한 프리미티브 이미지 피처와 특별한 프리미티브 피처를 연관시키는 것을 돕는데 사용될 수 있다. 프리미티브 이미지 피처 서명은 피처 포인트 주변의 프리미티브 이미지 피처(즉, 이미지 패치)로부터 추출될 수 있다. 간단한 피처 서명 접근법은 전통적인 스테레오에서 사용되는 것처럼, 스스로 추출된 프리미티브 이미지 피처(이미지 패치)를 사용하는 것이다. 최근에, 몇몇 변환 또는 변형에 민감하지 않는/변하지 않고, 이미지 패치보다 더 많은 조명 및 시점 변화를 다룰 수 있는 서명이 제안되었다. 그레디언트 히스토그램(HOG, histogram of gradient)이 좋은 예이다. (디 로위, "스케일 불변 키포인트로부터 식별가능한 이미지 피처", 컴퓨터 비전의 국제 저널, 볼륨 20, 페이지 91-110, 2003 참조.)
단계(350)에서, 2개의 스테레오 이미지(즉, 좌측 이미지 및 우측 이미지) 내의 피처는 매칭된다. 상이한 서명 접근법이 상이한 매칭 방법을 요구할 수 있다. 예를 들어, 노멀라이징된 코릴레이션은 이미지 패칭 서명을 위해 사용될 수 있다(데이비드 포시스와 진 폰스의 "컴퓨터 비전 모던 어프로치", 페이지 240, 프렌티스 홀, 2003 참조). HOG 서명과 함께, 유용한 접근법일 수 있는 신뢰도 측정값으로서 상대적 매칭 점수를 사용하는 것이 제안되었다. 등극선(epipolar) 제약이 직선만으로 매칭을 제약시키기 위해 사용될 수 있다(알. 하틀리와 에이. 지셔만의, "컴퓨터 비전에서의 복수의 뷰 지오메트리", 캠브릿지 대학 프레스, 2000 참조). 복수의 우수한 매치가 존재한다면, 모두 다음 단계에서의 프로세싱을 위해 유지될 수 있다. 매칭된 피처는 스테레오 삼각측량에 의해 3-D 좌표를 생성하기 위해 사용된다.
단계(350)에 대한 선택적 접근으로서, 모델 기반의 서명이 단계(354)에서 사용될 수 있다. 이미지와 모델 사이의 피처 서명을 매칭하는 것은 스테레오 이미지가 유사한 시점, 조명, 및 등극선 제약을 가지기 때문에, 좌측과 우측 스테레오 이미지 사이의 피처 서명을 매칭하는 것보다 어려울 것으로 예상된다. 이미지 서명과 모델 서명을 매칭시키기 위해, 피처는 시점과 조명 상태에 대하여 불변일 필요가 있다. 동일한 프리미티브 피처가 사용된다면, 모델에 대하여 매칭시키는 것이 더 어려울 수 있다. 그러나, 프리미티브 피처는 더 큰 시점 변화 하에서 매칭시키기 쉬운 형상(및 결과적인 외관)을 가지도록 디자인될 수 있다. 하나의 접근법은 시점 변화에 불변인 토폴로지 특성에 의존하게 하는 것이다. 하나의 예는 1-D 및 2-D 마커에 관하여 앞서 서술된 바와 같은 원이다. 원에 대한 변형으로서, 프리미티브 피처는 어두운 점 내부에 복수의 밝은 점을 사용할 수 있다. 모든 점이 모델과 매칭하지 않더라도, 또는 매치가 고유하지 않더라도, 부분적인 매칭이 피처 그룹화에 사용가능할 수 있다.
단계(352)에서, 매칭된 피처는 관측된 피처와 모델 내의 피처의 일치가 달성되도록(즉, 3-D인 식별된 마커 포인트를 얻기 위해(358)), 3차원 피처 그룹화를 수행하기 위해 사용된다. 이 프로세스는 피처의 3-D 위치, 및 옵션으로서 모델 프리미티브 피처와의 매칭 점수, 및/또는 옵션으로서 기기 포즈에 대한 이전의 정보를 사용한다. 단계(352)는 "성상(constellation) 알고리즘"에 의해 수행될 수 있다. 수행되는 성상 알고리즘은 지오메트릭 제약, 외관 제약, 및 물체 포즈에 대한 다른 이전 포즈 정보(즉, 이전 물체 포즈 데이터(356)를 기초로 하는 3-D 그룹화를 위한 효과적인 베이시안(bayesian) 접근법이다. 외관 제약의 사용은 지오메트릭 제약이 충분하지 않을 때의 옵션이다. 성상 알고리즘의 출력은 각각의 관측된 피처에 대한 라벨이고, 모델 프리미티브 피처 또는 배경 클러터 중 하나로부터 값을 취한다. 랜덤 샘플 컨센서스(RANSAC)는 강도(rigidity) 제약을 강화하기 위해 마지막에 사용될 수 있다.
성상 알고리즘-문제 형성
각각 ki 노드를 포함하는, n개의 주지된 패턴 {C1, ..., Cn}을 가진다고 가정하자. 패턴의 일부가 아닌 어떤 것을 나타내기 위해 C0(k0=1)을 사용한다.
Figure pct00001
이다. 노드는 0, ..., t로 연속적으로 라벨링된다고 가정한다. 노드 라벨 i의 패턴의 인덱스를 나타내기 위해 p[i]를 사용한다. c1,..., ct는 몇몇 좌표 시스템에서 노드의 좌표이다(각각의 패턴이 자신의 좌표 시스템을 가지는 것이 가능하다). 라벨 1, ..., m과 좌표 p1, ..., pm를 가진 m개의 입력 노드가 존재한다. 입력 노드는 미지의 개수의 패턴을 포함한다. 데이터 및 배경 노드의 누락이 존재할 수 있다.
Figure pct00002
를 각각의 입력 노드의 소유인 것로;
Figure pct00003
으로 지정한다. 각각의 입력 노드의 소유의 선험적(priori) 정보를 아는 것이 가능하다. 이전 소유 정보는 (다른 노드와 독립적인) 로컬 노드 관측 또는 다른 소스로부터 온 것일 수 있다. qi(l)은 모델 라벨 l에 대응하는 입력 노드 i의 확률을 나타낸다. qi(0)은 작은 확률이도록 설정되어야 한다.
각각의 입력 노드는 t개의 라벨을 취할 수 있고, 그러므로 가능한 해의 총 개수는 mt이다. 모든 확률을 시도함으로써 해를 구하는 것은 지수적 문제이다. 이전의 소유권 지식이 강하다면, 이 문제는 랜덤화된 "가설과 검정" 접근법(즉, RANSAC)에 의해 해결될 수 있다. 그러나, 이전 소유 정보가 약하거나 없다면, 생성된 가설은 거의 랜덤이고, 그 성능은 철저한 검색에 가까울 것이다.
여기서, 페어-와이즈 거리 제약을 고려함으로써 이 문제를 단순화시킬 수 있다. 두 모델 노드 사이의 최대 거리와 허용된 에러의 합보다 작은 거리를 가지는 임의의 두 입력 노드 사이에 링크를 추가한다. 이는 그래프를 야기시킨다. 그러므로, 그래프의 결합 확률은 페어-와이즈 거리 호환성과 이전 소유권 정보 확률에 의해 정의된다.
Figure pct00004
(1)
여기서, Ψi,j(oi,oj)는 각각의 패턴 내의 페어-와이즈 거리 호환성 함수이다. ∈는 모델 내에 퍼진 최대 패턴에 의해 정의되는 이웃 반경이다.
Figure pct00005
(2)
여기서, σ는 노드 사이의 거리의 측정 노이즈이고, α는 실제 매칭 가능성보다 낮아야 하는 배경 가능성이다.
물체의 포즈에 대한 이전 정보는 아래와 같이 사용될 수 있다. 프리어 온 변환은 이 정보들이 각각의 개별 노드에 적용될 수 있으므로, 프리어 q()로 표현될 수 있다. 프리어 온 로테이션은 2개의 노드의 상대적 방향에 의해 페어 와이즈 포텐셜 Ψ()로 표현될 수 있다.
성상 알고리즘 - 신뢰확산 솔루션
결합 확률 함수, 식(1)은 로컬 포텐셜과 페어 와이즈 포텐셜의 조합의 형태이다. 이러한 문제는 신뢰 확산(BP) 알고리즘을 사용하여 효율적으로 해결될 수 있다. 이 알고리즘은 각각의 노드의 마지널(marginal) 분포(소유권)를 출력으로 제공한다. 이러한 특수한 경우에, 노드의 상호연결은 루프를 형성할 수 있다. 이러한 종류의 방법을 루피(loopy) 신뢰확산이라 한다(케이. 머피, 와이. 바이스, 및 엠. 조단의 "근사 추론을 위한 루피 신뢰확산: 실증적 연구", UAI, 볼륨 15, 페이지 467-475, 1999 참조). 이는 최적으로 증명되지는 않았지만, 매우 우수한 실증적 결과를 보여준다. BP 알고리즘의 구현에 대한 상세한 설명은 주디아 펄, "지능형 시스템에서의 확률적 추론: 타당한 추론의 네트워크", 모르간 카우프만, 1988을 참조할 수 있다.
성상 알고리즘 - 검증
노드의 일부는 그것이 로컬 제약을 강화하기 때문에, BP로부터의 솔루션에 정확하지 않는 라벨을 얻는 것이 가능하다. 그러나, 노드 중 대부분은 정확한 라벨을 얻을 수 있다고 예상된다. 이는 라벨의 랜덤 추측과 다른 큰 장점이다. 검증 단계는 전체적인 강도 제약을 강화하기 위해 뒤따른다. 이 단계는 BP로부터의 일치시 RANSAC을 사용하여 달성될 수 있다.
인지가능한 마커
텍스트 및/또는 하나 이상의 심볼을 포함하는 인지가능한 마커가 도구 트래킹을 위해 사용될 수 있다. 이러한 인지가능한 마커는 다양한 범위의 텍스트 및 심볼을 포함할 수 있다. 예를 들어, 인지가능한 마커는 회사 이름, 회사 상표 심볼, 제품명, 제품 상표 심볼, 컴포넌트 명, 및/또는 사용자 명을 포함할 수 있다. 인지가능한 마커는 다양한 배경에서 다양한 색상 세트를 사용할 수 있다. 예를 들어, 텍스트 및/또는 심볼은 (흑색과 같은) 어두운 배경에 대비되는 (흰색과 같은) 밝은 색상일 수 있다. 도 28a 및 28b는 몇 가지 예시적인 식별가능한 도구 마커를 도시한다. 사용자에게 친숙한 인지가능한 마커를 사용하는 것이 유리할 수 있다. 친숙한 정보는 장면과 잘 혼합되는 경향이 있어, 유사한 정보 컨탠트를 가진 다른 마커와 비교할 때 사용자가 덜 실수하게 한다.
인지가능한 마커는 물체 포즈 추정을 위해 사용될 수 있는 로컬 피처를 포함할 수 있다. 표준 텍스트가 마커로 사용될 수 있다. 그러나, 폰트에 대한 몇몇 변형이 안정적인 피처(예컨대 코너 포인드)의 개수를 증가시키고, 배경에 대하여 매우 특이한 피처(예컨대, "체커보드" 패턴 또는 어레이 내의 코너, 또는 안장점)를 생성하고, 그리고/또는 더욱 효율적인 탐지 방법을 활용할 수 있다. 예를 들어, 마커는 직방형 "체커보드" 어레이로부터 선택된 다수의 직방형 엘리먼트로부터 구성된 텍스트 및/또는 심볼을 포함할 수 있다. 선택된 엘리먼트는 하나의 색상 또는 하나의 범위의 색상을 가질 수 있고, 선택되지 않은 엘리먼트는 대조되는 색상 또는 색상 범위를 가질 수 있다. 선택된 엘리먼트 및/또는 선택되지 않은 엘리먼트의 로컬 패턴은 로컬 피처에 대한 위치 및/또는 식별정보를 판정하기 위해 이미징되고 프로세싱될 수 있는 로컬 피처를 제공할 수 있다. 이러한 로컬 패턴은 다양한 패턴을 포함할 수 있다. 예를 들어, 로컬 패턴은 (예컨대, 크기, 종횡비, 색상 등과 같은) 직방형 자체의 변형, (예컨대, 코너와 같은) 직방형의 로컬 조합의 번형, 선의 번형, 및 축척의 변형(예컨대, 복수의 축척의 마커 또는 마커 내의 마커)을 포함할 수 있다.
도 29a, 29b, 29c, 29d, 29e, 29f, 29g, 및 29h는 식별가능한 마커 내에 위치 및/또는 식별정보를 통합시키기 위해 사용될 수 있는 몇가지 예시적인 접근법을 도시한다. 도 29a는 텍스트 코너 위치에 사용될 수 있는 직방형의 로컬 조합의 변형을 도시한다. 3개의 예시적인 코너 타입, 더욱 상세하게는 코너 타입 1(360), 코너 타입 2(362), 코너 타입 3(364)이 도시되어 있다. 3가지가 도시되었으나, 추가적인 코너 타입이 4개의 인접한 격자무늬 사각형을 사용하여 만들어질 수 있다. 부가적으로, 격자무늬 사각형의 다른 조합이 식별되기 위해 이미징되고 프로세싱될 수 있는 패턴(예컨대, 3 바이 3 패턴, 3 바이 2 패턴 등)을 만들기 위해 사용될 수 있다. 도 29b 및 29c는 직방형 프리미티브의 2-D 어레이(즉, 체커보드 어레이)로부터 선택된 직방형 피처를 사용하여 구성된 식별가능한 텍스트를 도시한다. 도 29d는 식별가능한 텍스트 마커가 여전히 판독성을 가지면서도, 하나 이상의 코너 피처를 가지도록 어떻게 구성될 수 있는지를 도시한다. 도 29e 및 29f는 인접한 직사각형 간의 오버랩의 크기의 변화가 결과적인 텍스트의 외관을 변경하기 위해 사용될 수 있는 방법을 도시한다(도 29e는 오버랩이 없고, 도 29f는 "교차" 점/교차점처럼 보이는 안장점을 만드는 약간의 오버랩을 가진다). 이러한 오버랩은 이미징 시스템이 흰색 영역을 확장시키는 것을 보상하는데 도움을 줄 수 있다. 도 29g 및 29h는 복수의 축척에서 피처를 가지는 식별가능한 텍스트 마커를 도시한다. 도 29g 에 도시된 마커와 달리, 도 29h에 도시된 마커는 어떤 상황에서 유리할 수 있는 사람에 의해 쉽게 식별가능한 2차 레벨을 포함하지 않는다.
도 30a, 30b, 30c 및 30d는 추가적인 식별가능한 마커 디자인의 몇가지 예를 도시한다. 마커(370)는 (도 13c에 도시된) 마커(190)와 유사하지만, 정보 도트(194)가 식별가능한 문자(372)로 대체된다. 마커(380)는 마커(370)와 유사하지만, 복수의 행으로 확장되었다. 마커(390)는 텍스트 배경(392)이 텍스트 배경의 직사각형 구조가 배열을 제공하기 위해 사용될 수 있도록, 그 주변(394)과 상이한 예이다. 마커(400)는 마커(390)와 유사하지만, 둘레에 대하여 더 식별력 높은 안장 점을 가진 4개의 코너(402)를 포함한다. 마커(410)는 도시된 문자 "V"(412)와 같은, 로컬라이저로서 텍스트의 일부를 사용하는 것, 그리고 텍스트의 나머지 부분은 식별정보 및/또는 검증(즉, 에러 체크검사/보정)을 위해 사용하는 것을 보여준다. 로컬라이저를 위해 선택된 부분은 이미지로부터 신뢰성있게 탐지될 수 있음을 보장하기 위해 더 시각적인 피처로 확대되거나 수정될 수 있다. 마커(420)는 텍스트와 함께 혼합된 원(422)과 같은 추가적인 로컬라이저 피처의 사용을 보여준다.
인지가능한 마커 탐지
도 31은 인지가능한 마커를 가진 도구의 이미지의 프로세싱을 사용하는 도구 트래킹 방법(430)의 흐름도이다. 본 방법(430)은 앞서 서술된 방법을 사용하여 도구에 대한 3차원 포즈를 추정하기 위해 사용될 수 있는 매칭된 피처 포인트를 산출한다.
단계(434)(피처 탐지)에서, 시점 변화에 안정적인 피처 포인트(예컨대, 코너)는 도구 이미지 데이터(432)를 프로세싱함으로써 위치조절(즉, 탐지)된다. 앞서 서술한 바와 같이, 인지가능한 마커는 직사각형 폰트를 사용하거나, 지그재그형 스트로크(예컨대, 도 29d 참조)를 포함함으로써, 이러한 안정한 피처의 개수를 늘리도록 구성될 수 있다. 다양한 접근법이 피처 탐지를 위해 사용될 수 있다. 이러한 접근법 중 하나는 코너 탐지기를 사용하는 것이다. (씨. 해리스 및 엠. 스테판(1988), "결합된 코너 및 에지 탐지기", 4차 알베이 비전 컨퍼런스의 회의록: 페이지 147-151 참조.) 다른 접근법은 축척 불변 키포인트로부터 구별되는 이미지 피처를 위치시키는 것이다. (디. 로위(2004), "축척 불변 키포인트로부터 구별되는 이미지 피처", 컴퓨터 비전의 국제 저널, 2004 참조.)
단계(436)(피처 설명)에서, 피처 포인트 주변의 이웃의 설명이 판정된다. 다양한 접근법이 피처 설명을 위해 사용될 수 있다. 이러한 접근법 중 하나는 그레이 스케일 이미지를 이진 바이너리 이미지로 변환하기 위해 적응형 쓰레솔딩을 사용하고, 디스크립터로서 형상 컨텍스트(shape context)를 사용하는 것이다. (에스, 벨로지, 제이. 마릭, 및 제이. 푸지차, "쉐이프 컨텍스트를 사용하는 형상 매칭 및 물체 인식", 패턴 분석 및 기계 지능에 대한 IEEE 트랜잭션 2002 참조.) 다른 접근법은 그레이 스케일 이미지 상에 디스크립터로서 오리엔테이션 히스토그램을 사용하는 것이다. (디. 로위(2004), "축척 불변 키포인트로부터 인식가능한 이미지 피처" 컴퓨터 비전의 국제 저널, 2004 참조.)
단계(438)(피처 매칭)에서, 각각의 피처 포인트는 서술 데이터(450)를 가진 모델 피처를 사용하여 모델의 이미지로부터의 피처 포인트에 대하여 매칭된다. 서술 데이터(450)를 가진 모델 피처는 앞서 서술된 접근법을 사용하여 달성될 수 있는, 모델 피처에 대한 설명을 탐지하고(단계(446)), 생성하기(단계(448)) 위해 모델 이미지 데이터(444)를 프로세싱함으로써 오프라인으로(442를 사용하여) 만들어질 수 있다. 다양한 시점으로부터의 다수의 모델 이미지는 상이한 시점에서 본 마커의 매칭을 용이하게 하기 위해 사용될 수 있다.
단계(440)(피처 그룹화)에서, 매칭된 피처는 매칭된 포인트 사이에 지오메트릭 제약을 강화하기 위해 그룹화된다. 포즈 추정과 로버스트 추정은 피처 포인트의 그룹화 동안 사용될 수 있고, 일치하지 않는 피처 포인트의 이상치 거절을 제공할 수 있다. 결과적인 매칭된 피처 포인트 데이터(452)는 앞서 서술된 방법을 사용하여 도구 상태 추정을 위해 사용될 수 있다.
추가적인 제약 데이터 통합
복수의 시간 인스탠스로부터의 포즈 데이터는 물체의 포즈의 판정에 사용될 수 있다. 예를 들어, 시간에 따른 상이한 비디오 프레임은 그 제약과 일치하지 않는 이상치를 돕기 위해 사용될 수 있는, 미소절개 수술기기와 같은 물체의 포즈에 대한 추가적인 제약을 제공할 수 있다.
키네매틱스 제약은 또한 물체의 포즈의 판정에 사용될 수 있다. 예를 들어, 미소절개 수술에서, 수술기기는 신체 벽 상의 삽입 포인트를 통해 환자 몸속으로 삽입된다. 이러한 삽입 포인트는 고정적이고, 수술도구는 이 삽입 포인트를 통과하도록 제약된다. 이러한 삽입 포인트 제약은 수술도구의 축이 상이한 시간에 공통의 포인트에서 교차함을 의미한다. 따라서, 그 축이 삽입 포인트를 통과하지 않는 도구 포즈는 이상치로 분류될 수 있고, 그러므로 RANSAC과 같은 로버스트 추정 기술을 사용함으로써 폐기된다.
부가적으로, 앞서 서술한 바와 같이, 키네매틱스 조인트 데이터는 또한 물체의 포즈의 판정에 사용될 수 있다. 예를 들어, 로봇 수술의 컨텍스트에서, 이미지 유도된 도구 포즈와 키네매틱스 유도된 도구 포즈 간의 관계를 사용함으로써 제공되는 강력한 일시적 제약이 존재한다. 상세한 사항은 미국특허출원 공개번호 제2006/0258938 A1을 참조할 수 있다.
복수의 시간 인스탠스 동안 복수의 도구에 대한 포즈 데이터는 2 이상의 도구의 이미지 내의 도구를 식별하기 위해 사용될 수 있다. 예를 들어, 하나의 이미지 내의 2개 이상의 도구가 동일한 마커를 가질 때, 하나의 도구에 대한 이미지 유도된 포즈는 그 도구에 대한 추정된 포즈와 비교될 수 있다. 추정된 포즈는 도구의 움직임을 발효시키는 로봇 작동 시스템으로부터 도구 또는 조인트 데이터의 이전 이미지로부터 적어도 하나의 이전 도구 상태를 사용함으로써 생성될 수 있다. 이미지 유도된 도구 포즈가 추정된 포즈의 소정의 편차 이내에 있다면, 그 도구의 동일성이 확인될 수 있다.
본 명세서에 서술된 예와 실시예는 설명을 위한 것이며, 다양한 수정 또는 변형이 당업자들에 의해 제안될 수 있고, 그 또한 본 발명의 정신과 첨부된 청구항의 범위에 포함됨을 이해해야 하다. 다양한 조합이 가능하고, 이러한 조합은 본 발명의 일부로 간주되어야 한다.

Claims (24)

  1. 수술 로봇 도구 트래킹 방법으로서,
    환자 몸속의 로봇 수술도구에 광원으로부터의 조명 광을 지향하는 단계;를 포함하고,상기 도구는 상기 도구 상에 주지된 위치를 가지는 복수의 프리미티브 피처를 포함하고, 각각의 피처는 구형 반사면을 포함하고;
    상기 방법은 상기 도구가 상기 환자 몸속에 있을 때 상기 복수의 프리미티브 피처의 스테레오 이미지를 캡쳐하는 단계;를 포함하고, 상기 스테레오 이미지는 상기 이미지 캡쳐 디바이스를 향해 상기 이미징되는 프리미티브 피처로부터 반사된 상기 조명 광이 상기 이미징되는 프리미티브 피처의 표면의 구 중심과 실질적으로 나란하도록 상기 조명 광원과 인접한 스테레오 이미지 캡쳐 디바이스에 의해 캡쳐되고,
    상기 방법은 상기 반사된 광을 사용하여 상기 이미징된 프리미티브 피처의 상기 구 중심을 찾도록 상기 스테레오 이미지를 프로세싱함으로써 상기 도구에 대한 위치를 판정하는 단계;를 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  2. 제 1 항에 있어서, 상기 조명 광은 가시광선 스펙트럼을 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  3. 제 1 항에 있어서, 상기 이미지를 프로세싱함으로써 사이 도구에 대한 위치를 판정하는 단계는 특정한 반사된 광을 사용하여 상기 프리미티브 피처 중 적어도 하나를 식별하기 위해 달성되는 것을 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  4. 제 1 항에 있어서, 상기 이미징된 프리미티브 피처의 상기 구 중심에 대한 3차원 위치 데이터를 판정하기 위해 상기 스테레오 이미지를 프로세싱하는 단계를 더 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  5. 제 4 항에 있어서, 상기 제1 이미지 내의 상기 프리미티브 피처의 패턴을 식별하기 위해 성상(constellation) 알고리즘이 사용되는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  6. 제 5 항에 있어서,
    상기 도구의 움직임을 발효시키기 위한 로봇 작동 시스템으로부터의 조인트 데이터 또는 상기 도구의 이전 이미지로부터의 적어도 하나의 이전 도구 상태를 사용함으로써 상기 도구에 대한 추정된 도구 상태를 생성하는 단계; 및
    상기 성상 알고리즘에서 상기 추정된 도구 상태를 사용하는 단계;를 더 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  7. 제 4 항에 있어서,
    복수의 시점에 대하여 스테레오 이미지를 캡쳐하는 단계;
    상기 복수의 시점에 대하여 추정된 도구 상태를 생성하는 단계; 및
    로버스트 추정 기술을 사용함으로써 임의의 호환불가능한 패턴 탐지를 거절하는 단계;를 더 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  8. 제 7 항에 있어서, 상기 사용되는 로버스트 추정 기술은 랜덤 샘플 컨센서스(RANSAC) 기술인 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  9. 제 4 항에 있어서, 상기 이미지 내의 프리미티브 피처의 식별에 모델 기반의 이미지 서명이 사용되는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  10. 제 4 항에 있어서,
    상기 두 이미지 내의 상기 도구의 내츄럴 피처를 식별하기 위해 상기 스테레오 이미지를 프로세싱하는 단계;
    상기 식별된 내츄럴 피처에 대한 3차원 위치를 판정하는 단계; 및
    상기 이미징되는 프리미티브 피처에 대한 3차원 위치 데이터와 결합하여 상기 내츄럴 피처에 대한 3차원 위치를 사용함으로써 이미지 유도된 도구 상태를 판정하는 단계;를 더 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  11. 제 1 항에 있어서,
    상기 도구의 움직임을 발효시키는 로봇 작동 시스템으로부터의 조인트 데이터 또는 상기 도구의 이전 이미지로부터의 적어도 하나의 이전 도구 상태를 사용함으로써 추정된 도구 상태를 생성하는 단계; 및
    호환불가능한 패턴 탐지를 거절하기 위해 상기 추정된 도구 상태를 사용하는 단계;를 더 포함하는 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  12. 제 1 항에 있어서, 상기 프리미티브 피처 중 적어도 하나는 상기 도구의 조인트 축과 나란한 볼록 또는 오목 구형 반사면을 포함하고, 상기 면은 조인트 구조에 의해 형성된 것을 특징으로 하는 수술 로봇 도구 트래킹 방법.
  13. 로봇 수술 시스템으로서,
    각각의 피처가 구형 반사면을 가지고, 도구에 대하여 주지된 위치를 가지는 복수의 프리미티브 피처를 포함하는 로봇 수술 도구;
    환자 몸속으로 조명 광을 전달하도록 방향조절되는 광원;
    스테레오 이미지 캡처 디바이스를 향해 상기 프리미티브 피처로부터 반사된 조명 광이 상기 구형 반사면의 구 중심과 실질적으로 나란하도록, 상기 조명 광원과 인접한 스테레오 이미지 캡쳐 디바이스; 및
    상기 이미지 캡처 디바이스에 연결되어 있고, 상기 반사된 광을 사용하여 상기 이미징된 프리미티브 피처의 구 중심을 찾기 위해 스테레오 이미지를 프로세싱함으로써 상기 도구에 대한 위치를 판정하도록 구성되어 있는 프로세서;를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
  14. 제 13 항에 있어서, 상기 스테레오 이미지를 프로세싱하기 위해 상기 프로세서에 의해 실행가능한 기계 판독가능한 명령어를 포함하는 실재적(tangible) 매체를 더 포함하는 것을 특징으로 하는 로봇 수술 시스템.
  15. 제 13 항에 있어서, 상기 프로세서는 특정한 반사된 광을 사용함으로써 상기 프리미티브 피처 중 적어도 하나를 식별하기 위해 상기 스테레오 이미지를 프로세싱함으로써 상기 도구에 대한 위치를 판정하도록 구성되어 있는 것을 특징으로 하는 로봇 수술 시스템.
  16. 제 13 항에 있어서, 상기 프리미티브 피처 중 하나는 상기 도구의 조인트 축과 나란하고, 상기 면은 조인트 구조에 의해 형성되어 있는 것을 특징으로 하는 로봇 수술 시스템.
  17. 제 13 항에 있어서, 상기 프로세서는 상기 스테레오 이미지를 프로세싱함으로써 상기 이미징된 프리미티브 피처의 상기 구 중심에 대한 3차원 위치 데이터를 판정하도록 구성되어 있는 것을 특징으로 하는 로봇 수술 시스템.
  18. 제 17 항에 있어서, 상기 이미징 디바이스는 스테레오스코픽 현미경을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
  19. 제 13 항에 있어서, 상기 구형 반사면은 볼록 또는 오목 면을 포함하는 것을 특징으로 하는 로봇 수술 시스템.
  20. 제 13 항에 있어서, 상기 복수의 피처는 3개 이상의 피처를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
  21. 제 20 항에 있어서, 상기 복수의 피처는 4개 이상의 피처를 포함하는 것을 특징으로 하는 로봇 수술 시스템.
  22. 로봇 수술 시스템과 함께 사용하기 위한 수술도구로서,
    상기 로봇 수술 시스템은 사용하는 동안 상기 수술도구의 스테레오 이미지를 캡쳐하기 위한 스테레오 이미징 디바이스, 및 상기 수술도구에 대한 이미지 유도된 위치 정보를 판정하기 위해 상기 캡쳐된 스테레오 이미지를 프로세싱하는, 상기 이미징 디바이스에 연결되어 있는 프로세서를 포함하고, 상기 수술도구는 각각의 프리미티브 피처가 구형 반사면을 가진 복수의 프리미티브 피처를 포함하는 것을 특징으로 하는 로봇 수술 시스템과 함께 사용하기 위한 수술도구.
  23. 물체 트래킹 시스템으로서,
    각각의 프리미티브 피처가 구형 반사면을 포함하는 복수의 프리미티브 피처를 포함하는 물체;
    상기 물체를 향해 조명 광을 전달하도록 방향조절되는 광원;
    상기 물체의 스테레오 이미지를 캡처하고, 상기 이미징 캡처 디바이스를 향해 복수의 프리미티브 피처로부터 반사된 조명 광이 상기 구면의 구 중심과 실질적으로 나란하도록 상기 조명 소스와 인접하게 배치되어 있고, 그리고 상기 스테레오 이미지에 대한 이미지 데이터를 출력하는 스테레오 이미지 캡쳐 디바이스; 및
    프로세서;를 포함하고,
    상기 프로세서는 상기 이미지 캡쳐 디바이스에 연결되어 있고,
    3개 이상의 상기 이미징된 프리미티브 피처에 대한 3차원 위치 데이터를 판정하고, 그리고
    상기 3차원 위치 데이터를 프로세싱함으로써 상기 도구에 대한 위치를 판정하기 위해, 상기 이미지 데이터를 프로세싱하도록 구성되어 있는 것을 특징으로 하는 물체 트래킹 시스템.
  24. 수술도구 상에 주지된 위치를 가지는 3개 이상의 실질적으로 코너없는 프리미티브 피처를 포함하는 수술도구의 포즈를 추정하는 방법으로서,
    상기 3개 이상의 프리미티브 피처의, 제1 이미지 및 제2 이미지를 포함하는, 스테레오 이미지를 캡쳐하기 위해 스테레오스코픽 현미경을 사용하는 단계;
    상기 제1 이미지로부터 적어도 3개의 상기 프리미티브 피처를 추출하는 단계;
    상기 제2 이미지로부터 적어도 3개의 상기 프리미티브 피처를 추출하는 단계;
    이미지 서명을 사용함으로써 추출된 프리미티브 피처 간의 일치성을 판정하는 단계;
    적어도 3개의 상기 프리미티브 피처에 대한 3차원 위치를 판정하기 위해 상기 판정된 일치성을 사용하는 단계;
    상기 도구의 프리미티브 피처의 패턴에 대응하는 상기 추출된 프리미티브 피처 내의 패턴을 식별하는 단계; 및
    상기 판정된 3차원 위치 및 상기 식별된 패턴을 사용함으로써 상기 수술도구에 대한 포즈를 추정하는 단계;를 포함하는 것을 특징으로 하는 수술도구 상에 주지된 위치를 가지는 3개 이상의 실질적으로 코너없는 프리미티브 피처를 포함하는 수술도구의 포즈를 추정하는 방법.
KR1020117017601A 2008-12-31 2009-12-17 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지 KR101709277B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US20397508P 2008-12-31 2008-12-31
US61/203,975 2008-12-31
US12/428,691 2009-04-23
US12/428,691 US9867669B2 (en) 2008-12-31 2009-04-23 Configuration marker design and detection for instrument tracking
PCT/US2009/068423 WO2010078016A1 (en) 2008-12-31 2009-12-17 Configuration marker design and detection for instrument tracking

Publications (2)

Publication Number Publication Date
KR20110118640A true KR20110118640A (ko) 2011-10-31
KR101709277B1 KR101709277B1 (ko) 2017-02-23

Family

ID=42285854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117017601A KR101709277B1 (ko) 2008-12-31 2009-12-17 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지

Country Status (5)

Country Link
US (4) US9867669B2 (ko)
EP (1) EP2391289B1 (ko)
KR (1) KR101709277B1 (ko)
CN (1) CN102341054B (ko)
WO (1) WO2010078016A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013162221A1 (ko) * 2012-04-27 2013-10-31 주식회사 고영테크놀러지 환부 및 수술도구의 트랙킹 방법
KR101371384B1 (ko) * 2013-01-10 2014-03-07 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR101406220B1 (ko) * 2013-04-30 2014-06-12 경북대학교 산학협력단 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014112782A1 (ko) * 2013-01-18 2014-07-24 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014129760A1 (ko) * 2013-02-21 2014-08-28 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US9314309B2 (en) 2013-03-13 2016-04-19 Samsung Electronics Co., Ltd. Surgical robot and method of controlling the same
KR20160067110A (ko) * 2013-10-04 2016-06-13 스트리커 코포레이션 대상과 상호작용하기 위한 시스템 및 방법
WO2017018748A1 (ko) * 2015-07-24 2017-02-02 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US10108833B2 (en) 2016-08-09 2018-10-23 Koh Young Technology Inc. Marker for optical tracking, optical tracking system, and optical tracking method

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US8594841B2 (en) * 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8374723B2 (en) * 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
US8830224B2 (en) 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8184880B2 (en) 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
CN102469927A (zh) * 2009-10-09 2012-05-23 奥林巴斯医疗株式会社 内窥镜装置
CN102781336B (zh) 2009-10-30 2016-01-20 约翰霍普金斯大学 用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释
US10092364B2 (en) * 2010-03-17 2018-10-09 Brainlab Ag Flow control in computer-assisted surgery based on marker position
DE112011102975T5 (de) * 2010-09-07 2013-08-08 Stephan V. Yacoubian Chirurgische Mehrzweck-Instrumente
WO2012078989A1 (en) 2010-12-10 2012-06-14 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
CN103370014B (zh) 2011-02-15 2019-01-18 直观外科手术操作公司 用于吻合或管封闭器械中刀位置的指示符
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US9805624B2 (en) 2011-09-30 2017-10-31 Regents Of The University Of Minnesota Simulated, representative high-fidelity organosilicate tissue models
US9554763B2 (en) 2011-10-28 2017-01-31 Navigate Surgical Technologies, Inc. Soft body automatic registration and surgical monitoring system
US9585721B2 (en) 2011-10-28 2017-03-07 Navigate Surgical Technologies, Inc. System and method for real time tracking and modeling of surgical site
US9198737B2 (en) 2012-11-08 2015-12-01 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
US11304777B2 (en) 2011-10-28 2022-04-19 Navigate Surgical Technologies, Inc System and method for determining the three-dimensional location and orientation of identification markers
US8938282B2 (en) 2011-10-28 2015-01-20 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method with automatic registration
US8908918B2 (en) 2012-11-08 2014-12-09 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
US9566123B2 (en) 2011-10-28 2017-02-14 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method
US20130261433A1 (en) * 2012-03-28 2013-10-03 Navident Technologies, Inc. Haptic simulation and surgical location monitoring system and method
US9186053B2 (en) 2012-05-03 2015-11-17 Covidien Lp Methods of using light to repair hernia defects
WO2013165529A2 (en) * 2012-05-03 2013-11-07 Poniatowski Lauren H Systems and methods for analyzing surgical techniques
US9439622B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical navigation system
US9498182B2 (en) 2012-05-22 2016-11-22 Covidien Lp Systems and methods for planning and navigation
US9439623B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical planning system and navigation system
US9439627B2 (en) 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
US10758315B2 (en) * 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
CN102779344B (zh) * 2012-07-02 2014-08-27 济南大学 空间变换用配准块及其使用方法
KR102328291B1 (ko) 2012-08-15 2021-11-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 로봇 암의 수동식 운동에 의해 제어되는 이동가능한 수술용 장착 플랫폼
CN117770979A (zh) 2012-12-10 2024-03-29 直观外科手术操作公司 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
US9230326B1 (en) 2012-12-31 2016-01-05 Cognex Corporation System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
US20140221828A1 (en) * 2013-02-05 2014-08-07 Muffin Incorporated Non-linear echogenic markers
US9489738B2 (en) 2013-04-26 2016-11-08 Navigate Surgical Technologies, Inc. System and method for tracking non-visible structure of a body with multi-element fiducial
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
EP3033873A1 (en) 2013-08-13 2016-06-22 Navigate Surgical Technologies Inc. System and method for focusing imaging devices
EP3033025A1 (en) 2013-08-13 2016-06-22 Navigate Surgical Technologies Inc. Method for determining the location and orientation of a fiducial reference
US9622720B2 (en) 2013-11-27 2017-04-18 Clear Guide Medical, Inc. Ultrasound system with stereo image guidance or tracking
US8880151B1 (en) 2013-11-27 2014-11-04 Clear Guide Medical, Llc Surgical needle for a surgical system with optical recognition
US9597009B2 (en) * 2013-12-19 2017-03-21 Novartis Ag Marker-based tool tracking
US10307079B2 (en) 2014-01-27 2019-06-04 Edda Technology, Inc. Method and system for surgical instrument guidance and tracking with position and orientation correction
CA2938359A1 (en) * 2014-02-10 2015-08-13 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
US9424503B2 (en) 2014-08-11 2016-08-23 Brian Kieser Structurally encoded component and method of manufacturing structurally encoded component
US9101321B1 (en) 2014-02-11 2015-08-11 Brian Kieser Unique device identification through high data density structural encoding
JP6278747B2 (ja) * 2014-02-28 2018-02-14 オリンパス株式会社 マニピュレータのキャリブレーション方法、マニピュレータ、およびマニピュレータシステム
DE102014104802A1 (de) * 2014-04-03 2015-10-08 Aesculap Ag Medizinische Referenzierungsvorrichtung, medizinisches Navigationssystem und Verfahren
DE102014104800A1 (de) 2014-04-03 2015-10-08 Aesculap Ag Medizinische Befestigungseinrichtung sowie Referenzierungsvorrichtung und medizinisches Instrumentarium
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US10413368B2 (en) * 2014-08-18 2019-09-17 G-coder Systems AB Arrangement for minimal invasive intervention
US10828104B2 (en) * 2014-09-15 2020-11-10 Synaptive Medical (Barbados) Inc. Surgical navigation system using image segmentation
US9943374B2 (en) * 2014-09-16 2018-04-17 X-Nav Technologies, LLC Image guidance system for detecting and tracking an image pose
DE102014222293A1 (de) * 2014-10-31 2016-05-19 Siemens Aktiengesellschaft Verfahren zur automatischen Überwachung des Eindringverhaltens eines von einem Roboterarm gehaltenen Trokars und Überwachungssystem
US20160125762A1 (en) * 2014-11-05 2016-05-05 Illinois Tool Works Inc. System and method for welding system clamp assembly
US10376181B2 (en) * 2015-02-17 2019-08-13 Endochoice, Inc. System for detecting the location of an endoscopic device during a medical procedure
CN114795471A (zh) 2015-04-06 2022-07-29 直观外科手术操作公司 在图像引导的外科手术中的配准补偿的系统和方法
WO2017014308A1 (ja) 2015-07-23 2017-01-26 オリンパス株式会社 マニピュレータ及び医療システム
CN107847286A (zh) * 2015-07-23 2018-03-27 奥林巴斯株式会社 医疗系统及其操作方法
EP3337419B1 (en) 2015-08-19 2020-08-12 Brainlab AG Reference array holder
WO2017050761A1 (en) * 2015-09-21 2017-03-30 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
WO2017054817A1 (de) * 2015-10-01 2017-04-06 Olaf Christiansen Endoskopisches bildverarbeitungssystem für die chirurgie mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische distanzinformation erzeugen
US20180045960A1 (en) 2015-12-02 2018-02-15 Augmenteum, LLC. System for and method of projecting augmentation imagery in a head-mounted display
EP3389538B1 (en) * 2015-12-18 2022-11-02 Koninklijke Philips N.V. Medical instrument tracking
JPWO2017169823A1 (ja) * 2016-03-30 2019-02-07 ソニー株式会社 画像処理装置および方法、手術システム並びに手術用部材
US11071449B2 (en) 2016-03-31 2021-07-27 Alcon Inc. Visualization system for ophthalmic surgery
WO2018024322A1 (en) * 2016-08-02 2018-02-08 Brainlab Ag Solid-joint deformation-model verification
US10413373B2 (en) * 2016-08-16 2019-09-17 Ethicon, Llc Robotic visualization and collision avoidance
US10973585B2 (en) 2016-09-21 2021-04-13 Alcon Inc. Systems and methods for tracking the orientation of surgical tools
US10235771B2 (en) * 2016-11-11 2019-03-19 Qualcomm Incorporated Methods and systems of performing object pose estimation
CN110049742B (zh) * 2016-12-07 2023-01-03 皇家飞利浦有限公司 用于机器人控制的图像引导的运动缩放
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10872176B2 (en) * 2017-01-23 2020-12-22 General Electric Company Methods of making and monitoring a component with an integral strain indicator
WO2018178150A1 (en) * 2017-03-31 2018-10-04 Koninklijke Philips N.V. Markerless robot tracking systems, controllers and methods
WO2018189742A1 (en) * 2017-04-13 2018-10-18 V.T.M. (Virtual Tape Measure) Technologies Ltd. Endoscopic measurement methods and tools
US11141223B2 (en) * 2017-11-06 2021-10-12 Eb Neuro S.P.A. Apparatus and method for calibrating and measuring target points for cerebral neuro-navigators
WO2019103954A1 (en) * 2017-11-21 2019-05-31 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
KR102102291B1 (ko) * 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
CN110384555B (zh) * 2018-04-19 2021-03-12 中国科学院深圳先进技术研究院 基于远端中心运动机构的持镜手术机器人
DE102019004233B4 (de) 2018-06-15 2022-09-22 Mako Surgical Corp. Systeme und verfahren zum verfolgen von objekten
US10252350B1 (en) 2018-06-17 2019-04-09 Arevo, Inc. Fiducial marks for articles of manufacture with non-trivial dimensional variations
JP7457692B2 (ja) * 2018-08-01 2024-03-28 ブレイン ナビ バイオテクノロジー カンパニー リミテッド 手術を実行するためにロボットアームアセンブリの手術経路を更新するためのシステムの作動方法及びそのシステム、並びに記憶媒体
US11707329B2 (en) 2018-08-10 2023-07-25 Covidien Lp Systems and methods for ablation visualization
US20210212784A1 (en) * 2018-09-14 2021-07-15 Covidien Lp Surgical robotic systems and methods of tracking usage of surgical instruments thereof
US11113837B2 (en) * 2019-10-25 2021-09-07 7-Eleven, Inc. Sensor mapping to a global coordinate system
US11720766B2 (en) * 2018-12-28 2023-08-08 Packsize Llc Systems and methods for text and barcode reading under perspective distortion
EP3906560A4 (en) 2019-01-04 2022-03-02 Gentex Corporation ADAPTIVE LIGHTING NETWORK AUTHENTICATION AND INFORMATION DISPLAY DEVICES
US11399896B2 (en) 2019-06-20 2022-08-02 Sony Group Corporation Surgical tool tip and orientation determination
CN111887906B (zh) * 2019-09-10 2021-05-11 深圳市精锋医疗科技有限公司 手术机器人及其机械臂的控制方法、控制装置
US11627868B2 (en) 2019-10-17 2023-04-18 Synaptive Medical Inc. Systems and methods for controlling autofocus operations
US20210153959A1 (en) * 2019-11-26 2021-05-27 Intuitive Surgical Operations, Inc. Physical medical element affixation systems, methods, and materials
FI20196022A1 (en) * 2019-11-27 2021-05-28 Novatron Oy Method and positioning system for determining the position and orientation of a machine
WO2021173541A1 (en) * 2020-02-24 2021-09-02 Intuitive Surgical Operations, Inc. Systems and methods for registration feature integrity checking
EP3881793A1 (en) * 2020-03-17 2021-09-22 CHU de NICE Surgical instrument and computer-implemented method for determining the position and orientation of such surgical instrument
CN112075994B (zh) * 2020-04-13 2021-08-31 上海复拓知达医疗科技有限公司 用于定位医疗器械的光学标识物和医疗器械组件
CN112704566B (zh) * 2020-12-29 2022-11-25 上海微创医疗机器人（集团）股份有限公司 手术耗材核查方法及手术机器人系统
WO2023281372A2 (en) * 2021-07-05 2023-01-12 Moon Surgical Sas Co-manipulation surgical system having optical scanners for use with surgical instruments for performing laparoscopic surgery
EP4312857A1 (en) 2021-03-31 2024-02-07 Moon Surgical SAS Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
CN113855235A (zh) * 2021-08-02 2021-12-31 应葵 用于肝脏部位的微波热消融手术中磁共振导航方法及装置
US11994272B2 (en) 2021-08-20 2024-05-28 Gentex Corporation Lighting assembly and illumination system having a lighting assembly
CN113712665B (zh) * 2021-11-01 2022-04-22 北京柏惠维康科技有限公司 基于定位标志物的定位方法、装置及计算机存储介质
WO2023201074A1 (en) * 2022-04-15 2023-10-19 Stryker Corporation Pointer tool for endoscopic surgical procedures
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11839442B1 (en) 2023-01-09 2023-12-12 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201984B1 (en) * 1991-06-13 2001-03-13 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US20040002642A1 (en) * 2002-07-01 2004-01-01 Doron Dekel Video pose tracking system and method
US20060142657A1 (en) * 2002-03-06 2006-06-29 Mako Surgical Corporation Haptic guidance system and method
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4614366A (en) * 1983-11-18 1986-09-30 Exactident, Inc. Nail identification wafer
US6167295A (en) * 1991-01-28 2000-12-26 Radionics, Inc. Optical and computer graphic stereotactic localizer
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US5662111A (en) * 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US6006126A (en) * 1991-01-28 1999-12-21 Cosman; Eric R. System and method for stereotactic registration of image scan data
DE69433588T2 (de) * 1993-04-26 2005-02-03 St. Louis University Anzeige der lage einer sonde
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US6122541A (en) * 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
JP4101951B2 (ja) * 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6826423B1 (en) * 1999-01-04 2004-11-30 Midco-Medical Instrumentation And Diagnostics Corporation Whole body stereotactic localization and immobilization system
US8004229B2 (en) * 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US6493573B1 (en) * 1999-10-28 2002-12-10 Winchester Development Associates Method and system for navigating a catheter probe in the presence of field-influencing objects
DE10029529A1 (de) * 1999-12-23 2001-06-28 Rohwedder Visotech Gmbh Reflektorsystem zur Positionsbestimmung
AU2001224721A1 (en) * 2000-01-10 2001-08-07 Super Dimension Ltd. Methods and systems for performing medical procedures with reference to projective images and with respect to pre-stored images
US20030210812A1 (en) * 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US8095200B2 (en) * 2002-03-06 2012-01-10 Mako Surgical Corp. System and method for using a haptic device as an input device
US6826257B2 (en) * 2002-09-13 2004-11-30 Beekley Corporation Device and method for margin marking of radiography specimens
WO2005009220A2 (en) * 2003-07-21 2005-02-03 Johns Hopkins University Registration of ultrasound to fluoroscopy for real time optimization of radiation implant procedures
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
WO2005102202A1 (en) 2004-04-26 2005-11-03 Orthosoft Inc. Method for permanent calibration based on actual measurement
US20070288124A1 (en) * 2004-08-25 2007-12-13 Kabushiki Kaisha Yaskawa Denki Evaluating System And Evaluating Method Of Robot
JP2008538184A (ja) 2005-02-22 2008-10-16 マコ サージカル コーポレーション 触覚誘導システムおよび方法
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
KR101270912B1 (ko) 2005-06-09 2013-06-03 이에프에 인더스트릴레 포르슝 운트 엔트빅룽 게엠베하 물체의 공간적 위치 및 방향의 비접촉식 결정 및 측정 장치및 방법과, 의료용 툴을 교정 및 확인하기 위한 방법,그리고 의료용 툴 상의 패턴이나 구조물
US20070167702A1 (en) * 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
EP1854425A1 (de) * 2006-05-11 2007-11-14 BrainLAB AG Medizintechnische Positionsbestimmung mit redundanten Positionserfassungseinrichtungen und Prioritätsgewichtung für die Positionserfassungseinrichtungen
US8320991B2 (en) * 2006-12-01 2012-11-27 Medtronic Navigation Inc. Portable electromagnetic navigation system
US20080172119A1 (en) * 2007-01-12 2008-07-17 Medtronic Vascular, Inc. Prosthesis Deployment Apparatus and Methods
US7903883B2 (en) * 2007-03-30 2011-03-08 Microsoft Corporation Local bi-gram model for object recognition
DE102007021185B4 (de) * 2007-05-05 2012-09-20 Ziehm Imaging Gmbh Röntgendiagnostikeinrichtung mit einer Vielzahl kodierter Marken und ein Verfahren zur Bestimmung der Lage von Einrichtungsteilen der Röntgendiagnostikeinrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201984B1 (en) * 1991-06-13 2001-03-13 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US20060142657A1 (en) * 2002-03-06 2006-06-29 Mako Surgical Corporation Haptic guidance system and method
US20040002642A1 (en) * 2002-07-01 2004-01-01 Doron Dekel Video pose tracking system and method
US20070183041A1 (en) * 2006-02-09 2007-08-09 Northern Digital Inc. Retroreflective marker-tracking systems

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013162221A1 (ko) * 2012-04-27 2013-10-31 주식회사 고영테크놀러지 환부 및 수술도구의 트랙킹 방법
KR101371384B1 (ko) * 2013-01-10 2014-03-07 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US9576366B2 (en) 2013-01-10 2017-02-21 Koh Young Technology Inc. Tracking system and tracking method using the same
WO2014109520A1 (ko) * 2013-01-10 2014-07-17 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014112782A1 (ko) * 2013-01-18 2014-07-24 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
CN104936547A (zh) * 2013-01-18 2015-09-23 株式会社高永科技 跟踪系统及利用上述跟踪系统的跟踪方法
KR101446173B1 (ko) * 2013-02-21 2014-10-01 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014129760A1 (ko) * 2013-02-21 2014-08-28 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US9314309B2 (en) 2013-03-13 2016-04-19 Samsung Electronics Co., Ltd. Surgical robot and method of controlling the same
KR101406220B1 (ko) * 2013-04-30 2014-06-12 경북대학교 산학협력단 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR20160067110A (ko) * 2013-10-04 2016-06-13 스트리커 코포레이션 대상과 상호작용하기 위한 시스템 및 방법
WO2017018748A1 (ko) * 2015-07-24 2017-02-02 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US10108833B2 (en) 2016-08-09 2018-10-23 Koh Young Technology Inc. Marker for optical tracking, optical tracking system, and optical tracking method

Also Published As

Publication number Publication date
WO2010078016A1 (en) 2010-07-08
CN102341054A (zh) 2012-02-01
KR101709277B1 (ko) 2017-02-23
CN102341054B (zh) 2016-03-16
US20230000568A1 (en) 2023-01-05
US11471221B2 (en) 2022-10-18
EP2391289B1 (en) 2016-11-23
US20200305984A1 (en) 2020-10-01
US20180071033A1 (en) 2018-03-15
EP2391289A1 (en) 2011-12-07
US9867669B2 (en) 2018-01-16
US20100168763A1 (en) 2010-07-01
US10675098B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
US11471221B2 (en) Configuration marker design and detection for instrument tracking
KR101650161B1 (ko) 이미지 내에서 수술기기를 찾기 위한 기준 마커 디자인 및 탐지
US10339719B2 (en) System and method for projected tool trajectories for surgical navigation systems
US9402690B2 (en) Efficient 3-D telestration for local and remote robotic proctoring
US8639000B2 (en) Robust sparse image matching for robotic surgery
EP2967297B1 (en) System for dynamic validation, correction of registration for surgical navigation
US9101267B2 (en) Method of real-time tracking of moving/flexible surfaces
Grasa et al. Visual SLAM for handheld monocular endoscope
EP2931161A1 (en) Markerless tracking of robotic surgical tools
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
CN101385036A (zh) 在医疗成像系统所提供的图像中自动检测手术器具
von Atzigen et al. Marker-free surgical navigation of rod bending using a stereo neural network and augmented reality in spinal fusion
WO2019028021A1 (en) SYSTEM AND METHOD OF LOCATION BASED ON ARTIFICIAL VISION AND HYBRID EQUIPMENT
Docea et al. Simultaneous localisation and mapping for laparoscopic liver navigation: a comparative evaluation study
Lin Visual SLAM and Surface Reconstruction for Abdominal Minimally Invasive Surgery
CN115702444A (zh) 用于确定工具定位及其基准标记物的系统和方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant