KR20210130698A - 컴퓨터 비전 기술들 - Google Patents

컴퓨터 비전 기술들 Download PDF

Info

Publication number
KR20210130698A
KR20210130698A KR1020217011139A KR20217011139A KR20210130698A KR 20210130698 A KR20210130698 A KR 20210130698A KR 1020217011139 A KR1020217011139 A KR 1020217011139A KR 20217011139 A KR20217011139 A KR 20217011139A KR 20210130698 A KR20210130698 A KR 20210130698A
Authority
KR
South Korea
Prior art keywords
electrode
image
light
robotic
camera
Prior art date
Application number
KR1020217011139A
Other languages
English (en)
Inventor
티모시 제이. 가드너
비카쉬 길야
티모시 엘. 핸슨
이안 엠. 오하라
케니 샤르마
Original Assignee
뉴럴링크 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뉴럴링크 코포레이션 filed Critical 뉴럴링크 코포레이션
Publication of KR20210130698A publication Critical patent/KR20210130698A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6848—Needles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0529—Electrodes for brain stimulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Electrotherapy Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Surgical Instruments (AREA)

Abstract

로봇 수술과 관련하여 컴퓨터 비전 기술들을 사용하는 시스템들 및 방법들이 논의된다. 로봇 수술 시스템은 주입가능 디바이스 맞물림 서브-시스템, 타겟팅 서브-시스템, 및/또는 삽입 검증 서브-시스템을 포함할 수 있다. 시스템은 로봇 조립체들을 사용하여 생체 조직(예컨대, 신경 조직, 이를테면 뇌)에 마이크로-제조된 생체-적합성 전극 디바이스를 주입하는 것을 용이하게 하기 위해 컴퓨터 비전 기술들을 사용할 수 있다. 시스템은 로봇 조작을 통해 삽입 바늘의 맞물림 요소에 전극을 부착시킬 수 있다. 시스템은 추가로, 근-자외선(근-UV) 파장의 광을 사용하여 전극을 조사하고, 조사에 대한 응답으로 폴리머 부분으로부터 형광된 광을 이용하여 전극의 이미지들을 획득하고, 전극의 3D 위치를 삼각측량하고, 컴퓨터 비전을 사용하여 타겟 조직 윤곽을 분석하고, 삽입 부위를 선택하며, 로봇 조립체를 통해 그리고 삼각측량된 위치에 기반하여 삽입 부위에 미크론-스케일 전극을 외과적으로 주입할 수 있다.

Description

컴퓨터 비전 기술들
[0001] 본 출원은 발명의 명칭이 "Computer Vision Techniques"로 2018년 9월 14일자로 출원된 미국 가출원 제 62/731,520호의 우선권의 이익을 주장하며, 그 가출원은 모든 목적들을 위해 그 전체가인용에 의해 본 명세서에 포함된다.
[0002] 적용가능하지 않음
[0003] 수술은 중요하지만 섬세한 활동이다. 따라서, 고도로 훈련된 외과의사들은 종래에 수술 절차들, 특히 신경외과 절차들을 수행해야 한다. 예컨대, 생체 조직에 디바이스들을 주입하기 위한 종래의 수술 기술들은 주입가능 디바이스에 대한 삽입 부위를 적절하게 타겟팅할 필요성에 의해 제한된다. 부적절하게 타겟팅된 주입가능 디바이스들은 혈관들 또는 조직에 손상을 야기할 수 있다.
[0004] 그럼에도 불구하고, 종래의 수술 기술들은 엄청나게 비싸며, 뇌-컴퓨터 인터페이스들과 같은 혁신적인 주입가능 기술들의 채택을 제한할 수 있다. 예컨대, 인간 외과의사들은 뇌로의 주입가능 전극들의 많은 수들의 순차적인 삽입들을 신뢰할 수 있게 수행할 수 없다.
[0005] 종래에, 로봇 수술은, 예컨대 카메라 이미지들 내의 제한된 피사계 심도, 글레어(glare) 또는 반사 요소들로 인해, 표준 이미징 기술들을 통해 실시간으로 로봇들을 제어하는 어려움들에 의해 제한된다. 따라서, 종래의 로봇 수술 기술들은 주입가능 디바이스들, 타겟 조직들, 및 관련 기구들, 이를테면 삽입 바늘들의 정밀한 위치설정을 결정하기 위한 능력에서 인간 외과의사들보다 열등하다.
[0006] 일반적으로, 로봇 수술 시스템은 로봇 조립체들을 사용하여 생체 조직(예컨대, 신경 조직, 이를테면 뇌)에 마이크로-제조된 생체-적합성 전극 디바이스를 주입하는 것을 용이하게 하기 위해 특정 요소들의 형광, 특수한 조명, 및 컴퓨터 비전 기술들을 사용한다. 로봇 수술 시스템은 작은 주입가능 디바이스와 맞물리고, 혈액 또는 다른 생체 조직에서 타겟 주입 부위를 식별하며, 적절한 삽입을 검증하기 위한 컴포넌트들을 포함할 수 있다. 시스템은 로봇 조작을 통해 소형 삽입 바늘의 맞물림 요소에 전극을 부착시킬 수 있다. 시스템은 에지들 및 특징부들을 더 양호하게 콘트라스트(contrast)시키기 위해 적색 광과 같은 특정 컬러들의 광을 이용하여 로봇 엔드 이펙터(end effector)의 금속 부분들을 조명할 수 있다. 그것은 로봇 조립체를 통해 그리고 타겟 조직의 윤곽 이미지들 및 전극의 삼각측량된 위치에 기반하여 전극을 외과적으로 주입할 수 있다.
[0007] 시스템은 광의 근-자외선(근-UV) 파장을 사용하여 전극의 폴리머 부분을 조사할 수 있다. 근-UV 파장은 300 나노미터(nm) 내지 425 나노미터일 수 있다. 제1 광원은 제1 LED(light emitting diode) 또는 제1 레이저를 포함할 수 있다. 이어서, 시스템 및/또는 제1 카메라는 조사에 대한 응답으로 폴리머 부분으로부터 형광된 광을 이용하여 폴리머 부분의 제1 이미지를 획득할 수 있다. 이어서, 시스템 및/또는 제2 카메라는 폴리머 부분으로부터 형광된 광을 이용하여 폴리머 부분의 제2 이미지를 획득할 수 있다. 이어서, 제1 이미지 및 제2 이미지를 프로세싱하기 위해 컴퓨터 비전 휴리스틱(computer vision heuristic)을 사용하는 시스템 및/또는 프로세서는 전극의 3차원(3D) 위치를 삼각측량할 수 있다. 이어서, 제2 LED 또는 제2 레이저를 포함하는 시스템 및/또는 제2 광원은 가시광을 사용하여 삽입 바늘을 조명할 수 있다. 이어서, 시스템 및/또는 제1 카메라는 가시광에 의해 조명되는 삽입 바늘의 제3 이미지를 획득할 수 있다. 마지막으로, 시스템은 3D 위치 및 제3 이미지에 기반하여 전극의 폴리머 부분을 삽입 바늘과 로봇식으로 맞물리게 할 수 있다.
[0008] 일부 실시예들에서, 삽입 바늘은 금속을 포함하고, 가시광은 적색 광을 포함한다.
[0009] 일부 실시예들에서, 폴리머 부분은 폴리이미드를 포함할 수 있다. 광의 근-UV 파장은 390 나노미터 내지 425 나노미터일 수 있다. 폴리머 부분으로부터 형광된 광은 녹색 광을 포함할 수 있다.
[0010] 일부 실시예들에서, 전극의 폴리머 부분을 로봇식으로 맞물리게 하는 것은 3D 위치 및 제3 이미지에 기반하여, 전극과 연결된 상호 맞물림 요소에 삽입 바늘의 맞물림 요소를 로봇식으로 부착시키는 것을 포함할 수 있다.
[0011] 일부 실시예들에서, 상호 맞물림 요소는 루프를 포함할 수 있다. 상호 맞물림 요소에 삽입 바늘의 맞물림 요소를 부착시키는 것은 루프를 통해 삽입 바늘을 스레딩(thread)하는 것을 더 포함할 수 있다.
[0012] 일부 실시예들에서, 제1 카메라는 전극과 연관된 투사된 에지의 평면 표면에 실질적으로 수직으로 위치될 수 있다. 제2 카메라는 제1 카메라에 대해 5° 보다 큰 각도로 위치될 수 있다.
[0013] 일부 실시예들에서, 제2 카메라는 제1 카메라에 대해 40° 내지 50°의 각도로 위치될 수 있다.
[0014] 일부 실시예들에서, 시스템은 삽입 바늘을 사용하여 전극을 외과적으로 주입할 수 있다.
[0015] 일부 실시예들에서, 시스템은 타겟 수술 조직의 제4 이미지를 획득할 수 있다. 시스템은 제4 이미지에 기반하여, 타겟 수술 조직의 윤곽 위치를 결정할 수 있다. 전극을 외과적으로 주입하는 것은 결정된 윤곽 위치에 추가로 기반할 수 있다.
[0016] 일부 실시예들에서, 전극을 외과적으로 주입하는 동안, 시스템은 전극 및 타겟 수술 조직의 제5 이미지를 획득할 수 있다. 시스템은 제5 이미지에 기반하여 전극의 주입을 검증할 수 있다.
[0017] 일부 실시예들에서, 제1 카메라 또는 제2 카메라는 현미경 내에 통합될 수 있다.
[0018] 일부 실시예들에서, 전극의 로봇식 외과적 주입을 위한 시스템은 제1 LED 또는 제1 레이저를 포함하는 제1 광원, 제2 LED 또는 제2 레이저를 포함하는 제2 광원, 제1 카메라, 제2 카메라, 및 로봇 조립체를 포함할 수 있다. 시스템은, 프로세서로 하여금, 전극의 로봇식 외과적 주입을 위해 위에서 설명된 방법들 중 임의의 방법을 수행하게 하고 그리고/또는 그 임의의 방법을 수행하도록 시스템의 컴포넌트들에게 명령하는 컴퓨터-실행가능 명령들을 실행하도록 구성된 프로세서를 더 포함할 수 있다.
[0019] 일부 실시예들에서, 비-일시적인 컴퓨터-판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 전극의 로봇식 외과적 주입을 위해 위에서 설명된 방법들 중 임의의 방법을 수행하게 하고 그리고/또는 그 임의의 방법을 수행하도록 시스템의 컴포넌트들에게 명령하는 컴퓨터-실행가능 명령들을 저장할 수 있다.
[0020] 본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부 도면들은 여러가지 실시예들을 예시하고, 설명과 함께, 개시된 원리들을 설명하도록 기능한다.
[0021] 도 1a는 일 실시예에 따른, 전극의 로봇식 외과적 주입을 위한 예시적인 시스템을 예시한다.
[0022] 도 1b는 도 1a의 시스템의 측면도를 예시한다.
[0023] 도 2는 일 실시예에 따른, 전극의 로봇식 외과적 주입을 위한 조직의 타겟팅을 위한 예시적인 시스템을 예시한다.
[0024] 도 3은 일 실시예에 따른, 전극의 시각화 및 로봇식 맞물림을 위한 예시적인 시스템을 예시한다.
[0025] 도 4는 일 실시예에 따른, 백색 광에 의해 조명되는 바늘 및 맞물림 컴포넌트의 예시적인 이미지를 예시한다.
[0026] 도 5는 일 실시예에 따른, 조사에 대한 응답으로 형광되는 맞물림 컴포넌트의 예시적인 이미지를 예시한다.
[0027] 도 6은 일 실시예에 따른, 적색 광을 사용하여 촬영된 바늘 및 맞물림 컴포넌트의 예시적인 이미지를 예시한다.
[0028] 도 7은 일 실시예에 따른, 바늘 핀처 카트리지(needle pincher cartridge) 상의 삽입 바늘 및 핀처를 예시한다.
[0029] 도 8은 일 실시예에 따른, 타겟 조직 프록시 물질에서의 전극들의 주입을 예시한다.
[0030] 도 9는 일 실시예에 따른, 뇌 조직에 주입된 전극들의 일 예를 예시한다.
[0031] 도 10은 일 실시예에 따른, 로봇식 외과적 주입을 위한 시스템의 예시적인 검증 컴포넌트들을 예시한다.
[0032] 도 11은 일 실시예에 따른, 디바이스 맞물림 및 로봇식 외과적 주입을 위한 예시적인 프로세스를 예시한 흐름도이다.
[0033] 도 12는 일 실시예에 따른, 로봇식 외과적 주입을 위한 예시적인 프로세스를 예시한 흐름도이다.
[0034] 도 13은 일 실시예에 따른, 로봇식 외과적 주입 동안 타겟팅하기 위한 예시적인 프로세스를 예시한 흐름도이다.
[0035] 도 14는 일 실시예에 따른, 로봇식 외과적 주입 동안의 검증을 위한 예시적인 프로세스를 예시한 흐름도이다.
[0036] 도 15a는 일 실시예에 따른, 컴퓨터 비전에 의해 안내되는 로봇 수술을 위한 예시적인 컴퓨팅 시스템을 예시한다.
[0037] 도 15b는 일 실시예에 따른, 컴퓨터 비전에 의해 안내되는 로봇 수술을 위한 컴퓨팅 시스템의 예시적인 컴포넌트들을 예시한다.
[0038] 일반적으로, 본 개시내용은 극소-정밀(micro-precision) 로봇 수술과 관련하여 컴퓨터 비전 기술들을 사용하는 시스템들 및 방법들에 관한 것이다. 특히, 개시된 시스템들 및 방법들은 생체 조직에 작은 생체-적합성 전극 디바이스들을 주입할 시에 로봇 조립체들을 안내하기 위해, 특수화된 조명 및 컴퓨터 비전 기술들을 이용할 수 있다. 스케일은 너무 작아서, 정상적인 백색 조명은 컴퓨터 비전에 대해 충분히 선명한 에지들 및 다른 특징부들을 나타내지 않는다. 일부 실시예들에서, 시스템은 삽입 바늘 상에서 주입가능 디바이스와 맞물리고 위치설정하는 것, 디바이스를 타겟팅하고 주입하는 것, 및/또는 안전하고 적절한 삽입을 검증하는 것과 같은 복잡한 수술 작업들을 수행할 수 있다. 시스템은 이들 작업들 중 임의의 작업 또는 모든 작업들의 안전하고, 정밀하며, 효율적인 성능을 향상시키기 위해 컴퓨터 비전을 사용할 수 있다.
[0039] 비-제한적인 예에서, 개시된 시스템 및 방법들은 뇌와 같은 신경 조직에 전극 디바이스를 주입하는 데 사용될 수 있다. 특히, 주입가능 전극 디바이스는 뇌의 구역들을 통해 전기 신호들을 기록 및/또는 자극하도록 구성될 수 있다. 추가적인 예들에서, 개시된 시스템 및 방법들은, 뇌, 근육, 간, 췌장, 비장, 신장, 방광, 장, 심장, 위, 피부, 결장 등을 포함하는(그러나 이에 제한되지 않음) 생체 조직에서 수술을 수행하는 데 사용될 수 있다. 부가적으로, 개시된 로봇 수술 시스템들 및 방법들은 인간들에 사용되는 것으로 제한되는 것이 아니라 임의의 적합한 다세포 유기체에 사용될 수 있다.
[0040] 일 예에서, 개시된 실시예들에 따른 로봇식 외과적 주입 시스템은 주입가능 디바이스 맞물림 서브-시스템, 타겟팅 서브-시스템, 및 삽입 검증 서브-시스템을 포함할 수 있다. 주입가능 디바이스 맞물림 서브-시스템, 타겟팅 서브-시스템 및 삽입 검증 서브-시스템은 로봇 조작기들을 사용하여 생체 조직(이를테면, 뇌)에 주입가능 디바이스를 주입하고 그 주입(또는 삽입)을 검증하기 위해 컴퓨터 비전 기술들을 적용할 수 있다. 일부 실시예들에서, 주입가능 디바이스들은 생체 조직을 기록 및/또는 자극하도록 구성될 수 있다.
[0041] 예시적인 자동화된 수술 절차에서, 초기에, 로봇식 외과적 주입 시스템의 타겟팅 서브-시스템은 주입을 위한 타겟 조직 부위를 결정할 수 있다. 타겟에 기반하여, 로봇식 외과적 주입 시스템은 수술 필드(surgical field)에서 (필박스-카트리지(pillbox-cartridge) 조립체에 하우징된) 주입가능 전극 디바이스 및 바늘을 위치설정할 수 있다. 아래의 본 명세서에서 개시되는 바와 같이, 디바이스 맞물림 서브-시스템은 바늘을 주입가능 디바이스와 맞물리게 하기 위해 컴퓨터 비전 및 로봇 맞물림을 사용할 수 있다. 이어서, 로봇식 외과적 주입 시스템은 디바이스 및 바늘을 타겟 생체 조직에 주입할 수 있다. 이어서, 삽입 검증 서브-시스템은 본 명세서에 개시된 바와 같이, 타겟 조직으로의 디바이스의 주입을 검증할 수 있다.
[0042] 도 1a는 일 실시예에 따른, 전극 디바이스의 로봇식 외과적 주입을 위한 예시적인 시스템(100)을 예시한다. 도 1b는 일 실시예에 따른, 전극의 로봇식 외과적 주입을 위한 예시적인 시스템(100)의 측면도를 예시한다. 일부 실시예들에서, 전체 시스템(100)은 로봇과 연관될 수 있으며, 예컨대 단일 로봇은 시스템(100)의 모든 컴포넌트들과 함께 통합될 수 있다. 일부 실시예들에서, 시스템(100)의 일부 서브-시스템들은 결합될 수 있으며, 예컨대 단일 로봇은 디바이스 맞물림 서브-시스템(104)의 기능들을 또한 수행할 수 있는 삽입기 헤드(102)를 포함할 수 있고, 본 개시내용에 의해 제한되지 않는다.
[0043] 이러한 예에서, 시스템(100)은 삽입기 헤드(102) 및 디바이스 맞물림 서브-시스템(104)을 포함한다. 아래의 본 명세서에 설명되는 바와 같이, 디바이스 맞물림 서브-시스템(104)은 주입을 위해 전극들과 맞물릴 수 있고, 삽입기 헤드(102)는 전극들을 신경 조직에 주입하면서 타겟팅 및/또는 삽입 검증 기능들을 수행할 수 있다. 삽입기 헤드(102)는 또한 타겟팅 및/또는 삽입 검증 서브-시스템으로 지칭될 수 있고, 디바이스 맞물림 서브-시스템(104)은 또한 전극 스테이지로 지칭될 수 있다. 일부 실시예들에서, 삽입기 헤드(102) 및 디바이스 맞물림 서브-시스템(104)의 기능들은 단일 장치에 의해 대신 수행될 수 있다. 예컨대, 일부 실시예들에서, 디바이스 맞물림 서브-시스템(104)의 기능들은 삽입기 헤드(102)의 컴포넌트들에 의해 수행될 수 있다. 시스템(100)은 초음파 세정기(106)를 더 포함할 수 있다.
[0044] 시스템(100) 및/또는 서브-시스템(104)은 전극 디바이스를 조명하도록 구성된 광원들을 포함할 수 있고, 시스템(100) 및/또는 서브-시스템(102)은 수술 필드를 조명하도록 구성된 광원들을 포함할 수 있다. 전극 디바이스 또는 삽입 바늘을 조명하는 광원들은 전극 디바이스 또는 바늘과 연관된 재료에 기반하여 선택된 파장들의 광을 발생시킬 수 있는 반면, 수술 필드를 조명하는 광원들은 타겟 조직을 이미징하기 위해 선정된 파장들의 광을 발생시킬 수 있다. 특히, 시스템(100)은 다수의 독립적인 광 모듈들을 포함할 수 있으며, 이들 각각은 405 nm, 525 nm 및 650 nm 또는 백색 광을 이용하여 독립적으로 조명할 수 있다. 예컨대, 주입가능 전극 디바이스가 폴리이미드로 제조된 생체-적합성 기질을 포함하면, 광원으로부터의 광의 파장은 390 nm 내지 425 nm(예컨대, 405 nm 또는 395 nm)일 수 있다. 일 실시예에서, 광원들은 레이저 및/또는 LED(light emitting diode)를 포함할 수 있다. 일 실시예에서, 주입가능 전극 디바이스는 폴리이미드, 폴리아미드, 및/또는 다른 방향족 강성 사슬 폴리머 재료, 형광 재료 또는 다른 재료로 제조된 생체-적합성 기질을 포함할 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0045] 시스템(100)은 전극 디바이스 및 삽입 바늘의 이미지들, 이를테면 디지털 사진들을 획득하도록 구성된 카메라들, 및 타겟 신경 조직, 예컨대 뇌 피질의 이미지들을 획득하도록 구성된 카메라들을 포함할 수 있다. 다른 예에서, 이미지들은 로봇식 외과적 주입에 관련된 임의의 대상의 이미지들을 포함할 수 있다. 통상적인 실시예에서, 카메라들은 상대적인 각도(예컨대, 45°와 실질적으로 동일한 상대적인 각도, 또는 일부 다른 각도)로 배열된 2개의 카메라들을 포함할 수 있다. 다양한 실시예들에서, 시스템(100)은 부가적인 카메라들, 또는 다른 센서들, 이를테면 비디오 카메라들, 마이크로폰들, 화학 센서들, 온도 센서들, 시간 센서들, 및 힘 또는 압력 센서들을 포함할 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0046] 광원들은, 조명된 상태와 꺼진 상태 사이에서 그리고/또는 상이한 파장들의 광 사이에서 순환 또는 스트로브(strobe)될 수 있어서, 카메라들이 수술 필드의 상이한 관점들 또는 양상들을 이미징할 수 있는 하나 이상의 광원들을 포함할 수 있다. 일 실시예에서, 카메라들은, 이를테면 희미한 형광 광에 대한 그들의 감도를 증가시키기 위해 냉각될 수 있다. 일 실시예에서, 카메라들 중 하나 이상은 현미경에 통합될 수 있다.
[0047] 시스템(100)은 카메라들에 의해 획득된 이미지들을 프로세싱하기 위해 컴퓨터 비전 휴리스틱을 실행하도록 구성된 프로세싱 유닛, 이를테면 아래의 도 10의 예의 컴퓨팅 시스템(1008) 또는 아래의 도 15a의 예의 컴퓨팅 시스템(1500)을 포함할 수 있다. 컴퓨팅 시스템은 수술 필드의 하나 이상의 부분들 및/또는 전극 디바이스 및 바늘을 이미징하도록 구성된 복수의 카메라들에 통신가능하게 커플링될 수 있다. 특히, 컴퓨팅 시스템은 전극 디바이스의 위치 및/또는 배향을 결정하기 위해 카메라들로부터의 이미지들에 컴퓨터 비전 기술들을 적용할 수 있다. 일 실시예에서, 컴퓨팅 시스템은 주입을 위한 삽입 바늘 및 타겟 조직의 위치들 및/또는 배향들을 결정할 수 있다. 예컨대, 컴퓨팅 시스템은 카메라들로부터의 이미지들에 기반하여, 타겟 수술 조직의 윤곽을 결정할 수 있다. 다양한 실시예들에서, 프로세싱 유닛은 하나 이상의 프로세서들, 하나 이상의 프로세싱 코어들, 하나 이상의 컴퓨팅 시스템들, 이를테면 아래의 도 15a의 예의 컴퓨팅 시스템(1500), 하나 이상의 GPU들, 또는 이들의 조합들을 포함할 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0048] 시스템(100)은 하나 이상의 로봇 조립체들, 이를테면, 전극 디바이스를 타겟 생체 조직에 외과적으로 주입하도록 구성된 로봇 조립체를 포함할 수 있다. 로봇 조립체들은, 컴퓨팅 시스템에 의해 결정된 전극 디바이스, 삽입 바늘, 및/또는 타겟 조직의 삼각측량된 위치들에 기반하여, 아래의 도 15a의 예의 컴퓨팅 시스템(1500)과 같은 프로세싱 유닛에 의해 안내될 수 있다. 일 실시예에서, 시스템(100)은 삽입 바늘의 맞물림 요소를 전극 디바이스 상의 상호 맞물림 요소에 부착시키도록 구성된 부가적인 로봇 조립체를 더 포함할 수 있다. 일 실시예에서, 전극 디바이스를 외과적으로 주입할 때, 로봇 조립체들은 전극 디바이스에 부착된 삽입 바늘을 외과적으로 주입할 수 있다. 로봇 조립체들은 카메라들로부터의 이미지들에 기반하여 추가로 안내될 수 있다. 일 실시예에서, 시스템(100)은 음파, 초음파, 또는 압력 액추에이터들과 같은 다른 액추에이터들을 포함할 수 있거나, 메스(scalpel)와 같은 다른 기구들을 안내할 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0049] 일부 실시예들에서, 시스템(100)은 부가적인 카메라들을 포함할 수 있으며, 본 개시내용에 의해 제한되지 않는다. 예컨대, 시스템(100)은 타겟 조직 부위를 맵핑하기 위해 로봇 조립체의 머리 상에 위치된 별개의 카메라 시스템을 사용할 수 있다. 일부 실시예들에서, 이러한 로봇 조립체는 또한 삽입 바늘을 운반하도록 구성될 수 있다. 별개의 카메라 시스템은 하나 이상의 축들 상에 이동가능하게 위치될 수 있다. 일 실시예에서, 시스템은, 카메라 시스템의 초점이 뇌 조직과 같은 관심있는 타겟 조직 부위 아래에 있도록 이러한 로봇 조립체를 축 아래로 구동시킨다. 로봇 조립체는 타겟 조직을 이미징하기 위해, 축을 따라 상향으로 이동하고, 그리고/또는 카메라 시스템을 상향으로 스캐닝할 수 있다.
[0050] 본 개시내용의 통상적인 실시예에서, 로봇 수술 시스템(100)은 생체 조직(예컨대, 피질)의 표면 아래로 침투할 수 있는 개선된 깊이 침투로 전극들을 포함하는 주입가능 디바이스들을 주입할 수 있다. 예시적인 전극들은, 발명의 명칭이 "Electrode Design and Fabrication"로 본 출원과 동시에 출원되고 이로써 인용에 의해 포함되는 미국 특허 출원에서 논의된 전극들을 포함할 수 있다. 개시된 로봇 시스템은, 필박스, 카트리지, 및/또는 필박스-카트리지 조립체에 배열된 주입가능 디바이스들, 이를테면, 발명의 명칭이 "Device Implantation Using a Cartridge"로 본 출원과 동시에 출원되고 이로써 인용에 의해 포함되는 미국 특허 출원에서 논의된 주입가능 디바이스들을 주입할 수 있다. 부가적으로, 개시된 로봇 시스템은 바늘의 동작을 제어할 수 있다.
I. 타겟팅 컴포넌트들
[0051] 도 2는 일 실시예에 따른, 전극의 로봇식 외과적 주입을 위한 조직의 타겟팅을 위한 예시적인 시스템(200)을 예시한다. 위에서 설명된 바와 같이, 타겟팅 서브-시스템은 주입을 위한 타겟 조직 부위를 결정하고, 수술 필드에서 주입가능 전극 및 바늘을 위치설정하며, 디바이스 및 바늘을 타겟 생체 조직에 주입할 수 있다. 이러한 예에서, 타겟팅 컴포넌트들은 광원들(208 및 209), 카메라들(204 및 205)과 같은 하나 이상의 카메라들, 및 하나 이상의 주입가능 전극 디바이스들이 삽입될 수 있는 생체 조직의 구역들을 선택하도록 구성된 컴퓨팅 시스템과 같은 프로세싱 유닛을 포함할 수 있다.
[0052] 일부 실시예들에서, 광원들(208 및 209) 및 카메라들(204 및 205)은 컴퓨팅 시스템에 커플링된다. 일부 실시예들에서, 컴퓨팅 시스템은 마이크로프로세서 제어기(216)일 수 있다. 다른 실시예들에서, 컴퓨팅 시스템은 도 10의 예의 컴퓨팅 시스템(1008), 또는 아래의 도 15a의 예의 컴퓨팅 시스템(1500)일 수 있거나, 또는 이들 시스템들과 통신할 수 있다. 컴퓨팅 시스템은 카메라들(204 및 205)에 의해 획득된 이미지들을 디스플레이하도록 구성된 사용자 인터페이스를 제공하는 컴퓨터 소프트웨어를 포함할 수 있다. 일부 실시예들에서, 카메라들은 현미경에 통합될 수 있다. 카메라들(204 및 205)은 수술 필드에서 생체 조직의 표면을 이미징하도록 구성될 수 있다. 카메라들(204 및 205)은 또한, 획득된 이미지에 적용될 수 있는 하나 이상의 편광 필터들을 포함할 수 있다. 그러한 편광 필터들은 관찰된 이미지에서, 반사된 광의 효과 및 글레어를 감소시킬 수 있다. 이러한 예에서, 타겟팅 서브-시스템(200)은 또한 장착 플레이트 뒤에 삽입 카메라 스택(206)을 포함한다. 일 실시예에서, 타겟팅 서브-시스템(200)은 또한 수술 필드의 광시야각을 갖는 카메라를 포함할 수 있다.
[0053] 일부 실시예에서, 카메라(204) 및/또는 카메라(205)는 이들의 광학 및/또는 이미징 감도를 증가시키기 위해 냉각될 수 있다. 일 실시예에서, 카메라들(204 및/또는 205)은 타겟 조직 부위에 주입된 복수의 전극들의 상세한 3차원 맵을 생성하기에 충분히 민감할 수 있다. 카메라들(204 및/또는 205)은 냉각 시스템들, 액체 질소 및/또는 수소와 같은 냉각 유체들, 또는 본 개시내용에 의해 제한되지 않는 임의의 다른 냉각 방법들에 의해 냉각되거나 그리고/또는 낮은 온도들로 유지될 수 있다.
[0054] 이러한 예에서, 광원들(208 및 209)은 카메라들(204 및 205) 부근에 각각 위치된다. 이러한 근접도는, 그것이 타겟을 밝게 조명하는 데 더 적은 에너지를 요구하고 더 적은 섀도우들을 발생시키기 때문에 기술적 이점들을 제공할 수 있다. 일부 실시예들에서, 광원들은 대신에 장치 주위로 확산될 수 있으며, 본 개시내용에 의해 제한되지 않는다. 카메라들(204 및 205)은 카메라 액추에이터들(202)을 타겟팅함으로써 독립적으로 제어, 패닝(pan), 배향, 및/또는 포커싱될 수 있다.
[0055] 일부 실시예들에서, 광원들은 생체 조직 및 특징부들, 이를테면 혈관들을 구별할 수 있는 방식으로 광을 적용하도록 구성될 수 있다. 특히, 타겟팅 컴포넌트들은 혈관들을 이미징할 수 있어서, 로봇 수술 시스템은 외과적 주입 절차 동안 혈관들을 손상시키는 것을 피할 수 있다. 예컨대, 일 실시예에서, 광원들(208 및 209)은 대략 590 나노미터의 파장을 갖는 황색 광으로 수술 필드를 비추도록 구성될 수 있다. 황색 광은, 카메라들에 의해 획득된 이미지가 생체 조직과 혈관들 사이를 구별하는 데 사용될 수 있도록 헤모글로빈에 의해 흡수될 수 있다. 다른 예에서, 광원들(208 및 209)은 혈관들을 보기 위한 충분한 콘트라스트를 제공하기 위해 대략 525 나노미터의 파장을 갖는 녹색 광을 사용할 수 있다. 제3 예에서, 광원(208)은 전극들 내의 재료, 이를테면 폴리이미드에 의해 흡수되어 재료가 형광되게 할 광을 사용할 수 있다. 다양한 실시예들에서, 전극들은 폴리이미드와 같은 형광 방향족 강성 사슬 폴리머들을 포함할 수 있거나, 또는 폴리이미드 및/또는 다른 형광 재료들 또는 형광 분자들을 포함할 수 있으며, 본 개시내용에 의해 제한되지 않는다. 일 실시예에서, 형광된 광은 흡수된 광보다 더 긴 파장을 가질 수 있다. 카메라들(204 및 205)은 뇌와 같은 생체 조직(208)에 주입된 복수의 전극들의 3차원 맵을 생성하기 위해 재료에 의해 형광된 광을 캡처할 수 있다.
[0056] 타겟팅 서브-시스템(200)의 삽입기 헤드는 바늘을 스레드 루프 내로 안내하는 것, 삽입 타겟팅, 라이브(live) 삽입 뷰잉, 및 삽입 검증을 위해 사용되는 이미징 스택, 이를테면 카메라들(204, 205), 및 삽입 카메라 스택(206)을 포함할 수 있다. 부가적으로, 삽입기 헤드는 다수의 독립적인 광 모듈들(예컨대, 6개 또는 임의의 다른 수의 광 모듈들), 이를테면, 405 nm, 525 nm 및 650 nm 또는 백색 광을 이용하여 독립적으로 각각 조명할 수 있는 광원들(208 및 209)을 포함할 수 있다. 입체 카메라들, 소프트웨어 기반 단안 확장 피사계 심도 계산들, 및 525 nm 광을 이용한 조명은 피질 표면의 위치의 정밀한 추정을 허용한다. 일부 실시예들에서, 아래에서 설명되는 바와 같이, 디바이스 맞물림 기능은 405 nm 광을 사용하여 삽입기 헤드(200)에 의해 수행될 수 있다.
[0057] 카메라(204)에 의해 획득된 이미지는 컴퓨팅 시스템에 송신될 수 있다. 일 실시예에서, 컴퓨팅 시스템은 혈관들을 그들의 길이 스케일에 기반하여 식별하기 위해 공간 대역 통과 필터와 같은 필터를 적용할 수 있다. 일부 실시예들에서, 컴퓨팅 시스템은, 생체 구조들 및 조직이 이미지 내에서 구별 가능하도록, 획득된 이미지들을 프로세싱할 수 있거나, 또는 생체 조직(208)의 윤곽 또는 표면 맵, 이를테면 뇌의 외부 윤곽들 또는 생체 조직(208) 내의 특정한 타겟 부위를 결정할 수 있다. 일 실시예에서, 컴퓨팅 시스템은 다수의 카메라들(예컨대, 좌측 및 우측 카메라)로부터의 타겟 조직 이미지들에 기반하여 합성 이미지(예컨대, 스테레오 합성 이미지)를 형성할 수 있으며, 그에 의해, 확장된 피사계 심도(EDF) 정보를 제공한다.
[0058] 컴퓨팅 시스템 상의 사용자 인터페이스를 사용하여, 사용자는 하나 이상의 주입가능 전극 디바이스들의 주입을 위한 타겟 위치들을 선택할 수 있다. 일부 실시예들에서, 컴퓨터 소프트웨어는 주입을 위한 하나 이상의 타겟 위치들을 자동으로 제안할 수 있다. 사용자 인터페이스는, 컴퓨팅 시스템의 사용자가 자동으로 생성된 제안된 타겟 위치들의 승인을 제공할 수 있도록 구성될 수 있다. 그러한 자동으로 생성된 제안된 타겟 위치들은, 예컨대 컴퓨터 비전, 인공 지능, 또는 머신 러닝 휴리스틱들을 이미지에 적용함으로써, 획득된 이미지에 기반할 수 있다. 컴퓨팅 시스템은, 혈관구조를 피하고, 관심있는 부위들을 기록 및/또는 자극하는 데 기하학적으로 유리하며, 그리고/또는 최소 거리만큼 떨어져 있는 타겟 위치들을 제안할 수 있다. 일부 실시예들에서, 컴퓨팅 시스템은 타겟 부위를 자동으로 결정 및/또는 선택하기 위해 그러한 휴리스틱들을 적용할 수 있으며, 사용자로부터의 입력을 요구하지 않는다. 일부 실시예들에서, 컴퓨팅 시스템은 로봇 조립체를 추가로 위치설정하고, 수술 필드를 스캐닝하도록 카메라(204)에게 명령하며, 합성 이미지에서 뇌와 같은 타겟 조직의 위치를 찾아낼 수 있다.
[0059] 타겟팅 서브-시스템(200)의 삽입기 헤드는 또한, 아래의 도 7의 예에서 추가로 설명되는 바와 같이, 바늘 핀처 카트리지(NPC)(210), 핀처 작동기(212), 및 인라인(inline) 힘 센서를 갖는 바늘 작동기(214)를 유지할 수 있다. NPC는 바늘(220) 및 바늘 핀처(222)를 포함할 수 있다.
II. 주입가능한 디바이스 맞물림 컴포넌트들
[0060] 도 3은 일 실시예에 따른, 전극의 시각화 및 로봇식 맞물림을 위한 예시적인 시스템(300)을 예시한다. 도 3의 예에서, 디바이스 맞물림 서브-시스템(300)은 별개의 시스템으로 도시된다. 그러나, 일부 실시예들에서, 삽입기 헤드 및 디바이스 맞물림 서브-시스템(300)의 기능들이 단일 장치에 의해 대신 수행될 수 있다는 것을 유의한다. 예컨대, 일부 실시예들에서, 디바이스 맞물림 서브-시스템(300)에 의해 수행되는 바와 같은 본 명세서에서 설명된 기능들은 삽입기 헤드의 또는 단일 통합 로봇 수술 및 컴퓨터 비전 시스템의 컴포넌트들에 의해 대신 수행될 수 있다. 대안적으로, 디바이스 맞물림 서브-시스템(300)의 일부로서 본 명세서에서 설명되는 컴포넌트들은 삽입기 헤드 또는 단일 시스템에 통합될 수 있다.
[0061] 이러한 예에서, 디바이스 맞물림 컴포넌트들은 주입가능 전극 디바이스의 맞물림 요소를 삽입 바늘의 상호 맞물림 요소와 탈착가능하게 커플링시키기 위해, 로봇 조립체들(예컨대, 로봇 조작기들 등)을 관찰 및 안내하는 데 사용되는 이미지들을 획득하도록 구성된 카메라들(302 및 304)을 포함한다. 일부 실시예에서, 바늘과 전극을 맞물리게 하는 데 사용되는 로봇 조립체들은 도 2의 예의 삽입기 헤드(200)와 같은 삽입기 헤드의 일부일 수 있지만, 디바이스 맞물림 서브-시스템(300)의 카메라들(302 및 304)에 의해 획득된 이미지들에 기반하여 시스템에 의해 제어될 수 있다. 다른 실시예에서, 디바이스 맞물림을 안내하는 데 사용되는 카메라들은 대신 삽입기 헤드 상에 위치될 수 있거나, 또는 대안적으로, 디바이스 맞물림 서브-시스템(300) 및 삽입기 헤드 둘 모두는 단일 로봇 수술 시스템에 통합될 수 있다.
[0062] 삽입 바늘은 주입가능 전극 디바이스와 맞물리도록 구성될 수 있으며, 예컨대 바늘은 전극 상의 폴리이미드 루프를 통해 스레딩될 수 있다. 일 실시예에서, 루프는 대략 (16×50) μm2를 측정할 수 있다. 대안적으로, 다양한 실시예들에서, 개개의 맞물림 요소들은 후크, 컵, 돌출부, 연장된 아암(arm), "v" 등을 포함할 수 있다. 주입가능 디바이스 맞물림 컴포넌트들은 또한, 수술 필드를 비추고, 전극 디바이스 및 삽입 바늘이 카메라들(302 및 304)에 의해 이미징되는 동안 이들을 조명 또는 조사하도록 구성된 하나 이상의 광원들, 이를테면 광원(306)을 포함할 수 있다.
[0063] 도 3에 예시된 바와 같이, 복수의 주입가능 전극 디바이스들은 카트리지-필박스 조립체(308)에 배열될 수 있고, 전극들에 대한 맞물림 특징부들은 카트리지 부분 상에 배열될 수 있다. 카트리지-필박스 조립체(308) 및 삽입 바늘의 포지션들은 로봇 조립체들 중 하나 이상에 의해 제어될 수 있다. 다양한 실시예들에서, 로봇 조립체들은 로봇 아암들, 로봇 조작기들, 또는 임의의 다른 로봇 장치를 포함할 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0064] 로봇식 맞물림 동안, 로봇 조립체들은 컴퓨터 비전 기술들을 사용하여 이미지들을 프로세싱할 수 있는 프로세싱 유닛 또는 컴퓨팅 시스템에 의해 안내될 수 있다. 로봇 조립체들은 아래의 도 10의 예의 컴퓨팅 시스템(1008) 또는 아래의 도 15a의 예의 컴퓨팅 시스템(1500)과 같은 프로세싱 유닛에 통신가능하게 커플링될 수 있다. 컴퓨팅 시스템은 로봇 조립체들의 포지션들, 배향들 등에 관한 정보를 로봇 조립체들로부터 수신하도록 구성될 수 있다. 컴퓨팅 시스템은 또한, 카트리지 및/또는 바늘 상에서 주입가능 디바이스들을 이미징하도록 구성된 복수의 카메라들, 이를테면 카메라들(302 및 304)에 통신가능하게 커플링될 수 있다. 컴퓨팅 시스템은 또한 로봇 조립체들의 포지션을 제어하기 위해 신호들을 로봇 조립체들에 송신하도록 구성될 수 있다. 다양한 실시예들에서, 이들 명령들은 특정 모션들을 착수하기 위한 저레벨 명령들 또는 로봇 조립체들에 의해 해석될 수 있는 고레벨 명령들을 포함할 수 있다.
[0065] 통상적인 실시예에서, 복수의 주입가능 전극 디바이스들의 맞물림 특징부들(예컨대, 루프들)은 카트리지 상에 고정되어 유지된다. 시스템은 카메라들(302 및 304)에 의해 촬영된 바늘 및 맞물림 특징부들의 이미지들에 기반하여 바늘을 맞물림 특징부들과 정렬되게 구동시키기 위해 컴퓨터 비전 기술들을 사용할 수 있다. 일단 바늘이 루프에 삽입되면, 아래의 도 7의 예의 바늘 핀처(702)와 같은 바늘 핀처는 바늘 핀처 카트리지(NPC)로부터 연장되어 바늘을 향해 회전될 수 있다. NPC는 타겟 조직과의 직접 접촉을 행하는 삽입기 헤드(200)의 일부이다. NPC가 파릴렌 백킹(parylene backing)으로부터 전극의 스레드를 벗겨내고 스레드를 타겟 조직 상의 삽입 부위로 몰아갈 때, 핀처는 전극 루프의 넥(neck)을 바늘의 캐뉼라 팁(cannula tip)에 대해 핀치하도록 회전될 수 있다. 이어서, 로봇 조립체는 타겟 조직으로 NPC를 몰아갈 수 있으며, 여기서 바늘은 캐뉼라를 통해 연장되어 조직에 진입한다. 이어서, 바늘이 재사용을 위해 후퇴됨에 따라, 전극 및 루프는 조직에 유지될 수 있다. 일 실시예에서, NPC는 1분 내에 수술 동안 교체될 수 있는 소모품이다.
[0066] 일부 실시예들에서, 광원(306)은 맞물림 특징부들의 이미징을 향상시키는 광을 적용하도록 구성될 수 있다. 예컨대, 광원(306)은 주입가능 전극 디바이스와 연관된 재료 또는 맞물림 특징부들에 포함된 재료들에 기반하여 선택된 파장들의 광을 발생시킬 수 있다. 예컨대, 근-자외선(근-UV) 광은 맞물림 특징부를 제조하는 데 사용되는 폴리이미드에 의해 흡수될 수 있다. 특히, 이들 파장들에 의한 조사는 폴리이미드로부터의 형광을 여기시킬 수 있으며, 그에 의해, 카메라들(302 및 304)이 폴리이미드의 에지들을 훨씬 더 선명하게 리졸빙(resolve)할 수 있게 한다. 다양한 예들에서, 근-UV 광은 300 nm 내지 425 nm, 또는 390 nm 내지 425 nm, 이를테면 대략 405 nm의 파장을 가질 수 있다. 다른 예에서, 일부 다른 파장, 이를테면 395 nm가 사용될 수 있거나, 또는 시스템은 파장들의 조합을 사용할 수 있거나 또는 상이한 타입들의 광 사이에서, 이를테면 근-UV 광과 단색 가시광 사이에서 순환될 수 있다. 근-UV 조명은 광학 스택 및 컴퓨터 비전이 스레드 루프를 신뢰할 수 있게 로컬화하고 스레드에 대한 서브-미크론 시각적 서보링(servoing)을 실행하거나 이를 통해 바늘을 안내하게 허용한다. 일 실시예에서, 이러한 서보링은 650 nm 광에 의해 조명될 수 있다.
[0067] 대안적으로, 광원(306)은 삽입 바늘을 이미징하는 데 특히 유용한 적색 광 또는 백색 광과 같은 가시광을 적용할 수 있다. 적색 광을 사용하는 것은 바늘을 포함하는 금속으로부터 더 강하고 명확하게 반사됨으로써 기술적 이점을 제공할 수 있고, 카메라들(302 및 304)이 바늘 팁을 명확하게 리졸빙할 수 있게 할 수 있다. 다양한 실시예들에서, 다수의 광원들은 상이한 타입들의 광을 적용하는 데 사용될 수 있거나, 또는 광원은 상이한 타입들의 광 사이에서 순환될 수 있다.
[0068] 광원(306)은 레이저 및/또는 LED(light emitting diode)일 수 있다. 이러한 예에서, 광원(306)은 광 파이프이다. 다른 예들에서, 광원(306)은 독립적인 광 모듈들을 포함할 수 있다.
[0069] 일부 실시예들에서, 카메라들(302 및 304)은 서로에 대해 일정 각도로 구성될 수 있다(예컨대, 이러한 각도는 대략 45° 또는 임의의 다른 각도일 수 있고, 본 개시내용에 의해 제한되지 않음). 일 실시예에서, 제1 전면 뷰 카메라, 이를테면 카메라(304)는 전면 뷰에서 카트리지 상에 배열된 복수의 주입가능 디바이스들의 맞물림 특징부들을 이미징하도록 구성될 수 있다. 제2 측면 뷰 카메라, 이를테면 카메라(302)는 측면 뷰에서 카트리지 상에 배열된 복수의 주입가능 디바이스들의 맞물림 특징부들을 이미징하도록 구성될 수 있다. 컴퓨터 비전 기술들을 사용하여 이들 다수의 뷰들을 결합함으로써, 시스템은 전극 디바이스, 삽입 바늘, 및/또는 임의의 다른 물체의 3차원(3D) 위치를 삼각측량할 수 있다. 일부 실시예들에서, 카메라들(302 및 304)은 수술 필드, 더 구체적으로는 필박스-카트리지 조립체와 관련하여 이동되도록 구성될 수 있다. 특히, 카메라들은 팬 작동 조립체(310) 및 포커스 작동 조립체(312)를 통해 각각 패닝 및 포커싱될 수 있다.
[0070] 일부 실시예들에서, 상이한 수 또는 구성의 카메라들이 사용될 수 있다. 예컨대, 전극 스레드들 상에 포커싱된 카메라들은 별개의 디바이스 맞물림 서브-시스템 조립체(300) 보다는 도 2의 예의 타겟팅 서브-시스템(200)의 삽입기 헤드 상에 직접 위치될 수 있다. 대안적으로, 일 실시예에서, 디바이스 맞물림을 안내하는 데 사용되는 카메라들은 대신 삽입기 헤드 상에 위치될 수 있거나, 또는 디바이스 맞물림 서브-시스템(300) 및 삽입기 헤드 둘 모두는 단일 로봇 수술 시스템에 통합될 수 있다.
[0071] 일 실시예에서, 카메라들은 독립적인 모션 축들 상에 그리고/또는 상이한 각도 구성들로 존재할 수 있으며, 본 개시내용에 의해 제한되지 않는다. 일 실시예에서, 카메라들 중 하나 이상은 현미경에 통합될 수 있다.
[0072] 일 실시예에서, 하나 이상의 광원들, 이를테면 광원(306)은 조명된 상태와 꺼진 상태 사이에서 순환되고 그리고/또는 상이한 파장들의 광 사이에서 순환될 수 있다. 예컨대, 하나 이상의 광원들은 전극 디바이스 내의 재료에 의해 흡수될 광(예컨대, 대략 395 nm 또는 405 nm 파장을 갖는 근-UV 광)과 삽입 바늘을 조명하는 데 사용되는 광(예컨대, 적색 광) 사이에서 순환 또는 스트로브될 수 있다. 따라서, 상이한 오브젝트들을 이미징하기 위해 상이한 광들이 사용될 수 있다. 일 예에서, 2개의 별개의 광원들(예컨대, 레이저들 및/또는 LED들의 임의의 조합)은 전극 디바이스에 의해 흡수될 광 및 삽입 바늘을 조명하기 위한 광을 각각 발생시킬 수 있다. 이들 2개의 광원들은 교번하는 타이밍으로 스트로브 온 및 오프될 수 있어서, 임의의 주어진 시간에 오직 하나의 광원만이 조명된다. 일 실시예에서, 그러한 사이클링 또는 스트로브는 카메라(302) 및 카메라(304)와 같은 별개의 카메라들이 수술 필드, 전극 디바이스 및 삽입 바늘의 상이한 관점들 및/또는 상이한 양상들을 이미징하기 위한 기회들을 제공한다. 예컨대, 카메라들(302 및 304)은 상대적인 각도(예컨대, 대략 45° 또는 일부 다른 각도)로 구성될 수 있으며, 상이한 스트로브 광들 하에서 전극 디바이스 및 삽입 바늘을 이미징할 수 있다. 일 실시예에서, 사이클링 또는 스트로브는 신속할 수 있다.
[0073] 이러한 예에서, 광원(306)은 카메라들(302 및 304) 부근에 위치된다. 이러한 근접도는, 그것이 타겟을 밝게 조명하는 데 더 적은 에너지를 요구하고 더 적은 섀도우들을 발생시키기 때문에 기술적 이점들을 제공할 수 있다. 일부 실시예들에서, 광원들은 대신에 장치 주위로 확산될 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0074] 일 실시예에서, 카메라(302) 및/또는 카메라(304)는 이들의 광학 및/또는 이미징 감도를 증가시키기 위해 냉각될 수 있다. 예컨대, 카메라들 중 하나는 전극 디바이스로부터의, 이를테면 전극 디바이스에 포함된 폴리이미드로부터의 비교적 희미한 형광에 대한 그의 감도를 증가시키기 위해 냉각될 수 있다. 일 실시예에서, 카메라들(302 및/또는 304)은 미세한 전극 맞물림 특징부들 및 삽입 바늘을 이미징하기에 충분히 민감할 수 있다. 카메라들(302 및/또는 304)은 냉각 시스템들, 액체 질소 및/또는 수소와 같은 냉각 유체들, 또는 본 개시내용에 의해 제한되지 않는 임의의 다른 냉각 방법들에 의해 냉각되거나 그리고/또는 낮은 온도들로 유지될 수 있다.
[0075] 도 4는 일 실시예에 따른, 백색 광에 의해 조명되는 바늘(402) 및 맞물림 컴포넌트(404)의 예시적인 이미지를 예시한다. 이러한 예에서, 이미지는 디바이스 맞물림 시스템의 카메라들, 이를테면 도 3의 예의 카메라들(302 및 304)에 의해 그리고 백색 광을 이용한 조명 하에서 촬영되었다. 알 수 있는 바와 같이, 바늘(402) 및 맞물림 컴포넌트(404)는 이러한 이미지에서 흐릿하게 나타나며, 시스템이 맞물림 컴포넌트(404)의 루프를 파악하는 것이 어려울 수 있다. 마찬가지로, 바늘(402)은 희미하게 비춰지는 것처럼 보인다. 일 예에서, 컴퓨터 비전 기술들 및 주입가능 디바이스 맞물림 서브-시스템은 바늘(402) 및 맞물림 컴포넌트(404)의 포지션들 및 배향들을 이들과 맞물리기에 충분히 신뢰할 수 있게 결정할 수 없을 수 있다. 특히, 바늘(402) 및 맞물림 컴포넌트(404)의 잘못된 검출들, 이를테면, 거짓 긍정 또는 부정 검출들 등을 피하는 것이 중요할 수 있다. 따라서, 일부 실시예들에서, 시스템은 바늘(402) 및 맞물림 컴포넌트(404)를 이미징하기 위해 단색 광원 및/또는 다른 특수 광원, 이를테면 근-UV 방사선 소스를 사용할 수 있다.
[0076] 도 5는 일 실시예에 따른, 조사에 대한 응답으로 형광되는 맞물림 컴포넌트(502)의 예시적인 이미지를 예시한다. 이러한 예에서, 맞물림 컴포넌트(502)는 405 nm와 같은 근-UV 파장들을 이용한 조사에 대한 응답으로 녹색 광을 형광시킨다. 이미지는 맞물림 컴포넌트(502)에 의해 형광된 녹색 광에 기반하여, 디바이스 맞물림 시스템의 카메라들, 이를테면 도 3의 예에서 카메라들(302 및 304)에 의해 촬영되었다. 알 수 있는 바와 같이, 맞물림 컴포넌트(502)는 도 4의 예에서보다 더 선명하게 나타나며, 그에 의해, 이는 시스템이 그 컴포넌트를 더 정확하게 위치시키게 허용할 수 있다.
[0077] 일부 실시예들에서, 시스템은 컴퓨터 비전을 위해 흑백 이미지들을 사용할 수 있다. 대안적으로, 시스템은 컴퓨터 비전을 위해 컬러 데이터를 사용할 수 있다. 컬러 이미지들을 사용함으로써, 시스템은 흑백 이미지와 비교하여 부가적인 정보를 이용할 수 있을 수 있다. 이러한 예에서, 폴리이미드 루프가 녹색 광을 형광시키기 때문에, 이미지의 컬러 데이터는 시스템이 디바이스 맞물림 컴포넌트(502)를 식별하고 그리고/또는 디바이스 맞물림 컴포넌트(502)를 이미지의 다른 물체들과 구별하는 것을 도울 수 있다.
[0078] 도 6은 일 실시예에 따른, 적색 광을 사용하여 촬영된 바늘(602) 및 맞물림 컴포넌트(604)의 예시적인 이미지를 예시한다. 이러한 예에서, 이미지는 적색 광을 사용하여 디바이스 맞물림 시스템의 카메라들, 이를테면 도 3의 예의 카메라들(302 및 304)에 의해 촬영되었다. 일부 경우들에서, 이미지는 또한 적색 배경을 사용하여 촬영될 수 있다.
[0079] 적색 광을 사용하는 것은 바늘(602)을 포함하는 금속으로부터 더 강하고 명확하게 반사됨으로써 기술적 이점을 제공할 수 있다. 알 수 있는 바와 같이, 바늘(602)은 도 4의 예에서보다 더 선명하게 나타나며, 그에 의해, 이는 시스템이 그 컴포넌트를 더 정확하게 위치시키게 허용할 수 있다. 특히, 적색 백킹과 함께 적색 광을 사용하는 것은 카메라들이 바늘 팁의 매우 정의된 에지들을 갖는 이미지들을 리졸빙할 수 있게 할 수 있다. 따라서, 일부 실시예들에서, 시스템은 바늘(602)의 팁의 포지션 및/또는 배향을 검출하기 위해 적색 광을 사용한다. 적색 광을 사용하는 것은 잘못된 검출들, 거짓 긍정 또는 부정 검출들 등을 피하는 것을 도울 수 있다.
[0080] 일부 실시예들에서, 시스템은 컴퓨터 비전을 위해 흑백 이미지들을 사용할 수 있다. 대안적으로, 시스템은 컴퓨터 비전을 위해 컬러 데이터를 이용할 수 있다.
III. 전극 주입
[0081] 시스템은 가요성 프로브들을 삽입하기 위한 로봇식 삽입 접근법을 사용하여, 분산된 뇌 구역들로부터의 기록 및 혈관구조를 피하도록 타겟팅된 많은 수들의 폴리머 프로브들의 신속하고 신뢰할 수 있는 삽입을 허용할 수 있다. 로봇의 삽입 헤드는 이동 스테이지 상에 장착될 수 있다. 예컨대, 10 μm의 전역적으로 정확한 400 mm × 400 mm × 150 mm의 이동 3축 스테이지가 사용될 수 있다. 다양한 실시예들에서, 삽입 헤드는 다른 이동 스테이지 상에 장착될 수 있으며, 본 개시내용에 의해 제한되지 않는다. 삽입 헤드는 아래의 본 명세서에 설명되는 바와 같이, 작은 신속-스와핑가능한 바늘-핀처 조립체를 유지할 수 있다.
[0082] 도 7은 일 실시예에 따른, 바늘 핀처 카트리지(NPC)(706) 상의 삽입 바늘(702) 및 핀처(704)를 예시한다. NPC(706)는 타겟 조직과의 직접 접촉을 행하는 삽입기 헤드(200)의 일부이다. 일 실시예에서, NPC(706)는 1분 내에 수술 중간에 교체될 수 있는 소모품이다. 바늘(702)은 삽입된 길이를 따라, 전기화학적으로 에칭된 40 μm 직경의 텅스텐-레늄 와이어-스톡(wire-stock)으로부터 24 μm 직경까지 밀링(mill)될 수 있다. 삽입 바늘(702)의 팁은, 이를테면 도 5의 예의 삽입 루프 상으로 후킹(hooking)됨으로써 개별 스레드들을 이송 및 삽입하기 위해 전극의 상호 맞물림 컴포넌트와 맞물리도록 설계된다. 바늘(702)의 팁은 뇌척수막(meninge)들 및 뇌 조직을 침투하도록 추가로 설계된다. 삽입 바늘은 선형 모터에 의해 구동되어, 바늘로부터 프로브의 분리를 촉진하기 위해 가변적인 삽입 속도들 및 빠른 후퇴 가속도(최대 30,000 mm/s2)를 허용할 수 있다. 핀처는 팁에서 구부러진 50 μm 텅스텐 와이어일 수 있고, 축방향으로 그리고 회전적으로 구동될 수 있다. 그것은 이송 동안 프로브들에 대한 지지부로서 그리고 스레드들이 바늘 경로를 따라 삽입되는 것을 보장하기 위한 가이드로서 기능한다.
[0083] 맞물림 및 삽입 동안, NPC가 파릴렌 백킹으로부터 전극의 스레드를 벗겨내고 스레드를 타겟 조직 상의 삽입 부위로 몰아갈 때, 핀처는 전극 루프의 넥을 바늘의 캐뉼라 팁에 대해 핀치하도록 회전될 수 있다. 로봇 조립체는 타겟 조직으로 NPC를 몰아갈 수 있으며, 여기서 바늘은 캐뉼라를 통해 연장되어 조직에 진입한다. 이어서, 바늘이 재사용을 위해 후퇴됨에 따라, 전극 및 루프는 조직에 유지될 수 있다.
[0084] 도 8은 일 실시예에 따른, 타겟 조직 프록시 물질(808)에서의 전극들의 주입을 예시한다. 특히, 도 8은 아가로오스 뇌 조직 프록시 내로의 삽입 프로세스의 단계들의 시퀀스를 도시한다. 이러한 예에서, 바늘은 먼저 복수의 전극들(예컨대, 32개의 전극들)을 유지할 수 있는 제1 스레드를 삽입하고,이어서 제2 복수의 전극들을 유지하는 제2 스레드를 삽입한다.
[0085] 삽입기 헤드는, 바늘을 스레드 루프 내로 안내하는 것, 삽입 타겟팅, 라이브 삽입 뷰잉, 및 삽입 검증을 위해 사용되는 이미징 스택, 이를테면 도 2의 예의 카메라들(204, 205, 및 206)을 유지한다. 부가적으로, 삽입기 헤드는 광 모듈들, 이를테면 도 2의 예의 광원들(208)을 포함하며, 이들 각각은 405 nm, 525 nm 및 650 nm 또는 백색 광을 이용하여 독립적으로 조명할 수 있다. 위의 도 3 및 도 5의 예들에서 설명된 바와 같이, 405 nm 조명은 폴리이미드로부터 형광을 여기시키며, 광학 스택 및 컴퓨터 비전이 (16×50) μm2 스레드 루프를 신뢰할 수 있게 로컬화하고 서브-미크론 시각적 서보링을 실행하여, 650 nm에 의해 조명되게, 이를 통해 바늘을 안내하게 허용한다. 입체 카메라들, 컴퓨터 비전 방법들, 이를테면 단안 확장 피사계 심도 계산들, 및 525 nm 광을 이용한 조명은 피질 표면의 위치의 정밀한 추정을 허용할 수 있다.
[0086] 로봇은, 깊이 추적과 결합될 때, 해부학적으로 정의된 뇌 구조들의 정밀한 타겟팅을 가능하게 하는, 두개골 상의 랜드 마크들을 갖는 공통 좌표 프레임에 삽입 부위들을 등록한다. 통합된 맞춤형 컴퓨터 명령들은 모든 삽입 부위들의 사전-선택을 허용하여, 스레드들에 대한 얽힘(tangling) 및 변형을 최소화하도록 최적화된 삽입 경로들의 계획을 가능하게 할 수 있다. 계획 특징은 삽입들 동안 혈관구조를 피하기 위한 능력을 강조하며, 이는 전극들을 개별적으로 삽입하는 핵심 이점들 중 하나이다. 이는, 혈액-뇌 장벽에 대한 손상을 피하고 그에 의해 염증 반응을 감소시키기 위해, 기술적 이점을 제공할 수 있다. 일 실시예에서, 로봇은 분당 최대 6개의 스레드들(192개의 전극들)을 삽입할 수 있는 자동-삽입 모드를 특징으로 할 수 있다. 전체 삽입 절차가 자동화될 수 있지만, 외과의사는 제어를 유지할 수 있고, 피질과 같은 타겟 조직 내로의 각각의 삽입 이전에 스레드 포지션에 대한 수동 미세-조정들을 행할 수 있다. 신경외과용 로봇은 멸균 슈라우딩(sterile shrouding)과 혼화가능하며, 바늘의 자동 멸균 초음파 세정과 같은 성공적이고 신속한 삽입들을 용이하게 하는 특징들을 갖는다.
[0087] 도 9는 일 실시예에 따른, 뇌 조직에 주입된 전극들의 일 예를 예시한다. 통상적인 예에서, 개시된 시스템 및 방법들은 어레이 내의 총 3,072개의 전극들에 대해, 96개의 폴리머 스레드들, 이를테면 스레드(908)를 타겟 조직에 주입할 수 있으며, 각각의 스레드는 32개의 전극들을 갖는다. 전극들은 5 내지 50 μm의 스레드 폭 및 4 내지 6 μm의 공칭 스레드 두께로, 작고 얇으며 가요성이도록 설계된다. 통상적인 예에서, 스레드 길이는 대략 20 mm일 수 있다. 이들 프로브들의 작은 크기 및 증가된 유연성은 더 큰 생체적합성을 제공하여, 프로브들이 면역 반응들을 촉발시키지 않으면서 긴 시간 기간들 동안 주입된 상태로 유지될 수 있게 한다. 작은 스레드 단면적은 또한 타겟에서의 조직 변위를 최소화할 수 있다.
IV. 삽입 검증 컴포넌트들
[0088] 도 10은 일 실시예에 따른, 로봇식 외과적 주입을 위한 시스템의 예시적인 검증 컴포넌트들을 개략적으로 예시한다. 이러한 예에서, 검증 컴포넌트들은 타겟 조직 부위(1006)에서의 주입가능 전극 디바이스(1004)의 주입의 시각적 검증을 제공하도록 구성된 하나 이상의 카메라들(1002)을 포함할 수 있다. 일부 실시예들에서, 삽입 검증은 도 2의 예의 삽입기 헤드(200)와 같은 삽입기 헤드의 컴포넌트들에 의해 수행될 수 있다. 대안적으로, 삽입 검증은 별개의 서브-시스템에 의해 수행될 수 있으며, 본 개시내용에 의해 제한되지 않는다.
[0089] 검증 컴포넌트들은 컴퓨팅 시스템(1008)과 같은 프로세싱 유닛, 및 하나 이상의 로봇 조립체들, 이를테면 로봇 조립체(1010) 및 로봇 조립체(1012)를 더 포함할 수 있다. 컴퓨팅 시스템(1008)은 삽입 가능 전극 디바이스(1004) 및/또는 삽입 바늘이 정확하게 주입된다고 결정하기 위해, 컴퓨터 비전 휴리스틱에 따라 카메라들(1002)에 의해 획득된 이미지들을 프로세싱할 수 있다. 이러한 결정에 기반하여, 컴퓨팅 시스템(1008)은 로봇 조립체(1010) 및 로봇 조립체(1012)에 추가적인 명령들을 전송할 수 있다. 예컨대, 컴퓨팅 시스템(1008)은 전극 디바이스의 위치설정 또는 주입을 정정하기 위한 추가적인 모션들을 착수하도록 로봇 조립체들(1010 및 1012)에 명령할 수 있다. 제2 예에서, 컴퓨팅 시스템(1008)은 어떠한 추가적인 모션들도 필요하지 않다고 결정할 수 있으며, 로봇 수술은 도 8 및 도 9의 예들에서와 같이, 다음 스테이지, 예컨대 후속 스레드의 주입으로 진행될 수 있다.
[0090] 일부 실시예들에서, 검증 컴포넌트들은 광원(1008)을 더 포함할 수 있다. 광원(1008)은, 주입가능 전극 디바이스(1004) 또는 그의 와이어들과 연관된 재료가 형광으로 나타나도록 선택된 파장의 광을 이용하여 주입가능 전극 디바이스(1004)를 조명할 수 있다. 특히, 카메라들(1002)과 같은 검증 컴포넌트들은 타겟 조직 부위(1006)에 주입된 복수의 전극들의 3차원 맵을 생성하기 위해 재료에 의해 형광된 광을 캡처할 수 있다.
V. 로봇식 외과적 주입을 위한 기술들
[0091] 도 11은 일 실시예에 따른, 디바이스 맞물림 및 로봇식 외과적 주입을 위한 예시적인 프로세스(1100)를 예시한 흐름도이다. 특히, 개시된 로봇 수술 시스템은 생체 조직 내에 전극 디바이스를 주입하는 데 사용될 수 있다.
[0092] 제1 단계(1102)에서, 로봇 수술 시스템, 및/또는 도 3에 예시된 것들과 같은 주입가능 디바이스 맞물림 컴포넌트들은 근-자외선(근-UV) 파장의 광을 사용하여 전극의 폴리머 부분을 조사할 수 있다. 근-UV 방사선은 도 3의 광 파이프 조립체(306)와 같은 제1 광원으로부터의 것일 수 있다. 일 실시예에서, 제1 광원은 제1 LED 또는 제1 레이저일 수 있다. 근-UV 파장은 300 nm 내지 425 nm일 수 있다. 일 실시예에서, 폴리머 재료는 폴리이미드이고, 근-UV 파장은 폴리이미드에 의해 흡수될 수 있는 범위, 예컨대 390 nm 내지 425 nm의 파장들에서 선정될 수 있다. 폴리머 부분은 조사에 대한 응답으로 형광될 수 있는 전극의 상호 맞물림 컴포넌트, 이를테면 폴리이미드 루프일 수 있다.
[0093] 제2 단계(1104)에서, 로봇 수술 시스템, 및/또는 도 3의 예의 카메라(304)와 같은 제1 카메라는 폴리머 부분의 제1 이미지를 획득할 수 있다. 도 4의 예에서와 같이, 제1 이미지는 조사에 대한 응답으로 폴리머 부분으로부터 형광된 광을 이용하여 촬영될 수 있다.
[0094] 다른 실시예에서, 광은 폴리이미드에 의해 또는 전극, 삽입 바늘 또는 맞물림 특징부 내의 다른 재료들에 의해 흡수될 수 있다. 따라서, 일 실시예에서, 이미지들은 맞물림 특징부들을 백색 배경 상의 흑색 물체들로서 묘사할 수 있다.
[0095] 제3 단계(1106)에서, 로봇 수술 시스템, 및/또는 도 3의 예의 카메라(302)와 같은 제2 카메라는 제2 방향을 따라 폴리머 부분의 제2 이미지를 획득할 수 있다. 도 4의 예에서와 같이, 제2 이미지는 또한, 조사에 대한 응답으로 폴리머 부분으로부터 형광된 광을 이용하여 촬영될 수 있다. 제2 카메라는 제1 카메라에 대해 일정 각도, 이를테면 45° 또는 일부 다른 각도로 있을 수 있어서, 제2 이미지는 폴리머 부분의 상이한 각도를 보여줄 수 있다. 일 실시예에서, 2개의 이미지들은 폴리머 부분에 관한 위치 및 배향 정보(깊이 정보를 포함함)를 결정하기 위해 컴퓨터 비전 기술들을 사용하여 결합될 수 있다.
[0096] 일 실시예에서, 제1 카메라는 전극과 연관된 투사된 에지("나이프의 에지"로 지칭될 수 있음)에 실질적으로 수직으로 위치될 수 있고, 제2 카메라는 제1 카메라에 대해 일정 각도로 위치될 수 있다(즉, 제2 카메라는 제1 카메라에 평행하지 않을 수 있음). 이러한 상대적인 각도는 2개의 카메라들이 깊이 정보를 획득할 수 있게 할 수 있다. 예컨대, 상대적인 각도는 45° 또는 임의의 다른 각도와 대략 동일할 수 있으며, 본 개시내용에 의해 제한되지 않는다. 일 실시예에서, 이는 나이프의 에지의 평면 및/또는 전극 디바이스를 하우징하는 카트리지의 평면에서 측정될 수 있다. 제1 전면 뷰 카메라는 전면 뷰에서 카트리지 상에 배열된 복수의 주입가능 디바이스들의 맞물림 특징부들을 이미징하도록 구성될 수 있다. 제2 측면 뷰 카메라는 측면 뷰에서 카트리지 상에 배열된 복수의 주입가능 디바이스들의 맞물림 특징부들을 이미징하도록 구성될 수 있다. 제1 전면 뷰 카메라로부터의 뷰는 수술 필드의 x-y 평면을 따라 맞물림 특징부의 일반적인 포지션을 삼각측량하는 데 사용될 수 있다. 제2 측면 뷰 카메라로부터의 뷰는 수술 필드의 z-평면을 따라 맞물림 특징부의 포지션을 삼각측량하는 데 사용될 수 있다.
[0097] 제4 단계(1108)에서, 시스템 및/또는 프로세서는 전극의 3차원(3D) 위치를 삼각측량하기 위해 제1 및 제2 이미지들을 프로세싱할 수 있다. 시스템은 이미지들을 프로세싱하기 위해 컴퓨터 비전 휴리스틱을 사용할 수 있다. 일 실시예에서, 전극의 위치를 삼각측량하는 것은 제1 이미지 및 제2 이미지에 기반하여, 바늘을 주입가능 디바이스와 맞물리게 하기 위해 로봇 조립체의 모션과 연관된 전극의 3D 좌표들을 결정하는 것을 더 포함한다.
[0098] 제5 단계(1110)에서, 시스템 및/또는 제2 광원, 이를테면 도 3의 광 파이프 조립체(306)는 가시광을 사용하여 삽입 바늘을 조명할 수 있다. 일 실시예에서, 시스템은 전극 디바이스로 하여금 형광되지 않게 하는 파장의 광을 이용하여 바늘을 조명하기 위해 광원을 사용한다. 다양한 실시예들에서, 가시광은 특정 컬러, 이를테면 적색일 수 있거나, 또는 백색 광일 수 있다. 적색 광을 사용하는 것은 바늘을 포함하는 금속으로부터 더 강하고 명확하게 반사됨으로써 기술적 이점을 제공할 수 있다. 일 실시예에서, 제2 광원은 제2 LED 또는 제2 레이저일 수 있다.
[0099] 다음으로, 제6 단계(1112)에서, 시스템 및/또는 제1 카메라는 삽입 바늘을 이미징할 수 있다. 일부 실시예들에서, 제2 카메라는 제1 카메라 대신에 또는 그에 부가하여 삽입 바늘을 이미징할 수 있다. 일 실시예에서, 카메라는 단계(1110)에서 바늘에 의해 반사된 가시광을 사용하여 삽입 바늘을 이미징한다.
[0100] 제7 단계(1114)에서, 로봇 수술 시스템, 및/또는 도 3에 예시된 바와 같은 주입가능 디바이스 맞물림 컴포넌트들은 전극의 폴리머 부분을 삽입 바늘과 로봇식으로 맞물리게 할 수 있다. 동작들(1108및 1112)에서 결정된 획득된 이미지들 및/또는 3D 위치(예컨대, 좌표들)에 기반하여, 시스템은 바늘과 맞물리도록 하나 이상의 로봇 조립체들을 구성할 수 있다.
[0101] 이어서, 제8 단계(1116)에서, 로봇 수술 시스템, 및/또는 도 3에 예시된 바와 같은 주입가능 디바이스 맞물림 컴포넌트들은 전극과 연결된 상호 맞물림 요소에 삽입 바늘의 맞물림 요소를 로봇식으로 부착시킬 수 있다. 이는 3D 위치 및 카메라들에 의해 촬영된 이미지들에 기반할 수 있다. 예컨대, 시스템은 타겟 조직으로의 외과적 주입을 위한 준비 시에, 도 3의 예의 카트리지(308)와 같은 카트리지로부터 전극을 제거하기 위해 전극 상의 폴리이미드 루프를 통해 삽입 바늘을 로봇식으로 스레딩할 수 있다. 제2 예에서, 시스템은 삽입 바늘과 연결된 상호 맞물림 요소에 전극의 맞물림 요소(예컨대, 루프, 후크, 컵, 돌출부, 연장된 아암, "v" 등)를 로봇식으로 부착시킬 수 있다. 더욱이, 컴퓨팅 시스템 또는 프로세싱 유닛은 로봇 조립체의 모션의 세부사항들을 결정하고 그리고/또는 로봇 조립체에 명령들을 전송할 수 있다. 예시적인 실시예에서, 로봇 조립체의 모션을 구성하는 것은 로봇 조립체와 연관된 좌표들 또는 3D 위치들에 추가로 기반할 수 있으며, 명령들은 로봇 조립체의 모션을 구성할 수 있다.
[0102] 이어서, 제9 단계(1118)에서, 로봇 수술 시스템 및/또는 로봇 조립체들은 생체 조직에 주입가능 디바이스 및/또는 바늘을 주입할 수 있다. 전극을 주입하기 전에, 로봇 수술 시스템, 및/또는 도 2에 예시된 바와 같은 타겟팅 컴포넌트들은 주입을 위한 하나 이상의 타겟 조직 부위들을 결정할 수 있다. 일 실시예에서, 로봇 수술 시스템은 주입 타겟 조직 부위에 기반하여 수술 계획을 생성하기 위해, 컴퓨팅 시스템, 이를테면 도 10의 예의 컴퓨팅 시스템(1008) 또는 아래의 도 15a의 예의 컴퓨팅 시스템(1500)을 이용할 수 있다.
[0103] 도 12는 일 실시예에 따른, 로봇식 외과적 주입을 위한 예시적인 프로세스(1200)를 예시한 흐름도이다. 일부 실시예들에서, 예시적인 프로세스(1200)는 도 11의 예의 동작(1118)에서 생체 조직에 주입가능 디바이스 및/또는 바늘을 주입하는 것에 대한 부가적인 세부사항을 제공할 수 있다. 일 실시예에서, 프로세스(1200)는 도 1 및 도 2의 예들의 것들과 같은 로봇 수술 및/또는 타겟팅 컴포넌트들에 의해 수행될 수 있다.
[0104] 제1 단계(1202)에서, 로봇 수술 시스템, 및/또는 도 2에 예시된 바와 같은 타겟팅 컴포넌트들은 주입을 위한 하나 이상의 타겟 조직 부위들을 결정할 수 있다. 로봇 수술 시스템은 주입 타겟들에 기반하여 수술 계획을 생성하기 위해 컴퓨팅 시스템, 이를테면 도 2의 예의 컴퓨팅 시스템(210)을 추가로 이용할 수 있다. 로봇 수술 시스템은 전극 디바이스를 주입할 때 하나 이상의 로봇 조립체들을 안내하기 위해 이러한 계획을 사용할 수 있다. 특히, 계획은 하나 이상의 로봇 조립체들의 모션의 3차원 좌표들을 특정할 수 있다. 모션의 그러한 3차원 좌표들은, 예컨대 개개의 로봇 조립체의 3개의 작동 축들과 관련하여 표현될 수 있다. 일 실시예에서, 컴퓨팅 시스템은 로봇 조립체들에 적용가능한 모션의 3차원 좌표들을 결정하기 위해 입체 이미저리(imagery), 이를테면 하나 이상의 카메라들에 의해 촬영된 상이한 관점들로부터의 이미지들을 사용할 수 있다.
[0105] 일 실시예에서, 시스템은, 예컨대 도 2의 예의 카메라들(204 및 205) 또는 도 10의 예의 카메라들(1002)과 같은 카메라들을 통해 타겟 수술 조직을 이미징할 수 있다. 일 실시예에서, 카메라들 중 하나 이상은 타겟 부위의 미세한 세부사항을 캡처하기 위해 현미경 내에 통합될 수 있다.
[0106] 제2 단계(1204)에서, 로봇 수술 시스템, 및/또는 도 3에 예시된 바와 같은 주입가능 디바이스 맞물림 컴포넌트들은 결정된 타겟들에 기반하여 수술 필드에서 필박스-카트리지 조립체 및 바늘을 위치설정할 수 있다. 일 실시예에서, 시스템 및/또는 광원은 전극 디바이스와 연관된 재료에 기반하여 선택된 파장의 광을 이용하여 전극을 조명할 수 있다. 일 실시예에서, 재료는 폴리이미드이고, 광의 파장은 폴리이미드에 의해 흡수될 수 있는 범위, 예컨대 390 나노미터 내지 425 나노미터의 자외선 파장들에서 선정될 수 있다. 시스템 및/또는 제1 및 제2 카메라들은 재료로부터 반사되거나 형광된 광을 이용하여 전극의 이미지들을 획득할 수 있다. 다른 실시예에서, 광은 폴리아미드에 의해 또는 전극, 삽입 바늘 또는 맞물림 특징부 내의 다른 재료들에 의해 흡수될 수 있다. 따라서, 일 실시예에서, 이미지들은 맞물림 특징부들을 백색 배경 상의 흑색 물체들로서 묘사할 수 있다.
[0107] 시스템 및/또는 프로세서는 제1 및 제2 이미지들을 프로세싱하기 위해 컴퓨터 비전 휴리스틱을 사용함으로써, 전극의 위치를 삼각측량할 수 있다. 일 실시예에서, 전극의 위치를 삼각측량하는 것은 제1 이미지 및 제2 이미지에 기반하여, 바늘을 주입가능 디바이스와 맞물리게 하기 위해 로봇 조립체의 모션과 연관된 전극의 3차원 좌표들을 결정하는 것을 더 포함한다.
[0108] 제3 단계(1206)에서, 로봇 수술 시스템, 및/또는 도 3에 예시된 바와 같은 주입가능 디바이스 맞물림 컴포넌트들은 주입가능 디바이스와 바늘을 맞물리게 할 수 있다. 일 실시예에서, 시스템 및/또는 카메라는 바늘을 이미징할 수 있다. 일 실시예에서, 삽입 바늘을 이미징할 때, 시스템은 전극 디바이스로 하여금 형광되지 않게 하는 다른 파장의 광, 이를테면 적색 광을 이용하여 바늘을 조명하기 위해 광원을 사용한다. 획득된 이미지들 및/또는 동작(1204)에서 결정된 로봇 조립체의 모션과 연관된 좌표들에 기반하여, 시스템은 바늘과 맞물리도록 하나 이상의 로봇 조립체들을 구성할 수 있다. 예시적인 실시예에서, 컴퓨팅 시스템 또는 프로세싱 유닛은 로봇 조립체의 모션의 세부사항들을 결정하고 그리고/또는 로봇 조립체에 명령들을 전송할 수 있다.
[0109] 선택적인 제6 단계(1208)에서, 로봇 수술 시스템, 및/또는 도 2에 예시된 것들과 같은 타겟팅 컴포넌트들은 타겟 수술 조직을 이미징할 수 있다.
[0110] 선택적인 제7 단계(1210)에서, 로봇 수술 시스템, 및/또는 도 2에 예시된 것들과 같은 타겟팅 컴포넌트들은 타겟 수술 조직의 윤곽 위치를 결정할 수 있다. 예컨대, 윤곽 위치는 타겟 부위의 2차원 또는 3차원 표면을 특정할 수 있거나, 또는 신경 조직 구조와 같은 타겟 조직의 내부 구조를 특정할 수 있다. 다양한 실시예들에서, 윤곽 위치는 벡터 드로잉(vector drawing), CAD(computer-aided design) 드로잉 및/또는 프로세싱된 이미지를 포함할 수 있다. 일 실시예에서, 시스템은 추가로, 결정된 조직 윤곽에 기반하여 수술 계획을 생성하고, 그리고/또는 전극을 외과적으로 주입하도록 로봇 조립체들을 안내할 수 있다.
[0111] 일 실시예에서, 컴퓨팅 시스템, 이를테면 도 10의 예의 컴퓨팅 시스템(1008) 또는 도 15a의 예의 컴퓨팅 시스템(1500)은 조직의 윤곽 위치를 결정하기 위해 단계(1208)로부터의 이미지를 분석할 수 있다. 타겟 조직의 윤곽 위치들을 결정할 때, 컴퓨팅 시스템은 이미지의 어느 부분들에 포커스가 맞는지를 결정하기 위해 표준 필터, 이를테면 포커스 스택킹(focus stacking) 또는 z-스택킹을 사용할 수 있다. 예컨대, 컴퓨팅 시스템은 조직의 윤곽 맵을 생성하기 위해 특정 위치에서의 타겟 조직의 높이를 결정하도록 특정 z-스택에서 이미지의 포커싱된 부분을 사용할 수 있다. 일 실시예에서, 컴퓨팅 시스템은 다수의 카메라들(예컨대, 좌측 및 우측 카메라)로부터의 타겟 조직 이미지들에 기반하여 합성 이미지(예컨대, 스테레오 합성 이미지)를 형성할 수 있으며, 그에 의해, 확장된 피사계 심도(EDF) 정보를 제공한다. 따라서, 컴퓨팅 시스템은 합성 이미지를 획득하기 위해 다수의 이미지들을 결합할 수 있고, 합성 이미지에 기반하여 표면 맵을 생성할 수 있다. 그러한 표면 맵은 합성 이미지 내의 주어진 위치에서 타겟 조직의 높이 또는 윤곽을 결정하는 데 사용될 수 있다. 일부 실시예들에서, 시스템은 삽입 검증과 같은 다른 목적들을 위해 그러한 윤곽 맵핑 기술들을 추가로 사용할 수 있다.
[0112] 일부 실시예들에서, 시스템은 타겟 조직의 윤곽의 특징들을 결정하기 위해 센서, 이를테면 "터치-다운(touch-down)" 센서를 추가로 사용할 수 있다. 특히, 시스템은, 컴퓨터 비전을 이용하여 이미징되는 평면에 수직인 치수에서 타겟팅을 개선시키기 위해 터치-다운 센서를 사용하면서, 타겟 조직의 평면을 따른 타겟팅을 제공하기 위해 컴퓨터 비전 기술들을 사용할 수 있다.
[0113] 이어서, 제6 단계(1212)에서, 로봇 수술 시스템 및/또는 로봇 조립체들은 생체 조직에 주입가능 디바이스 및/또는 바늘을 주입할 수 있다. 컴퓨팅 시스템 또는 프로세싱 유닛은 전극 디바이스를 주입할 때 하나 이상의 로봇 조립체들을 안내하기 위해 수술 계획을 사용할 수 있다. 특히, 로봇 수술 시스템은 전극 디바이스를 주입할 때 하나 이상의 로봇 조립체들을 안내하기 위해 이러한 계획을 사용할 수 있다. 일 실시예에서, 계획은 하나 이상의 로봇 조립체들의 모션의 3차원 좌표들 또는 타겟 포지션들을 특정할 수 있다. 모션의 그러한 3차원 좌표들은, 예컨대 개개의 로봇 조립체의 3개의 작동 축들과 관련하여 표현될 수 있다. 일 실시예에서, 컴퓨팅 시스템은 로봇 조립체들에 적용가능한 모션의 3차원 좌표들을 결정하기 위해 입체 이미저리, 이를테면 하나 이상의 카메라들에 의해 촬영된 상이한 관점들로부터의 이미지들을 사용할 수 있다.
[0114] 따라서, 컴퓨팅 시스템 또는 프로세싱 유닛은 특정 모션들을 착수하기 위한 저-레벨 명령들과 같은 명령들을 로봇 조립체들에 전송할 수 있다. 로봇 조립체들은 바늘을 타겟 조직에 삽입하고, 바늘을 전극 디바이스로부터 탈착하고, 바늘을 제거할 수 있다.
[0115] 선택적인 제7 단계(1214)에서, 로봇 수술 시스템, 및/또는 도 10에 예시된 것들과 같은 삽입 검증 컴포넌트들은 전극을 이미징할 수 있다.
[0116] 제8 단계(1216)에서, 로봇 수술 시스템, 및/또는 도 10에 예시된 것들과 같은 삽입 검증 컴포넌트들은 생체 조직 내로의 전극 디바이스의 주입을 검증할 수 있다. 일 실시예에서, 시스템 및/또는 카메라는 전극 및 타겟 수술 조직의 이미지를 획득할 수 있고, 이미지에 기반하여 전극의 주입을 검증할 수 있다. 이러한 검증에 기반하여, 컴퓨팅 시스템은 프로세스(1200)를 종료할지 여부 또는 추가적인 정정이 필요한지 여부를 결정할 수 있다. 일 실시예에서, 컴퓨팅 시스템은 전극 디바이스의 위치설정 또는 주입을 정정하기 위해 단계(1208)로 복귀하도록 로봇 수술 시스템 및/또는 로봇 조립체들에 명령할 수 있다. 일 실시예에서, 시스템은 주입을 검증한 이후에만 바늘을 제거할 수 있다.
[0117] 도 13은 일 실시예에 따른, 로봇식 외과적 주입 동안 타겟팅하기 위한 예시적인 프로세스(1300)를 예시한 흐름도이다. 일부 실시예들에서, 예시적인 프로세스(1300)는 도 11의 예의 동작(1102)에서 주입을 위한 하나 이상의 타겟 조직 부위들을 결정하는 것에 대한 부가적인 세부사항을 제공할 수 있다. 예시적인 프로세스(1300)는 도 2의 예의 타겟팅 시스템(200)과 같은 타겟팅 컴포넌트들에 의해 수행될 수 있다.
[0118] 제1 단계(1302)에서, 광원은 수술 필드에 광을 적용할 수 있다. 제2 단계(1304)에서, 카메라는 수술 필드를 이미징할 수 있다. 제3 단계(1306)에서, 획득된 이미지는 컴퓨팅 시스템에 송신될 수 있다. 제4 단계(1308)에서, 컴퓨팅 시스템은 생체 구조들 및 생체 조직이 이미지 내에서 구별가능하도록 이미지를 프로세싱할 수 있다. 컴퓨팅 시스템은 타겟 수술 조직의 윤곽 위치를 결정하기 위해 이미지를 분석할 수 있다. 제5 단계(1310)에서, 프로세싱된 이미지는 컴퓨팅 시스템의 사용자 인터페이스 상에서 디스플레이될 수 있다. 일부 실시예들에서, 컴퓨팅 시스템은 컴퓨터 비전, 인공 지능, 또는 머신 러닝 휴리스틱을 자동으로 적용할 수 있으며, 이미지를 사용자에게 디스플레이할 필요가 없다. 제6 단계(1312)에서, 컴퓨팅 시스템은 프로세싱된 이미지에 기반하여 하나 이상의 주입 타겟들을 생성할 수 있다. 제7 단계(1314)에서, 컴퓨팅 시스템은 주입 타겟들 및/또는 획득된 이미지에 기반하여 수술 계획을 생성할 수 있다. 로봇 수술 시스템은 전극 디바이스를 주입할 때 하나 이상의 로봇 조립체들을 안내하기 위해 이러한 계획을 사용할 수 있다.
[0119] 도 14는 일 실시예에 따른, 로봇식 외과적 주입 동안의 검증을 위한 예시적인 프로세스(1400)를 예시한 흐름도이다. 일부 실시예들에서, 예시적인 프로세스(1400)는 도 11의 예의 동작(1110)에서 생체 조직 내로의 전극 디바이스의 적절한 주입을 검증하는 것에 대한 부가적인 세부사항을 제공할 수 있다. 예시적인 프로세스(1400)는 도 10의 예에서의 것들과 같은 삽입 검증 컴포넌트들에 의해 그리고/또는 도 2의 예에서와 같은 삽입기 헤드에 의해 수행될 수 있다.
[0120] 제1 단계(1402)에서, 카메라는 수술 필드를 이미징하는 데 사용된다. 일 실시예에서, 카메라는 디바이스 내의 재료로부터 반사되거나 형광된 광을 이용하여 전극 디바이스를 이미징할 수 있다. 제2 단계(1404)에서, 획득된 이미지는 컴퓨팅 시스템에 송신된다. 제3 단계(1406)에서, 획득된 이미지는 전극 디바이스, 삽입 바늘, 및/또는 타겟 부위를 식별하기 위해 컴퓨터 비전 휴리스틱에 따라 컴퓨팅 시스템에 의해 프로세싱된다. 제4 단계(1408)에서, 컴퓨팅 시스템은 프로세싱된 이미지를 사용하여 전극 디바이스가 적절히 주입되는지 여부를 결정한다. 이러한 결정에 기반하여, 로봇 수술 시스템 및/또는 컴퓨팅 시스템은 전극 디바이스의 위치설정 또는 주입을 정정하기 위해 추가적인 로봇 모션들이 필요한지 여부를 결정할 수 있다.
[0121] 도 11 내지 도 14에 예시된 프로세스들에서 획득된 이미지들 중 하나 이상은 포커스 스태킹 기술들(즉, 포커스 평면 병합, z-스태킹)을 사용하여 프로세싱될 수 있다. 일부 실시예들에서, 상이한 포커스 깊이들에서 캡처된 동일한 수술 필드의 이미지들(각각은 포커스가 맞춰진 수술 필드의 상이한 영역들을 가짐)은 단일 이미지를 형성하기 위해 결합될 수 있다. 포커스 스태킹 기술들은 컴퓨팅 시스템에서 수행될 수 있다.
[0122] 도 15a는 적어도 하나의 예에 따른 예시적인 컴퓨팅 시스템(1500)의 컴포넌트들을 예시한다. 컴퓨팅 시스템(1500)은 디스플레이 디바이스들(1502)과 같은 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 디스플레이 디바이스들(1502)은 정보를 시각적으로 제시할 수 있는 임의의 적합한 디바이스들일 수 있다. 그러한 디바이스들의 예들은 CRT(cathode ray tube) 디스플레이들, LED(light-emitting diode) 디스플레이들, ELD(electroluminescent display)들, 전자 종이, PDP(plasma display panels), LCD(liquid crystal displays), OLED(organic light-emitting diode) 디스플레이들, SED(surface-conduction electron-emitter displays), FED(field emission displays), 프로젝터들(LCD, CRT, DLP(digital light processing), LCoS(liquid crystal on silicon), LED, 하이브리드 LED, 레이저 다이오드), 및 정보를 디스플레이할 수 있는 임의의 다른 적합한 디바이스를 포함할 수 있다.
[0123] 컴퓨팅 시스템(1500)은, 로봇 조립체들(1520), 광원들(1522), 및 카메라들(1524) 뿐만 아니라 임의의 다른 디바이스들, 이를테면 액추에이터들 등에 연결될 수 있는 컴퓨팅 디바이스(1504)를 포함할 수 있다. 컴퓨팅 디바이스(1504)는 하나 이상의 네트워크(들), 유선 연결 등을 통해 이들 디바이스들 및/또는 로봇 수술 시스템의 다른 컴포넌트들과 통신할 수 있다. 네트워크는 많은 상이한 타입들의 네트워크들, 이를테면 케이블 네트워크들, 인터넷, 무선 네트워크들, 셀룰러 네트워크들, 라디오 네트워크들, 및 다른 사설 및/또는 공용 네트워크들 중 임의의 하나 또는 이들의 조합을 포함할 수 있다.
[0124] 이제 컴퓨팅 디바이스(1504)의 세부사항들을 참조하면, 컴퓨팅 디바이스(1504)는 적어도 하나의 메모리(1514) 및 하나 이상의 프로세싱 유닛들(또는 프로세서(들))(1510)을 포함할 수 있다. 프로세서(들)(1510)는 하드웨어, 컴퓨터-실행가능 명령들, 소프트웨어, 펌웨어, 또는 이들의 조합들로 적절하게 구현될 수 있다. 예컨대, 프로세서(들)(1510)는 하나 이상의 범용 컴퓨터들, 전용 마이크로프로세서들, 또는 전자 정보를 통신할 수 있는 다른 프로세싱 디바이스들을 포함할 수 있다. 프로세서(들)(1510)의 예들은 하나 이상의 ASIC(application-specific integrated circuit)들, FPGA(field programmable gate array)들, DSP(digital signal processor)들 및 임의의 다른 적합한 특정 또는 범용 프로세서들을 포함한다.
[0125] 프로세서(들)(1510)의 컴퓨터-실행가능 명령, 소프트웨어, 또는 펌웨어 구현들은 설명된 다양한 기능들을 수행하기 위해 임의의 적합한 프로그래밍 언어로 기입된 컴퓨터-실행가능 또는 머신-실행가능 명령들을 포함할 수 있다. 메모리(1514)는 하나 초과의 메모리를 포함할 수 있고, 컴퓨팅 디바이스(1504) 전반에 걸쳐 분산될 수 있다. 메모리(1514)는, 프로세서(들)(1510) 상에서 로딩가능하고 실행가능한 프로그램 명령들(예컨대, 삼각측량 모듈(1518)) 뿐만 아니라 이들 프로그램들의 실행 동안 생성된 데이터를 저장할 수 있다. 삼각측량 모듈(1518)을 포함하는 메모리의 구성 및 타입에 의존하여, 메모리(1514)는 휘발성(이를테면, RAM(random access memory)) 및/또는 비-휘발성(이를테면, ROM(read-only memory), 플래시 메모리, 또는 다른 메모리)일 수 있다. 일 실시예에서, 삼각측량 모듈(1518)은 CRE에 의해 측정된 전위들에 기반하여 라플라시안(Laplacian) 추정을 위한 선형 결합 계수들을 수신 및/또는 조정할 수 있다. 일 실시예에서, 삼각측량 모듈(1518)은 이들 계수들에 기반하여 선형 결합을 구현할 수 있다. 컴퓨팅 디바이스(1504)는 또한, 자기 저장부, 광학 디스크들, 및/또는 테이프 저장부를 포함하는(그러나 이에 제한되지 않음) 부가적인 착탈식 및/또는 비-착탈식 저장부(1506)를 포함할 수 있다. 디스크 드라이브들 및 이들의 연관된 컴퓨터-판독가능 매체들은 컴퓨팅 디바이스들에 대한 컴퓨터-판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 및 다른 데이터의 비-휘발성 저장부를 제공할 수 있다. 일부 구현들에서, 메모리(1514)는 다수의 상이한 타입들의 메모리, 이를테면 SRAM(static random access memory), DRAM(dynamic random access memory), 또는 ROM을 포함할 수 있다. 메모리(1514)는 또한 운영 체제(1516)를 포함할 수 있다.
[0126] 착탈식 및 비-착탈식 둘 모두인 메모리(1514) 및 부가적인 저장부(1506)는 컴퓨터-판독가능 저장 매체들의 예들이다. 예컨대, 컴퓨터-판독가능 저장 매체들은 컴퓨터-판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 적합한 방법 또는 기술로 구현된 휘발성 또는 비-휘발성, 착탈식, 또는 비-착탈식 매체들을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, 모듈들은 삼각측량 모듈(1518)의 일부인 컴퓨팅 시스템들(예컨대, 프로세서들)에 의해 실행되는 프로그래밍 모듈들을 지칭할 수 있다. 삼각측량 모듈(1518)의 모듈들은 하나 이상의 컴포넌트들, 모듈들 등을 포함할 수 있다. 예컨대, 삼각측량 모듈(1518)은 컴퓨터 비전에 기반하여 전극들, 삽입 바늘들, 및/또는 타겟 조직과 같은 물체들의 위치를 삼각측량하는 모듈들 또는 컴포넌트들을 포함할 수 있다. 컴퓨팅 디바이스(1504)는 또한, 이를테면 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 디스플레이, 스피커들, 프린터, 또는 다른 입력/출력("I/O") 디바이스와의 연결을 가능하게 하기 위한 I/O 디바이스(들) 및/또는 포트들(1512)을 포함할 수 있다. I/O 디바이스(들)(1512)는 로봇 수술 시스템의 다른 시스템들과의 통신을 가능하게 할 수 있다.
[0127] 컴퓨팅 디바이스(1504)는 사용자 인터페이스(1508)를 포함할 수 있다. 사용자 인터페이스(1508)는 컴퓨팅 디바이스(1504)(예컨대, 삼각측량 모듈(1518))의 부분들에 액세스하기 위해 오퍼레이터 또는 다른 인가된 사용자, 이를테면 사용자에 의해 이용될 수 있다. 일부 예들에서, 사용자 인터페이스(1508)는 그래픽 사용자 인터페이스, 웹-기반 애플리케이션들, 프로그래밍 인터페이스들, 이를테면 API(application programming interface)들, 또는 다른 사용자 인터페이스 구성들을 포함할 수 있다.
[0128] 도 15b는 적어도 하나의 예에 따른 컴퓨터 시스템(1550)의 컴포넌트들의 예들을 예시한다. 컴퓨터 시스템(1550)은 사용자 컴퓨팅 디바이스와 같은 단일 컴퓨터일 수 있고 그리고/또는 하나 이상의 서버 컴퓨팅 디바이스들과 같은 분산형 컴퓨팅 시스템을 표현할 수 있다.
[0129] 컴퓨터 시스템(1550)은 적어도 프로세서(1552), 메모리(1554), 저장 디바이스(1556), 입력/출력 주변기기들(I/O)(1558), 통신 주변기기들(1155) 및 인터페이스 버스(1562)를 포함할 수 있다. 인터페이스 버스(1562)는 컴퓨터 시스템(1550)의 다양한 컴포넌트들 사이에서 데이터, 제어들, 및 커맨드들을 통신, 송신, 및 전달하도록 구성된다. 메모리(1554) 및 저장 디바이스(1556)는 컴퓨터-판독가능 저장 매체들, 이를테면, RAM(Radom Access Memory), 판독 ROM, EEPROM(electrically erasable programmable read-only memory), 하드 드라이브들, CD-ROM들, 광학 저장 디바이스들, 자기 저장 디바이스들, 전자 비-휘발성 컴퓨터 저장부, 예컨대 Flash® 메모리, 및 다른 유형의 저장 매체들을 포함한다. 그러한 컴퓨터-판독가능 저장 매체들 중 임의의 것은 본 개시내용의 양상들을 구현하는 명령들 또는 프로그램 코드들을 저장하도록 구성될 수 있다. 메모리(1554) 및 저장 디바이스(1556)는 또한 컴퓨터-판독가능 신호 매체들을 포함한다. 컴퓨터-판독가능 신호 매체는 컴퓨터-판독가능 프로그램 코드가 내부에 구현되어 있는 전파된 데이터 신호를 포함한다. 그러한 전파된 신호는 전자기, 광학, 또는 이들의 임의의 조합을 포함하는(그러나 이에 제한되지 않음) 다양한 형태들 중 임의의 형태를 취한다. 컴퓨터-판독가능 신호 매체는, 컴퓨터-판독가능 저장 매체가 아니며, 컴퓨터 시스템(1550)과 관련하여 사용하기 위한 프로그램을 통신, 전파, 또는 전달할 수 있는 임의의 컴퓨터-판독가능 매체를 포함한다.
[0130] 추가로, 메모리(1554)는 운영 체제, 프로그램들, 및 애플리케이션들을 포함한다. 프로세서(1552)는 저장된 명령들을 실행하도록 구성되며, 예컨대 논리 프로세싱 유닛, 마이크로프로세서, 디지털 신호 프로세서, 및 다른 프로세서들을 포함한다. 메모리(1554) 및/또는 프로세서(1552)는 가상화될 수 있으며, 예컨대 클라우드 네트워크 또는 데이터 센터의 다른 컴퓨팅 시스템 내에 호스팅될 수 있다. I/O 주변기기들(1558)은 사용자 인터페이스들, 이를테면 키보드, 스크린(예컨대, 터치 스크린), 마이크로폰, 스피커, 다른 입력/출력 디바이스들, 및 컴퓨팅 컴포넌트들, 이를테면 그래픽 프로세싱 유닛들, 직렬 포트들, 병렬 포트들, 범용 직렬 버스들, 및 다른 입력/출력 주변기기들을 포함한다. I/O 주변기기들(1558)은 인터페이스 버스(1562)에 커플링된 포트들 중 임의의 포트를 통해 프로세서(1552)에 연결된다. 통신 주변기기들(1155)은 통신 네트워크를 통한 컴퓨터 시스템(1550)과 다른 컴퓨팅 디바이스들 사이의 통신을 용이하게 하도록 구성되며, 예컨대 네트워크 인터페이스 제어기, 모뎀, 무선 및 유선 인터페이스 카드들, 안테나, 및 다른 통신 주변기기들을 포함한다.
[0131] 본 명세서에서 사용된 바와 같은 용어들 "컴퓨팅 시스템" 및 "프로세싱 유닛"은 모든 목적들을 위해 광범위하게 해석되도록 의도되며, 모든 사용들, 모든 디바이스들, 및/또는 모든 시스템들 및/또는 본 개시내용의 시스템들에 대해, 적어도 중앙 프로세싱 유닛, 데이터 네트워크와 인터페이싱하기 위한 통신 디바이스, 일시적인 컴퓨터-판독가능 메모리, 및/또는 비-일시적인 컴퓨터-판독가능 메모리 및/또는 매체들을 포함하는 디바이스로서 정의된다. 중앙 프로세싱 유닛은 본 명세서에서 설명된 임의의 방법의 하나 이상의 단계들을 전체적으로 또는 부분적으로 달성하기 위해 산술적, 논리적, 및/또는 입력/출력 동작들을 수행함으로써 비-일시적인 컴퓨터-판독가능 메모리 및/또는 매체들에 저장된 하나 이상의 컴퓨터 프로그램들의 명령들을 수행한다. 컴퓨팅 시스템은 본 명세서의 하나 이상의 적합한 기능들에 대해 하나 이상의 사용자들, 다른 컴퓨팅 시스템들에 의해 직접적으로 그리고/또는 간접적으로, 능동적으로 그리고/또는 수동적으로 사용가능하다. 컴퓨팅 시스템은 컴퓨터, 랩톱, 태블릿 컴퓨터, 스마트폰, 및/또는 임의의 다른 적합한 디바이스로 구현될 수 있으며, 또한 네트워크화된 컴퓨팅 시스템, 서버 등일 수 있다. 유익한 경우, 컴퓨팅 시스템은 하나 이상의 인간 입력 디바이스들, 이를테면 컴퓨터 마우스 및/또는 키보드 및 하나 이상의 인간 상호작용 디바이스, 이를테면 하나 이상의 모니터들을 포함할 수 있다. 컴퓨팅 시스템은 하나 이상의 사용자들에게 경험을 제공하는 것과 연관된 임의의 입력, 출력, 및/또는 계산 디바이스를 지칭할 수 있다. 하나의 컴퓨팅 시스템이 도시 및/또는 설명될 수 있지만, 다수의 컴퓨팅 시스템들이 사용될 수 있다. 반대로, 다수의 컴퓨팅 시스템들이 도시 및/또는 설명되는 경우, 단일 컴퓨팅 디바이스가 사용될 수 있다.
[0132] 로봇 수술을 위한 컴퓨터 비전 기반 기술들은, 예컨대 신경외과를 포함하는 다양한 애플리케이션들에 대해 사용될 수 있다. 일부 실시예들에서, 복수의 주입가능 디바이스들은 본 명세서에 설명된 기술들을 사용하여 순차적으로 삽입 또는 주입될 수 있다.
[0133] 일부 실시예들에서, 주입가능 디바이스는 생체 조직으로의 주입을 위해 구성될 수 있다. 생체 조직은 뇌, 근육, 간, 췌장, 비장, 신장, 방광, 창자, 심장, 위장, 피부, 결장 등을 포함할 수 있다(그러나 이에 제한되지 않음). 부가적으로, 주입가능 디바이스는 무척추동물들, 척추동물들, 어류, 조류, 포유류들, 설치류들(예컨대, 생쥐들, 쥐들), 유제류(ungulate)들, 소들, 양들, 돼지들, 말들, 비-인간 영장류들 및 인간들을 포함하는(그러나 이에 제한되지 않음) 임의의 적합한 다세포 유기체와 관련하여 사용될 수 있다. 게다가, 생체 조직은 탈체(ex vivo)(예컨대, 조직 체외이식(tissue explant)), 또는 생체내(in vivo)(예컨대, 방법은 환자에 대해 수행되는 수술 절차임)일 수 있다.
[0134] 예시적인 실시예들이 본 명세서에서 설명되었지만, 그 실시예들의 범위는 본 개시내용에 기반하여 당업자들에 의해 인식될 바와 같이, (예컨대, 다양한 실시예들에 걸친 양상들의) 동등한 요소들, 수정들, 생략들, 조합들을 갖는 임의의 그리고 모든 실시예들을 포함한다. 예컨대, 예시적인 시스템들에 도시된 컴포넌트들의 수 및 배향이 수정될 수 있다.
[0135] 따라서, 전술한 설명은 예시의 목적들을 위해 제시되었다. 이는 포괄적인 것이 아니며, 개시된 정확한 형태들 또는 실시예들로 제한되지 않는다. 개시된 실시예들의 규격 및 실시의 고려사항으로부터 수정들 및 조정들이 당업자들에게 명백할 것이다.

Claims (20)

  1. 전극의 로봇식 외과적 주입을 위한 방법으로서,
    제1 광원에 의해, 근-자외선(근-UV) 파장의 광을 사용하여 상기 전극의 폴리머 부분을 조사하는 단계 － 상기 근-UV 파장은 300 나노미터 내지 425 나노미터이고, 상기 제1 광원은 제1 LED(light emitting diode) 또는 제1 레이저를 포함함 －;
    제1 카메라에 의해, 상기 조사에 대한 응답으로 상기 폴리머 부분으로부터 형광된 광을 이용하여 상기 폴리머 부분의 제1 이미지를 획득하는 단계;
    제2 카메라에 의해, 상기 폴리머 부분으로부터 형광된 광을 이용하여 상기 폴리머 부분의 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지를 프로세싱하기 위해 컴퓨터 비전 휴리스틱(computer vision heuristic)을 사용하여 프로세서에 의해, 상기 전극의 3차원(3D) 위치를 삼각측량하는 단계;
    제2 LED 또는 제2 레이저를 포함하는 제2 광원에 의해, 가시광을 사용하여 삽입 바늘을 조명하는 단계;
    상기 제1 카메라에 의해, 상기 가시광에 의해 조명된 상기 삽입 바늘의 제3 이미지를 획득하는 단계; 및
    상기 3D 위치 및 상기 제3 이미지에 기반하여 상기 전극의 폴리머 부분을 상기 삽입 바늘과 로봇식으로 맞물리게 하는 단계를 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  2. 제1항에 있어서,
    상기 삽입 바늘은 금속을 포함하고, 상기 가시광은 적색 광을 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  3. 제1항에 있어서,
    상기 폴리머 부분은 폴리이미드를 포함하고, 상기 광의 근-UV 파장은 390 나노미터 내지 425 나노미터이며, 상기 폴리머 부분으로부터 형광된 광은 녹색 광을 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  4. 제1항에 있어서,
    상기 전극의 폴리머 부분을 로봇식으로 맞물리게 하는 단계는 상기 3D 위치 및 상기 제3 이미지에 기반하여, 상기 전극과 연결된 상호 맞물림 요소에 상기 삽입 바늘의 맞물림 요소를 로봇식으로 부착시키는 단계를 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  5. 제4항에 있어서,
    상기 상호 맞물림 요소는 루프를 포함하며,
    상기 상호 맞물림 요소에 상기 삽입 바늘의 맞물림 요소를 부착시키는 단계는 상기 루프를 통해 상기 삽입 바늘을 스레딩(thread)하는 단계를 더 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  6. 제1항에 있어서,
    상기 제1 카메라는 상기 전극과 연관된 투사된 에지의 평면 표면에 실질적으로 수직으로 위치되고,
    상기 제2 카메라는 상기 제1 카메라에 대해 5°보다 큰 각도로 위치되는,
    전극의 로봇식 외과적 주입을 위한 방법.
  7. 제1항에 있어서,
    상기 삽입 바늘을 사용하여 상기 전극을 외과적으로 주입하는 단계를 더 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  8. 제7항에 있어서,
    타겟 수술 조직의 제4 이미지를 획득하는 단계; 및
    상기 제4 이미지에 기반하여 상기 타겟 수술 조직의 윤곽 위치를 결정하는 단계를 더 포함하며,
    상기 전극을 외과적으로 주입하는 단계는 상기 결정된 윤곽 위치에 추가로 기반하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  9. 제8항에 있어서,
    상기 전극을 외과적으로 주입하는 단계는,
    상기 전극 및 상기 타겟 수술 조직의 제5 이미지를 획득하는 단계; 및
    상기 제5이미지에 기반하여 상기 전극의 주입을 검증하는 단계를 더 포함하는,
    전극의 로봇식 외과적 주입을 위한 방법.
  10. 전극의 로봇식 외과적 주입을 위한 시스템으로서,
    제1 LED(light emitting diode) 또는 제1 레이저를 포함하는 제1 광원 － 상기 제1 광원은 근-자외선(근-UV) 파장의 광을 사용하여 상기 전극의 폴리머 부분을 조사하도록 구성되고, 상기 근-UV 파장은 300 나노미터 내지 425 나노미터임 －;
    제2 LED 또는 제2 레이저를 포함하는 제2 광원 － 상기 제2 광원은 가시광을 사용하여 삽입 바늘을 조명하도록 구성됨 －;
    조사되는 것에 대한 응답으로 상기 폴리머 부분으로부터 형광된 광을 이용하여 상기 폴리머 부분의 제1 이미지를 획득하도록 구성된 제1 카메라 － 상기 제1 카메라는 상기 가시광에 의해 조명된 상기 삽입 바늘의 제3 이미지를 획득하도록 추가로 구성됨 －;
    상기 폴리머 부분으로부터 형광된 광을 이용하여 상기 폴리머 부분의 제2 이미지를 획득하도록 구성된 제2 카메라;
    상기 제1 이미지 및 상기 제2 이미지를 프로세싱하기 위해 컴퓨터 비전 휴리스틱을 사용하여 상기 전극의 3차원(3D) 위치를 삼각측량하도록 구성된 프로세서; 및
    상기 3D 위치 및 상기 제3 이미지에 기반하여 상기 전극의 폴리머 부분을 상기 삽입 바늘과 맞물리게 하도록 구성된 로봇 조립체를 포함하는,
    전극의 로봇식 외과적 주입을 위한 시스템.
  11. 제10항에 있어서,
    상기 삽입 바늘은 금속을 포함하고, 상기 가시광은 적색 광을 포함하는,
    전극의 로봇식 외과적 주입을 위한 시스템.
  12. 제10항에 있어서,
    상기 전극의 폴리머 부분을 맞물리게 하는 동안, 상기 로봇 조립체는 상기 3D 위치 및 상기 제3 이미지에 기반하여, 상기 전극과 연결된 상호 맞물림 요소에 상기 삽입 바늘의 맞물림 요소를 부착시키도록 추가로 구성되는,
    전극의 로봇식 외과적 주입을 위한 시스템.
  13. 제12항에 있어서,
    상기 상호 맞물림 요소는 루프를 포함하며,
    상기 상호 맞물림 요소에 상기 삽입 바늘의 맞물림 요소를 부착시키는 동안, 상기 로봇 조립체는 상기 루프를 통해 상기 삽입 바늘을 스레딩하도록 추가로 구성되는,
    전극의 로봇식 외과적 주입을 위한 시스템.
  14. 제10항에 있어서,
    상기 제1 카메라 또는 상기 제2 카메라는 타겟 수술 조직의 제4 이미지를 획득하도록 추가로 구성되고;
    상기 프로세서는 상기 제4 이미지에 기반하여, 상기 타겟 수술 조직의 윤곽 위치를 결정하도록 추가로 구성되며;
    상기 로봇 조립체는 상기 결정된 윤곽 위치에 기반하여 상기 전극을 외과적으로 주입하도록 추가로 구성되는,
    전극의 로봇식 외과적 주입을 위한 시스템.
  15. 제10항에 있어서,
    상기 제1 카메라 또는 상기 제2 카메라는 현미경 내에 통합되는,
    전극의 로봇식 외과적 주입을 위한 시스템.
  16. 컴퓨터-실행가능 명령들을 저장하는 비-일시적인 컴퓨터-판독가능 매체로서,
    상기 컴퓨터-실행가능 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 전극의 로봇식 외과적 주입을 위한 방법을 수행하게 하며,
    상기 방법은,
    근-자외선(근-UV) 파장의 광을 사용하여 상기 전극의 폴리머 부분을 조사하도록 제1 광원을 구성하는 단계 － 상기 근-UV 파장은 300 나노미터 내지 425 나노미터임 －;
    제1 카메라로부터, 조사되는 것에 대한 응답으로 상기 폴리머 부분으로부터 형광된 광을 이용하여 촬영된 상기 폴리머 부분의 제1 이미지를 획득하는 단계;
    제2 카메라로부터, 상기 폴리머 부분으로부터 형광된 광을 이용하여 촬영된 상기 폴리머 부분의 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지를 프로세싱하기 위해 컴퓨터 비전 휴리스틱을 사용하여 상기 전극의 3차원(3D) 위치를 삼각측량하는 단계;
    가시광을 사용하여 삽입 바늘을 조명하도록 제2 광원을 구성하는 단계;
    상기 제1 카메라로부터, 상기 가시광을 이용하여 촬영된 상기 삽입 바늘의 제3 이미지를 획득하는 단계; 및
    상기 3D 위치 및 상기 제3 이미지에 기반하여 상기 전극의 폴리머 부분을 상기 삽입 바늘과 맞물리게 하도록 로봇 조립체를 구성하는 단계를 포함하는,
    비-일시적인 컴퓨터-판독가능 매체.
  17. 제16항에 있어서,
    상기 전극의 폴리머 부분을 로봇식으로 맞물리게 하는 동안, 상기 로봇 조립체는 상기 3D 위치 및 상기 제3 이미지에 기반하여, 상기 전극과 연결된 상호 맞물림 요소에 상기 삽입 바늘의 맞물림 요소를 부착시키도록 추가로 구성되는,
    비-일시적인 컴퓨터-판독가능 매체.
  18. 제17항에 있어서,
    상기 상호 맞물림 요소는 루프를 포함하며,
    상기 상호 맞물림 요소에 상기 삽입 바늘의 맞물림 요소를 부착시키는 동안, 상기 로봇 조립체는 상기 루프를 통해 상기 삽입 바늘을 스레딩하도록 추가로 구성되는,
    비-일시적인 컴퓨터-판독가능 매체.
  19. 제16항에 있어서,
    상기 제1 광원은 제1 LED(light emitting diode) 또는 제1 레이저를 포함하고,
    상기 제2 광원은 제2 LED 또는 제2 레이저를 포함하는,
    비-일시적인 컴퓨터-판독가능 매체.
  20. 제16항에 있어서,
    상기 방법은,
    타겟 수술 조직의 제4 이미지를 획득하도록 상기 제1 카메라 또는 상기 제2 카메라를 구성하는 단계;
    상기 제4 이미지에 기반하여 상기 타겟 수술 조직의 윤곽 위치를 결정하는 단계; 및
    상기 결정된 윤곽 위치에 기반하여 상기 전극을 외과적으로 주입하도록 상기 로봇 조립체를 구성하는 단계를 더 포함하는,
    비-일시적인 컴퓨터-판독가능 매체.
KR1020217011139A 2018-09-14 2019-09-12 컴퓨터 비전 기술들 KR20210130698A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862731520P 2018-09-14 2018-09-14
US62/731,520 2018-09-14
PCT/US2019/050877 WO2020056179A1 (en) 2018-09-14 2019-09-12 Computer vision techniques

Publications (1)

Publication Number Publication Date
KR20210130698A true KR20210130698A (ko) 2021-11-01

Family

ID=69774619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011139A KR20210130698A (ko) 2018-09-14 2019-09-12 컴퓨터 비전 기술들

Country Status (7)

Country Link
US (1) US11291508B2 (ko)
EP (1) EP3849434B1 (ko)
JP (1) JP7538129B2 (ko)
KR (1) KR20210130698A (ko)
AU (1) AU2019339486A1 (ko)
CA (1) CA3112749A1 (ko)
WO (1) WO2020056179A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020056169A1 (en) 2018-09-14 2020-03-19 Neuralink Corp. Device implantation using a cartridge
WO2021225584A1 (en) * 2020-05-05 2021-11-11 Hitachi America, Ltd. A robust two-in-one sensor signal acquisition method for online manufacturing process and tool condition monitoring system
CN114948232B (zh) * 2021-02-22 2023-08-29 哈尔滨工业大学 柔性神经电极植入手术机器人及控制方法
TWI782709B (zh) * 2021-09-16 2022-11-01 財團法人金屬工業研究發展中心 手術機械臂控制系統以及手術機械臂控制方法
US12042174B2 (en) 2022-04-01 2024-07-23 Neuralink Corp. Cannula for grasping and setting lead with needle
CN115068082A (zh) * 2022-06-20 2022-09-20 中国科学院脑科学与智能技术卓越创新中心 基于机器视觉的电极植入方法及系统
WO2024097154A1 (en) * 2022-10-31 2024-05-10 Vicarious Surgical Inc. Devices, systems, and methods for cooling a robotic camera
CN117982212B (zh) * 2024-04-03 2024-06-21 北京智冉医疗科技有限公司 电极植入设备和电极植入方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415187B1 (en) 1998-02-10 2002-07-02 Advanced Bionics Corporation Implantable, expandable, multicontact electrodes and insertion needle for use therewith
DE10252837B4 (de) 2002-11-13 2005-03-24 Carl Zeiss Untersuchungssystem und Untersuchungsverfahren
JP2004307857A (ja) * 2003-03-26 2004-11-04 Rikogaku Shinkokai 蛍光性ポリイミド
JP2004307937A (ja) 2003-04-07 2004-11-04 Muramatsu Kagaku Kk アルミニウム含有アルカリ廃液の処理方法、及びこれに使用する処理剤
CN101100525B (zh) 2003-06-17 2011-11-16 日产化学工业株式会社 聚酰亚胺前体以及聚酰亚胺及其应用
US8838210B2 (en) * 2006-06-29 2014-09-16 AccuView, Inc. Scanned laser vein contrast enhancer using a single laser
JP4947546B2 (ja) 2006-08-31 2012-06-06 国立大学法人東京工業大学 蛍光材料、及びそれを用いた光デバイス
GB0620061D0 (en) 2006-10-10 2006-11-22 Medical Device Innovations Ltd Oesophageal treatment apparatus and method
CN101622029A (zh) * 2007-03-02 2010-01-06 皇家飞利浦电子股份有限公司 用于深度大脑刺激的电极系统
EP2382008B1 (en) 2008-11-12 2015-04-29 Ecole Polytechnique Federale De Lausanne Microfabricated neurostimulation device
EP2637553A2 (en) * 2010-11-12 2013-09-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
AU2012312066C1 (en) 2011-09-22 2016-06-16 460Medical, Inc. Systems and methods for visualizing ablated tissue
US9456200B2 (en) * 2012-01-04 2016-09-27 The Trustees Of Dartmouth College Method and apparatus for calibration of stereo-optical three-dimensional surface-mapping system
US11510600B2 (en) * 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
WO2013158636A1 (en) 2012-04-16 2013-10-24 Azizian Mahdi Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
US9498617B2 (en) 2012-06-19 2016-11-22 Lawrence Livermore National Security, Llc Conformally encapsulated multi-electrode arrays with seamless insulation
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US9399128B2 (en) 2013-03-16 2016-07-26 Lawrence Livermore National Security, Llc Flexible neural interfaces with integrated stiffening shank
WO2014189969A1 (en) 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
AU2014324020B2 (en) 2013-09-18 2019-02-07 iMIRGE Medical INC. Optical targeting and visualization of trajectories
EP4282370A3 (en) 2014-03-17 2024-02-21 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
WO2015153958A1 (en) * 2014-04-03 2015-10-08 The Trustees Of The University Of Pennsylvania Transparent, flexible, low-noise graphene electrodes for simultaneous electrophysiology and neuro-imaging
CA2972032C (en) 2014-12-23 2024-01-16 The Regents Of The University Of California Methods, compositions, and systems for device implantation
US11020144B2 (en) * 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
CA2959215C (en) * 2016-05-10 2018-06-12 Piotr KUCHNIO Multispectral synchronized imaging
CN115778543A (zh) * 2016-09-09 2023-03-14 直观外科手术操作公司 同时带有白光和高光谱光的成像系统
US9867978B1 (en) 2016-09-16 2018-01-16 Precision Neurotechnologies Llc Conformal electrode arrays for electrophysiologic recording and neural stimulation within the cerebral ventricles
WO2018102307A1 (en) 2016-11-30 2018-06-07 The Regents Of The University Of California Microneedle fabrication and device implantation

Also Published As

Publication number Publication date
EP3849434A4 (en) 2022-04-27
US20200085508A1 (en) 2020-03-19
CA3112749A1 (en) 2020-03-19
EP3849434A1 (en) 2021-07-21
US11291508B2 (en) 2022-04-05
JP2022500216A (ja) 2022-01-04
AU2019339486A1 (en) 2021-05-20
WO2020056179A1 (en) 2020-03-19
EP3849434B1 (en) 2024-09-18
JP7538129B2 (ja) 2024-08-21

Similar Documents

Publication Publication Date Title
US11291508B2 (en) Computer vision techniques
US11648064B2 (en) Motorized full field adaptive microscope
US20170296292A1 (en) Systems and Methods for Surgical Imaging
US11103695B2 (en) Device implantation using a cartridge
US10828125B2 (en) Dual zoom and dual field-of-view microscope
US11712306B2 (en) Optical coherence tomography for robotic brain surgery
KR20190058528A (ko) 가이드되는 시술을 위한 시스템
US10038846B2 (en) Surgical camera system with automatic alternation between two depths of field
JP6163498B2 (ja) レーザ走査顕微鏡を備えた測定システムによる試料の３次元測定方法及びシステム
US20210186628A1 (en) System and methods for automatic muscle movement detection
CN220655593U (zh) 超声成像系统
US11331160B2 (en) Surgical camera system with automatic alternation between two depths of field

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal