KR20150060735A - 이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법 - Google Patents

이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법 Download PDF

Info

Publication number
KR20150060735A
KR20150060735A KR1020157007979A KR20157007979A KR20150060735A KR 20150060735 A KR20150060735 A KR 20150060735A KR 1020157007979 A KR1020157007979 A KR 1020157007979A KR 20157007979 A KR20157007979 A KR 20157007979A KR 20150060735 A KR20150060735 A KR 20150060735A
Authority
KR
South Korea
Prior art keywords
robot
computer
tissue
imaging
data
Prior art date
Application number
KR1020157007979A
Other languages
English (en)
Inventor
니콜라오스 츠세코스
니킬 브이. 나브카르
Original Assignee
유니버시티 오브 휴스턴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버시티 오브 휴스턴 filed Critical 유니버시티 오브 휴스턴
Publication of KR20150060735A publication Critical patent/KR20150060735A/ko

Links

Images

Classifications

    • A61B19/2203—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B19/50—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238—Type of minimally invasive operation
    • A61B2017/00243—Type of minimally invasive operation cardiac
    • A61B2019/5206—
    • A61B2019/5217—
    • A61B2019/5236—
    • A61B2019/5251—
    • A61B2019/5276—
    • A61B2019/5458—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A61B2090/3958—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI emitting a signal

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 시스템, 모듈 및 이를 사용하는 방법이 본원에서 제공된다. 시스템은 이미징 모댈러티, 특히 자기 공명 이미징 모댈러티, 의료용 로봇 및 이들의 수술자를 복수의 인터페이스를 통해 수술중에 링크하는, 복수의 모듈을 포함한다. 모듈들은, 메모리, 프로세서 및 네트워크 연결을 가진 적어도 한 컴퓨터에서, 명령들이 일반적으로 이미징 모댈러티를 제어하고, 로봇을 추적하고, 절차 구역 내 관심 조직을 추적하고, 이미징 모댈러티 및 로봇으로부터 획득된 데이터를 처리하고, 영역 및 로봇을 시각화하게 동작하도록 구성된다. 또한, 모듈들을 포함하는 컴퓨터-실행가능 명령들을 저장하는 비일시적 컴퓨터-판독가능 데이터 저장 매체 및 저장 매체에 실체적으로 구현되는 컴퓨터 프로그램 제품이 제공된다.

Description

이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법{ROBOTIC DEVICE AND SYSTEM SOFTWARE, HARDWARE AND METHODS OF USE FOR IMAGE-GUIDED AND ROBOT-ASSISTED SURGERY}
관련출원에 대한 상호참조
이 국제출원은 전체를 참조로 본원에 포함시키는, 현재는 포기된, 미국 가 출원번호 61/693,634의 우선권을 35 U.S.C. 119(e) 하에 주장한다.
연방 기금 설명
이 발명은 미국 국립 과학 재단에 의해 수여된 승인 번호 0932272 하에 정부 지원으로 행해졌다. 미국 정부는 본 발명에 대해 일정한 권리를 갖는다.
본 발명은 로보틱스, 로봇 이용 수술 절차, 및 이의 실시를 위한 소프트웨어의 분야에 관한 것이다. 구체적으로, 본 발명은 로봇식 매니퓰레이터 및 액튜에이터와 적용가능 소프트웨어 및 하드웨어를 포함하여, 인-사이튜로, 실시간 이미지-안내 진찰, 수술 및 최소 침습 의료 개입을 위한 MRI-호환 의료용 로봇식 플랫폼을 포함하는 로봇식 시스템을 제공한다.
단일 포트 액세스(SPA) 수술 및 경피 개입을 포함하여, 최소 침습 절차에서 로봇 이용은 통상적인 개방 수술 또는 프리-핸드 개입에 대한 더 환자 친화적이고, 실시를 향상시키는, 결국, 비용효율적인 대안으로서 부각되고 있다. 신기술은 증가하는 레벨의 안정성 및 기능성을 달성하며, 신세대의 의사들은 이들의 전임자들보다 컴퓨터-가능 도구들에 더 익숙하다. 이러한 패러다임 이동은 멀티모드 감지, 예를 들면, 조직 및 분자 레벨 이미징, 로봇 및 촉각 장치와 같은 제어된 시스템, 및 예를 들면, 외과, 방사선, 심장병, 등의 개입자를 통합하기 위한 강건하고, 확장가능하고 효율적인 방법을 요구한다. 혁신적인 계산 방법, 로봇식 매니퓰레이터 및 촉각 인터페이스를 개발함에 있어 선구적 그룹에 의한 주된 노력은 이 비약적 약진을 향한 길을 조성하였다. 이미지 안내 및 로봇-이용(IGRA) 절차의 미래를 보았을 때, 몇가지 인자들은 효율적인 수술자 인터페이싱으로, 조직 병상 및 기능을 국소적으로 평가할 수 있는 실시간 이미지 안내의 연속된 통합을 포함하여, 차세대 시스템에 기여할 수 있다.
실시간 이미지 안내(RTIG)는, 1) 절차 또는 자연적 움직임, 예를 들면 호흡 또는 심장 박동에 부수적인, 실시간 조직 변형 및 움직임을 평가하고; 2) 도구(들)을 3D로 모니터하고; 3) 목표 조직의 병리생리학적 정보를 업데이트하는 것을 포함하여, 절차 구역(AoP)을 평가하기 위한 고유의 특징들을 제공한다. 이러한 특징들이 부여되어, RTIG은, "키홀" 시각화의 현재 접근법들, 즉 엔도스코피 또는 라파로스코피, 및 수술전 이미징 안내로부터, 더 넓은 범위 및 레벨의 복잡한 수술을 할 수 있게 하는 것인 AoP의 더 전역적이고 정보가 풍부한 인식으로, 패러다임 이동 및 방법론적 도약을 용이하게 할 수 있다. 이 맥락 내에서, 프리-핸드 또는 로봇 이용 절차를 위해, 초음파(US), 및 자기 공명 이미징(MRI)을 포함한, 서로 상이한 이미징 모댈러티들로, 대규모의 획기적인 작업이 수행되어졌다.
IGRA 절차는 도전적이며, 매우 복잡하며 넓은 범위의 임상 패러다임 및 실현 기술이 많은 그룹들에 의해 추구되어졌고 또는 현재 추구되고 있다. 몇몇 IGRA 장치가 개발되어졌거나 개발 중에 있다. MRI-안내 수술을 대변혁할 수 있는, MR-호환 뉴로암(NeuroArm)은 복잡하고 고가의 기술이지만, 그러나 이것은 실시간 MR 안내엔 적합하지 않다. 국립보건원에서 연구된, 또 다른 시스템은 더 이상 상업적으로 제공되지 않는, Innomotion® 로봇에 기초한다.
이에 따라, 이 기술에서는 특히 로봇 제어를 위한 실시간 다중-모댈러티 이미징 및 로봇의 맨인루프 자주적 또는 수동 제어를 위한 HIMI을 위해서, 개선된 이미지-안내 및 로봇 이용 절차에 대한 인식된 필요성이 존재한다. 더 구체적으로, 종래 기술은 로봇식 장치를 동작하고 안내하기 위한 소프트웨어 및 구현 시스템, 이미징 스캐너의 공간 구속 내에서 동작하게 설계된 시스템, 자기 공명 환경의 매우 높은 자기장에서 수행할 수 있고 조직을 실시간으로 추적할 수 있게 하는 로봇을 작동시키기 위한 수단이 결여되어 있다. 본 발명은 이 기술에서 이 오래된 필요성 및 요망을 성취한다.
본 발명은 수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 컴퓨터 시스템에 관한 것이다. 컴퓨터 시스템은, 메모리, 프로세서 및 적어도 한 네트워크 연결을 가진 적어도 한 컴퓨터에서, 이미징 모댈러티, 의료용 로봇 및 이들의 수술자를, 이들을 링크하는 복수의 인터페이스들을 통해, 수술중에 링크하게 구성된 복수의 모듈들을 포함한다. 본 발명은 1) 수술 절차 동안 상기 이미징 모댈러티를 제어하고; 2) 로봇 또는 이와 공동-등록된 인터벤션 도구(interventional tool)들을 추적하고; 3) 관심 조직을 추적하고; 4) 이미징 모댈러티로부터 그리고 로봇으로부터 획득된 데이터를 처리하고; 5) 환자의 신체 외부 및 내부에서 로봇의 안전하고 정확한 움직임을 위한 동적 경로들 또는 통로들을 발생하고; 6) 획득된 데이터로부터 발생되는 로봇 및 절차 구역을 시각화하고; 7) 사람-머신 인터페이스를 가능하게 하기 위해 포스-피드백 또는 촉각 장치를 이용하게 구성된, 모듈을 포함하는 관계된 컴퓨터 시스템에 관한 것이다. 본 발명은 복수의 멀티모드 센서들을 로봇 및 이미징 모댈러티에 코-레지스터하게 구성된 모듈을 더 포함하는, 또 다른 관계된 컴퓨터 시스템에 관한 것이다.
또한 본 발명은 수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 컴퓨터-구현 방법에 관한 것이다. 방법은, 수술중에 본원에 기술된 컴퓨터 시스템에서, 조직의 그리고 의료용 로봇의 현재 상태를 얻기 위해 데이터를 처리하는 단계를 포함한다. 절차 구역 또는 로봇의 접근 경로에 근접한 영역 또는 둘 다를 포함하는 적어도 한 조직 경계를 발생하는 단계가 발생되고, 절차 구역에 대해 조직 경계의 움직임은 동적으로 모니터된다. 로봇 또는 이를 포함하는 인터벤션 도구(interventional tool)의 위치는 로봇에 근접하여 배치되고 이미징 모댈러티에 결합된 복수의 마커들의 개별적 가시화에 기초하여 절차 구역에 관련하여 추적된다. 본 발명은 시스템의 수술자를 위해 절차 구역 및 로봇의 시각화를 이들이 모니터되고 추적될 때 생성하는 단계를 더 포함하는 관계된 방법에 관한 것이다. 본 발명은 로봇에 그리고 이미징 모댈러티의 좌표계에 공동-등록된 복수의 멀티모드 센서들 중 하나 이상으로부터 절차 구역의 뷰를 발생하는 단계를 더 포함하는 또 다른 관계된 방법에 관한 것이다.
본 발명은 더욱 자기 공명 이미지-안내 및 로봇-이용 수술 시스템에 관한 것이다. 시스템은 적어도 한 컴퓨터 프로세서, 적어도 한 컴퓨터 메모리, 시스템 등록가능 로봇 또는 이를 포함하는 인터벤션 도구(interventional tool)들을 포함하는 하나 이상의 로봇식 구조들, 로봇에 레지스터된 자기 공명 스캐너, 및 컴퓨터 프로세서 및 메모리로, 수시로 동작을 위해 구성된 복수의 모듈들을 포함한다. 복수의 모듈들은 프로세서-실행가능 명령들이, 1) 로봇 및 환자 내 관심 조직에 관한 모든 MR-발생된 데이터를 기술하고; 2) 절차 구역 내 조직 경계를 확립하고; 3) MR 스캐너를 통해 또는 로봇을 포함하고 환자의 신체 내부 또는 외부에 배치된 하나 이상의 멀티모드 센서를 통해 조직 경계의 움직임을 동적으로 모니터하고; 4) 절차 구역에 관련하여 로봇의 위치를 추적하고; 5) 발생된 데이터를 시스템의 수술자에게 전송하고; 6) 로봇 제어 및 발생된 데이터로부터 추적을 위한 명령을 발생하고; 7) 수술자를 위해 수술 절차 동안 절차 구역 및 로봇의 뷰를 발생하고; 8) 로봇, 스캐너, 모듈들 및 수술자 간에 복수의 인터페이스들을 확립할 수 있게 한다. 본 발명은 프로세서-실행가능 명령들이 멀티모드 센서들을 통해 획득된 데이터로부터 절차 구역의 4D 뷰를 발생하고 시각화할 수 있게 복수의 모듈들이 더욱 구성된, 관계된 자기 공명 이미지-안내 및 로봇-이용 수술 시스템에 관한 것이다. 본 발명은 프로세서-실행가능 명령들이 조직-대-조직 또는 조직-대-로봇 경계들을 모니터하기 위한 적어도 한 신호 세기 프로젝션을 발생할 수 있게 복수의 모듈들이 더욱 구성된, 또 다른 관계된 자기 공명 이미지-안내 및 로봇-이용 수술 시스템에 관한 것이다. 본 발명은, 환자의 신체를 포함하는 자연적 관형 구조들 및 로봇 또는 인터벤션 도구(interventional tool)들을 포함하는 인공적 관형 구조들을 이미지화하게 복수의 모듈들이 더욱 구성된, 또 다른 관계된 자기 공명 이미지-안내 및 로봇-이용 수술 시스템에 관한 것이다.
본 발명은 더욱 여전히 비일시적 컴퓨터-판독가능 데이터 저장 매체, 및 이를 실체적으로 구현하며, 실행되었을 때 본원에 기술된 컴퓨터 구현 방법들을 가능하게 하고 본원에 기술된 복수의 모듈을 포함하는 컴퓨터-실행가능 명령들을 저장하는 계산 시스템에서 동작들을 수행하는 컴퓨터-실행가능 명령들을 저장하는, 컴퓨터 프로그램 제품에 관한 것이다.
본 발명의 다른 및 추가의 측면, 특징 및 잇점은 개시 목적을 위해 주어진 발명의 본 바람직한 실시예의 다음 설명으로부터 명백해질 것이다.
명백해질 다른 것들뿐만 아니라, 발명의 위에 인용된 특징, 잇점 및 목적이 달성되고 상세히 이해될 수 있도록, 위에 간략히 요약된 발명의 더 특별한 설명 및 어떤 실시예는 첨부된 도면에 도시된다. 이들 도면은 명세서의 부분을 형성한다. 그러나, 첨부된 도면이 발명의 바람직한 실시예를 도시하고 따라서 이들의 범위에 제한으로서 간주되지 않아야 함에 유의해야 한다.
도 1은 범용 의료용 로봇식 플랫폼을 도시한 것이다.
도 2는 단일 포트 액세스(SPA) 수술의 밑그림이다.
도 3a-도 3b는 수술중 로봇 검출 및 추적 방법(도 3a)의 개요 및 로봇 모델(도 3b)의 발생을 위한 흐름도이다.
도 4a-도 4b는 MR 방법 및 US 방법(도 4a)을 도시한 것으로, 이들 방법들의 인터리브(축척대로는 아님)(도 4b)를 도시한다. (*)을 가진 방법은 수술자에 의해 시작된다. 표는 데이터 세트 수집당 추정 시간을 리스트한다.
도 5a-도 5l은 MR 기준 마커로 로봇을 추적하는 것을 도시한 것이다.
도 6a-도 6b는 2D-프로젝션당 170 ms(도 6a) 및 49 ms(도 6b)의 속도로 카테테르 MPI을 도시한 것이다.
도 7a-도 7e는 3개의 컴파트먼트 팬텀의 MR-호환 로봇과 내재적으로 공동-등록된 MRS(도 7d) 및 LIF(도 7e) 데이터의 수집과 함께 국소-지역 바이오-감지의 리뷰(도 7a), 이중 MR의 공간 스캐닝(도 7b) 및 광학 (LIF) 센서 (도 7c)을 도시한 국소-지역 바이오-감지을 도시한 것이다.
도 8은 로봇 & 스캐너 제어에 감지의 상호연결을 도시한다.
도 9a-도 9b는 심장내(도 9a) 및 심장외막 액세스(도 9b)를 위한 실시간, 상호 경사진 MRI 슬라이스로부터 4D 액세스 도관을 발생하는 전용 이미징 스레드의 출력을 도시한다.
도 10a-도 10c는 액세스 통로를 발생하기 위해 다수의 프로젝션 컬럼의 수집을 위한 MR 펄스 시퀀스를 도시한다.
도 10a는 공통 이미징 플레인을 공유하는 두 프로젝션 컬럼의 3D 선택을 도시한다. 도 10b는 각 컬럼의 개별적 선택을 도시한다. 도 10c는 더 빠른 데이터 수집을 위한 단일 반복을 통해 함께, 축선 G2을 따른 공통 평면과 함께, 두 컬럼의 선택을 도시한다.
도 11a-도 11b은 소프트웨어 모듈 MR 스캐너 제어(도 11a) 및 이의 동작예를 도시한다.
도 12a-도 12d는 LV 심장내막 (도 12a) 및 베셀(도 12b)의 조직 경계를 모니터하기 위해 다수의 프로젝션들로 조직의 동적 추적, 및 선택적으로, 프로젝션 신호(도 12d)의 형태를 단순화하기 위해 콘트라스트 작용제(도 12c) 또는 자화 준비를 사용하는 것을 도시한다.
도 13a-도 13b는 프로젝션을 위한 가용한 SNR 및 콘트라스트 차이 액세스를 도시한다. 도 13a는 프로젝션 라인(점선)과 신호 s가 통합된(실선 상자) 영역의 폭과 함께, 50 ms/image의 속도로 수집된 원래의 동적 MR 이미지를 도시한다. 도 13b는 LV 및 심근에 대응하는 두 개의 딥 좌/우과 함께 신호의 그래프를 도시한다.
도 14는 로봇식 수술 제어를 위한 방법의 흐름도이다.
도 15a-도 15b는 공통 슬랩에 기초하지 않는(도 15a) 및 기초하는(도 15b) 프로젝션 컬럼을 선택하기 위해 임의의 컬럼 및/또는 프로젝션 컬럼의 임의의 방위의 이용을 도시한다.
도 16a-도 16b는 Y-축선(도 16a) 상에 공통 슬라이스의 두 프로젝션 컬럼의 선택, 및 주 슬라이스(도 16b)에 대해 임의의 방위를 가진 3개의 프로젝션의 선택을 도시한다.
도 17a-도 17e는 유형 I 다중-프로젝션 펄스 시퀀스(도 17a) 및 이의 그레디언트 밸런싱(도 17b-17e)을 도시한다.
도 18a-도 18f는 유형 II 다중-프로젝션 펄스 시퀀스(도 18a) 및 이의 그레디언트 밸런싱(도 18b-18e) 및 단일 슬라이스 선택(도 18f)을 이용하는 대안적 유형 II 펄스 시퀀스를 도시한다.
도 19는 유형 III 다중-프로젝션 펄스 시퀀스를 도시한다.
도 20a-도 20d는 단일 펄스(도 20a-도 20b) 후에 2 이상의 프로젝션을 동시에 수집하고 2 이상의 프로젝션(도 20c-도 20d)을 독립적으로 동시에 수집하기 위한 유형 I 펄스 시퀀스를 도시한다. 도 20a 및 도 20c는 RF 펄스, 그레디언트 및 데이터 획득 파형의 특정한 구현을 도시하고, 도 20b 및 도 20d는 대응하는 k-공간 궤적의 커버리지를 도시한다.
도 21은 이중 프로젝션로부터 이미지 재구성을 위한 흐름도이다.
도 22a-도 22c는 다중-슬라이스 세트(도 22a)로부터 재구성된 관형 구조의 3D 이미징을 위한 볼륨-프로젝션 방법 및 이중 프로젝션(도 22b) 및 초고속의 3D 이미징(도 22c)을 통한 수술 로봇의 이미징을 도시한다.
도 23은 시간-공유 MR 프로토콜 및 "선착순" 재구성을 위한 타이밍도이다.
도 24a-도 24e는 요망되는 TI(도 24b)에 대한 태깅 펄스 각도의 타이밍도(도 24a) 및 의존성과 다수 펄스 시퀀스(도 24c-도 24e)를 이용하는 타이밍 이미징 프로토콜을 도시한다.
도 25는 MR-안내 및 로봇-이용 절차를 위한 계산 프레임워크를 도시한 통합 동작 환경(IOE) 구성을 도시한다.
본원에서 사용되는 바와 같이, 청구항 및/또는 명세서에서 "포함하다"라는 용와 함께 사용될 때, 단수표현은 "하나"를 지칭할 수 있으나, "하나 이상의", "적어도 하나", 및 "하나보다 하나 이상"의 의미와 일관되기도 한다. 발명의 일부 실시예는 하나 이상의 요소들, 방법의 단계들, 및/또는 발명의 방법들로 구성되거나 필수로 구성될 수 있다. 본원에 기술된 임의의 방법 또는 구성요소는 본원에 기술된 어떤 다른 방법 또는 구성요소에 관하여 구현될 수 있는 것으로 생각된다.
본원에서 사용되는 바와 같이, 청구항에서 "또는"이라는 용어는 발명이 대안들 및 "및/또는"만을 지칭하는 정의를 지지할지라도, 단지 대안들을 지칭하기 위해 분명히 나타내지 않거나 대안들이 상호 배타적이지 않는 한 "및/또는"을 지칭한다.
본원에서 사용되는 바와 같이, "약"이라는 용어는 예를 들면, 분명하게 나타내든 아니든 간에, 정수, 분수, 및 퍼센티지를 포함하여, 수치값을 지칭한다. "약"이라는 용어는 일반적으로 당업자가 인용된 값(예를 들면, 동일 함수 또는 결과를 갖는)으로 간주할 일 범위의 수치값(예를 들면, 인용된 값의 +/- 5-10%)을 지칭한다. 일부 경우에, "약"이라는 용어는 가장 가까운 유효숫자로 반올림되는 수치값을 포함할 수 있다.
본원에서 사용되는 바와 같이, "컴퓨터"라는 용어는 적어도 메모리, 프로세서 및 적어도 한 유선 및/또는 무선 네트워크 연결을 포함하는 하나 이상의 머신을 지칭한다. 컴퓨터는 이 기술에 현재 공지된 표준인 바와 같이, 데스크탑 또는 랩탑 머신 또는 이외 다른 전자 매체, 예를 들면, 스마트폰 또는 태블렛을 포함할 수 있다. 제한함이 없이, 로봇식 매니퓰레이터, 로봇식 센서, 등을 포함하여, 로봇 시스템의 -그러나 이것으로 제한되지 않는다- 구현을 위해 필요한, 임의의 소프트웨어, 모듈, 애플리케이션, 애드-온, 플러그-인, 프로그램 및/또는 데이터베이스, 등은, 하나 이상의 컴퓨터에 프로그램될 수 있고, 네트워크 연결을 통해 인출될 수 있고, 또는 이를 실체적으로 저장하는 매체 저장 장치로부터 인출될 수 있고, 또는 컴퓨터 메모리 또는 이외 다른 전자 매체 메모리에 실체적으로 저장될 수 있고, 프로세서에 의해 실행가능하다.
본원에서 사용되는 바와 같이, "로봇" 또는 "로봇식 매니퓰레이터"라는 용어는 예를 들면, 본원에 기술되는 바와 같이, 매니퓰레이터-이용 수술, 최소 침습 수술 및 개입 진찰 또는 치료, 또는 진찰 및 치료 절차의 조합, -그러나 이들로 제한되지 않는다- 을 수행하기 위한 원격으로 작동되는 매니퓰레이터를 상호교환적으로 지칭한다.
본원에서 사용되는 바와 같이, "환자"라는 용어는 수술 절차, 수술 또는 본원에 기술된 이미지-안내 로봇식 장치 및 시스템을 이용하는 최소 침습 절차의 대상인, 임의의 포유동물, 바람직하게는 사람을 지칭한다.
본 발명의 일 실시예에서, 수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 컴퓨터 시스템으로서, 메모리, 프로세서 및 적어도 한 네트워크 연결을 가진 적어도 한 컴퓨터에서, 이미징 모댈러티, 의료용 로봇 및 이들의 수술자를, 이들을 링크하는 복수의 인터페이스들을 통해, 수술중에 링크하게 구성된 복수의 모듈들을 포함하는, 컴퓨터 시스템이 제공된다.
이 실시예에서, 복수의 모듈들은 적어도, 수술 절차 동안 이미징 모댈러티를 제어하게 구성된 모듈; 로봇 또는 이에 공동-등록된 인터벤션 도구(interventional tool)를 추적하게 구성된 모듈; 관심 조직을 추적하게 구성된 모듈; 이미징 모댈러티로부터 그리고 로봇으로부터 획득된 데이터를 처리하게 구성된 모듈; 환자의 신체 외부 및 내부에 로봇의 안전하고 정확한 움직임을 위한 동적 경로들 또는 통로들을 발생하게 구성된 모듈; 획득된 데이터로부터 발생되는 로봇 및 절차 구역을 시각화하게 구성된 모듈; 및 사람-머신 인터페이스를 가능하게 하기 위해 포스-피드백 또는 촉각 장치를 이용하게 구성된 모듈을 포함할 수 있다. 이 실시예에 더하여, 컴퓨터 시스템은 복수의 멀티모드 센서들을 로봇 및 이미징 모댈러티에 코-레지스터하게 구성된 모듈을 포함할 수 있다.
두 실시예의 일 측면에서, 이미징 모댈러티 제어 모듈은, 수술 절차 동안, 프로세서-실행가능 명령들이 조직의 그리고 로봇의 상태에 관한 데이터를 처리하고; 이에 대한 변화들을 계산하고; 데이터 획득에 변화를 트리거하는 이벤트들을 확인하고; 이벤트에 대한 응답을 선택하고 이에 기초하여 이미지 획득 전략을 고안하고; 이미지 획득 전략을 이미징 모댈러티에 전송할 수 있게 한다. 이 측면에서, 트리거링 이벤트들은 변화들을 형태 값들의 범위 리스트와 알고리즘적으로 비교하는 명령들을 통해 확인될 수 있다.
또 다른 측면에서, 조직 추적 모듈은 프로세서-실행가능 명령들이 이미징 모댈러티로 이미징 시퀀스들을 선택하고, 조직 내에 콘트라스트 차이들을 발생하기 위해 파라미터들을 설정하고; 하나 이상의 신호 세기 또는 이미징 동안 얻어진 이미지 프로젝션들로부터 적어도 한 관찰가능한 관심 조직 경계를 발생하고; 수술 절차 동안 조직 경계의 움직임을 동적으로 모니터할 수 있게 한다. 이 측면에서, 조직 경계는 절차 구역 내 조직 주위에 경계 또는 의료용 로봇의 접근 경로에 근접한 조직 주위에 경계, 또는 둘 다를 포함할 수 있다. 이 측면에 더하여, 조직 추적 모듈은 더욱 프로세서-실행가능 명령들이 선택 명령에 앞서 또는 동안에, 외인성 콘트라스트 작용제가 조직에 주입할 수 있게 한다.
또 다른 측면에서, 로봇 추적 모듈은 프로세서-실행가능 명령들이 로봇에 근접하여 배치되고 이미징 모댈러티에 결합된 복수의 마커들 중 하나 이상을 검출하고; 로봇의 위치를 판정하기 위해 이미징 모댈러티의 좌표계에 대한 마커들의 좌표들을 추출할 수 있게 한다.
또 다른 측면에서, 시각화 모듈은 프로세서-실행가능 명령들이 로봇에 대한 각 국소화 단계에 대해 단일의 마커 위치만을 검출할 수 있게 한다.
모든 실시예 및 이들의 측면들에서, 복수의 인터페이스들 중 하나는 의료용 로봇 및 이미징 모댈러티의 수술자에 의해 수동으로 제어할 수 있게 한다. 또한, 복수의 모듈들은 수시로 동작할 수 있다. 또한, 이미징 모댈러티는 자기 공명 이미징 또는 스펙트로스코피 또는 이들의 조합, 초음파 이미징, X-선 계산 토모그래피, X-선 매모그래피, 광학 이미징, 또는 비디오이다.
본 발명의 또 다른 실시예에서, 수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 컴퓨터-구현 방법으로서, 앞에 기술된 컴퓨터 시스템에서 수술중에: 조직의 그리고 의료용 로봇의 현재 상태를 얻기 위해 데이터를 처리하는 단계; 절차 구역 또는 로봇의 접근 경로에 근접한 영역 또는 둘 다를 포함하는 적어도 한 조직 경계를 발생하는 단계; 절차 구역에 대해 조직 경계의 움직임을 동적으로 모니터하는 단계; 및 로봇에 근접하여 배치되고 이미징 모댈러티에 결합된 복수의 마커들의 개별적 가시화에 기초하여 절차 구역에 관련하여 로봇 또는 이를 포함하는 인터벤션 도구(interventional tool)의 위치를 추적하는 단계를 포함하는, 컴퓨터-구현 방법이 제공된다.
이 실시예에 더하여, 방법은 시스템의 수술자를 위해 절차 구역 및 로봇의 시각화를 이들이 모니터되고 추적될 때 생성하는 단계를 포함할 수 있다. 이 추가의 실시예에서, 시각화는 시각적 이미지, 모델, 가상 현실 장면, 향상된 현실 장면 또는 중첩 또는 이들의 조합을 포함할 수 있다. 또 다른 추가의 실시예에서, 방법은 로봇에 그리고 이미징 모댈러티의 좌표계에 공동-등록된 복수의 멀티모드 센서들 중 하나 이상으로부터 절차 구역의 뷰를 발생하는 단계를 포함할 수 있다.
이들 실시예의 한 측면에서, 처리 단계는 조직 및 로봇의 상태에 대한 변화들을 계산하는 단계; 데이터 획득에서 변화를 트리거하는 이벤트들을 확인하는 단계; 변화를 형태 값들의 범위 리스트와 알고리즘적으로 비교하는 단계; 값들의 비교에 기초하여 이벤트에 대한 응답을 선택하는 단계; 및 이미징 모댈러티에 전송되는 응답에 기초하여 이미지 획득 전략을 고안하는 단계를 포함할 수 있다. 이 측면에서, 방법은 조직 경계를 발생하기에 앞서 또는 동안에 조직에 외인성 콘트라스트 작용제를 주입하는 단계를 더 포함할 수 있다.
또 다른 측면에서, 추적 단계는 이미징 모댈러티의 좌표계에 대한 로봇 또는 인터벤션 도구(interventional tool) 상에 마커들의 좌표들을 추출하여 이들의 위치를 국소화 단계 동안 검출하는 단계를 포함하고; 로봇 추적 동안엔 국소화 단계를 위해 단일의 마커 위치만이 검출될 수 있다. 이 측면에서, 국소화 단계를 위해 단일의 마커 위치만이 검출될 수 있다.
본 발명의 또 다른 실시예에서, 실행되었을 때, 위에 기술된 컴퓨터 구현 방법을 가능하게 하는 계산 시스템에서 작동들을 수행하는 컴퓨터-실행가능 명령들을 저장하는, 비일시적 컴퓨터-판독가능 데이터 저장 매체가 제공된다. 관계된 실시예에서, 비일시적 컴퓨터 판독가능 매체에 실체적으로 실시된, 컴퓨터 프로그램 제품이 제공된다.
본 발명의 또 다른 실시예에서, 자기 공명 이미지-안내 및 로봇-이용 수술 시스템으로서, 적어도 한 컴퓨터 프로세서; 적어도 한 컴퓨터 메모리; 시스템 등록가능 로봇 또는 이를 포함하는 인터벤션 도구(interventional tool)들을 포함하는 하나 이상의 로봇식 구조들; 로봇에 레지스터된 자기 공명 스캐너; 컴퓨터 프로세서 및 메모리로 수시로 동작을 위해 구성된 것으로, 프로세서-실행가능 명령들이, 로봇 및 환자 내 관심 조직에 관한 모든 MR-발생된 데이터를 기술하고; 절차 구역 내 조직 경계를 확립하고; MR 스캐너를 통해 또는 로봇을 포함하고 환자의 신체 내부 또는 외부에 배치된 하나 이상의 멀티모드 센서를 통해 조직 경계의 움직임을 동적으로 모니터하고; 절차 구역에 관련하여 로봇의 위치를 추적하고; 발생된 데이터를 시스템의 수술자에게 전송하고; 로봇 제어 및 발생된 데이터로부터 추적을 위한 명령을 발생하고; 수술자를 위해 수술 절차 동안 절차 구역 및 로봇의 뷰를 발생하고; 로봇, 스캐너, 모듈들 및 수술자 간에 복수의 인터페이스들을 확립할 수 있게 하는, 복수의 모듈들을 포함하는, 시스템이 제공된다.
이 실시예에 더하여, 복수의 모듈들은 프로세서-실행가능 명령들이 멀티모드 센서들을 통해 획득된 데이터로부터 절차 구역의 4D 뷰를 발생하고 시각화할 수 있게 구성될 수 있다. 이 추가의 실시예에서, 멀티모드 센서들은 자기 공명 스캐너를 포함하는 좌표계에 코-레지스터될 수 있다. 또 다른 추가의 실시예에서, 복수의 모듈들은 프로세서-실행가능 명령들이 조직-대-조직 또는 조직-대-로봇 경계들을 모니터하기 위한 적어도 한 신호 세기 프로젝션을 발생할 수 있게 더욱 구성될 수 있다. 또한, 복수의 모듈들은 환자의 신체를 포함하는 자연적 관형 구조들 및 로봇 또는 인터벤션 도구(interventional tool)들을 포함하는 인공적 관형 구조들을 이미지화하게 더욱 구성될 수 있다. 이 추가의 실시예에서, 자연적 및 인공적 관형 구조들을 이미지화하기 위한 명령들은 콘트라스트 작용제를 구조에 주입 또는 로드하고; 콘트라스트 작용제를 가진 구조를 내포하는 3D 볼륨의 적어도 한 2D 프로젝션을 획득하고; 2D 프로젝션들로부터 3D 이미지를 발생하게 동작한다. 특히, 적어도 2개의 2D 프로젝션들이 획득되었을 때, 프로젝션들은 서로에 대해 임의의 각도에 있을 수 있다. 또한, 2D 프로젝션을 획득하기 위해 사용되는 라디오 주파수 펄스들 및 자기장 그레디언트 펄스들의 선택된 순서는 비-콘트라스트된 구조들부터의 신호를 적어도 감소시킨다. 모든 이들 실시예에서, 복수의 인터페이스들 중 적어도 하나는 로봇 및 MR 스캐너의 수술자에 의해 수동 제어할 수 있게 한다.
이 실시예의 한 측면에서, 모든 MR-발생된 데이터를 기술하기 위한 명령들은 조직의 그리고 로봇의 상태에 관한 데이터를 처리하고; 이에 대한 변화들을 계산하고; 변화들을 형태 값들의 범위 리스트와 비교하는 명령들을 통해, 데이터 획득에 변화를 트리거하는 이벤트들을, 알고리즘적으로, 확인하고; 이벤트에 대한 응답을 선택하고 이에 기초하여 MR 이미지 획득 전략을 고안하고; MR 이미지 획득 전략을 MR 스캐너에 전송하게 동작할 수 있다.
또 다른 측면에서, 조직 경계를 확립하기 위한 명령들은 선택적으로, 요구된다면, 외인성 콘트라스트 작용제를 조직에 주입하고; MR 이미징 시퀀스들을 선택하고, 조직 내에 콘트라스트 차이들을 발생하게 파라미터들을 설정하고; 자기 공명 이미징 동안 얻어진 하나 이상의 이미지 프로젝션들로부터 조직 경계를 발생하게 동작할 수 있다.
또 다른 측면에서, 로봇의 위치를 추적하기 위한 명령들은 절차 구역에 관련하여 로봇의 위치를 이에 근접하여 배치되고 MR 스캐너의 좌표계에 공동-등록된 복수의 마커들의 온/오프 상태에 기초하여 추적하고; 로봇 움직임을 구속하기 위해 움직임 필터링을 적용하게 동작할 수 있다. 이 측면에서, 로봇의 위치를 추적하기 위한 명령들은 MR 스캐너의 좌표계에 대한 복수의 마커들의 좌표들을 이들의 위치들을 검출하기 위해 추출하게 동작하고; 로봇 추적 동안 국소화 단계를 위해 단일의 마커 위치만이 검출된다.
또 다른 측면에서, 적어도 한 신호 세기를 발생하기 위한 명령들은 라디오 주파수 펄싱을 통해 프로젝션의 선택된 방향을 따라 적어도 3D 컬럼 내 구속된 조직을 여기하고; 자기장 그레디언트를 조작하고; MR 스캐너로부터 생 데이터를 획득하고; 생 데이터로부터 신호 세기의 1D 프로젝션을 발생하게 동작할 수 있다. 이 측면에서, 하나 이상의 3D 컬럼이 평면을 포함한다면, 모듈은 명령들이 복수의 라디오 주파수 펄스를 보내고 그럼으로써 획득률을 증가시킬 수 있게 한다.
또 다른 측면에서, 로봇 제어를 위한 명령들은 MR 이미지-안내 하에 2D 프로젝션들의 획득을 위해 로봇의 수동 수술자 및 자동화된 제어를 할 수 있게 동작할 수 있다. 이 측면에서, 로봇 제어를 위한 명령들은 특히, 수동적인 수술자 제어를 통해서: 적어도 한 평면, 적어도 한 프로젝션 축선을 선택하고 프로젝션 전체에서; 부수적으로, 3D 프로젝션 컬럼들을 선택하고 이를 그룹화하게 동작하고; 자동 제어를 통해서: 펄스 그레디언트 및 그레디언트 강도를 포함하는 자기 공명 획득 파라미터들을 계산하고; 순차적으로, 획득 파라미터들을 업데이트하고; 프로젝션들을 동적으로 획득하고, 분석하며; 동적 조직 모델을 발생하고; 동적 통로 및 궤적를 계산하고 이에 의해 로봇을 제어하고; 촉각 장치의 동적 렌더링을 계산하고; 이로부터 이미지 안내의 증강현실을 생성하게 동작한다.
본 발명의 또 다른 실시예에서, 앞에 기술된 복수의 모듈들을 포함하는 컴퓨터-실행가능 명령들을 저장하는, 비일시적 컴퓨터-판독가능 데이터 저장 매체가 제공된다. 관계된 실시예에서, 비일시적 컴퓨터 판독가능 매체에 실체적으로 구현된, 컴퓨터 프로그램 제품이 제공된다.
본원에서는 도구 자체를 추적하기 위해 수술 도구 상에 위치될 수 있는 다수의 MR에 보이는 마커들로 수술 도구의 실시간 추적이 제공된다. 또한, 진찰 실시 및 수술 절차 둘 다에서 사용을 위해 조직의 움직임을 모니터하기 위해서, 특별화된 MRI 데이터 수집 프로토콜, 즉 펄스 시퀀스로 다수의 프로젝션을 수집하는 방법으로, 조직의 실시간 추적이 제공된다. 방법은 이론적으로 매 3-4 ms마다 프로젝션들을 수집할 수 있게 하여 다수의 사이트들의 움직임을 모니터할 수 있게 한다.
또한, 수술 로봇의 자동화된 안내 및 조정을 위한, 그리고 힘 센서 대신에 MR 데이터를 사용하는 특별화된 촉각 센서를 통해 로봇의 수동 조정을 지휘하기 위한 관계된 방법이 제공된다. 로봇-장착 국소-지역 바이오-감지는 본원에 기술되는 바와 같이 광학 및 초음파 방법들의 조합을 사용한다. 구부릴 수 있는 수술 도구의 초고속의 3D/볼륨 MRI 이미징을 할 수 있다.
또한, 본원에 기술된 방법 및 절차를 가능하게 하는 소프트웨어, 예를 들면, MR 데이터의 수집의 제어하고, 앞에 기술된 방법으로부터 수집된 생 데이터의 발생하고, 수술을 시각화하고 안내하기 위해, 실제-데이터에 기초하여 모델링없이 현실적 가상 환경의 발생을 위한, 소프트웨어가 제공된다. 또한, 로봇의 자주적 또는 반-자주적 제어를 위해 유용한 이미지 모댈러티-추출 정보를 처리하고 이용하며, 촉각 또는 포스-피드백 장치를 통해 일반적으로 수술자에게 "전문가-유사" 조언에 의해 로봇 수술자를 및 수술 영역에 인터페이스하기 위한 소프트웨어가 제공된다.
이에 따라, 본 발명은 범용 다기능 의료용 로봇식 플랫폼 및 소프트웨어 시스템을 제공한다. 시스템은 생 데이터를 수집, 융합 및 제시하기 위한 방법이 서로 상이한 현재 및 최근에 나오는 의료 모댈러티들을 위해 재구성할 수 있게 모댈러티-독립적인 강건한 플랫폼을 포함한다. 시스템은 실제 및 실시간 데이터를 이용하며, 환경에 관한 파라미터적 및/또는 앱스트랙트된 상정을 최소화하고, 그럼으로써 인-사이튜(in-situ) 실시간 이미징 안내를 할 수 있게 한다. 멀티모드 감지는 로봇 상에 이미징 센서들을 탑재하고 내재적으로 공동-등록된 멀티모드 시공간적 데이터를 발생하기 위해 로봇 작동을 사용함으로써 구현된다.
더 구체적으로, 시스템은 크로스-모댈러티 데이터 해석 및 이벤트-기반의 특징화를 위한 방법들을 통해 생 이미지를 의사 결정으로 전환하는 MRI 데이터 수집 전략을 이용한다. 시스템은 고 정보 내용 수술전 데이터로부터 저 정보 내용 수술중 동적 데이터의 향상을 제공하고, 그럼으로써 절차를 계획하고 안내하기 위해 필요한 모든 정보를 수집할 수 있게 한다. 이에 따라, 시스템은 물리적 또는 환경적 인자들을 분명하게 표현하고 고려하는 이미지-기반의 정보를 발생하고 통합하는 계산 코어를 포함한다. 또한, 멀티모드 데이터를 렌더링하고, 환경의 종합적인 파악을 제공하고, 사람 수술자를 위해 최소 노력 및 산만으로 사람- 또는 맨인루프 제어를 달성하는 인터페이스가 제공된다.
바람직한 실시예에서, 일반적인 의료 용도를 위한 로봇식 플랫폼이 제공된다. 플랫폼은 절차 구역의 액세스에 순응하는 범용의 구부릴 수 있는 로봇식 매니퓰레이터를 포함한다. 매니퓰레이터는 모듈형이고 재구성할 수 있고, 광범위한 동작 및 응용 시나리오에 적용할 수 있어야 하고, 다른 시스템이 구축될 수 있는 기본 프레임워크를 위한 토대를 형성할 수 있다.
또한, 의료 플랫폼은 실시간, 멀티모드 이미징으로부터 동적으로 추출되는 정보에 기초하는 로봇 제어 방법을 포함한다. 데이터는, 로봇 엔드-이펙터에 있고 동적으로 변하는 환경 내에서 안전하고 정확하게 조정하기 위해 자신의 몸체 상에 분포된 센서 어레이에 의해 수집된다. 이것은 런-타임 모델링, 상정, 및 계산 레이어를 최소화하면서도, 수술자에 의해 AoP의 직접적이고 직관적으로 살펴볼 수 있게 한다.
의료 플랫폼은 절차를 안내하고 이의 결과를 평가할 수 있는 병리생리학적 시그내처를 평가하기 위해 센서-수트로서 로봇을 사용하는 수술중, 로봇-이용, 온-라인 진찰 도구를 포함한다. MRI 및 US와 같은 통상적 이미징을 넘어, 센서들은 조직의 분사 특징들을 인-사이튜로 조사하게 구성된다. 로봇은 미세한 제어를 위한 시공간적, 멀티모드 코-레지스터 및 사람 수술자와의 인터페이스를 위한 융합을 용이하게 하도록 구성된 스마트-센서 플랫폼을 포함한다.
이하 기술되는 바와 같이, 발명은 다수의 잇점 및 용도를 제공하며, 그러나 이러한 잇점 및 용도는 이러한 설명에 의해 제한되지 않는다. 본 발명의 실시예는 도면들을 참조하여 더 잘 예시되는데, 그러나 이러한 참조는 어떤 방식으로든 본 발명을 제한하려는 것이 아니다. 본원에 상세히 기술되는 실시예 및 변형예는 첨부된 청구항 및 이들의 등가물에 의해 해석되어야 한다.
도 1은 로봇 제어를 위해 전역 레벨에서 그리고 분자 레벨에서 감지를 위해, 로봇-탑재 센서들, 예를 들면, MR, US, 또는 광학 센서로 지역적 레벨에서, 예를 들면, MRI로, 멀티모드 감지가 행해짐을 도시한 것이다. 모든 모댈러티들은 내재적으로 MR 스캐너의 좌표계에 코-레지스터되어 로봇 제어, 멀티모드 데이터 융합 및 시각적/FFI을 단순화한다. 표1은 수술중 전역적 추적 및 국소 조직 병상을 나타낸다.
전역 방법 속도(ms)
추적 점 기준 RF 코일 5-7/마커
추적 로봇 샤프트 2D 두꺼운 슬랩 MPI 50-80/프로젝션
조직 이미징 협력적 ≥50/슬라이스
추적 조직 밴드 1D 프로젝션 5-10/프로젝션
국소
MR 스펙트로스코피 엔드-이펙터 장착 RF 코일
US & 작용제 활성화 엔드-이펙터 장착 US 프로브
광학 스펙트로스코피 엔드-이펙터 장착 광학 LIF 프로브
또 다른 바람직한 실시예에서, 수술중 실시간 이미징으로 로봇 제어 및 절차 안내를 위한 방법이 제공된다. 비제한적 예에서, MRI는 로봇을 추적하고 AoP을 보기 위해 이용된다. MRI는 아나토미 및 기능을 평가하기 위한 많은 소프트-조직 콘트라스트 메커니즘을 제공한다. MRI은 시각화 및 추적 도구 및 로봇식 매니퓰레이터를 이용할 수 있게 한다. MRI는 트루 3D 또는 다중-슬라이스 이미징이며 로봇식 제어 코어로부터 이미징 플레인(들)의 방위를 포함하여, 획득 파라미터를 수시로 조절할 수 있게 한다. MRI는 초음파에 비해 수술자-독립적인 수행을 갖는다. MRI는 X-선과 비교했을 때 전리 방사선 없이 동작한다. 특히, MRI는 로봇이 MR 스캐너의 내재하는 좌표계에 레지스터될 수 있는 점에서 고유의 특징을 나타낸다.
본원에서 제공되는 바와 같이, 수술중 실시간 이미징은 두 방향으로 확대된다. 첫 번째로, 사전 데이터에 기초한 추정, 모델 또는 상정이 최소화된다. 두 번째로, 수술자와 환자 사이에 계산 레이어가 최소화된다. 이것은 로봇 기술에서 의료 수술자의 신뢰를 증가시키며 대상을 상하게 할 수 있는 오기능의 잠재적 영역을 최소화한다.
이 바람직한 실시예의 일 측면에서, IGRA 절차를 위한 수술중 홀로노믹 모델링이 제공된다. 이 측면에서 두 상호보완적 MR 방법들이 통합된다. 첫 번째는 다수의 두꺼운-슬랩 프로젝션들로부터 이미지 재구성을 이용하는 로봇의 3D 이미징이다. 두 번째 방법은 200 Hz/마커로 환자 내부에서 연속적인 추적을 위해 로봇 상에 MR 기준 마커를 이용한다. 관계된 측면에서, 획득 속도 및 정보 내용을 최적화하기 위해 각 측정이 수행되는 시각을 제어하게 구성된 알고리즘이 제공된다.
또 다른 측면에서, 분자 및 거시적 레벨의 이미징을 안내와 결부시켜 그럼으로써 수술자에게 수시로 AoP에 조직의 병상을 평가하기 위한 수단을 제공하는 로봇-용이 감지가 제공된다. 고-특수성 센서의 시공간적 스캐닝을 수행하고 조작하기 위한 엔드-이펙터를 사용함으로써, AoP의 국소-지역 감지가 가능해진다. 예를 들면, 엔드-이펙터는 LIF을 위한 광학 센서 및/또는 국소 MRS을 위한 MR RF 코일을 탑재할 수 있다. 이것은 계산적으로 고가인 사후-처리와는 달리, 데이터 수집의 레벨에서 AoP를 인-사이튜(in-situ) 프로브하고 내재하는 코-레지스터를 위해 조직(MRI) 및 분자(LIF 및 MRS) 레벨 모댈러티들을 기계적으로 결합할 수 있게 한다. 이들 측면들은 고-특수성 생체감지를 AoP에 가져간다.
또 다른 바람직한 실시예에서, 이미지-안내 NOTES의 이미지-안내 자연 개구부 트랜스루미날 내시경적 수술(NOTES) 또는 이외 다른 단일 포트 액세스(SPA) 수술과 같은 -그러나 이들로 제한되지 않는다- 내시경적 절차의 현재 버전 및 미래 버전에 사용하게 구성된 로봇식 플랫폼 및 일반화된 수술중 이미지-기반의 제어를 포함하는 프레임워크가 제공된다. 프레임워크는 4D 안내 도관을 통해 노드들에 의해 전개되는 로봇식 구조 또는 다관절 구조를 포함한다. 노드는 MR 기준 마커를 탑재하며 이들의 위치들은 4D 안내 도관에 의해 부과되는 구속에 응하여 조절된다. 안내 도관은 이들을 둘러싸는 조직의 과도 조건에 적응하게 변화하는 4D 가상 구조이다. 예를 들면, 도 2에 도시된 바와 같이, SPA 절차는 관형의 조절가능한 장치를 시공간적으로 튜브와 유사한 가상의 실체인 도관을 통해 초기 위치 EN, 즉, 경피 포트 또는 자연 개구부에서 목표 TT까지 조정하는 작업이 주어질 수 있다.
바람직한 실시예에서, 사람-정보/머신 인터페이스(HIMI)가 제공된다. HIMI는 수술자를 정보, 즉, 절차-관련 정보까지 계층적으로 성숙된 데이터에 몰두시켜 이미지 기반의, 맨인루프 제어를 용이하게 하는 이중 시각적(VI) 및 포스-피드백 인터페이스(FFI)이다. 수술자에게 HIMI는 이를 사용하기 위한 산만 또는 추가의 작업량 없이 고속 학습 곡선 및 직관을 제공한다.
또 다른 바람직한 실시예에서, 멀티모드 수술중 감지를 위한 방법이 제공된다. 이것은 상호보완적 시공간적 정보의 수집을 위해 MR 방법을 통합할 수 있게 하는데, 이것은 조합되었을 때, AoP의 4D 뷰를 제공한다. 이 뷰는 자주적인 또는 사람-안내 로봇 제어에 의해 사용된다. 이 접근은 의료용 로봇식 도구가 단순히 애플리케이터로서가 아니라 다중-도구로서 기능할 수 있게 하는 것으로 생각된다. 이들 방법은 데이터-획득 단계에서 내재적으로 공동-등록된, 멀티모드 데이터를 발생한다. 레지스터는 공통 MR 좌표계에 대한 것일 수 있어 멀티모드 코-레지스터를 수월하게 해결하여, 임의의 불필요한 복잡성 및 상정을 제거할 것이다. 도 3a는 수술중 검출 및 MRI 절대 좌표계에서 로봇을 추적하기 위한 방법의 개요를 제공하며, 도 3b는 도 3a에 도시된 로봇의 발생을 도시한 흐름도이다. 로봇은 복수의 소형 RF 코일을 포함하고 MR 가돌리늄(Gd)-콘트라스트 작용제 채널을 가진 만곡형 로봇이다. 로봇의 2D XY-, YZ,- 및 ZX 프로젝션들은 좌표계의 MR 평면들에 묘사된다.
또한, 도 4a에 도시된 바와 같이, 수술중 MR 및 로봇-장착 US(RM-US) 이미지들을 동시에 수집하는 다중-모댈러티 기반 로봇 제어 및 HIMI. 다중-모댈러티 데이터는 수술자 시각-촉각 인터페이싱뿐만 아니라, 로봇 제어를 위한 액세스 통로 및 안내 궤적 형태로, AoP의 동적 가상 모델, 즉 4D 시공간적 정보의 수시로 발생 및 업데이트를 위해 사용된다. 상호보완적 시공간적 정보를 획득하기 위해 수술중 MR 및 US의 잇점들을 조합으로써, 제안된 접근법은 가능한 한 실세계에 가까운 AoP의 동적 모델을 생성하는 방법을 전개할 것이다. 도 4b에 도시된 바와 같이, 수술중 MRI는 움직이는 심장내막을 추적, 로봇의 엔도-환자 부분의 3D 이미징, 및 로봇 상에 기준 마커를 추적하는 인터리브 MR 방법을 포함한다. 수술중 RM-US는 안내를 위해 로봇의 엔드-이펙터 앞쪽에 실시간 이미지를 발생하기 위해 MRI과 동시에 수행될 것이다. 또한, 수술자-트리거되는 표준 MR 또는 US 프로토콜들은 절차의 수행을 평가하기 위해 본원에서 제공되는 방법과 인터리브될 수 있다.
또 다른 실시예에 따라, 그리고 도 5a에 관련하여, 환자 외부에 있고 절차를 이미지화하기 위해 사용되는 RF 코일에 유도적으로 결합되는 복수의 라디오 주파수(RF) 마이크로-코일들을 사용하여 MRI로 로봇 또는 인터벤션 도구(interventional tool)를 추적하기 위한 방법이 기술된다. 바람직한 실시예에 따라, 그리고 도 5a에 관하여, 복수의 MR 기준 마커(501)는 컴퓨터로 제어된 가시화를 갖는데, 즉 이들 중 임의의 하나 또는 이들의 임의의 조합은 로봇 또는 도구의 전체 또는 부분들 또는 지점들을 시각화하고 추적하기 위한 특별한 필요성에 따라, 턴 온 될 수 있는데, 즉 MRI에 보여질 수 있고, 또는 턴 오프될 수 있는데, 즉, MRI에 보여질 수 없다. MR을 하나 또는 제한된 수의 마커가 선택적으로 보여질 수 있게 하는 본질은 MR 스캐너의 좌표계에 관하여 마커의 좌표를 추출하기 위한 MR 데이터 수집 및 처리가 모든 마커가 활성일 때와 비교했을 때 실질적으로 더 빠르다는 것이다.
MR 스캐너의 좌표계에 관하여 이들 코일의 위치를 측정하는 것은 1) Dumoulin (1) 및 기타 (2-4)에 의해 확립된 바와 같이 스캐너의 3개의 축선을 따라 프로젝션을 수집하거나, 2) 고속 MR 이미지들을 수집함으로써 수행될 수 있다. 이외 어떤 다른 신호원이 없을 때, 단일의 코일은 1.1-mm 코일(5-7)로 국소화가 Z-축선 상에 있는 MR 스캐너의 대응하는 축선 상에 코일의 위치에서 각 프로젝션을 따라 피크를 나타낼 것이다. 로봇 또는 도구를 추적하기 위해서, 다수의 마이크로-코일들은 도구 또는 로봇 상에 다수의 점들을 추적하기 위해 필요하다. 그러나, 다수의 패시브 마커들이 동시에 사용될 때, 어느 피크가 어느 마커에 대응하는 것인지를 확인하기가 쉽지 않다. 마커들을 분명하게 구별하기 위해서, 그리고 상당수의 획득 및/또는 사후-처리(4)를 피하기 위해서, 컴퓨터로 제어되는 선택적 시각화는 각 국소화 단계에 대해 하나의 마커만이 튜닝될 수 있게 한다. 나머지는 광섬유를 통해 광을 수신하는 포토레지스터 또는 포토다이오드에 의해 디튜닝된다. 채용된 유도적으로 결합된 코일은 스캐너 RF 코일에 의해 전송된 저 여기 펄스들로 동작하고 따라서 주위 조직은 최소로 여기되어 원하지 않는 배경 신호를 감소시키는 것에 유의한다.
이러한 마커 중 하나를 보인 도 5b에 관하여, 이들 마커의 선택적 가시화는 RF 코일(520)의 튜닝 회로를 광학적으로 디튜닝함으로써 우선적으로 구현된다. 각 이러한 마커는 1) 도 8에 솔레노이드, 구체와 같은 -그러나 이들로 제한되지 않는다- 적합한 형상으로 적합한 와이어를 권회함으로써 만들어지는 RF 코일(520), 2) H(프로톤) 신호원과 같은 MR 신호원 물질을 내포하는 예를 들면 바이알 또는 이외 다른 용기, -그러나 이들로 제한되지 않는다- 둘에어 코일(520)이 권취되는 MR 신호의 소스(521), 3) RF 코일(520)의 공진 주파수를 MR 스캐너의 동작 주파수에 튜닝하기 위해, 적합한 캐패시턴스 C(522), 및 포토레지스터 또는 포토다이오드(523)를 가진 튜닝 회로, 및 4) 원단이 광원(503)으로부터 광을 포토레지스터 또는 포토다이오드(523)에 전달하게 하는 방위로 적합하게 놓여진 광섬유(524)를 포함한다. 마커 어셈플리는 광을 포토레지스터 또는 포토다이오드 상에 더 잘 집점하기 위한 렌즈(526), 및 포토레지스터 또는 포토다이오드에 도달하여 활성화하기 위해 원하지 않는 광, 예를 들면 주변광을 제거하는 적합한 커버리지(627)를 더 요구할 수도 있다.
또한, 이 실시예에 따라, 그리고 도 5a에 관하여, 복수의 마커(501) 각각은 복수의 광섬유(502)에 연결되고 이들 각각은 전자 기술에 전문가에게 표준인 파워 서플라이 및 제어 회로의 부분인 발광 다이오드(LED)와 같은 -그러나 이것으로 제한되지 않는다- 복수의 광원(503) 중 하나에 연결된다. 시스템은 1) 임의의 요망되는 순서 및 기간으로, MR을 마커들의 임의의 수 또는 조합을 보이게 그리고 보이지 않게 하는 특별한 패턴을 설정하는 외부에 지령 또는 신호(509)을 수신하는 기능, 2) 순서대로 적합한 제어 또는 회로 출력(506)을 통해 복수의 광원(503) 각각의 MR 가시화를 제어하는 기능, 이것은 예를 들면, 다음으로 제한되지 않지만, 한 특별한 LED에 공급되는 전압을 하이 및 로우로 터닝하여 행해질 수 있다), 3) 수술자에 의해 선택된다면, MR 데이터 수집 세션을 개시하기 위해서 TTL 펄스와 같은 트리거 펄스를 MR 스캐너에 보내는 기능, 4) 수술자에 의해 선택된다면, 유닛이 다음 사이클로 진행하도록 MR 데이터 수집 세션의 종료를 시그널링하는 트리거 펄스, 예컨대 TTL 펄스를 MR 스캐너로부터 수신하는 기능을 갖는 전자 유닛 또는 마이크로-제어기 또는 임의의 일반적인 내장된 시스템(505)을 더 포함한다.
이 실시예의 또 다른 측면에 따라, 그리고 도 5c-도 5h에 관련하여, 복수의 마커는 서로 상이한 작동된 부분들의 움직임을 추적 및 시각화하기 위해 로봇 또는 도구의 구조 상에 적합하게 분포된다. 예로서, 그리고 도 5c에 관련하여, 다관절 로봇 또는 도구에 있어서, 각각의 회전 또는 각기둥 조인트에 대해 조인트의 각 측 상에, 또는 조인트 링크 각각 상에 하나씩 2개의 이러한 마커가 필요하다. 도 5c에 도시된 예에서, 3개의 링크(525a-525c), 서로에 직교하는 2개의 회전 조인트(526a-526b), 및 인터벤션 도구(interventional tool)를 탑재하는 한 각기둥 조인트(527)로 구성된 작동된 다관절 매니퓰레이터에 있어서는 4개의 마커(528a-528d)가 놓여진다. 도 5c 및 도 5d에 관련하여, 조인트(526a)가 작동될 때, 이 조인트 둘레에 모남(angulation)을 모니터하고 점선(529a, 529b) 사이에 각도를 계산하기 위해 마커(528a, 528b)만이 시각화될 필요가 있다. 도 5e 및 도 5f에 관하여, 조인트(526b)가 작동될 때, 이 회전을 모니터하고 점선(530a, 530b) 사이에 각도를 계산하기 위해서 두 마커(528b, 528c)만이 필요하다. 유사하게, 도구가 각기둥 조인트(527)를 사용하여 확장될 때, 두 조인트(528d, 528c)만이 필요하다. 이 예는 마커의 적합한 배치 및 선택으로 제한된 수만이 사용될 필요가 있고 이에 따라 획득 가속화하고 이에 따라 로봇 또는 도구의 작동된 부분을 추적하는 속도를 가속화하기 때문에 이 실시예의 가치를 더욱 강조한다.
도 5h에 관련하여 또 다른 예는 제한된 수의 마커(529a-529d)로 추적될 수 있고 예로서 마커의 점들을 스플라인 기능으로 피팅(fit)함으로써 도구의 형상이 재구성될 수 있는 마커 자리에 위치가 알려진 스네이크-유사 로봇과 같은, 만곡형 도구이다. 이 경우에, 마커 각각은 순차적으로 시각화되고, 만곡형 도구의 부분만이 작동된다면, 도구의 이 부분 상에 마커들만이 추적될 필요가 있어 추적을 더욱 가속화한다.
이 실시예의 또 다른 바람직한 측면은 제한된 수의 복수의 마커만이 유닛(505)의 제어를 통해 MR이 선택적으로 가시화되고, 이들 마커는 예로서, 에컨대, 도 5c-도 5g의 시퀀스로 보인 바와 같이, 로봇 또는 도구의 부분만이 작동될 때, -그러나 이것으로 제한되지 않는다- 로봇 또는 도구의 특정 부분만을 추적하게 선택된다는 것이다. 그러므로, 로봇 제어를 시행하는 마이크로제어기 유닛(505)은 다음 측면 및 프로세스을 수반하는, 예로서, 도 5i)에 도시된 구조를 가질 수 있는 적합한 코드를 시행한다: 1) 로봇 움직임 단계, 즉 J에 있어서, 로봇 자세(532)(즉 이의 조인트 및 링크의, MR 스캐너에 대한 좌표)와, 순방향 키네마틱스(533), 즉 지령이 실행된 후에, MR 스캐너에 대한 조인트 및 링크의 좌표가, 입력으로서 사용된다. 2) 이들 정보를 분석하고 로봇 또는 도구의 작동된 부분을 시각화하기 위해 어느 마커가 추적될 필요가 있는지를 선택하는 처리 단계(534), 3) 광원(503)에 대한 제어 신호(506) 및 MR 스캐너에 대한 제어 신호(507)를 결정하는 처리 단계(535).
처리 단계(535)는 처리(534)에 의해 선택되었던 마크를 통해 루프로 추적하고, 대응하는 RF 코일을 튜닝/디튜닝하기 위해서 밑에 기술된 코드 구조를 가질 수 있다.
Define Function COIL(J, K)
J = 1 to Maximum # of coils
K = 0 detuned
K = 1 tuned
Each coil has a flag CF(k): CF(k) = 1 if selected
One flag for SENT TTL
One flag for RECEIVE TTL
After pressing PREPARE
Calculate NCOILS =- sum{CF(k)}
Update the SetUp Screen
WHILE statement (until STOP pressed)
FOR J TO NCOILS
COIL(J,1) # set coil J to tune
COIL(L, 0) # set coils L <> J to detune
Delay(D1)
If SENT TTL flag = YES then Sent TTL to MRI
If RECEIVE TTL flag = YES Receive TTL from MRI
Set ALL coils to default
(e.g. is default is tuned then:
For m TO MAXCOILS
COIL(M,1)
)
Delay(D1)
NEXT J
END WHILE
도 5j는 4개의 마커를 사용하는 로봇의 다중-코일 추적을 위한 시계열 제어 및 이벤트를 도시한 것이다. 이 경우에 시계열은 코일(2)이 MR에 보이지 않는 반면 코일(1, 3, 4)을 순차적으로 추적하기 위해 발생된다. 도 5j는 시계열을 도시한 것으로, 코일 상태(540), 도 5a에 제어 신호(507)와 동등한, MRI 스캐너(541)로의 트랜지스터-트랜지스터 로직(TTL) 펄스, 및 도 5a에 제어 신호(508)와 동등한, MRI 스캐너(542)로부터의 트랜지스터-트랜지스터 로직(TTL) 펄스, 및 TTL 펄스들 사이에서 일어나는 MR 데이터 수집, 이미징 또는 프로젝션(543)의 이벤트를 도시한다.
또한, 이 실시예에 따라, 마커의 위에 기술된 제어는 도 5i에 관하여 위에 기술된 바와 같이, 자동화될 수 있거나, 그래픽 사용자 인터페이스(GUI)를 통해 수술자에 의해 수작업으로 설정될 수 있다. 절차가 자동화될 때, 마커 제어의 시계열, 즉 어느 마커들이 어떤 기간 동안 어떤 순서로 MR에 보여지게 할 것인가는 로봇의 제어 소프트웨어에 의해 수시로 변할 수 있다. 시계열이 수술자에 의해 설정될 때, GUI는 1) 어느 마커들이 MR에 보여지게 될 것인가, 2) 어떤 순서로 이들이 MR에 보여지게/보여지지 않게(즉 튜닝/디튜닝) 턴될 것인가, 3) 시스템이 전기적으로/전자적으로 정착하는데 요구되는 임의의 지연, 4) MR 데이터 획득을 개시하기 위해서 TTL 트리거가 MR 스캐너에 보내질 것인지 여부, 5) 다음 RF 코일의 튜닝(또는 MR 가시화)을 트리거하기 위해 MR 스캐너로부터 TTL 트리거가 수신될 것인지여부, 6) 시퀀스의 반복 수 또는 대안적으로 STOP 버튼에 의한 수동 정지의 선택을, 마우스와 같은 표준 그래픽 및 사람 인터페이스 장치에 의해 사전에 설정할 수 있게 한다. GUI는 기설정된 시계열의 실행을 개시하기 위한 RUN 버튼을 더욱 가질 수 있다.
도 5k는 모든 코일(610)의 선택적 디튜닝, 모든 코일(620)의 튜닝, 코일 1 630, 1 635, 2 640, 3 645, 4 650, 1+4 655, 2+4 660을 순차적으로 튜닝을 보이는 4 마커 셋업에 대한 결과들을 도시한 것이다. 도 5l은 SI 프로젝션의 발생 및 코일에 대응하는 신호 피크의 확인을 수반하여, 이미징 플레인에 의해 정의되는 두 축선에 대한 MR 스캐너 좌표계에서의 마커의 좌표의 추출을 도시한 마커 3에 관련하여 줌되어 도시한 것이다. 이미징을 위해 저 플립 각이 사용된 경우에, 배경에 대한 신호는 드레숄드에 의해 더욱 제거될 수 있다.
일반적으로, 하나 이상의 마커가 사용될 때, 어느 피크가 어느 마커에 대응하는지를 확인하기는 수월하지 않다. 이에 따라, 도 5b에 도시된 수법은 마커를 MR-구별가닝하게 하고 상당수의 획득 및 사후-처리를 피하기 위해 사용된다. 이것은 선택적으로, 마커가 추적될 때 이를 튜닝함으로써 마커를 턴 온하고, 이를, 또 다른 마커가 추적될 땐, 디튜닝 함으로써 턴 오프 한다. 방법은 계산 코어의 데이터 스케쥴링 모듈에 의해 제어되는 포토다이오드 및 광섬유를 이용한다. 유도적으로 결합된 코일은 저 여기 펄스, 예를 들면, 도 5a에서 1-2o로 동작하므로 주위 조직은 최소 여기되고 측정할 바엔, 임의의 원하지 않는 배경 신호를 제거함에 유의한다.
또 다른 측면에서, 로봇을 검출하기 위한 방법이 제공된다. 본원에 기술된 바와 같이 기준 마커 방법이 3D로 전체 로봇식 장치를 검출하기 위해 로봇의 고속 재구성 RFM(t)을 제공할 수 있지만, 본원에서는 다수의 프로젝션 이미징(MPI)이라고 하는 MR 펄스 시퀀스가 사용된다. 접근법은 도 3a에 개요적으로 도시된 바와 같이, 스캐너 좌표계의 주 평면 상에 두꺼운 슬랩 2D 프로젝션, PRXY(t), PRYZ(t) 및 PRZX(t)을 수집하고 이에 대상이 백-프로젝션으로 재구성될 수 있다.
도 6a는 구체 상(phantom)에 부착된, Gd-콘트라스트 작용제로 채워진, 튜브를 이미징한 결과를 도시한 것이다. T1-가중된 MPI는 170 ms의 속도로 2개의 프로젝션 PRXY(t) 및 PRZY(t)을 수집하였다. 신규 재구성 알고리즘을 사용하여, 튜브는 표준 다중-슬라이스 MRI로부터 발생된 것과 탁월하게 매칭하여 3D로 정확하게 재구성되었다. 도 6b는 49 ms/프로젝션의 더 빠른 속도로 수집된 유사한 재구성을 도시한 것이다. 두 경우에 2개의 직교하는 프로젝션만이 수집되었는데, 그러나, 재구성을 개선하기 위해 세 번째가 추가될 수도 있다. 이어 MPI 재구성된 대상으로부터 가상 로봇 RPR(t)을 발생하는 것은 수월하다.
MRI의 이상적인 동작은 MR 이미지에서 로봇만이 보여질 수 있을 때 달성된다. 이것은 예를 들면, 로봇 내 채널을 가돌리늄 콘트라스트 작용제로 채우고 및/또는 예컨대 도 4a에서와 같이, 채널을 코일(들)로 둘러쌈으로써 배경 조직 신호를 제거할 것을 요구한다. 이것은 또한 로봇의 정확한 재구성을 위해 얼마나 많은 MPI 프로젝션(및 얼마나 빈번히 이들이 수집되는가)으로 충분할 것인가가 판정되어야 한다. 기준 마커는 로봇의 제1 근사화를 제공하기 때문에, 하나 또는 두 2D 프로젝션만을 수집하는 것으로 충분할 수도 있다. 또한, 기준 마커 및 MPI 스케쥴링이 RFM(t) 및 RPR(t)의 정확도에 그리고 이들 둘 다를 조합으로써 발생되는 복합 R(t)에 미치는 영향이 판정되어야 한다.
이 바람직한 실시예의 또 다른 측면에서, 엔드-이펙터 장착 국소-지역 바이오-감지를 위한 방법이 제공된다. 이것은 수술자가 절차 동안 조직을 국소적으로 조사할 수 있게 한다. 수술자는 조직을 특징화할 수 있는데, 예를 들면, 악성 대 양성, 및/또는 종양 마진을 더 잘 정의하기 위해 구별한다. 또한, 수술자는 조직의 표면, 즉, 시각적 광 엔도스코피로 액세스할 수 있는 경계 밑에 조직을 평가할 수 있다. 또한, 수술자는 국소-지역 데이터를 로봇 좌표계, 즉, MR 스캐너의 좌표계에 공간적으로 코-레지스터할 수 있다.
예를 들면, 도 7a에 도시된 바와 같이, 엔드 이펙터는 국소화된 고-감도 MR 스펙트로스코피 또는 고-해상도 MRI을 위한 RF 코일을 탑재하고, 광 유도 형광(LIF)을 위한 광학 센서를 탑재하고, US 센서를 탑재한다. 도 7b-도 7c는 국소-지역 MRS의 수집 및 레지스터를 위한 소형 1.1 mm Tx/Rx RF 코일을 가진 트랜스-니들 프로브 및 방출을 위한 2개의 300 마이크론 광섬유와 수신을 위한 하나의 300 마이크론 광섬유를 가진 내시경적 LIF 센서를 탑재하는 프로토타입 MR-호환 로봇식 스캐너를 도시한 것이다. LIF 및 MRS의 자동화된 인터리브 수집을 관리하는 마이크로프로세서-기반의 제어를 사용하여, 스캐닝은 이 로봇으로 수행되었다. 도 7d 및 도 7e에 도시된 바와 같이, 광학 및 MRS 데이터는 3개의 컴파트먼트 팬텀에서, 화합물 및 대사산물의 공간상에 분포와 매칭하였다.
이들 바이오-감지 방법은 자신의 감지 영역이 엔드-이펙터의 스캐닝을 위해 제공하는 것인 RF 코일, 예를 들면, Rx 또는 Tx/Rx를 요구하는 것으로 생각된다. 펄스 시퀀스는 검출의 감지 영역을 감소시키기 위해 외부 볼륨 억압에 의한 수정을 요구할 수 있다. 스캐닝 동안 LIF 프로브와 예컨대 A-라인 또는 M-모드 이미징을 위해 구성되는 초음파 프로브를 전진시키기 위한 기계식 어셈블리, 및 프로브 ± 90o 회전시켜 그럼으로써 이미지화된 섹터가 놓이는 방위를 선택할 수 있게 하는 수단이 또한 요구된다. 또한, 공동-등록된 데이터를 융합하고 이들을 HIMI을 통해 수술자에게 제시하기 위한 알고리즘이 요구된다. 도 8은 로봇을 사용한 생체감지와 스캐너 제어 간에 상호연결을 도시한 것이다. 로봇 제어 및 MR 스캐너의 수시로 제어는 지정된 지점에 스킴 내에 탑재될 수 있다.
또 다른 측면에서, 제어, 이미징 스캐너 및 수술자를 링크하기 위한 방법이 제공된다. 알고리즘은 기준 마커 추적 및 MPI의 인터리브된 획득을 할 수 있게 하며, 따라서 하나는 R(t)의 발생에서 다른 것을 보완한다. 최근의 MR 스캐너는 이들의 외부 제어를 수시로 제공하고 이미징 플레인 또는 콘트라스트 메커니즘의 선택을 제공하기 때문에, 어떤 특정 펄스 시퀀스가 사용될 것인지를 수시로 선택하게 구성되는 소프트웨어 모듈이 요구된다. 이것은 제한된 수의 실제-샘플로부터 동적 3D 대상, 예를 들면, 로봇의 정확한 발생을 가능하게 하는 지능적 적응형 제어이다.
또한, 알고리즘은 MR 스캐너에 멀티모드 데이터 코-레지스터를 위해 구성된다. 국소-지역 센서는 엔드-이펙터의 좌표계 {EEn} 상에 기지의 위치에 있고 엔드-이펙터 위치는 2개의 가장 말단에 RF 마커들로서 A1 및 A2(도 3a 및 도 7a)로 추적되기 때문에, 국소-지역 센서의 소스/검출기의 위치는 변환 행렬 TA(t)을 통해 MR 좌표계 {MRn}에 레지스터될 수 있다. 엔드-이펙터 좌표계 및 행렬 TA(t)는 로봇이 이동함에 따라 시간적으로 변화한다.
또 다른 실시예에서, 절차 구역(AoP)의 이미지-기반의 가상 모델이 제공된다. 대안적으로, 절차 구역 및/또는 로봇의 시각화는 시각적 이미지, 가상 현실 장면, 향상된 현실 장면, 등, 또는 임의의 중첩 또는 이들의 조합으로서 구현될 수 있다. 본원에서 제공되는 바와 같이, 로봇 제어 및 HIMI, 즉, 시각적/FFI을 위한 AoP의 수시로 모델은 연속적으로 업데이트된다. 이 모델은 실시간 MR 데이터에 기초하며 로봇 R(t) 및 주변 환경을 진입점에서 목표까지의 가상 4D 관인 동적 안내 도관 형태로 융합하며, 도관 내에서 로봇은 바이탈 구조 또는 건강한 조직과 충돌하여 상하게 함이 없이 안전하게 조정할 수 있다. AoP의 모델의 서로 다른 시공간적 측면들은 관련된 MR 데이터가 수집되고 고 레이트의 수시로 업데이트를 달성하기 위해 다중-스레드 다중-코어 처리 아키텍처로 처리될 때 연속적으로 업데이트된다. 예를 들면, 도 9a - 도 9b는 밸불로파스티를 위해 좌심실(LV)을 횡단하기 위한 트랜스-애피컬 액세스를 통해 심장내 절차를 위해서 그리고 시뮬레이트된 가상의 스네이크-유사 로봇이 포함되는 심외막의 액세스를 통한 심장의 절차를 위해 49 ms/image로 실시간 MRI 이미지들로부터 안내 도관 발생 결과를 도시한 것이다.
기술된 바와 같이, 로봇은 이의 전체 길이의 빠르지만 덜 빈번한 3D 이미징에 의해 보충되는, 제한된 수의 기준 마커로부터 검출 및 추적된다. 유사하게, MR은 제한된 수의 점 또는 경계 점들로부터, 그리고 협력적 추적자 알고리즘에 기초하여 MR 이미지로부터, 그리고 MR 1D 프로젝션으로부터, 주위 조직의 움직임을 추적하기 위해 사용될 수 있다. "경계 점"은 동적 안내 도관을 발생하기 위해 사용되는데, 이것은 로봇의 제어와 FFI, 즉, 수술자에게 "전문가" 조언을 제공을 통해 맨인루프 제어에 대한 입력 구속으로서 이용된다.
이 바람직한 실시예의 일 측면에서, 협력적 추적자 알고리즘을 이용하는 경계 점들로부터 주위 조직의 움직임을 추적하기 위한 방법이 제공된다. 경계 점들은 특정 랜드마크를 추적함으로써 로봇 및 주위 관심 조직을 포함하게 방위가 수시로 자동적으로 업데이트되는 고속 아나토미컬 이미지로부터 추출된다. 협력적 입자 필터-추적자의 베이지안 네트워크에 기초하여, 이 알고리즘은 모폴로지에서 갑작스런 움직임 또는 현저한 변화에 접하게 될 때라도 랜드마크를 추적할 수 있다. 예를 들면, 알고리즘은 표준 컴퓨터 상에서 25-40 fps의 처리 속도로 LV의 에이펙스, 정중선 및 대동맥 판막 환형의 기부를 추적할 수 있다. 특히 랜드마크 추적을 위해, 입자 필터링에 기초한, 협력적 추적자 방법은 매우 효율적으로 예측-업데이트 루프를 수용할 수 있는, 강력한 모델링이 없는, 최적화된 추적 메커니즘이다. 수술 절차에서, 특히 심장 또는 복부에서 일어나는, 갑작스런 움직임 또는 큰 외양 변화에 대한 단일 입자 필터 추적자의 불안정성을 해결하기 위해서, 다수의 입자 필터 추적자들을 조절(coordinate)하는 협력적 추적 프레임워크 및 각 시간 단계에서 어떤 추적자들이 실패하고 어떤 것들이 생존하였는지를 판단하는 베이지안 네트워크 방법을 포함하는 처리들이 사용되어졌다. 알고리즘은 다중-스레드 계산 코어에 통합된다. 협력적 추적자 방법 및 알고리즘은 서로 다른 수술 모델들에 관련된 실시간 이미지 상에 외과의에 의해 선택된 랜드마크를 추적하기 위해 이용될 수 있고 서로 경사진 다수 세트들의 MR 슬라이스들로부터 영역의 3D 추적을 수용할 수 있다.
또 다른 측면에서, MR 이미지 대신에 자기 공명 프로젝션을 이용하여 경계 점으로부터 주위 조직의 움직임을 추적하기 위한 방법이 제공된다. MR은 도 10a에 도시된, 내비게이터 에코에서 행해지는 바와 같이, 로봇의 과도 위치에 예를 들면 경사지게 또는 직교하여 -그러나 이것으로 제한되지 않는다- 설정된 컬럼들로부터, 1D SI 신호와 같은, 신호를 선택 및 획득할 수 있게 한다. 방법에서 가상으로 임의의 위치, 크기 및 방위의 컬럼들이 선택될 수 있다. 도 10b에 도시된 것과 같은, 선택된 MR 펄스 시퀀스를 사용하여, 90o 펄스는 평면을 선택하고 반면 180o 펄스는 컬럼에 속하는 스핀들만에 집중한다. 이어 판독 그레디언트가 있는 가운데, 컬럼의 축선을 따라 프로젝션이 발생되고 4-5ms ms/프로젝션의 속도를 달성한다.
이들 방법을 이용함에 있어, 더 넓은 밴드는 SNR을 증가시키지만 더 많은 조직이 평균화되기 때문에 해상도를 감소시키므로, 컬럼 폭이 신호-대-노이즈 비(SNR)와 경계 점을 추출하는 정확도에 미치는 영향은 고려되어야 한다. 또한, 조직의 동적 모델의 정확도에 관한 컬럼/프로젝션의 수 및 위치가 고려되어야 한다. 또한, 방법은 관심 랜드마크를 확인하고 이들의 과도 위치를 계산하기 위한 SI 처리 알고리즘을 요구한다.
대안적으로, 도 10c에 도시된 것과 같은, 펄스 시퀀스는 시퀀스의 동일한 반복에서, 한 반복 시간 TR에서, 공통 슬라이스를 공유하는 모든 컬럼들로부터 프로젝션들을 수집하기 위해 사용될 수 있고, 이에 따라 데이터 획득을 훨씬 더욱 가속화할 수 있다. 일련의 N 90o 펄스들은 N 경사진 평면들을 여기하고, 공통 180o 펄스는 N 에코를 발생하는 모든 컬럼들에 재집점한다. 에코들의 역순서 및 모든 축선들을 따라 그레디언트들을 밸런싱해야 하는 요건은 서로 다른 컬럼들로부터 일련의 에코들을 달성하기 위해 필요하다. 이들 방법은 협력적 추적자를 위한 이미지를 수집하는 것보다 훨씬 빠르기는 하지만, 프로젝션이 관심 랜드마크에 명백히 관계된 SI 특징을 나타내는 경우에만 사용될 수 있다. 비제한적 예에서, 방법은 심장을 이미지화하는 것에 적용할 수 있다.
또 다른 측면에서, 제한된 수의 경계 점들로부터 동적 안내 도관을 발생하는 방법이 제공된다. 4D 안내 도관을 발생하는 것은 최대 가능한 리프레시율로, 로봇의 전체 경로를 따라 넓은 영역의 조직을 커버할 수 있게 한다. 이것을 달성하기 위해서, 병렬 알고리즘이 이용되고, 본 출원인의 앞서 언급된 예비 작업에 확대할 것이다. 조직의 영역의 움직임을 모니터하기 위해 사용되는 이들 영역의 초기 수동 처방 후에, 병렬 알고리즘은 실시간으로 다음을 수행할 수 있다:
1. 경계 점을 추출한다. "제한된"이라는 용어는 적은 수의 추적가능한 점들만이 실제로 임의의 순간에 가용함을 나타내기 위해 사용된다. 이들 점들은 본원 기술되는 바와 같이, 협력적 추적자 또는 MR 프로젝션으로부터 경계 점을 이용하는 하나 또는 두 방법들로부터 수시로 발생된다.
2. 보간된 점들의 수가 각 곡선 상에 그대로 남아있도록 경계 점 상에 스플라인을 피팅함으로써 동적 제어 곡선의 발생. 조직의 자연적 움직임 또는 이의 변위를 고수하여 경계 점들은 동적이기 때문에, 동적 제어 곡선들은 이의 특성을 상속한다.
3. 경계로부터 보간된 점들을 연결하여 조악한 메시를 형성함으로써 동적 안내 도관(도 10a-도 10b)의 발생으로서, 조악한 메시는 목표까지 로봇의 안전한 자동화된 또는 수동 조정을 위한 허용가능한 공간인 정제된 메시를 형성하게 더욱 처리된다.
4. 여기에 기술된 바와 같이, MR 추적으로부터 수시로 계산된 로봇 모델의 업데이트, 및 도 8에 도시된 바와 같이, 동적 안내 도관과의 융합.
또 다른 실시예에서, 로봇 제어 및 HIMI을 위한 가상 실체들을 발생하기 위한 방법이 제공된다. 방법은 진입 사이트 또는 에이펙스에서 목표 아나토미, 예를 들면, 대동맥까지의 컴퓨터-발생 4D 관형 구조인 동적 액세스 통로를 발생하며, 이 내에서 인터벤션 도구(interventional tool)는 바이탈 구조 또는 건강한 조직과 충돌하여 상하게 하지 않고 안전하게 조정할 수 있다. 또한, 방법은 동적 안내 궤적를 발생하며 이를 따라 도구는 안전하고 정확하게 목표에 도달하게 정렬되어야 한다.
예를 들면, 경도관 대동맥 판막 임플란트(TAVI) 패러다임에서, 동적 모델의 발생은 로봇이 LV 내 구조, 예를 들면 심장내막, 마이트럴 리플릿 또는 유두근을 상하게 하지 않을 것과 로봇이 엔드-이펙터를 에이피컬 입구에서 대동맥의 환형의 목표 중심까지 안내할 것을 요구한다. 이들 동적 모델은 안전과 정확성을 위한 로봇의 제어 및 포스-피드백 인터페이싱을 통한 맨인루프 제어 둘 다를 구속하기 위해서, 즉 수술자에게 "전문가" 조언을 제공하기 위해 사용된다.
또 다른 바람직한 실시예에 따라, 절차 동안 감지를 개선하기 위해 수시로 MR 스캐너의 제어를 위한 소프트웨어 모듈이다. 이것은, MR-안내 맥관 개입 [8]에서 그리고 향상된, 직관적 휴먼인루프 제어[9]를 위해 로봇 및 이미징 플레인의 시공간적 매칭을 위해 로봇 및 MR 스캐너의 최초의 통합을 기술한 Christoforou 등에 의해 전에 한 예가 제시한 바와 같이, 획득 파라미터를 수시로 변경하기 위해 현재 임상 MR 스캐너의 능력을 사용한다. 이 모듈의 동작은 이벤트-트리거된 응답인데, 절차 동안 일어나는 이벤트는 후속하여 수집되어질 MR 데이터의 유형을 판정한다. 도 11a는 3개의 처리들을 가진 제시된 모듈을 도시한다.
1. 액세스 통로의 폭, 또는 목표 병변의 크기에 지속된 감소와 같은, 변화의 측정을 계산하기 위해서, 절차 구역의 이미지-발생 동적 모델 AoP(t))와 같은 조직에 관련된, 그리고 로봇의 키네마틱 상태 RobotState(t))와 같은 로봇에 관련된 데이터를 처리한다.
2. 단순 조건적 알고리즘적 접근법을 사용하거나 인공지능/머신 학습 알고리즘을 사용하여 위에 변화들을 값들의 범위 형태의 기준 목록과 비교함으로써 트리거 이벤트를 확인한다.
3. 데이터베이스로부터 응답을 선택하고, 수집될 새로운 획득 전략, 즉 MR 데이터의 유형 및 빈도, MRAcq(t))를 판정하고, 이를 예로서 전용 TCP/IP -그러나 이것으로 제한되지 않는다- 를 통해 MR 스캐너에 보낸다.
도 11b는 도구가 진전함에 기인하여 목표 병변(타원 형상)이 평면 밖으로 이동한 가상의 경우에 대한 모듈의 동작의 예를 도시한 것이다. 이 예에서, 병변은 자연적 현상, 예를 들면 박동하는 심장의 LV에 기인하여 크기가 변화하지 않는 것으로 가정한다. 이것은 몇번의 반복에 동안에 지속되는, 이의 이전 크기에 비해 프로젝션 컬럼(컬럼1)의 신호 프로파일 상에 폭의 감소를 야기할 것이다. 이러한 변화는 모듈이 이전 것에 직교하는 컬럼2를 주문하게 할 것이다. 모듈이 병변이 재위치된 것을 컬럼2의 프로파일로부터 확인하였을 때, 모듈은 컬럼3 및 인터리브된 슬라이스들의 슬라이스(들)(INTERL2) 둘 다의 중심을 병변의 새로운 위치에 매칭되게 업데이트하는 새로운 MRAcq(t)을 지령한다. 이벤트 및 응답의 이러한 경우의 몇몇은 (i) 심장 수축 동안 액세스 통로의 지속된 감소가 관찰된다면, 응답은 이 영역에서 컬럼 수집 빈도를 증가시켜야 하고, (ii) 도구의 원단 팁이 목표에 도달할 때, 방사상 패턴 INTERL(목표-대-도구 축선 주위에)을 수집하고 MARK의 빈도를 증가시키며, (iii) SNR이 감소된다면 컬럼의 폭을 넓히는 것이다. 이벤트의 포괄적 리스트는 기준 및 응답을 포함하게 컴파일될 수 있다. 또한, 이벤트 캘리브레이션, 즉 이벤트의 어떤 정도가 어떤 응답을 야기하는가가 포함된다. 이벤트는 또한 모듈의 알고리즘을 개선하기 위해 유의성의 순서로 유별될 수 있다.
또 다른 바람직한 실시예에서, 특정 조직 경계들의 움직임을 모니터하기 위해 전략적으로 배치되는 다수의 프로젝션들로 조직의 동적 추적이 제공된다. 예를 들면, 도 12a 및 도 12b는 각각 LV 심장내막 및 베셀에 대한 동적 추적을 도시한 것이다. 일 측면에서, 도 12c에 도시된 바와 같이, 이미징 시퀀스가 선택되고 콘트라스트 차이를 발생하기 위해 파라미터가 설정된다. 이 콘트라스트는 외인성 콘트라스트 작용제의 주입에 의해 발생될 수 있다. 점 AJ, BJ, CJ, 및 DJ는 라인 LJ 및 LJ+1으로 표기된 프로젝션들로부터 추출되어 이어 관심 조직 경계를 발생하기 위해 조합된다. 또 다른 측면에서, 도 12d에 도시된 바와 같이, 프로젝션 신호의 형태를 단순화하기 위해 수집된 프로젝션의 길이를 제약하기 위해 "포화 밴드"와 같은 특별한 자화 준비가 적용될 수 있다.
예를 들면, 도 13a 및 도 13b는 프로젝션을 위한 가용한 SNR 및 콘트라스트 차이에 대한 예비 분석을 도시한 것이다. 구체적으로, 원래의 동적 MR 이미지는 프로젝션 라인, 및 신호가 통합된 영역의 폭을 보여준다. 신호의 그래프는 심근에 대응하는 LV 및 2개의 딥(deep) 좌/우를 도시한다.
로봇식 수술 제어를 위한 방법이 도 14에 도시되었다. 2D 다중-슬라이스 다중-방위 스카우트 이미징/CINE(1400)에 있어서는 수동 성분(1410) 및 자동화 성분(1420)이 있다. 먼저, 수동으로, 1415에서 그룹화될 3D 프로젝션 컬럼의 선택(1414)에 수반하여, 평면(1411), 프로젝션 축선(1412) 및 프로젝션 폭(1413)이 선택된다. 이로부터, 자동화를 사용하여, MR 파라미터, 즉 펄스 그레디언트(1421a) 및 그레디언트 강도(1421b)이 계산된다(1421). 이어, 순차적으로, MR 획득 파라미터가 업데이트되고(1422), 프로젝션의 동적 획득이 수행되고(1423), 프로젝션이 분석되고(1424), 동적 조직 모델이 발생된다(1425). 이들 단계 후에, 각각 로봇 제어(1427a) 및 촉각 장치 제어(1427b)가 되게 하는 동적 촉각 렌더링(1426b)과 더불어 동적 통로 및 궤적가 계산되고(1426a), 두 계산(1427a, 1427b)으로부터 증강현실이 생성된다(1428).
또한, 이 바람직한 실시예에서, 도 15a 및 도 15b는 각각 공통 슬랩에 기초하지 않는 그리고 기초하는 프로젝션 컬럼을 선택하기 위해 임의의 컬럼 및 프로젝션 컬럼의 임의의 방위들이 어떻게 이용될 수 있는가를 보여준다. 예를 들면, 도 15a는 공통 슬랩이 없을 때 컬럼의 임의의 선택을 도시한다. 공통 슬랩이 있고 임의의 컬럼이 이용될 때, 도 15b는 통상의 스핀-에코에 기초한 펄스 시퀀스가 엔코딩 그레디언트를 제거함으로써 수정될 수 있고 따라서 프로젝션 컬럼을 선택할 수 있게 하는 여기 및 180 재집점 펄스 선택 그레디언트 및 RF 전송 주파수를 배열할 수 있음을 도시한다.
특히, 도 16a는 축선 Y에서 공통 슬라이스로 구성되는 두 프로젝션 컬럼의 선택을 도시한 것이다. 주파수는 다음 펄스 시퀀스에 관련된 RF 펄스 전송 주파수에 대응한다. 두 프로젝션 컬럼은 3개의 슬라이스/슬랩의 공통 공간이다. 주 슬라이스에 대해 임의의 방위에 있는 3개의 프로젝션의 선택이 도 16b에 도시되었다. 3개의 프로젝션은 서로 다른 방위에서 조직을 모니터하는데 유용하다.
이 바람직한 실시예에서, 도 17a 내지 도 17e는 유형 I의 다중-프로젝션 펄스 시퀀스 및 이들의 그레디언트 밸런싱을 도시한 것이다. 도 17a에 도시된 바와 같이, 이 시퀀스는 1) 슬라이스 재집점과 함께 다중-슬라이스 선택(X-축선), 2) 공통 슬라이스의 선택과 함께 반전 펄스 재집점(Y 축선), 및 3) EPI같은, 다수의 판독 트레인을 위한 3개의 유닛을 갖는다. 그레디언트들은 그레디언트들의 적용을 감안하기 위해 X- 및 Z-축선을 따라 밸런스된다. 도 17b-도 17e는 유형 I 펄스 시퀀스에 대한 그레디언트의 밸런싱을 도식적으로 도시한다. 시퀀스는 동일 공통 슬라이스 상에 다수의 존을 포함하게 확장될 수 있다. 각 슬라이스 선택은 a) 이 후에 적용된 임의의 그레디언트, b) 반전 펄스 및 c) 판독 그레디언트가 적용되는 자기 자신의 독립적 신호를 발생함에 유의하는 것이 중요하다.
또한, 도 18a 내지 도 18e는 유형 II의 다중-프로젝션 펄스 시퀀스 및 이들의 그레디언트 밸런싱을 도시한 것이다. 도 18a에 도시된 바와 같이, 유형 II 펄스 시퀀스는 다중-슬라이스 선택이 X-축선에 슬라이스 재집점이 없다는 점에서 유형 I과는 다르다. 도 18b-도 18e는 유형 II 펄스 시퀀스에 대한 그레디언트의 밸런싱을 도시한다. 대안적으로, 도 18f는 1) 단일 슬라이스 선택(X-축선) 및 2) 반전 펄스 트레인과 함께 다중-슬라이스 선택(Y 축선)을 이용함으로써 제1 유닛이 도 18a에 유닛 1 및 유닛 2와는 다른 유형 II의 다중-프로젝션 펄스 시퀀스를 도시한다.
또한, 도 19는 유형 IIII의 다중-프로젝션 펄스 시퀀스를 도시한 것이다. 펄스 시퀀스는 프로젝션(3개만이 도시되었다)의 상당히 패킹된 수집을 위해 도시되었다. 이 시퀀스는 터보 스핀 에코 라이크일 수 있다.
또 다른 바람직한 실시예에서, 볼륨 프로젝션을 사용한 고속 동적 3D 이미징이 제공된다. 예를 들면, 이중-프로젝션 MRI 획득이 이용될 수 있다. 3D 재구성의 발생은 2개의 독립적인, 그러나 서로 관계가 있는 처리들을 수반한다. 첫 번째는 적합한 프로젝션의 획득이고 두 번째는 3D 볼륨에서 구조의 재구성이다. 이의 내재하는 "트루-3D" 능력으로부터 비롯된 MRI는, 데이터를 수집하고 이의 프로젝션들로부터 이미지화된 구조의 3D 재구성을 용이하게 함에 있어 어떤 이익을 제공한다. 첫 번째로, 프로젝션은 2개의 프로젝션 간에 변환에 대한 필요성을 제거하는 공통 축선을 공유하기 위해 설정될 수 있다. 또한, 두 프로젝션 상에 공간적 엔코딩의 내재하는 코-레지스터는 축선들의 할당 및 매칭이 수월해지게 한다. 두 번째로, 이미지화된 볼륨의 방위는 이를 더 잘 해상하기 위해 사용될 수 있는 구조에 대해 임의의 방위에 설정될 수 있어, 재구성 알고리즘 작업량을 감소시킨다. 세 번째로, 프로젝션 평면 간에 각도는 임의의 요망되는 값으로 조절될 수 있고 직교하거나 아니면 기설정된 값들로 제한되지 않는다. 네 번째로, 복잡하거나 매우 구불구불한 구조를 해상하기 위해 2 이상의 평면이 사용될 수 있다.
특정한 측면에서, 2개의 직교하는 프로젝션들에 기초한 획득 수법이 이용될 수 있다. 이중-에코 DPI 유형 I에 있어서, 이것은 도 20a-도 20b에 도시된 바와 같이 동일 위상 엔코딩 단계 및 축선을 공유하는 두 프로젝션으로 달성된다. 각 위상 엔코딩 단계(축선 Y)에 대해서, 판독 그레디언트들이 통상의 "슬라이스 선택"(축선 X) 및 "주파수 엔코딩" 방향(축선 Z)을 따라 적용되어, 각 프로젝션에 대해 하나씩인 2개의 에코가 수집된다. 스핀이 제2 에코 전에 k-공간의 원점에 있음을 보증하기 위해서, 판독 디페이즈(dephasing) 그레디언트는 제1 에코의 판독 축선을 따라 반복된다. 도 20c-도 20d에 도시된 단일-에코 DPI 유형 II은 독립적으로 동시에 두(또는 그 이상) 프로젝션을 수집한다.
2개의 프로젝션으로부터 3차원 재구성은 이중-평면 플루오로스코피로부터 베셀의 재구성에서 사용되는 충분히 연구된 문제이다. 일반적인 경우에, 플루오로스코피 이미징에서 두 프로젝션은 서로 직교하지 않고 대응하는 FOV의 중심들은 동일하지 않다. 이들 경우에, 두 프로젝션을 기준의 공통 좌표계에 코-레지스터하기 위해 일련의 변환이 적용된다. 이어서, 구조는 예를 들면, 스플라인을 사용하여 추출되고 재구성된다.
MRI로, 두 프로젝션은 이미 내재적으로 코-레지스터되고, 특히, 기술된 펄스 시퀀스로 FOV의 중심 및 크기는 동일하게 되도록 설정된다. 두 프로젝션의 FOV의 내재하는 코-레지스터 및 일치는 간단한 기하학적 문제를 초래한다. 제1 프로젝션은 공통 위상 축선(Y) 및 제1 주파수 엔코딩 축선(Z)을 따라, 이미지화된 구조의 공간 정보를 내포한다. 제2 프로젝션은 공통 위상 엔코딩 축선(Y) 및 제2 주파수 축선(X) 상에 이미지화된 대상들의 공간 정보를 내포한다. 그러므로, 두 프로젝션은 공통 위상 엔코딩 방향을 따라 매칭된다. 이 특성으로부터, 재구성 전략이 고안될 수 있다. 제로보다 큰 SI를 가진 각 공간 위치 Y에 대해서, 둘 다 제로보다 큰 SI를 가진 X 및 Y 공간 위치들을 확인한다. 이것은 원래의 구조가 되게 할 것이다. 이 처리와 동등한 기하학은 3D 공간에서 두 프로젝션을 백-프로젝트하고 이들의 공통 공간을 계산하는 것이다.
3D 구조를 이미지화 및 재구성하기 위해 이중 프로젝션을 사용하는 것이 상당히 간단하고 수월한 접근법일지라도, 이것은 어떤 구조적 배열들을 해상할 수 없다. 구체적으로, 구조가 공통 획득 축선, 즉 위상 엔코딩 축선에 직교한 평면 상에 놓일 때, 구조의 두 프로젝션을 사용하는 고유한 해결책은 없다.
3D 재구성 기법은 도 21에 도시된 바와 같이 구현되었다. 일반적으로, 알고리즘 단계(2100)는 마스크의 발생(2110), 프로젝션 클린-업(2120), 위상 축선 할당(2130), 판독 축선 할당(2140), 볼륨 재구성(2150), 및 시각화 투명성(2160)을 수반한다. 특히, 이것은 1) FOV의 중심 및 크기와 획득 행렬의 크기에 기초하여, 두 프로젝션으로 획득되었던 3D 볼륨의 정의; 2) 두 프로젝션에서 콘트라스트 향상 구조의 세그먼트화 및 대응하는 공간 마스크의 발생; 3) 3D 볼륨으로 두 마스크의 백-프로젝션; 및 4) 로직 AND 로직 연산자로 정의된 두 백-프로젝션의 공통 공간의 계산을 포괄한다. 이 알고리즘은 배경 신호가 잘 포화된다는 가정에 기초하고, 그러므로, 이미지화된 구조를 두 2D 프로젝션 이미지로부터 세그먼트화하는 것이 가능하다.
두 프로젝션은 먼저 고 구조-대-배경 콘트라스트에 기초하여 드레숄드하고 이어 에지 검출을 적용함으로써 세그먼트화되어졌다. 세그먼트화의 결과는 두 2D 마스크이었다. 이들 마스크는 이어 3D 볼륨에서 이들의 평면에 직교하여 확장되어졌다. 이들 간에 공통 공간은 3D 볼륨에서 공통 공간을 정의하기 위해 로직 AND 연산자로 정의되어졌다.
일예에서, DPI 시퀀스는 정적이고 이동하는 베셀-모방 팬텀에 관해 평가되었다. 구체적으로, 재구성 알고리즘은 먼저 염류 용액 또는 부분적 염류 용액 및 가돌리늄으로 채워진 구체 상에 장치된 Gd가 채워진(3% Gd) 튜빙(i.d. = 3.1mm)으로 테스트되었다. 먼저, 다중-슬라이스 세트는 표준 그레디언트 리콜 에코(GRE) 시퀀스(TR/TE/a = 5.47ms/1.65ms/50°; 슬라이스 = 2.5 mm FOV = 250x250mm2; 행렬=256x256)로 기준으로서 수집되었다. 이어 DPI 이미징은 자화 준비된 이중-에코(TR/TE1/TE2/50o = 5.47 ms/1.65 ms/3.59 ms/50°; 슬라이스 = 250 mm FOV = 250x250 mm2; 행렬 = 256x256) 및 단일 에코(TR/TE1/TE2/50°= 5.47ms/1.65ms/3.59ms/50°; 슬라이스 = 250mm FOV = 250x250mm2; 행렬=256x256) 시퀀스로 수행되었다.
원하지 않는 배경 신호를 제거하기 위해서, 자화 준비는 포화 펄스와 이에 이어 긴 T1 > 250 ms을 가진 광범위한 종들을 억압하기 위해서, 각각 16 ms, 101ms 및 67ms의 인터펄스 지연을 가진 두 반전 펄스들로 수행되어졌다. 또한, 시퀀스는 움직이는 베셀-모방 튜빙의 이미징을 위해 테스트되어졌다. Gd-충전 튜브는 7 자유도 MR-호환 매니퓰레이터의 엔드-이펙터 상에 부착되었다. 3D 재구성은 Matlab에서 개발된 소프트웨어를 사용하여 위에 기술된 알고리즘으로 오프-라인에서 수행되었다. 특히, 도 22a - 도 22c는 1.2 분의 획득 시간 동안 다중-슬라이스 세트로부터 재구성된 구조 및 로봇의 이미지를 도시한다.
또한, 이 바람직한 실시예에서, 이중 프로젝션 이미징은 인터리브 이미징 프로토콜에 탑재될 수 있다. 예를 들면, 도 23에 도시된 바와 같이, 시간-공유 MR 프로토콜 및 "선착순(First-Come-First-Served)" 재구성을 위한 타이밍도가 도시되었다. 서로 다른 블록들은 서로 다른 펄스 시퀀스들에 대응하는데, 예컨대, 곧바로 FFE되거나(녹색 화살표) 또는 세그먼트화된 획득을 위해 순서화한 후에(적색 화살표) 또는 실시간 업데이트를 위해서, 데이터 추출을 위해 사용되고(청색 화살표) 이어 GUI에서 IOE 출력을 리프레시하기 위해 보내지는(흑색 화살표) 데이터를 수집한다. 이미징 플레인은 동적으로 업데이트된다(분홍 라인). 이에 따라, 중요하게는, 재구성 및 IOE 업데이트는 "선착순" 방식으로 일어난다.
또한, 도 24a -도 24b에 도시된 바와 같이, 타이밍도, 및 요망되는 TI에 대한 태깅 펄스각의 의존성이 도시되었다. 태깅 펄스의 적용은 모든 3개의 태그가 동일 TI를 경험하도록 설정될 수 있다. CPU 타임라인은 프로젝션의 FFT, 태깅 위치 및 J 태깅 펄스 방출 주파수(wX,J+1, wY,J+1 및 wZ,J+1)의 계산, 스캐너에 방출 주파수의 다운로드, 및 다음 사이클 J+2을 위한 정정의 추정을 포함하는 처리의 요소들을 보여준다. 타이밍 이미징 프로토콜은 도 24c -도 24e에 도시된 이미징 절차에 도시된 바와 같이 다수의 펄스 시퀀스들을 조합할 수 있다.
또한, 이 바람직한 실시예에서, 통합 동작 환경(IOE) 구성은, 센서(MRI), 로봇 및 수술자를 시스템에 끊김없이 링크하는 MR-안내 및 로봇-이용 절차를 위한 계산 프레임워크을 도시한 도 25에 도시되었다. IOE는 서로 다른 율(rate)로 리프레시되는, 멀티모드 MR 데이터 스트림, 즉 본원에 기술된 서로 다른 MR 펄스 시퀀스들로부터의 상이한 정보를 사용한다. 이의 동작은 간단하고 계산적으로 효율적인 접근법인, "롤링 윈도우"인데, MR 데이터세트가 수집될 때, 이것은 동일 모드의 사전 데이터세트를 대신하고 AoP 장면을 업데이트하기 위해 나머지 데이터와 함께 사용된다. IOE는 로봇 제어 및 사람-인터페이싱 증가에 사용을 위해 이들 멀티모드 데이터가 어떤 형태로 나타낼 것인가를 해결한다. IOE는 가상 구속 또는 고정을 사용하며, 이 개념을 멀티모드 MR 데이터의 연속적 피드를 포함하여 "액세스 통로"의 형태로 AoP의 동적 모델(AoP(t))을 발생하기 위해 확장한다. 이것은 진입 사이트에서 목표 아나토미까지 확장하는 4D 구조이다. 이 내에서, 로봇은 안전하게, 즉 바이탈 구조 또는 건강한 조직에 충돌하거나 상하게 함이 없이 조정하고, 목표에 정확하게 도달하거나, 개입을 전달하기 위해 목표 상에 머물러 있을 수 있다. 이어, 액세스 통로 상에 렌더링된 정보는 로봇 제어를 위해서 그리고 HIMI에 의해 사용될 것이다. IOE는 본원에 기술된 복수의 방법으로부터 액세스 통로를 발생하기 위해 멀티모드 MR 데이터를 어떻게 처리할 것인가를 더욱 해결하는데: RF 코일 마커(MARK)는 점들을 발생하며, 프로젝션 컬럼(COLUMN)은 1D 프로젝션을 발생하며 인터리브 슬라이스(INTERL)은 2D 이미지를 발생한다. IOE는 추적자 점들이 모든 방법에 잘 조화되고 알고리즘 구현을 통합하기 때문에, 추적자 점들을 발생한다. 마지막으로, IOE는 AoP에 변화들에 기초하여 수시로 MR 데이터 획득 전략을 업데이트하기 위해 이벤트-트리거된 응답(도 11의 실시예에 관련하여)을 사용한다. 위에 접근법은 전용 스레드 상에서 실행하는 소프트웨어 모듈 형태로 구현되고 이들을 도 25에 도시된 바와 같이, 프레임워크 내에서 인터링크하고, 다음을 하도록 구성된다:
실시간 멀티모드 MR 데이터 피드 MRData(t)을 처리하고 조직 및 로봇에 관련된 모든 MR-발생된 정보를 함축적으로 기술하는 4D 액세스 통로 AoP(t)를 발생한다.
AoP(t)을 사용하여, (1) 로봇의 움직임에 대한 수술자 지령 OPIN(t) 결과가 액세스 통로와 충돌하지 않고 정확하게 목표에 접근하고 있는지를 평가하고, (2) 로봇 RobotState(t)을 위한 명령 및 포스-피드백 인터페이스 OPGUIDE(t)을 위한 명령을 발생함으로써, 안전성 정확성을 위해 로봇 움직임을 구속하기 위해서 움직임 필터링(§5.3.3)을 적용한다.
포스-피드백(FFI) 및 시각적(VI) 인터페이스들을 통해, 발생된 정보를 수술자에게 렌더링함으로써 맨인루프 제어를 증가한다.
새로운 MR 데이터 획득 전략을 요구하는 조직(MRData(t)) 및 로봇 (RobotState(t))에 변화들을 확인하고, 새로운 전략(ScannerState(t))을 선택하고 이를 스캐너에 보낸다.
로봇 제어를 위한 RobotState(t)을 위한 명령을 발생한다.
다음 참조문헌들이 본원에서 인용된다:
1. Dumoulin et al. Magn Reson Med, 29:411-415 (1993).
2. Zhang et al. Magn Reson Med, 44:56-65 (2000).
3. Wong et al. J Magn Reson Imaging, 12:632-638 (2000).
4. Flask et al. J Magn Reson Imaging, 14:617-627 (2001).
5. A.E. Sonmez and N.V. Tsekos, An approach for Robot-Assisted Multimodal Biosensing and Imaging, in: Innovations in Cancer Prevention and Research Conference, Austin, TX, 2011.
6. Sonmez et al. IEEE International Conference on Robotics and Automation, Shanghai, China, pp. 1133 - 1138 (2011).
7. Sonmez et al. International Society for Magnetic Resonance in Medicine (ISMRM) Joint Annual Meeting, pp. 3771 (2009).
8. Wacker et al. AJR Am J Roentgenol, 183:391-395 (2004).
9. Christoforou et al. Magn Reson Imaging, 25:69-77 (2007).
본 발명은 내재하는 것들뿐만 아니라 언급된 목적 및 잇점을 달성하게 잘 개조된다. 위에 개시된 특정 실시예는 본 발명이 본원에 교시된 바의 이익을 파악한 당업자에게 명백한 상이하지만 동등한 방식으로 수정되고 실시될 수 있기 때문에 단지 예시적인 것이다. 또한, 이하 청구항에 기술된 것 외에, 본원에 제시된 구조 또는 설계의 상세에 어떠한 제한도 의도되지 않는다. 그러므로, 위에 개시된 특정한 예시적 실시예는 변경되거나 수정될 수 있고 모든 이러한 변형예는 본 발명의 범위 및 정신 내에서 고려됨이 명백하다. 또한, 청구항에 용어들은 달리 분명하게 그리고 명백하게 특허권자에 의해 정의되지 않는 한 이들의 보통의 일반적 의미를 갖는다.

Claims (43)

  1. 수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 컴퓨터 시스템으로서,
    이미징 모댈러티(imaging modality), 의료용 로봇 및 조작자를 링크시키는 복수의 인터페이스들을 통해, 상기 이미징 모댈러티, 상기 의료용 로봇 및 상기 조작자를 수술 중에 링크시키도록 구성된 복수의 모듈들을,
    메모리, 프로세서 및 적어도 하나의 네트워크 연결을 가진 적어도 하나의 컴퓨터에 포함하는,
    컴퓨터 시스템.
  2. 제1항에 있어서, 상기 복수의 모듈들이 적어도,
    상기 수술 절차 동안 상기 이미징 모댈러티를 제어하도록 구성된 모듈;
    로봇 또는 이와 공동-등록된(co-registered) 인터벤션 도구(interventional tool)들을 추적하도록 구성된 모듈;
    관심 조직을 추적하도록 구성된 모듈;
    상기 이미징 모댈러티로부터 그리고 상기 로봇으로부터 획득된 데이터를 처리하도록 구성된 모듈;
    환자의 신체 외부 및 내부에서 상기 로봇의 안전하고 정확한 움직임을 위한 동적 경로들 또는 통로들을 생성하도록 구성된 모듈;
    상기 로봇 및 상기 획득된 데이터로부터 발생되는 절차 구역을 시각화하도록 구성된 모듈; 및
    사람-기계 간 인터페이스를 가능하게 하기 위해 포스-피드백 또는 촉각 장치(force-feedback or haptic device)를 이용하도록 구성된 모듈;을 포함하는,
    컴퓨터 시스템.
  3. 제2항에 있어서, 복수의 멀티모드(multimodal) 센서들을 상기 로봇 및 상기 이미징 모댈러티와 공동-등록시키도록 구성된 모듈을 더 포함하는,
    컴퓨터 시스템.
  4. 제2항에 있어서, 상기 이미징 모댈러티 제어 모듈은, 프로세서-실행가능 명령들이 상기 수술 절차 동안에,
    상기 조직의 상태 및 상기 로봇의 상태에 대한 데이터를 처리하게 하며, 상기 데이터에 대한 변화들을 계산하게 하며, 데이터 획득에서의 변화를 트리거하는 이벤트들을 확인하게 하며, 상기 이벤트에 대한 응답을 선택하고 그에 기초하여 이미지 획득 전략을 고안하게 하며, 상기 이미지 획득 전략을 상기 이미징 모댈러티에 전송하게 하는,
    컴퓨터 시스템.
  5. 제4항에 있어서, 상기 변화들을 형태 값들의 범위 리스트와 알고리즘적으로 비교하는 명령들을 통해, 트리거링 이벤트들(triggering events)이 확인되는,
    컴퓨터 시스템.
  6. 제2항에 있어서, 상기 조직 추적 모듈은 프로세서-실행가능 명령들이,
    상기 이미징 모댈러티로 이미징 시퀀스들을 선택하고 상기 조직 내에 콘트라스트 차이들을 발생시키는 파라미터들을 설정하게 하고, 하나 이상의 신호 세기 또는 이미징 동안 얻어지는 이미지 프로젝션들로부터 적어도 하나의 관찰가능한 관심 조직 경계를 생성하게 하며, 상기 수술 절차 동안 상기 조직 경계의 움직임을 동적으로 모니터하게 하는,
    컴퓨터 시스템.
  7. 제6항에 있어서, 상기 조직 경계는, 절차 구역에서의 상기 조직 주위의 경계 및 상기 의료용 로봇의 접근 경로에 근접한 조직 주위의 경계 중에서, 어느 하나를 포함하거나 둘 모두를 포함하는,
    컴퓨터 시스템.
  8. 제7항에 있어서, 상기 조직 추적 모듈은 프로세서-실행가능 명령들이,
    상기 선택 명령 이전에 또는 상기 선택 명령 도중에, 외인성 콘트라스트 작용제(exogenous contrast agent)를 상기 조직에 주입하게 하는,
    컴퓨터 시스템.
  9. 제2항에 있어서, 상기 로봇 추적 모듈은 프로세서-실행가능 명령들이,
    상기 로봇에 근접하여 배치되고 상기 이미징 모댈러티에 결합된 복수의 마커들 중 하나 이상을 검출하게 하고, 상기 로봇의 위치를 판정하기 위해 상기 이미징 모댈러티의 좌표계에 대한 상기 마커들의 좌표들을 추출하게 하는,
    컴퓨터 시스템.
  10. 제2항에 있어서, 상기 시각화 모듈은 프로세서-실행가능 명령들이,
    상기 로봇에 대한 각 국소 단계(localization step)에 대해 단일의 마커 위치만을 검출하게 하는,
    컴퓨터 시스템.
  11. 제1항에 있어서, 상기 복수의 인터페이스들 중 하나는 상기 의료용 로봇 및 상기 이미징 모댈러티의 상기 조작자에 의해 수동으로 제어할 수 있게 하는,
    컴퓨터 시스템.
  12. 제1항에 있어서, 상기 복수의 모듈들은 수시로 동작하는,
    컴퓨터 시스템.
  13. 제1항에 있어서, 상기 이미징 모댈러티는 자기 공명 이미징 또는 스펙트로스코피 또는 이들의 조합, 초음파 이미징, X-선 계산 토모그래피, X-선 매모그래피, 광학 이미징, 또는 비디오인,
    컴퓨터 시스템.
  14. 수술 절차 동안 로봇의 인-사이튜(in-situ) 실시간 이미징 안내를 위한 컴퓨터-구현 방법으로서, 제1항의 상기 컴퓨터 시스템으로, 수술중에,
    조직 및 상기 의료용 로봇의 현재 상태를 얻기 위해 데이터를 처리하는 단계;
    절차 구역 및 상기 로봇의 상기 접근 경로에 근접한 영역 중에서 어느 하나 또는 둘 모두를 포함하는 적어도 한 조직 경계를 생성하는 단계;
    상기 절차 구역에 대해 상기 조직 경계의 움직임을 동적으로 모니터하는 단계; 및
    상기 로봇에 근접하여 배치되고 상기 이미징 모댈러티에 결합된 복수의 마커들의 개별적 가시화에 기초하여 상기 절차 구역과 관련하여 상기 로봇 또는 이를 포함하는 인터벤션 도구(interventional tool)의 위치를 추적하는 단계를 포함하는,
    컴퓨터-구현 방법.
  15. 제14항에 있어서, 상기 시스템의 상기 조작자를 위해 상기 절차 구역 및 상기 로봇의 시각화를 상기 절차 구역 및 상기 로봇이 모니터되고 추적될 때 생성하는 단계를 더 포함하는,
    컴퓨터-구현 방법.
  16. 제15항에 있어서, 상기 시각화는 시각적 이미지, 모델, 가상 현실 장면, 향상된 현실 장면 또는 합성화면(superimposition) 또는 이들의 조합을 포함하는,
    컴퓨터-구현 방법.
  17. 제15항에 있어서, 상기 로봇에 그리고 상기 이미징 모댈러티의 좌표계에 공동-등록된 복수의 멀티모드 센서들 중 하나 이상으로부터 상기 절차 구역의 뷰(view)를 발생하는 단계를 더 포함하는,
    컴퓨터-구현 방법.
  18. 제14항에 있어서, 상기 처리 단계는,
    상기 조직 및 로봇의 상기 상태에 대한 변화들을 계산하는 단계;
    데이터 획득에서의 변화를 트리거하는 이벤트들을 확인하는 단계;
    상기 변화를 형태 값들의 범위 리스트와 알고리즘적으로 비교하는 단계;
    상기 값들의 비교에 기초하여 상기 이벤트에 대한 응답을 선택하는 단계; 및
    상기 이미징 모댈러티에 전송되는 상기 응답에 기초하여 이미지 획득 전략을 고안하는 단계를 포함하는,
    컴퓨터-구현 방법.
  19. 제14항에 있어서, 상기 발생 단계는
    상기 이미징 모댈러티로 이미징 시퀀스들을 선택하는 단계;
    상기 조직 내에 콘트라스트 차이들을 발생하기 위한 파라미터들을 설정하는 단계; 및
    이미징 동안 얻어진 하나 이상의 이미지 프로젝션들로부터 상기 적어도 한 관심 조직 경계를 발생하는 단계를 포함하는,
    컴퓨터-구현 방법.
  20. 제19항에 있어서, 상기 조직 경계를 발생하기에 앞서 또는 상기 조직 경계를 발생시키는 동안에 상기 조직에 외인성 콘트라스트 작용제를 주입하는 단계를 더 포함하는,
    컴퓨터-구현 방법.
  21. 제14항에 있어서, 상기 추적 단계는 상기 이미징 모댈러티의 좌표계에 대한 상기 로봇 또는 상기 인터벤션 도구(interventional tool) 상에 상기 마커들의 좌표들을 추출하여 이들의 위치를 국소화 단계 동안 검출하는 단계를 포함하며,
    로봇 추적 동안, 국소화 단계를 위해 단일의 마커 위치만이 검출되는,
    컴퓨터-구현 방법.
  22. 제21항에 있어서, 상기 국소화 단계를 위해 단일의 마커 위치만이 검출되는,
    컴퓨터-구현 방법.
  23. 제14항의 상기 방법의 단계들을 가능하게 하는 컴퓨팅 시스템에서의 작동들을 실행 시에 수행하는 컴퓨터-실행가능 명령들을 저장하는,
    비일시적 컴퓨터-판독가능 데이터 저장 매체.
  24. 제23항의 상기 비일시적(non-transitory) 컴퓨터 판독가능 매체에 실체적으로 실시된, 컴퓨터 프로그램 제품.
  25. 자기 공명 이미지-안내 및 로봇-이용 수술 시스템으로서,
    적어도 하나의 컴퓨터 프로세서;
    적어도 하나의 컴퓨터 메모리;
    시스템 등록가능 로봇(system registrable robot) 또는 이를 포함하는 인터벤션 도구(interventional tool)들을 포함하는 하나 이상의 로봇식 구조들;
    상기 로봇에 등록된 자기 공명 스캐너;
    상기 컴퓨터 프로세서 및 메모리와의 수시 동작을 위해 구성된 복수의 모듈로서, 프로세서-실행가능 명령들이,
    상기 로봇 및 환자 내 관심 조직에 관한 모든 MR-발생된 데이터를 기술하게 하고, 절차 구역 내 조직 경계를 확립하게 하고, 상기 MR 스캐너를 통해 또는 상기 로봇을 포함하고 환자의 신체 내부 또는 외부에 배치된 하나 이상의 멀티모드 센서를 통해 상기 조직 경계의 움직임을 동적으로 모니터하게 하고, 상기 절차 구역에 관련하여 상기 로봇의 위치를 추적하게 하고, 상기 발생된 데이터를 상기 시스템의 수술자에게 전송하게 하고, 로봇 제어 및 상기 발생된 데이터로부터 추적을 위한 명령을 발생하게 하고, 상기 수술자를 위해 상기 수술 절차 동안 상기 절차 구역 및 상기 로봇의 뷰를 발생하게 하며, 상기 로봇, 상기 스캐너, 상기 모듈들 및 상기 조작자 간에 복수의 인터페이스들을 확립하게 하는, 복수의 모듈들;
    을 포함하는,
    시스템.
  26. 제25항에 있어서, 상기 복수의 모듈들은 프로세서-실행가능 명령들이,
    상기 멀티모드 센서들을 통해 획득된 데이터로부터 상기 절차 구역의 4D 뷰를 발생시키고 시각화하도록 또한 구성된,
    시스템.
  27. 제26항에 있어서, 상기 멀티모드 센서들은 상기 자기 공명 스캐너를 포함하는 좌표계에 공동-등록되는,
    시스템.
  28. 제25항에 있어서, 모든 MR-발생된 데이터를 기술하는 상기 명령들은,
    상기 조직 및 상기 로봇의 상태에 관한 데이터를 처리하고,
    상기 데이터에 대한 변화들을 계산하고,
    상기 변화들을 형태 값들의 범위 리스트와 비교하는 명령들을 통해, 데이터 획득에 변화를 트리거하는 이벤트들을, 알고리즘적으로, 확인하고,
    상기 이벤트에 대한 응답을 선택하고 이에 기초하여 MR 이미지 획득 전략을 고안하고,
    상기 MR 이미지 획득 전략을 상기 MR 스캐너에 전송하게 동작하는,
    시스템.
  29. 제25항에 있어서, 조직 경계를 확립하기 위한 상기 명령들은,
    필요시 외인성 콘트라스트 작용제를 선택적으로 상기 조직에 주입하도록,
    MR 이미징 시퀀스들을 선택하여 상기 조직 내에 콘트라스트 차이들을 발생하게 파라미터들을 설정하도록, 그리고,
    자기 공명 이미징 동안 얻어진 하나 이상의 이미지 프로젝션들로부터 상기 조직 경계를 발생시키도록,
    동작하는,
    시스템.
  30. 제25항에 있어서, 상기 로봇의 위치를 추적하기 위한 상기 명령들은,
    상기 절차 구역과 관련하여 상기 로봇의 위치를, 이에 근접하여 배치되고 상기 MR 스캐너의 좌표계에 공동-등록된 복수의 마커들의 온/오프 상태에 기초하여 추적하도록, 그리고,
    로봇 움직임을 구속하기 위해 모션 필터링을 적용하도록,
    동작하는,
    시스템.
  31. 제30항에 있어서,
    상기 로봇의 위치를 추적하기 위한 상기 명령들은, 복수의 마커들의 위치들을 검출하기 위해 상기 MR 스캐너의 좌표 시스템에 대한 상기 복수의 마커들의 좌표들을 추출하도록 동작하며,
    로봇 추적 동안 국소화 단계를 위해 단일의 마커 위치만이 검출되는,
    시스템.
  32. 제25항에 있어서, 상기 복수의 인터페이스들 중 적어도 하나는 상기 로봇 및 상기 MR 스캐너의 상기 조작자에 의해 수동 제어할 수 있게 하는,
    시스템.
  33. 제25항에 있어서, 상기 복수의 모듈들은, 프로세서-실행가능 명령들이 조직-대-조직 또는 조직-대-로봇 경계들을 모니터하기 위한 적어도 하나의 신호 세기 프로젝션을 발생하도록, 또한 구성된,
    시스템.
  34. 제25항에 있어서, 적어도 하나의 신호 세기를 발생하기 위한 상기 명령들은,
    라디오 주파수 펄싱을 통해 상기 프로젝션의 선택된 방향을 따라 적어도 3D 컬럼 내 구속된 상기 조직을 여기하고, 자기장 그레디언트를 조작하고, 상기 MR 스캐너로부터 생 데이터를 획득하며, 상기 원 데이터(raw data)로부터 상기 신호 세기의 1D 프로젝션을 생성하도록 동작하는,
    시스템.
  35. 제34항에 있어서, 하나 이상의 3D 컬럼이 평면을 포함한다면, 상기 모듈은 명령들이 복수의 라디오 주파수 펄스를 보냄으로써 상기 획득률을 증가시킬 수 있게 하는,
    시스템.
  36. 제25항에 있어서, 상기 복수의 모듈들은 상기 환자의 신체를 포함하는 자연적 관형 구조들 및 상기 로봇 또는 인터벤션 도구(interventional tool)들을 포함하는 인공적 관형 구조들을 이미징하도록 또한 구성된,
    시스템.
  37. 제36항에 있어서,
    자연적 및 인공적 관형 구조들을 이미지 하기 위한 상기 명령들은,
    콘트라스트 작용제를 상기 구조에 주입 또는 로딩시키도록, 콘트라스트 작용제를 가진 상기 구조를 내포하는 3D 볼륨의 적어도 한 2D 프로젝션을 획득하도록, 그리고, 상기 2D 프로젝션들로부터 3D 이미지를 생성하도록, 동작하는,
    시스템.
  38. 제37항에 있어서, 적어도 2개의 2D 프로젝션들이 획득되었을 때, 상기 프로젝션들은 서로에 대해 임의의 각도로 배치되는,
    시스템.
  39. 제37항에 있어서, 상기 2D 프로젝션을 획득하기 위해 사용되는 라디오 주파수 펄스들 및 자기장 그레디언트 펄스들의 선택된 순서는 비-콘트라스트된(non-contrasted) 구조들부터의 신호를 적어도 감소시키는,
    시스템.
  40. 제25항에 있어서,
    로봇 제어를 위한 상기 명령들은, MR 이미지-안내 하에 상기 2D 프로젝션들의 획득을 위해 상기 로봇의 수동 조작 및 자동화된 제어를 할 수 있게, 동작하는,
    시스템.
  41. 제40항에 있어서, 로봇 제어를 위한 상기 명령들은, 수동 조작 제어를 통해서,
    적어도 하나의 평면, 적어도 하나의 프로젝션 축(one projection axis) 및 적어도 하나의 프로젝션 와이드(projection wide)를 선택하고, 그리고
    부수적으로, 3D 프로젝션 컬럼들을 선택하고 상기 컬럼들을 그룹화하도록 동작하며,
    자동 제어를 통해서:
    펄스 그레디언트 및 그레디언트 강도를 포함하는 자기 공명 획득 파라미터들을 계산하고, 그리고, 순차적으로,
    상기 획득 파라미터들을 업데이트하고,
    상기 프로젝션들을 동적으로 획득하고, 상기 프로젝션들을 분석하며, 그리고
    동적 조직 모델을 발생시키고, 그리고,
    동적 통로 및 궤적를 계산하고 이를 통해 상기 로봇을 제어하고,
    촉각 장치의 동적 렌더링(dynamic rendering)을 계산하고,
    상기 동적 렌더링으로부터 이미지 안내의 증강현실을 생성하게, 동작하는,
    시스템.
  42. 제25항의 상기 복수의 모듈들을 포함하는 컴퓨터-실행가능 명령들을 저장하는,
    비일시적(non-transitory) 컴퓨터-판독가능 데이터 저장 매체.
  43. 제41항의 상기 비일시적 컴퓨터 판독가능 매체에 실체적으로 구현된,
    컴퓨터 프로그램 제품.
KR1020157007979A 2012-08-27 2013-08-27 이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법 KR20150060735A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261693534P 2012-08-27 2012-08-27
US61/693,534 2012-08-27
PCT/US2013/056903 WO2014036034A1 (en) 2012-08-27 2013-08-27 Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery

Publications (1)

Publication Number Publication Date
KR20150060735A true KR20150060735A (ko) 2015-06-03

Family

ID=50148674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007979A KR20150060735A (ko) 2012-08-27 2013-08-27 이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법

Country Status (13)

Country Link
US (1) US9855103B2 (ko)
EP (1) EP2887884B1 (ko)
JP (1) JP2015527144A (ko)
KR (1) KR20150060735A (ko)
CN (1) CN104780849B (ko)
AU (1) AU2013308959A1 (ko)
BR (1) BR112015004353A2 (ko)
CA (1) CA2883469A1 (ko)
HK (1) HK1211821A1 (ko)
MX (1) MX2015002537A (ko)
RU (1) RU2015110976A (ko)
WO (1) WO2014036034A1 (ko)
ZA (1) ZA201502007B (ko)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
WO2015010189A1 (en) 2013-07-24 2015-01-29 Centre For Surgical Invention & Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
FR3010628B1 (fr) 2013-09-18 2015-10-16 Medicrea International Procede permettant de realiser la courbure ideale d'une tige d'un materiel d'osteosynthese vertebrale destinee a etayer la colonne vertebrale d'un patient
FR3012030B1 (fr) 2013-10-18 2015-12-25 Medicrea International Procede permettant de realiser la courbure ideale d'une tige d'un materiel d'osteosynthese vertebrale destinee a etayer la colonne vertebrale d'un patient
US9721379B2 (en) * 2014-10-14 2017-08-01 Biosense Webster (Israel) Ltd. Real-time simulation of fluoroscopic images
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20160314621A1 (en) 2015-04-27 2016-10-27 David M. Hill Mixed environment display of attached data
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
KR20170074435A (ko) 2015-12-22 2017-06-30 삼성전자주식회사 엑스선 영상 장치, 그 제어 방법 및 엑스선 디텍터
US20190088162A1 (en) * 2016-03-04 2019-03-21 Covidien Lp Virtual and/or augmented reality to provide physical interaction training with a surgical robot
CN105877846B (zh) * 2016-03-30 2018-05-08 佳木斯大学 口腔诊疗机器人系统及其控制方法
EP3323565B1 (de) * 2016-11-21 2021-06-30 Siemens Aktiengesellschaft Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
US11185369B2 (en) * 2017-04-21 2021-11-30 Medicrea Nternational Systems, methods, and devices for developing patient-specific spinal treatments, operations, and procedures
CN107225561A (zh) * 2017-06-02 2017-10-03 成都福莫斯智能系统集成服务有限公司 基于mr技术的机器人手臂控制方法
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
CN111164522B (zh) * 2017-09-30 2023-05-16 西门子股份公司 设计具有可重复使用技能的自主系统
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
FR3073135B1 (fr) * 2017-11-09 2019-11-15 Quantum Surgical Dispositif robotise pour une intervention medicale mini-invasive sur des tissus mous
CN111343941A (zh) * 2017-11-13 2020-06-26 皇家飞利浦有限公司 机器人工具控制
US10918422B2 (en) 2017-12-01 2021-02-16 Medicrea International Method and apparatus for inhibiting proximal junctional failure
EP3496038A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US20190201130A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Communication of data where a surgical network is using context of the data and requirements of a receiving system / user to influence inclusion or linkage of data and metadata to establish continuity
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10517681B2 (en) * 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11839396B2 (en) 2018-03-08 2023-12-12 Cilag Gmbh International Fine dissection mode for tissue classification
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11839460B2 (en) * 2018-06-06 2023-12-12 DePuy Synthes Products, Inc. Device and method to detect and remove blood clots for treatment of ischemic stroke using force and electromagnetic sensing
US10413364B1 (en) 2018-08-08 2019-09-17 Sony Corporation Internal organ localization of a subject for providing assistance during surgery
US11475630B2 (en) * 2018-10-17 2022-10-18 Midea Group Co., Ltd. System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy
US20220000565A1 (en) * 2018-11-15 2022-01-06 Comofi Medtech Private Limited System for renal puncturing assistance
WO2020123671A1 (en) * 2018-12-11 2020-06-18 Project Moray, Inc. Hybrid-dimensional, augmented reality, and/or registration of user interface and simulation systems for robotic catheters and other uses
CN109512509B (zh) * 2018-12-27 2020-07-03 中国科学院深圳先进技术研究院 一种机器人的柔顺控制方法、装置及设备
US11291445B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical staple cartridges with integral authentication keys
US11925417B2 (en) 2019-04-02 2024-03-12 Medicrea International Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures
US11877801B2 (en) 2019-04-02 2024-01-23 Medicrea International Systems, methods, and devices for developing patient-specific spinal implants, treatments, operations, and/or procedures
EP3756728A1 (en) * 2019-06-24 2020-12-30 Vision RT Limited Patient motion tracking system configured for automatic roi generation
EP3799063A1 (en) * 2019-09-26 2021-03-31 Siemens Healthcare GmbH Mri imaging with interleaved white marker contrast projections for ai-based passive device tracking
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11769251B2 (en) 2019-12-26 2023-09-26 Medicrea International Systems and methods for medical image analysis
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US20230074481A1 (en) * 2020-02-18 2023-03-09 Koninklijke Philips N.V. Medical imaging systems, devices, and methods for visualizing a deployment state of an intracorporeal therapeutic device
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US20220020219A1 (en) * 2020-07-15 2022-01-20 Orthosoft Ulc Augmented reality bone landmark display
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
WO2022055588A1 (en) 2020-09-08 2022-03-17 Medtronic, Inc. Imaging discovery utility for augmenting clinical image management
CN113057677B (zh) * 2021-03-30 2022-05-24 华南理工大学 超声和ct图像融合的心脏影像建模方法、系统及设备
CN113180771B (zh) * 2021-05-29 2022-08-26 吉林大学 一种具有定时加减压功能的心脏造影术后用伤口加压装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149955A1 (de) 2001-10-10 2003-04-24 Philips Corp Intellectual Pty MR-Anordnung zur Lokalisierung eines medizinischen Instrumentes
US6838990B2 (en) * 2001-12-20 2005-01-04 Calypso Medical Technologies, Inc. System for excitation leadless miniature marker
US20040009459A1 (en) * 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
US7117026B2 (en) 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
AU2003257309A1 (en) 2002-08-13 2004-02-25 Microbotics Corporation Microsurgical robot system
US7466303B2 (en) 2004-02-10 2008-12-16 Sunnybrook Health Sciences Center Device and process for manipulating real and virtual objects in three-dimensional space
WO2007005367A2 (en) * 2005-06-30 2007-01-11 Intuitive Surgical, Inc Robotic image guided catheter-based surgical devices and techniques
JP4491420B2 (ja) * 2006-01-12 2010-06-30 株式会社日立メディコ 手術支援装置及び手術支援撮像装置
US20080287783A1 (en) * 2007-05-16 2008-11-20 General Electric Company System and method of tracking delivery of an imaging probe
DE102007046186A1 (de) * 2007-09-26 2009-04-02 Amedo Smart Tracking Solutions Gmbh Gewebemarkierung
US20100312094A1 (en) * 2009-06-08 2010-12-09 Michael Guttman Mri-guided surgical systems with preset scan planes
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment

Also Published As

Publication number Publication date
AU2013308959A1 (en) 2015-04-09
EP2887884A4 (en) 2016-10-12
RU2015110976A (ru) 2016-10-20
US9855103B2 (en) 2018-01-02
ZA201502007B (en) 2016-09-28
EP2887884A1 (en) 2015-07-01
HK1211821A1 (en) 2016-06-03
CN104780849B (zh) 2018-11-13
CA2883469A1 (en) 2014-03-06
EP2887884B1 (en) 2019-06-12
US20140058407A1 (en) 2014-02-27
JP2015527144A (ja) 2015-09-17
MX2015002537A (es) 2015-10-22
CN104780849A (zh) 2015-07-15
BR112015004353A2 (pt) 2017-07-04
WO2014036034A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR20150060735A (ko) 이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법
US20170296292A1 (en) Systems and Methods for Surgical Imaging
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
US9326823B2 (en) Real-time tracking and navigation system and method for minimally invasive surgical procedures
US8340376B2 (en) Diffusion tensor imaging confidence analysis
JP2020028721A (ja) 脳画像パイプライン及び脳画像領域の位置及び形状予測のための方法並びにシステム
CN103281962B (zh) 门控图像获取和患者模型重建
US9002433B2 (en) System and method for image-based interventional device tracking and scan plane guidance
EP3079622B1 (en) Radiation-free registration of an optical shape sensing system to an imaging system
WO2003005902A1 (fr) Procede de saisie d&#39;images endoscopiques et dispositif d&#39;irm l&#39;utilisant
Christoforou et al. Performance of interventions with manipulator-driven real-time MR guidance: implementation and initial in vitro tests
JP2011143055A (ja) 医療画像診断装置及び医療画像表示装置
Elayaperumal et al. Autonomous real-time interventional scan plane control with a 3-D shape-sensing needle
Radau et al. VURTIGO: visualization platform for real-time, MRI-guided cardiac Electroanatomic mapping
KR20190064919A (ko) 코일 장치, 자기공명영상장치, 및 코일 장치의 제어방법
JP7319248B2 (ja) 位置追跡型インターベンショナルデバイスの自動視野更新
CN107438407B (zh) 自动放射学阅读会话检测
Tokuda et al. Software strategy for robotic transperineal prostate therapy in closed-bore MRI
KR101821353B1 (ko) 자기 공명 영상 장치
JP4565885B2 (ja) 核磁気共鳴撮像装置
KR20190058970A (ko) 자기공명영상장치 및 그 제어방법
EP4060362A1 (en) Staged reconstruction of planning images for cardiac magnetic resonance imaging
Neumann et al. Evaluation of an image-based tracking workflow with Kalman filtering for automatic image plane alignment in interventional MRI
JP2002034949A (ja) ３次元位置決め表示装置及び磁気共鳴イメージング装置
An Sensors and System Integration for Magnetic Resonance Image (MRI)-Guided and Robot-Assisted Interventions

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination