KR20190070359A - 다중 모달리티 이미지 디스플레이를 구비한 수술 시스템 - Google Patents

Abstract

수술 장면의 다중 모달리티 이미지를 생성하는 방법이 제공되며, 방법은 수술 장면으로부터 반사된 광을 캡처하는 단계; 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 생성하는 단계; 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 생성하는 단계; 선택된 부분 내에 포함된 해부학적 구조 정보에 적어도 부분적으로 기초하여 제2 모달리티 이미지의 일부분을 선택하는 단계; 및 수술 장면의 제1 모달리티 이미지의 적어도 일부분 및 제2 모달리티 이미지의 선택된 부분을 디스플레이 내에서 동시에 생성하는 단계를 포함한다.

Description

다중 모달리티 이미지 디스플레이를 구비한 수술 시스템

우선권 주장

본 출원은 2016년 11월 11일자로 출원된 미국 특허 출원 제62/421,095호에 대해 우선권을 주장하며, 이는 본 명세서에 그 전체로서 참조로 인용된다.

이미지 유도 수술 기술들(Image guided surgical techniques)은 외과 의사들에게 수술 장면 내의 해부학적 대상들의 내부 구조들을 시각화하는 기능을 제공한다. 개선된 시각화 기능들은 외과 의사가 수술 기구들의 실제 위치와 해부학적 대상들 내의 치명적인 또는 숨겨진 해부학적 구조들에 대한 물리적 관계를 더 잘 감지할 수 있게 하여 더 안전하고 효과적인 최소 침습적 수술 절차들을 가능하게 한다.

다음 요약은 기본적인 이해를 제공하기 위해 발명 주제의 특정 양태들을 소개한다. 본 요약은 발명 주제에 대한 포괄적인 개요가 아니며 주요 또는 중요한 요소들을 식별하거나 발명 주제의 범위를 기술하기 위한 것이 아니다. 본 요약은 본 발명 주제의 다양한 양태들 및 실시예들에 관련된 정보를 포함하지만, 그 유일한 목적은 이하의 보다 상세한 설명의 서문으로서 일반적인 형태의 일부 양태들 및 실시예들을 제공하기 위한 것이다.

일 양태에서, 수술 장면의 다중 모달리티(multi-modality) 이미지를 생성하는 방법이 제공된다. 카메라는 수술 장면에서 반사된 광을 캡처한다. 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보가 생성된다. 수술 장면에 대응하는 제2 모달리티 이미지 정보가 생성된다. 제2 모달리티 이미지의 일부는 그것이 포함하는 해부학적 구조 정보에 적어도 부분적으로 기초하여 선택된다. 컴퓨터는 제1 이미지 정보 및 제2 이미지 정보를 사용하여, 수술 장면의 제1 모달리티 이미지의 적어도 일부 및 수술 장면의 제2 모달리티 이미지의 선택된 부분을 디스플레이 내에서 동시에 생성하도록 구성된다.

다른 양태에서, 수술 장면의 다중 모달리티 이미지를 생성하는 방법이 제공된다. 카메라는 수술 장면에서 반사된 광을 캡처한다. 제1 이미지 정보는 수술 장면의 제1 모달리티 이미지에 대응하여 생성된다. 제2 이미지 정보는 수술 장면의 제2 모달리티 이미지에 대응하여 생성된다. 사용자 눈의 초점 위치는 디스플레이 내에서 추적된다. 제2 모달리티 이미지의 일부는 추적된 사용자 눈의 초점에 적어도 부분적으로 기초하여 선택된다. 컴퓨터는 제1 이미지 정보 및 제2 이미지 정보를 사용하여, 수술 장면의 제1 모달리티 이미지의 적어도 일부 및 수술 장면의 제2 모달리티 이미지의 선택된 부분을 디스플레이 내에서 동시에 생성하도록 구성된다.

또 다른 양태에서, 수술 장면의 다중 모달리티 이미지를 생성하는 방법이 제공된다. 카메라는 수술 장면에서 반사된 광을 캡처한다. 제1 이미지 정보는 수술 장면의 제1 모달리티 이미지에 대응하여 생성된다. 제2 이미지 정보는 수술 장면의 제2 모달리티 이미지에 대응하여 생성된다. 수술 단계는 수술 절차의 과정에서 추적된다. 모달리티 이미지 포맷은 추적된 수술 단계에 적어도 부분적으로 기초하여 선택된다. 컴퓨터는 제1 이미지 정보 및 제2 이미지 정보를 사용하여, 제1 모달리티 이미지의 적어도 일부분 및 제2 모달리티 이미지의 적어도 일부분을 선택된 포맷으로 디스플레이 내에서 생성하도록 구성된다.

도 1은 최소 침습적 원격 수술 시스템의 평면도이다.
도 2는 외과 의사의 콘솔의 사시도이다.
도 3은 전자 카트의 사시도이다.
도 4는 원격 수술 시스템의 개략도이다.
도 5a는 원격 수술 시스템의 설명도이다.
도 5b는 수술 시스템의 환자 측 카트의 사시도이다.
도 5c는 수술 장면을 나타내는 예시적인 도면이며, 일부 실시예들에 따라 장면을 기록하는 데 사용되는 카메라를 장착하는 내시경 및 광 파장들을 필터링하기 위한 광 필터들을 또한 도시한다.
도 6은 수술 기구의 입면도이다.
도 7은 기구 조작기의 사시도이다.
도 8은 수술 계획 도구의 개략도이다.
도 9는 일부 실시예들에 따른 비일시적 저장 디바이스 내에 저장된 수술 정보 아틀라스(atlas)를 나타내는 예시적인 도면이다.
도 10은 일부 실시예들에 따른 수술 정보 아틀라스 내에 저장된 예시적인 수술 기록 정보 구조의 특정 세부 사항들을 도시하는 예시적인 도면이다.
도 11은 일부 실시예들에 따른 수술 장면의 예시적인 순수 이미지를 나타내는 예시적인 도면이다.
도 12는 제1 해부학적 대상 내의 해부학적 구조들의 이미지들이 NBI 디스플레이 모달리티를 통해 개선된 도 11의 예시적인 수술 장면의 예시적인 협대역 이미지(NBI) 모달리티 이미지를 나타내는 예시적인 도면이다.
도 13은 제2 해부학적 대상 내의 해부학적 구조의 이미지들이 라만 분광법 디스플레이 모달리티를 통해 개선된 도 11의 예시적인 수술 장면의 예시적인 라만 분광법 모달리티 이미지를 나타내는 예시적인 도면이다.
도 14는 HIS 이미징 디스플레이 모달리티를 사용하여 디스플레이된 도 11의 예시적인 수술 장면의 예시적인 하이퍼스펙트럴(HIS) 모달리티 이미지를 나타내는 예시적인 도면이다.
도 15는 일부 실시예들에 따른 도 11의 예시적인 수술 장면의 컴퓨터 단층촬영(computer tomograpic) 슬라이스 디스플레이 모달리티를 나타내는 예시적인 도면이다.
도 16은 일부 실시예들에 따라 스티치(stitch) 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는 도 11의 수술 장면의 예시적인 다중 모달리티 디스플레이의 실례이다.
도 17은 일부 실시예들에 따라 스티치 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는 도 11의 수술 장면의 예시적인 다중 모달리티 디스플레이의 대안적인 예이다.
도 18은 일부 실시예들에 따라 픽쳐-인-픽쳐(picture-in-picture) 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는 도 11의 수술 장면의 예시적인 다중 모달리티 디스플레이의 예이다.
도 19는 일부 실시예들에 따라 픽쳐-인-픽쳐 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는 도 11의 수술 장면의 예시적인 다중 모달리티 디스플레이의 대안적인 예이다.
도 20은 일부 실시예들에 따라 주석 포맷을 사용하는 다중 디스플레이 모달리티들로부터의 정보를 사용하는 도 11의 수술 장면의 예시적인 디스플레이의 예이다.
도 21a는 일부 실시예들에 따라 다중 모달리티 수술 이미지를 동적으로 제공하는 제1 프로세스를 나타내는 예시적인 흐름도이다.
도 21b는 상이한 이미지 모달리티 이미지들을 생성하는 데 사용될 수 있는 비일시적 저장 디바이스에 저장된 각각의 제1 이미지 정보를 나타내는 예시적인 도면이다.
도 21c는 상이한 이미지 모달리티 이미지 부분들을 생성하는 데 사용될 수 있는 비일시적 저장 디바이스에 저장된 각각의 제2 이미지 부분 정보를 나타내는 예시적인 도면이다.
도 22는 일부 실시예들에 따라 디스플레이 모달리티들 및 선택된 디스플레이 모달리티들의 일부분들을 선택하기 위한 하위 프로세스의 세부 사항들을 나타내는 예시적인 흐름도이다.
도 23은 일부 실시예들에 따라 이미지 모달리티의 사용자 선택을 수신하기 위한 하위 프로세스의 세부 사항들을 나타내는 예시적인 흐름도이다.
도 24는 일부 실시예들에 따른 수술 시스템의 뷰어 내에 디스플레이된 예시적인 모달리티 선택 사용자 인터페이스(UI)를 나타내는 예시적인 도면이다.
도 25a 내지 도 25c는 일부 실시예들에 따른 2차원 눈 추적(two dimensional eye tracking)(도 25a 내지 도 25b) 및 깊이 눈 추적(depth eye tracking)(도 25c)을 나타내는 예시적인 도면들이다.
도 26은 일부 실시예들에 따라 다중 모달리티 디스플레이 포맷을 선택하기 위한 하위 프로세스의 세부 사항들을 나타내는 예시적인 흐름도이다.
도 27은 일부 실시예들에 따른 수술 시스템의 뷰어 내에 디스플레이된 예시적인 포맷 선택 사용자 인터페이스(UI)를 나타내는 예시적인 도면이다.
도 28은 일부 실시예들에 따라 수술 단계 정보 및 대응하는 수술 단계 규칙들이 함께 디스플레이 모달리티를 나타내는지 여부를 결정하기 위한 하위 프로세스의 특정 세부 사항들을 나타내는 예시적인 흐름도이다.
도 29는 일부 실시예들에 따른 예시적인 수술 단계 서명들 및 대응하는 모달리티들을 나타내는 예시적인 도면이다.
도 30은 일부 실시예들에 따라 이미지 모달리티 부분을 생성하기 위한 하위 프로세스의 특정 세부 사항들을 나타내는 예시적인 흐름도이다.
도 31은 일부 실시예들에 따른 예시적인 이미지 서명들 및 대응하는 주석들을 나타내는 예시적인 도면이다.

발명의 양태들, 실시예들, 구현예들 또는 응용예들을 설명하는 본 명세서 및 첨부 도면들이 제한으로서 받아들여져서는 안되며, 청구항들이 보호되는 발명을 정의한다. 본 명세서 및 청구항들의 범위를 벗어나지 않는 다양한 기계적, 구성적, 구조적, 전기적 및 작동상의 변경들이 이루어질 수 있다. 일부 예들에서, 잘 알려진 회로들, 구조들 또는 기술들은 본 발명을 모호하게 하지 않기 위해 상세히 도시되거나 기술되지 않았다. 2개 이상의 도면들에서 유사한 번호들은 동일하거나 유사한 요소들을 나타낸다.

다음의 설명은 임의의 본 기술분야의 통상의 기술자들이 수술 시스템에서 다중 모달리티 이미지를 생성하고 사용할 수 있도록 제시된다. 실시예들에 대한 다양한 변경들이 본 기술분야의 통상의 기술자들에게 용이하게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 범위를 벗어나지 않고 다른 실시예들 및 응용예들에 적용될 수 있다. 또한, 이하의 설명에서, 많은 세부 사항들이 설명의 목적으로 제시된다. 그러나, 본 기술분야의 통상의 기술자는 본 발명의 내용이 이러한 특정 세부 사항들의 사용없이 실시될 수 있음을 알 것이다. 다른 경우들에서, 잘 알려진 기계 구성 요소들, 프로세스들 및 데이터 구조들이 불필요한 세부 사항으로 개시 내용을 모호하게 하지 않도록 블록 다이어그램 형태로 도시된다. 동일한 도면 부호들은 상이한 도면들에서 동일한 아이템의 상이한 뷰들을 나타내기 위해 사용될 수 있다. 아래에 참조된 도면의 흐름도들은 프로세스들을 나타내기 위해 사용된다. 컴퓨터 시스템은 이러한 프로세스들 중 일부를 수행하도록 구성될 수 있다. 컴퓨터 구현 프로세스들을 나타내는 흐름도들 내의 블록들은 이들 모듈들을 참조하여 기술된 동작들을 수행하기 위한 컴퓨터 프로그램 코드에 따른 컴퓨터 시스템의 구성을 나타낸다. 따라서, 본 발명의 내용은 도시된 실시예들에 제한되는 것이 아니라, 본 명세서에 개시된 원리들 및 특징들과 일치하는 가장 넓은 범위에 따른다.

최소 침습적 원격 수술 시스템

원격 조작이란 먼 거리에서 기계를 작동시키는 것을 말한다. 최소 침습적 원격 조작 의료 시스템에서, 외과 의사는 환자의 체내의 수술 부위를 보기 위한 카메라를 포함하는 내시경을 사용할 수 있다. 일부 실시예들에서, 입체적인(stereoscopic) 이미지들이 캡처될 수 있으며, 이는 수술 절차 동안 깊이의 인식을 허용한다.

도 1은 수술대(14)상에 누워있는 환자(12)에 대해 최소 침습적 진단 또는 수술 절차를 수행하는 데 전형적으로 사용되는, 최소 침습성 원격 수술 시스템(10)의 예시적인 평면도이다. 시스템은 절차 중에 외과 의사(18)가 사용하기 위한 외과 의사의 콘솔(16)을 포함한다. 하나 이상의 보조자들(20)도 절차에 참여할 수 있다. 최소 침습성 원격 수술 시스템(10)은 환자 측 카트(들)(22) 및 전자 카트(24)를 더 포함한다. 환자 측 카트(22)는 외과 의사(18)가 외과 의사의 콘솔(16)을 통해 수술 부위를 보는 동안 환자(12)의 체내에서 최소 침습적 절개를 통해 적어도 하나의 수술 기구(26)를 조작할 수 있다. 수술 부위의 이미지는 내시경(28)을 배향시키기 위해 환자 측 카트(22)에 의해 조작될 수 있는 입체 내시경(stereoscopic endoscope)과 같은 내시경(28)에 의해 획득될 수 있다. 전자 카트(24)상에 위치한 컴퓨터 프로세서들은 외과 의사의 콘솔(16)을 통해 외과 의사(18)에게 후속 디스플레이하기 위해 수술 부위의 이미지들을 처리하는 데 사용될 수 있다. 분리된 시스템 구성 요소들[즉, 환자 측 카트(22), 전자 카트(24) 및 외과 의사의 콘솔(16)]이 예시적인 목적들을 위해 도시되고 설명되었지만, 다양한 실시예들에서 그 안에 포함된 요소들은 결합 및/또는 분리될 수 있음을 알아야 한다. 예를 들어, 일부 실시예들에서, 전자 카트(24)의 컴퓨터 프로세서들은 외과 의사의 콘솔(16) 및/또는 환자 측 카트(22)에 통합될 수 있다. 한 번에 사용되는 수술 기구들(26)의 수는 일반적으로 진단 또는 수술 절차 및 다른 요인들 중에서 수술 부위 내의 공간 제약에 의존할 것이다. 절차 중에 사용되는 수술 기구들(26) 중 하나 이상을 변경할 필요가 있는 경우, 보조자(20)는 수술 기구(26)를 환자 측 카트(22)로부터 제거하고, 수술실 내의 트레이(30)로부터의 다른 수술 기구(26)로 교체할 수 있다.

도 2는 외과 의사의 콘솔(16)의 사시도이다. 외과 의사의 콘솔(16)은 외과 의사(18)에게 깊이 지각을 가능하게 하는 수술 부위의 조정된 입체 뷰를 제공하기 위한 좌안 디스플레이(32) 및 우안 디스플레이(34)를 포함하는 뷰어 디스플레이(31)를 포함한다. 콘솔(16)은 하나 이상의 제어 입력들(36)을 더 포함한다. 하나 이상의 제어 입력들(36)에 대한 외과 의사(18)의 조작에 응답하여 환자 측 카트(22)(도 1에 도시된)에서 사용하기 위해 설치된 하나 이상의 수술 기구가 움직인다. 제어 입력들(36)은 외과 의사(18)에게 원격현실(telepresence)을 제공하기 위해 그들의 관련 수술 기구들(26)(도 1에 도시된)과 동일한 기계적 자유도들을 제공할 수 있거나, 또는 제어 입력들(36)이 기구들(26)과 통합되었다는 지각을 제공하여 외과 의사가 직접적으로 기구(26)를 제어하고 있다는 강한 감각(strong sense)을 가지도록 할 수 있다. 이를 위해, 위치, 힘, 및 촉각 피드백 센서들(도시되지 않음)이 위치, 힘, 및 촉각을 수술 기구들(26)로부터 통신 지연 제약의 제한을 받는 제어 입력들(36)을 통해 외과 의사의 손으로 다시 전달하기 위해 사용될 수 있다. 고정 뷰어(31) 및 기계적으로 결합된 제어 입력들(36)을 갖는 물리적 콘솔(16)이 예시적인 목적들을 위해 도시되고 설명되었지만, 다양한 다른 실시예들에서, "접지되지 않은" 제어 입력들 및/또는 디스플레이 구조들이 사용될 수 있음을 주목해야 한다. 예를 들어, 일부 실시예들에서, 뷰어(31)는 헤드 장착형 디스플레이일 수 있고 및/또는 제어 입력들(36)은 임의의 기본 구조와 기계적으로 독립적일 수 있다(예를 들어, Microsoft의 Kinect와 같은 유선, 무선 또는 제스처 기반).

외과 의사의 콘솔(16)은 일반적으로 외과 의사가 직접적으로 절차를 모니터하고, 필요하다면 물리적으로 존재하며, 전화 또는 다른 통신 매체를 통하지 않고 환자 측 보조자에게 직접 말할 수 있도록 환자와 동일한 방에 위치한다. 그러나, 외과 의사는 다른 방, 완전히 다른 건물, 또는 원격 수술 절차를 허용하는 환자로부터의 다른 원격 위치에 위치할 수 있다.

도 3은 전자 카트(24)의 사시도이다. 전자 카트(24)는 내시경(28)과 결합될 수 있으며, 예를 들어 외과 의사의 콘솔 또는 근처 및/또는 원격으로 위치된 다른 적절한 디스플레이에서 외과 의사에게 후속하여 디스플레이하기 위해, 캡처된 이미지를 처리하는 컴퓨터 프로세서를 포함한다. 예를 들어, 입체 내시경이 사용되는 경우, 전자 카트(24)상의 컴퓨터 프로세서는 캡처된 이미지를 처리하여 외과 의사에게 수술 부위의 조정된 입체(stereo) 이미지를 제공할 수 있다. 이러한 조정은 대립되는 이미지들 간의 정렬을 포함할 수 있으며, 입체 내시경의 입체 작동 거리를 조정하는 것을 포함할 수 있다. 또 다른 예로서, 이미지 처리는 광학 수차들과 같은 이미지 캡처 디바이스의 이미징 에러들을 보정하기 위해 미리 결정된 카메라 교정 파라미터들의 사용을 포함할 수 있다. 선택적으로, 전자 카트의 장비는 외과 의사의 콘솔 또는 환자 측 카트에 통합되거나 수술실의 여러 다른 위치들에 분산될 수 있다.

도 4는 원격 수술 시스템(50)[예컨대, 도 1의 최소 침습성 원격 수술 시스템(10)]을 개략적으로 도시한다. 외과 의사의 콘솔(52)[예컨대, 도 1의 외과 의사의 콘솔(16)]은 외과 의사가 최소 침습적 절차 동안 환자 측 카트(54)[예컨대, 도 1의 환자 측 카트(22)]를 제어하는 데 사용될 수 있다. 환자 측 카트(54)는 입체 내시경과 같은 이미징 디바이스를 사용하여 수술 부위의 이미지들을 캡처하고 캡처된 이미지들을 전자 카트(56)[예컨대, 도 1의 전자 카트(24)]에 위치된 컴퓨터 프로세서에 출력할 수 있다. 컴퓨터 프로세서는 전형적으로 컴퓨터 프로세서의 비휘발성 메모리 디바이스에 저장된 컴퓨터 판독가능 코드를 실행하기 위한 하나 이상의 데이터 처리 보드들을 포함한다. 일 양태에서, 컴퓨터 프로세서는 캡처된 이미지들을 임의의 후속 디스플레이에 앞서 다양한 방식들로 처리할 수 있다. 예를 들어, 컴퓨터 프로세서는 결합된 이미지들을 외과 의사의 콘솔(52)을 통해 외과 의사에게 디스플레이하기 전에 캡처된 이미지들을 가상 제어 인터페이스와 오버레이할 수 있다.

부가적으로, 또는 대안적으로, 캡처된 이미지들은 전자 카트(56) 외부에 위치한 컴퓨터 프로세서에 의해 이미지 처리(image processing)를 거칠 수 있다. 일 측면에서, 원격 수술 시스템(50)은 전자 카트(56)상에 위치한 컴퓨터 프로세서와 유사한 선택적 컴퓨터 프로세서(CPU)(58)(점선으로 표시된 것과 같이)를 포함하고, 환자 측 카트(54)는 외과 의사의 콘솔(52)상에 디스플레이되기 전에 이미지 처리를 위해 캡처된 이미지들을 컴퓨터 프로세서(CPU)(58)에 출력한다. 또 다른 양태에서, 캡처된 이미지들은 먼저 전자 카트(56)상의 컴퓨터 프로세서에 의한 이미지 처리를 거쳐 외과 의사의 콘솔(52) 상에 디스플레이되기 전에 컴퓨터 프로세서(58)에 의한 추가 이미지 처리를 거친다. 원격 수술 시스템(50)은 점선으로 표시된 바와 같이 선택적 디스플레이(60)를 포함할 수 있다. 디스플레이(60)는 전자 카트(56)에 위치한 컴퓨터 및 컴퓨터 프로세서(CPU)(58)와 결합되고, 이 컴퓨터 프로세서들에 의해 처리된 캡처된 이미지들은 외과 의사의 콘솔(52)의 디스플레이상에 디스플레이되는 것 이외에 디스플레이(60)상에 디스플레이될 수 있다.

도 5a는 일부 실시예들에 따라 하나 이상의 기계적 지지 암들(510)을 사용하여 수술 절차들을 수행하기 위한 원격 수술 시스템(10)의 구성 요소들의 배치를 도시한 예시적인 단순화된 블록도이다. 시스템(10)의 양태들은 로봇 보조 및 자율 작동 특징들을 포함한다. 이 기계적 지지 암들(510)은 종종 수술 기구를 지지한다. 예를 들어, 기계적 수술용 암[예를 들어, 중앙 기계 수술용 암(510C)]은 입체 또는 3차원 수술 이미지 캡처 디바이스(101C)를 구비한 내시경을 지지하는 데 사용될 수 있다. 기계적 수술용 암(510C)은 살균 어댑터, 또는 이미지 캡처 디바이스(101C)를 포함하는 내시경을 기계적 암에 기계적으로 고정하기 위한 클램프, 클립, 나사, 슬롯/그루브 또는 다른 고정 메커니즘를 포함할 수 있다.

사용자 또는 조작자(O)(일반적으로 외과 의사)는 마스터 제어 콘솔(16)에서 손 그립들 및 발 페달들과 같은 제어 입력 디바이스들(36)을 조작함으로써 환자(P)에 수술 절차를 수행한다. 조작자는 입체 디스플레이 뷰어(31)를 통해 환자의 체내의 수술 부위의 이미지들의 비디오 프레임들을 볼 수 있다. 콘솔(16)의 컴퓨터 프로세서(CPU)(58)는 제어 선들(159)을 통해 원격 제어되는 내시경 수술 기구들(101A-101C)의 이동을 지시하여, 환자 측 시스템(24)(환자 측 카트로도 지칭되는)을 사용한 기구의 움직임을 야기한다.

환자 측 시스템(24)은 하나 이상의 기계적 지지 암들(510)을 포함한다. 전형적으로, 환자 측 시스템(24)은 대응하는 위치 설정 암들(156)에 의해 지지되는 적어도 3개의 기계적 수술용 암들(510A 내지 510C)[일반적으로 기계적 수술용 지지 암들(510)이라 지칭되는]을 포함한다. 중앙 기계적 수술용 암(510C)은 카메라의 시야 내에서 이미지를 캡처하기에 적합한 내시경 카메라(101C)를 지지할 수 있다. 중심의 좌측 및 우측에 있는 기계적 수술용 지지 암들(510A 및 510B)은 조직을 조작할 수 있는 기구들(101A 및 101B) 각각을 지지할 수 있다.

도 5b는 실시예들에 따른 최소 침습성 원격 수술 시스템(10)의 환자 측 카트(500)의 사시도이다. 환자 측 카트(500)는 하나 이상의 지지 암 조립체들(510)을 포함한다. 수술 기구 조작기(512)는 각각의 지지 암 조립체(510)의 단부에 장착된다. 또한, 각각의 지지 암 조립체(510)는 수술을 위해 환자와 관련하여 부착된 수술 기구 조작기(512)를 위치시키는데 사용되는 하나 이상의 설정 조인트들(예를 들어, 비전력의 및/또는 잠금 가능한)을 선택적으로 포함할 수 있다. 도시된 바와 같이, 환자 측 카트(500)는 바닥에 놓여있다. 다른 실시예들에서, 환자 측 카트의 작동부들은 벽, 천장, 환자의 몸을(522) 또한 지지하는 수술대(526), 또는 다른 수술실 장비에 장착될 수 있다. 또한, 환자 측 카트(500)가 4개의 수술 기구 조작기들(512)을 포함하는 것으로 도시되어 있지만, 보다 많거나 적은 수술 기구 조작기들(512)이 사용될 수 있다.

기능적 원격 수술 시스템은 일반적으로 원격 수술 시스템의 사용자가 환자의 신체(522) 외부에서 수술 부위를 볼 수 있게 하는 비전 시스템 부분을 포함할 것이다. 비전 시스템은 전형적으로 비디오 이미지들을 캡처하기 위한 카메라 기구(528) 및 캡처된 비디오 이미지들을 디스플레이하기 위한 하나 이상의 비디오 디스플레이들을 포함한다. 일부 수술 시스템 구성들에서, 카메라 기구(528)는 환자의 신체(522) 외부에서 디지털 이미지 정보를 생성하는 하나 이상의 이미징 센서들(예를 들어, CCD 또는 CMOS 센서들)에 카메라 기구(528)의 원위 단부로부터 이미지들을 전송하는 광학계를 포함한다. 대안적으로, 이미징 센서(들)는 카메라 기구(528)의 원위 단부에 위치할 수 있고, 센서(들)에 의해 생성된 디지털 이미지 정보 신호들은 처리 및 하나 이상의 비디오 디스플레이들상의 디스플레이를 위해, 리드를 따라 또는 무선으로 전송될 수 있다. 비디오 디스플레이의 일 예는 캘리포니아주 써니베일의 Intuitive Surgical, Inc.에서 시판된 수술 시스템들의 외과 의사의 콘솔상의 입체 디스플레이이다.

도 5a 및 도 5b를 참조하면, 각각의 수술 기구 조작기(512)에 장착되는 것은 환자의 신체(522) 내의 수술 부위에서 작동하는 수술 기구(520)이다. 각각의 수술 기구 조작기(512)는 하나 이상의 기계적 자유도(예를 들어, 6개의 직교 자유도 모두, 5 이하의 직교 자유도 등)로 관련된 수술 기구가 움직일 수 있게 하는 다양한 형태로 제공될 수 있다. 전형적으로, 기계적 또는 제어 제약은 각각의 조작기(512)를 환자를 기준으로 정지 상태로 있는 기구의 운동 중심 주위에서 관련 수술 기구를 이동시키는 것으로 제한하며, 이 운동 중심은 전형적으로 기구가 신체로 들어가는 위치에 위치한다.

일 양태에서, 수술 기구들(520)은 컴퓨터 보조 원격 조작을 통해 제어된다. 기능적 최소 침습적 원격 수술 시스템은 원격 수술 시스템의 사용자(예를 들어, 외과 의사 또는 다른 의료 인력)로부터 입력들을 수신하는 제어 입력을 포함한다. 제어 입력은, 수술 기구(520)가 결합되는 하나 이상의 모터와 같은 하나 이상의 컴퓨터 제어식 원격 조작 액추에이터와 통신한다. 이러한 방식으로, 수술 기구(520)는 제어 입력인 의료 인력의 움직임들에 응답하여 이동한다. 일 양태에서, 하나 이상의 제어 입력들은 도 2에 도시된 외과 의사의 콘솔(16)과 같은 외과 의사의 콘솔에 포함된다. 외과 의사는 환자 측 카트(500)의 원격 조작 액추에이터를 작동시키기 위해 외과 의사 콘솔(16)의 제어 입력 디바이스(36)를 조작할 수 있다. 원격 조작 액추에이터들에 의해 생성된 힘들은, 원격 조작 액추에이터들로부터 수술 기구(520)로 힘들을 전달하는 구동열 메커니즘들을 통해 전달된다.

도 5a 및 도 5b를 참조하면, 일 양태에서, 수술 기구(520)가 캐뉼러(524)를 통해 삽입된 상태에서, 수술 기구(520) 및 캐뉼러(524)가 조작기(512)에 제거 가능하게 결합된다. 조작기(512)의 하나 이상의 원격 조작 액추에이터들은 수술 기구(512)를 전체적으로 이동시킨다. 조작기(512)는 기구 캐리지(530)를 더 포함한다. 수술 기구(520)는 기구 캐리지(530)에 착탈 가능하게 연결된다. 일 양태에서, 기구 캐리지(530)는, 수술 기구(520)가 수술 기구(520)상의 단부 이펙터(end effector)의 다양한 움직임들로 바꾸는 다수의 제어기 모션들을 제공하는 하나 이상의 원격 조작 액추에이터들을 내부에 수용한다. 따라서, 기구 캐리지(530) 내의 원격 조작 액추에이터들은 기구 전체보다는 수술 기구(520)의 하나 이상의 구성 요소들만을 이동시킨다. 기구 전체 또는 기구의 구성 요소들을 제어하는 입력들은, 외과 의사 또는 다른 의료 인력이 제어 입력["마스터(master)" 명령]에 제공한 입력이 수술 기구에 의한 대응하는 동작["슬레이브(slave)" 응답]으로 변환되도록 하는 것이다.

일부 실시예들에 따르면, 수술 시스템(10)은 도킹(docked), 추종(following), 기구 유형들, 및 헤드-인(head-in)을 포함하는 다수의 시스템 작동 상태들을 가질 수 있다. 도킹 시스템 상태 동안, 하나 이상의 조작기(512)가 캐뉼러(524)에 결합되어 있다. 추종 시스템 상태 동안, 수술 기구("슬레이브")가 제어 입력("마스터" 명령)을 추적 중이다. 기구 유형들 시스템 상태 동안, 시스템에 특정 수술 절차의 수행에 적합하거나, 수술 절차 중 특정 수술 활동의 수행에 적합한 기구 세트가 설치된다. 헤드-인 시스템 상태 동안, 시스템은 외과 의사가 자신이 "마스터" 제어 입력 디바이스를 쥐고 있다는 것을 나타내는 것을 기다리고 있다.

대체 실시예에서, 기구 캐리지(530)는 원격 조작 액추에이터들을 수용하지 않는다. 수술 기구(520)의 단부 이펙터의 다양한 움직임들을 가능하게 하는 원격 조작 액추에이터들은 기구 캐리지(530)로부터 멀리 떨어진 위치, 예를 들어 환자 측 카트(500)상의 다른 곳에 수용된다. 케이블 기반의 힘 전달 메커니즘 등은 멀리 위치한 원격 조작 액추에이터 각각의 모션들을 기구 캐리지(530)상에 위치한 대응하는 기구와 결부된 액추에이터의 출력으로 전달하는 데 사용된다. 일부 실시예들에서, 수술 기구(520)는 종방향(z-축) 회전과 같은 수술 기구의 제1 모션을 제어하는 제1 액추에이터에 기계적으로 결합된다. 수술 기구(520)는 2차원(x, y) 모션과 같은 수술 기구의 제2 모션을 제어하는 제2 액추에이터에 기계적으로 결합된다. 수술 기구(520)는 개방 및 폐쇄 또는 죠 단부 이펙터(jaws end effector)와 같은 수술 기구의 제3 모션을 제어하는 제3 액추에이터에 기계적으로 결합된다.

도 5c는 수술 장면(550)을 나타내는 예시적인 도면이며, 일부 실시예들에 따라 장면을 기록하는 데 사용되는 카메라(528)를 장착한 내시경(101C)을 또한 도시한다. 장면(550)은 환자의 체강 내에 배치된다. 장면(550)은 기하학적 윤곽선들(554)을 포함하는 가상의 구형 해부학적 구조(552)의 예를 포함한다. 장면(550)은 수술 기구(556)를 포함한다. 제1 및 제2 카메라들(528 및 533)은 내시경(101C)상에 장착되어 뷰어(31) 내에 디스플레이되고 추후 재생을 위해 기록되는 장면을 캡처한다. 선택 가능한 제1 광 필터(528)는 제1 카메라와 관련된다. 제1 및 제2 광원들(531)이 제공된다. 선택 가능한 제2 필터(529)는 적어도 하나의 광원들(531)과 관련된다.

도 6은 수술 기구(520)의 측면도이며, 원위 부분(650), 및 연장 튜브 중심선 축(611)을 갖는 연장 튜브(610)에 의해 결합된 근위 제어 메커니즘(640)을 포함한다. 수술 기구(520)는 환자의 신체 내로 삽입되도록 구성되고 수술 또는 진단 절차들을 수행하는 데 사용된다. 수술 기구(520)의 원위 부분(650)은 도시된 포셉(forceps), 바늘 드라이버, 소작 디바이스, 절삭 도구, 이미징 디바이스(예를 들어, 내시경 또는 초음파 탐침) 등과 같은 임의의 다양한 단부 이펙터(654)를 제공할 수 있다. 수술 단부 이펙터(654)는 개방 또는 폐쇄되는 죠, 또는 경로를 따라 병진하는 나이프와 같은 기능적인 기계적 자유도를 포함할 수 있다. 도시된 실시예에서, 단부 이펙터(654)는 단부 이펙터가 연장 튜브 중심선 축(611)에 대해 배향될 수 있게 하는 손목(wrist)(652)에 의해 연장 튜브(610)에 결합된다. 수술 기구(520)는 영구적이거나 수술 기구(520)를 작동시키도록 구성된 수술 시스템에 의해 업데이트될 수 있는 저장된(예를 들어, 기구와 관련된 반도체 메모리 상에) 정보를 또한 포함할 수 있다. 따라서, 수술 시스템은 수술 기구(520)와 수술 시스템의 하나 이상의 구성 요소들 사이의 단방향 또는 양방향 정보 통신을 제공할 수 있다.

도 7은 수술 기구 조작기(512)의 사시도이다. 수술 기구가 설치되지 않은 기구 조작기(512)가 도시되어 있다. 기구 조작기(512)는 수술 기구[예를 들어, 수술 기구(520)]가 탈착 가능하게 연결될 수 있는 기구 캐리지(530)를 포함한다. 기구 캐리지(530)는 복수의 원격 조작 액추에이터를 수용한다. 각각의 원격 조작 액추에이터는 액추에이터 출력(705)을 포함한다. 수술 기구가 기구 조작기(512)에 설치될 때, 기구 근위 제어 메커니즘[예를 들어, 도 6의 근위 제어 메커니즘(640)]의 하나 이상의 기구 입력들(도시되지 않음)은 대응하는 액추에이터 출력들(705)과 기계적으로 결합된다. 일 양태에서, 이러한 기계적 결합은 직접적이며, 액추에이터 출력들(705)은 대응하는 기구 입력들에 직접 접촉한다. 또 다른 양태에서, 이러한 기계적 결합은 기구 조작기(512)와 관련 수술 기구 사이에 살균 장벽을 제공하도록 구성된 드레이프(drape)의 구성 요소와 같은 중간 인터페이스를 통해 이루어진다.

일 양태에서, 대응하는 원격 조작 액추에이터에 의한 하나 이상의 기구 입력들의 움직임은 수술 기구의 기계적 자유도의 움직임을 초래한다. 예를 들어, 일 양태에서, 기구 조작기(512)에 설치된 수술 기구는 도 6에 도시된 수술 기구(520)이다. 도 6을 참조하면, 일 양태에서, 대응하는 원격 조작 액추에이터들에 의한 근위 제어 메커니즘(640)의 하나 이상의 기구 입력들의 움직임은, 연장 튜브 중심선 축(611)을 중심으로 근위 제어 메커니즘(640)에 대해 연장 튜브(610)[및 부착된 손목(652) 및 단부 이펙터(654)]를 회전시킨다. 또 다른 양태에서, 대응하는 원격 조작 액추에이터들에 의한 하나 이상의 기구 입력들의 움직임은, 손목(652)의 움직임을 초래하여 단부 이펙터(654)를 연장 튜브 중심선 축(611)에 대해 배향시킨다. 또 다른 양태에서, 대응하는 원격 조작 액추에이터들에 의한 하나 이상의 기구 입력들의 움직임은 단부 이펙터(654)의 하나 이상의 이동 가능한 요소들(예를 들어, 죠 부재, 나이프 부재 등)의 움직임을 초래한다. 따라서, 기구 조작기(512)에 설치된 수술 기구의 다양한 기계적 자유도는 기구 캐리지(530)의 원격 조작 액추에이터들의 작동에 의해 이동될 수 있다.

기록된 비디오의 주석처리

도 8은 예시적인 수술 계획 도구(800)의 개략도를 도시한다. 일 양태에서, 수술 계획 도구(800)는 전자 의료 디바이스 기록 데이터베이스(830)와 데이터 통신하는 원격 수술 시스템(850)을 포함한다. 여기에 도시된 원격 수술 시스템(850)은 도 4에 도시된 원격 수술 시스템(850)과 유사하다. 일 양태에서, 전자 의료 기록 데이터베이스(830)는 특정 병원 또는 복수의 병원들에서 치료를 받은 환자들의 의료 기록들을 포함한다. 데이터베이스(830)는 병원 현장에 위치한 서버상에 구현될 수 있다. 데이터베이스(830)에 포함된 의료 기록 엔트리들은 인트라넷 네트워크를 통해 병원 컴퓨터들로부터 액세스될 수 있다. 대안적으로, 데이터베이스(830)는 예를 들어 다수의 클라우드 데이터 저장 서비스들 중 하나를 사용하여 병원으로부터 벗어난 장소에 위치한 원격 서버상에 구현될 수 있다. 이 경우, 데이터베이스(830)의 의료 기록 엔트리들은 클라우드 서버에 저장되고, 인터넷 액세스로 컴퓨터에 의해 액세스될 수 있다.

일 양태에서, 수술 절차는 원격 수술 시스템(850)을 사용하여 제1 환자에 대해 수행된다. 원격 수술 시스템(850)과 관련된 이미징 디바이스는 수술 부위의 이미지들을 캡처하고, 캡처된 이미지들을 외과 의사의 콘솔(52)의 디스플레이상에 비디오의 프레임들로 디스플레이한다. 일 양태에서, 외과 의사 콘솔(52)의 의료 인력은 외과 의사 콘솔(52)의 입력 디바이스를 사용하여, 디스플레이된 비디오에 표시된 특정 환자의 해부학적 구조에 강조 표시하거나 주석 처리한다. 이러한 입력 디바이스의 예로는 도 2에 도시된 제어 입력(36)이 있으며, 이는 디스플레이된 비디오에 오버레이된 그래픽 사용자 인터페이스와 함께 작동하는 커서(cursor)에 결합된다. 그래픽 사용자 인터페이스는 QWERTY 키보드, 마우스 및 대화형 스크린 디스플레이와 같은 포인팅 디바이스, 터치 스크린 디스플레이, 또는 마이크로폰 및 프로세서를 통한 데이터 또는 텍스트 엔트리 또는 음성 주석 또는 음성 대 텍스트 변환을 위한 다른 수단을 포함할 수 있다. 따라서, 의료 인력은 디스플레이된 이미지에서 관심있는 특정 조직을 강조 표시하거나 텍스트 주석을 입력할 수 있다.

일 양태에서, 수술 부위 비디오는 전자 카트(56)상에 위치한 디스플레이에 부가적으로 디스플레이된다. 일 양태에서, 전자 카트의 디스플레이는 전자 카트상의 디스플레이에 보여지도록 디스플레이되는 이미지에 나타난 환자의 해부학적 특정 부분들에 강조 표시하고 주석 처리하기 위해 의료 인력이 사용할 수 있는 터치 스크린 사용자 인터페이스이다. 사용자는 터치 스크린 사용자 인터페이스상에 디스플레이된 환자의 해부학적 구조의 일부들을 터치함으로써, 디스플레이된 이미지의 부분들에 강조 표시할 수 있다. 추가적으로, QWERTY 키보드가 포함된 그래픽 인터페이스는 디스플레이된 이미지 위에 오버레이될 수 있다. 사용자는 QWERTY 키보드를 사용하여 텍스트 주석들을 입력할 수 있다.

일 양태에서, 원격 수술 시스템(850)과 관련된 이미징 디바이스에 의해 캡처된 수술 부위 비디오는 원격 수술 시스템(850)에 의해 기록되고, 실시간 또는 거의 실시간으로 사용자에게 디스플레이되는 것 이외에 데이터베이스(830)에 저장된다. 사용자에 의해 만들어진 기록된 비디오와 관련된 강조 표시들 및/또는 주석들은 또한 데이터베이스(830)에 저장될 수 있다. 일 양태에서, 사용자에 의해 만들어진 강조 표시들은 데이터베이스(830)에 저장되기 전에 기록된 비디오와 함께 내장(embed)된다. 나중에, 기록된 비디오를 검색하여 볼 수 있다. 일 양태에서, 기록된 비디오를 보는 사람은 강조 표시들이 뷰로부터 디스플레이될지 또는 숨겨질지를 선택할 수 있다. 유사하게, 기록된 비디오와 관련된 주석들이 또한 데이터베이스(830)에 저장될 수 있다. 일 양태에서, 사용자에 의해 만들어진 주석들은 기록된 비디오에 꼬리표를 붙이는 데 사용되며, 기록된 비디오에 포함된 주제를 식별하는 수단으로서 제공될 수 있다. 예를 들어, 하나의 주석은 특정 질병 상태의 상황을 나타낼 수 있다. 이 주석은 기록된 비디오에 꼬리표를 붙이는 데 사용된다. 나중에 이 질병 상태에 관한 기록된 절차들을 보고자 하는 사람은 키워드 검색을 사용하여 비디오를 찾을 수 있다.

저장된 비디오의 검색

어떤 경우에는, 의료 인력이 주어진 환자에게 수행된 과거 수술 절차들의 비디오 기록들을 볼 수 있는 것이 바람직하다. 일 양태에서, 이전에 건강 상태를 치료하기 위해 제1 수술 절차를 거친 환자는 그후에 동일한 건강 상태의 재발을 치료하거나 제1 수술 절차의 수술 부위 부근에 위치한 해부학적 구조를 치료하기 위해 제2 수술 절차를 필요로 한다. 일 양태에서, 제1 수술 절차의 수술 부위 사건들은 수술 부위 비디오 기록에 캡처되고, 비디오 기록은 환자의 전자 의료 기록들의 일부로서 데이터베이스(830)에 보관된다. 환자에 대해 제2 수술 절차를 수행하기 전에, 의료 인력은 환자의 이전 수술 절차의 비디오 기록을 찾기 위해 데이터베이스(830)의 검색을 수행할 수 있다.

어떤 경우에는, 수술 절차를 환자에게 수행할 계획을 세우는 의료 인력이 환자와 유사한 특징들을 가진 사람들에 대해 수행된 유사한 수술 절차들의 비디오 기록들을 볼 수 있는 것이 바람직하다. 일 양태에서, 수술 절차들의 수술 부위 비디오 기록들은, 각각의 비디오 기록이 데이터베이스(830)에 보관되기 전에 환자의 나이, 성별, 체질량 지수, 유전 정보, 환자가 받은 절차의 유형 등과 같은 메타데이터 정보로 꼬리표를 붙일 수 있다. 일 양태에서, 비디오 기록에 꼬리표를 붙이는 데 사용되는 메타데이터 정보는 환자의 당시 의료 기록들로부터 자동으로 검색되고, 비디오 기록이 데이터베이스(830)에 보관되기 전에 비디오 기록에 꼬리표를 붙이는데 사용된다. 따라서, 환자에게 의료 절차를 수행하기 전에, 의료 인력은 환자와 공통된 특정 특징들을 공유하는 환자들에 대해 수행된 유사한 절차들의 비디오 기록들에 대해 데이터베이스(830)를 검색할 수 있다. 예를 들어, 의료 인력이 체질량 지수가 높은 65세 남성 환자에 대해 원격 수술 시스템(850)을 사용하여 전립선 절제술을 수행할 계획이라면, 의료 인력은 유사하게 높은 체질량 지수를 가지며 유사한 나이의 다른 남성들에 대해 원격 수술 시스템(850)을 사용하여 수행된 전립선 절제술의 수술 부위 비디오 기록들에 대해 데이터베이스(830)를 검색할 수 있다.

일 양태에서, 수술 절차의 비디오 기록은 데이터베이스(830)에 의해 선택적 개인용 컴퓨터(820)(점선으로 표시됨)로 통신되어, 수술 절차를 수행할 계획인 의료 인력에 의해 시청 가능하게 된다. 부가적으로 또는 대안적으로, 이전 수술 절차의 비디오 기록은 데이터베이스(830)에 의해 원격 수술 시스템(850)으로 통신되어, 수술 전 또는 수술 중 시청 가능하게 될 수 있다. 일 양태에서, 비디오 기록은 외과 의사의 콘솔(52)에 위치한 디스플레이상의 원격 수술 시스템(850)에 의해 디스플레이된다. 또 다른 양태에서, 제1 수술 절차의 비디오 기록은 전자 카트(56)에 위치한 디스플레이상에 디스플레이된다.

클라우드 기반 비디오 데이터베이스

일 양태에서, 데이터베이스(830)는 클라우드 데이터 저장 서비스를 사용하여 원격 서버 상에 구현되고 다수의 건강 관리 제공자들에 의해 액세스 가능하다. 도 8을 참조하면, 점선으로 도시된 바와 같이, 수술 계획 도구(800)는 원격 수술 시스템(850)(점선으로 표시된 바와 같이) 및 개인용 컴퓨터(840)(점선으로 표시된 바와 같이)를 선택적으로 포함한다. 일 양태에서, 원격 수술 시스템(850) 및 개인용 컴퓨터(820)가 제1 건강 관리 제공자에 위치하고, 원격 수술 시스템(850) 및 개인용 컴퓨터(840)가 제2 위치에 또는 심지어 제2 건강 관리 제공자와 함께 위치한다는 점을 제외하면, 원격 수술 시스템(850)은 원격 수술 시스템(850)과 유사하고, 개인용 컴퓨터(840)는 개인용 컴퓨터(820)와 유사하다. 일 양태에서, 제1 환자는 건강 상태의 외과적 치료를 요구하고, 제1 건강 관리 제공자에서 원격 수술 시스템(850)을 사용하여 수술 절차를 받는다. 수술 절차의 비디오 기록은 데이터베이스(830)에 보관된다. 나중에, 제2 환자는 동일한 건강 상태의 외과적 치료를 요구하고, 제2 건강 관리 제공자에서 원격 수술 시스템(850)을 사용하여 외과적 치료를 받을 계획이다. 제2 환자에 대한 수술 절차를 수행하기 전에, 의료 인력은 안전한 인터넷 연결을 통해 데이터베이스(830)에 액세스하고, 유사한 절차들의 수술 부위 비디오 기록들을 위해 데이터베이스(830)를 검색한다. 일 양태에서, 제2 환자를 치료하는 의료 인력은 제1 환자의 신원에 대한 지식을 습득하지 않고 제1 환자의 수술 절차의 비디오 기록을 데이터베이스(830)로부터 검색할 수 있다. 이러한 방식으로, 제1 환자의 프라이버시가 유지된다. 일 양태에서, 제1 환자의 수술 절차의 비디오 기록은 제1 환자를 치료한 의료 인력에 의해 만들어진 강조 표시 및/또는 주석을 포함한다.

컴퓨터 기반 패턴 매칭 및 분석

수술 계획 도구(800)는 컴퓨터 실행 가능 코드의 형태로 구현된 패턴 매칭 및 분석 알고리즘을 포함할 수 있다. 일 양태에서, 패턴 매칭 및 분석 알고리즘은 수술 계획 도구(800)의 비휘발성 메모리 디바이스에 저장되고, 데이터베이스(830)에 보관된 비디오 기록들을 분석하도록 구성된다. 전술한 바와 같이, 데이터베이스(830)에 보관된 비디오 기록들 각각은 특정 메타데이터 정보로 꼬리표를 붙이거나 및/또는 내장될 수 있다. 이 메타데이터 정보에는 환자의 나이, 성별, 및 환자의 건강이나 병력을 설명하는 다른 정보와 같은 환자 정보가 포함될 수 있다. 또한, 전술한 바와 같이, 메타데이터 정보는 의료 인력에 의해 만들어진 강조 표시들 또는 주석들을 포함할 수 있다. 일 양태에서, 이 강조 표시들 및 주석들은 비디오 기록과 함께 내장되고 비디오와 함께 데이터베이스(830)에 보관된다.

일 양태에서, 패턴 매칭 및 분석 알고리즘들은 데이터베이스(830)에 저장된 다수의 비디오 기록들 사이에서 공유되는 모양들 및 색들의 패턴들을 식별하는 이미지 분석 구성 요소를 포함한다. 그리고 나서, 패턴 매칭 및 분석 알고리즘은 이 비디오 기록들의 부분 집합과 관련된 꼬리표가 붙은 메타데이터를 검토하여, 이 부분 집합 내의 비디오들에 임의의 단어들 또는 구절들이 빈번하게 관련되는지 여부를 결정한다. 패턴 매칭 및 분석 알고리즘들에 의해 수행된 이러한 분석들은 의료 인력들이 환자의 해부학적 구조, 바람직한 수술 접근법들, 질병 상태, 잠재적 합병증 등에 관한 결정을 내리는 데 도움을 줄 수 있다.

수술 정보 아틀라스

도 9는 일부 실시예들에 따라 의료 기록 데이터베이스(830) 내의 비일시적 저장 디바이스(904) 내에 저장된 수술 정보 아틀라스(902)를 나타내는 예시적인 도면이다. 수술 기구 아틀라스는 수술 절차들과 관련하여 생성된 정보를 저장한다. 예를 들어, 수술 절차 중에 디스플레이된 이미지들은 정보 아틀라스(902)에 저장하기 위해 기록될 수 있다. 예를 들어, 일부 비디오 이미지들은 순수(clear), 즉 개선되지 않았을 수 있으며, 일부 이미지들에는 협대역 이미징(NBI) 정보가 포함될 수 있으며, 일부 이미지들에는 광 간섭 단층촬영(OCT) 정보가 포함될 수 있으며, 일부 이미지들에는 라만 분광법 정보가 포함될 수 있으며, 일부 이미지들에는 형광 정보가 포함될 수 있으며, 일부 이미지들에는 하이퍼스펙트럴 이미징 정보가 포함될 수 있으며, 일부에는 CT 정보가 포함될 수 있다. 더욱이, 수술 기구의 운동학적 정보와 같은 정보, 및 수술 시스템 작동 상태 및 수술 기구 작동 상태와 같은 수술 단계 정보는 또한 수술 절차의 다른 지점들에서 기록된다. 수술 시스템 작동 상태들은 예를 들어 시스템 암의 운동학적 위치들, 카트 위치, 및 마스터 제어 위치와 관련된 정보 중 하나 이상을 포함한다. 다른 수술 기구들은 다른 작동 상태들을 가지고 있다. 수술 기구 작동 상태들은 예를 들어 피치, 요(yaw), 롤, 및 죠 위치를 포함하지만 이에 제한되지 않는 기구 운동학을 포함한다. 외과 의사 또는 수술 팀의 다른 구성원과 같은 사용자는, 수술 중 또는 수술 후 예를 들어 혈관들, 종양들, 형성 장애, 신경, 또는 연결 조직들과 같은 특별히 관심있는 해부학적 구조들을 나타내는 메타데이터로 NBI 이미지들, 라만 분광법 이미지들, OCT 이미지들, 형광 이미지들 또는 하이퍼스펙트럴 이미지들과 같은 수술 장면의 기록된 비디오 이미지 정보에 주석을 달 수 있다. 주석들은, 예를 들어, 기록된 동영상 정보에 꼬리표가 붙여진 하나 이상의 서면 노트들 또는 그것들의 조합, 및/또는 비디오 기록들에서의 이미지들의 채색 또는 강조 표시[예를 들어, 텔레스트레이션(telestration)]를 포함할 수 있다. 기록된 정보는 수술 이미지 정보, 수술 단계 정보 사이의 관련성을 제공하는 수술 정보 아틀라스(902)를 구축하는데 사용되며, 수술 절차 사례와 관련된 정보는 수술 기록 정보 구조에 저장된다.

도 10은 일부 실시예들에 따라 수술 정보 아틀라스(902) 내에 저장된 예시적인 수술 기록 정보 구조(1006)의 특정 세부 사항들을 도시하는 예시적인 도면이다. 환자 건강 기록 필드(HR)(1006-1)는 예를 들어 나이, 체질량, 혈액형, 신장, 성별, 및 인종과 같은 수술 받은 환자에 관한 정보를 제공한다. 의사 정보 필드(PI)(1006-2)는 예를 들어 일반적인 경험 수준 및 로봇 보조 수술 시스템을 조작하는 경험 수준과 같은 개별적인 조작을 수행하는 외과 의사에 관한 정보를 제공한다. 수술 시스템 식별 필드(SID)(1006-3)는 예를 들어 제품, 모델 및 일련 번호와 같은 작동을 수행하는 데 사용되는 수술 시스템에 관한 정보를 제공한다. 동영상 이미지 필드(MPI)(1006-4)는 수술 중에 기록된 동영상 이미지들과 같은 정보를 제공한다. 수술 단계 필드(SST)(1006-5)는 수술 중에 기록된 수술 시스템 작동 상태 정보 및 수술 기구 작동 상태 정보를 제공한다. NBI 필드(NBI)(1006-6)는 수술 중에 NBI를 사용하여 기록된 동영상 이미지들과 같은 정보를 제공한다. 라만 필드(Ram)(1006-7)는 수술 중에 라만 분광법을 사용하여 기록된 동영상 이미지들과 같은 정보를 제공한다. 형광 필드(Flu)(1006-8)는 수술 중에 형광을 사용하여 기록된 동영상 이미지들과 같은 정보를 제공한다. HSI 필드(HIS)(1006-9)는 수술 중에 하이퍼스펙트럴 이미징을 사용하여 기록된 동영상 이미지들과 같은 정보를 제공한다. 수술 주석 필드(Ann)(1006-10)는 정보 구조에 표현된 수술 절차와 관련된 기술적인 정보(descriptive information) 또는 전문가 분석과 같은 주석 정보를 제공한다.

디스플레이 모달리티들

본 명세서에서 사용된 바와 같이, 수술 장면의 "순수(clear)" 이미지는 특별한 개선 없이 제시되는 이미지이다. 예를 들어 협대역 이미징(NBI), 라만 분광법, 형광, 하이퍼스펙트럴 이미징(HSI) 및 컴퓨터 단층촬영을 포함하여, 수술 이미지들의 디스플레이를 개선하기 위한 많은 디스플레이 모달리티들이 존재한다. 이러한 각각의 개선 기술들은 장점들을 가진다.

도 11은 일부 실시예들에 따라 뷰어(31) 내에 디스플레이하기 위한 내시경 디스플레이 디바이스(101C)의 카메라(528)에 의해 캡처된 수술 장면(1100)의 예시적인 순수 이미지를 나타내는 예시적인 도면이다. 보다 상세하게는, 광원(531)에 의해 생성된 광은 수술 장면(551)에서 반사되고, 수술 장면(551)의 순수 디스플레이 이미지를 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 이미지 제1 정보를 생성하는 카메라(528)에 의해 캡처된다. 조직 영역(1102)은 제1 해부학적 대상(1104) 및 제2 해부학적 대상(1106)을 포함한다. 예시적인 수술 장면(1100)에서, 제1 해부학적 대상(1104)은 예를 들어 전립선 또는 자궁을 포함할 수 있다. 제2 해부학적 대상(1106)은 예를 들어 신경, 요관 또는 자궁 경부를 포함할 수 있다. 제1 수술 기구(1108) 및 제2 수술 기구(1100)는 수술 장면(1100) 내에 배치된 것으로 도시되어 있다. 제1 수술 기구(1108)는 예를 들어 포셉들 또는 니들 드라이버를 포함할 수 있다. 제2 수술 기구(1110)는 예를 들어 가위 또는 단극, 양극 또는 융제 에너지를 전달하도록 구비된 다른 기구를 포함할 수 있다.

도 12는 제1 해부학적 대상(1104) 내의 혈관 해부학적 구조들(1112)의 이미지가 협대역 이미징 디스플레이 모달리티를 통해 개선된, 도 11의 수술 장면(1100)의 예시적인 NBI 모달리티 이미지(1200)를 나타내는 예시적인 도면이다. 협대역 이미징(NBI)은 혈관들(1112) 및 조직 표면 아래의 기타 구조들의 가시성을 향상시키는 광학 이미징 기술이다. NBI 모달리티 이미지들은 수술 장면에서 필터링된 광을 비추어 생성된다. 보다 상세하게는, 주변 광(531)은 필터(529)를 사용하여 필터링되어 헤모글로빈의 최대 광 흡수가 이루어지는 특정 청색 및 녹색 파장들을 제공한다. 반사된 광은 카메라(528)에 의해 캡처되며, 이는 대응하는 제2 이미지 정보를 생성하고, 이는 NBI 모달리티 이미지 정보를 포함한다. 필터링된 광은 매우 어둡게 보이는 혈관들의 세부 사항들을 개선하기 위해 해부학적 조직에 비추어, 그들의 가시성을 향상시키고 다른 표면 구조들의 식별력을 향상시킨다. 더 짧은 파장들은 조직 구조의 최상층에만 침투하며, 더 긴 파장들은 이에 더 깊숙이 침투한다. 더 짧은 파장은 표면 근처의 모세 혈관에 흡수되어 종종 혈관이 많이 형성되는 종양들을 검출하는 데 특히 유용하다. 더 긴 파장은 더 짧은 파장의 광을 흡수하는 얕은 혈관들과는 다른 것으로 보이는, 조직 내에 깊숙히 위치한 혈관들에 흡수된다. 더 깊게 관통하는 더 긴 파장의 광은 조직 표면으로부터 더 멀리 위치한 의심스러운 병변의 맥관 구조를 더 잘 이해할 수 있게 해준다. 따라서, NBI는 수술 장면 내의 해부학적 대상 내의 혈관 구조들의 가시성을 개선시킬 수 있다.

도 13은 제2 해부학적 대상(1106) 내의 종양 해부학적 구조(1114)의 이미지가 라만 분광학 디스플레이 모달리티를 통해 개선된, 카메라(528)로 캡처된 도 11의 예시적인 라만 분광학 모달리티 이미지 수술 장면(1100)을 나타내는 예시적인 도면이다. 수술 장면으로부터 반사된 광은 카메라(528)에 의해 캡처된다. 컴퓨터(58)는 캡처된 이미지들의 라만 분광법 광학 이미징 처리를 수행하여 제3 이미지(라만 분광법) 정보를 생성하는 데 사용되도록 구성된다. 라만 분광법은 반사된 광을 기반으로 복잡한 생물학적 샘플들의 화학적 조성을 측정하고 라만 분광법 이미지 정보를 생성하는 것을 포함한다. 예를 들어, 특정 종양 조직들(1114)은 정상적인 해부학적 조직보다 높은 수분 함량을 가지며, 따라서 이들의 수분 함량에 기초하여 주변 조직과 구별될 수 있다. 라만 스펙트럼은 조직의 화학적 구성에 관한 정량적인 정보를 제공한다. 특히, 라만 분광법은 분자들을 진동시켜 비탄성 산란을 관찰하고 세포들, 조직들 또는 생체액들의 화학적 지문들을 제공하는 데 사용할 수 있는 기술이다. 라만 분광법은 분자들에 의한 광의 산란에 의존하며 분자의 진동 모드들에 관한 정보는 가시광선 또는 근적외선 레이저들을 사용하여 얻을 수 있다. 라만 스펙트럼 이미지들을 얻기 위한 일반적인 방법은 레이저 스폿을 통해 샘플을 래스터 스캔(raster-scan)하거나 샘플을 통해 레이저 스폿을 스캔한 다음 단일변수 또는 다변수 스펙트럼 모델을 각각의 라만 스펙트럼에 적용하는 것이다. 따라서, 라만 분광법은 성분의 화학적 구성에 기초한 해부학적 대상 내의 해부학적 구조들의 가시성을 개선할 수 있다.

형광은 수술 절차 동안 형광 표식된 구조들을 검출하는 데 사용되는 디스플레이 모달리티이다. 예를 들어, 형광은 형광을 내지 않는 것들에 대조적으로, 형광을 내는 표식된 또는 표식되지 않은 조직 구조들의 시각적 이미지를 강조 표시하기 위해 사용될 수 있다. 형광 유도 수술(FGS)은 색 반사 이미지들 및 형광 방출로부터 실시간으로 동시에 정보를 제공하는 이미징 디바이스들을 사용하여 수행될 수 있다. 형광 모달리티 이미지들은 수술 장면으로부터 반사된 광을 필터링하여 생성된다. 특히, 하나 이상의 광원들(531)은 해부학적 조직 영역을 자극시키고 조명하는 데 사용된다. 카메라(528)는 형광 물질의 방출 스펙트럼과 정합하는 광학 필터(529)로 필터링된 수술 장면으로부터 반사된 광을 수용하고, 개선된 형광 이미지 정보를 포함하는 제4 이미지 정보를 생성한다.

도 14는 하이퍼스펙트럴 이미징 디스플레이 모달리티를 사용하여 디스플레이된, 도 11의 수술 장면(1100)의 예시적인 하이퍼스펙트럴 이미지(1400)를 나타내는 예시적인 도면이다. 하이퍼스펙트럴 이미징(HSI)은 디지털 이미징 및 분광학 기술들을 결합한다. 하이퍼스펙트럴 카메라(533)는 이미지의 각각의 픽셀에 대해 다수의(전형적으로 수십 내지 수백) 연속 스펙트럼 밴드들에 대한 광 세기(광도)를 포함하는 수술 장면으로부터 반사된 광을 캡처한다. 따라서 이미지의 모든 픽셀은 연속 스펙트럼(광도 또는 반사율)을 포함하고 있고, 장면의 대상을 매우 정밀하고 세부적으로 특성화하는 데 사용될 수 있다. 보다 상세하게는, 이미지의 각각의 픽셀에 대해, HSI는 2개의 공간 차원들 및 하나의 스펙트럼 차원을 갖는 하이퍼큐브(hypercube)라 불리는 3차원 데이터 세트를 획득한다. 컴퓨터(58)는 HSI에 의해 얻어진 스펙트럼 이미징을 공간적으로 분해하여 조직 생리학, 형태학 및 조성에 대해 개선된 시각 정보를 제공하여 제5 이미지(HSI) 정보를 생성하는 처리를 수행하기 위해 사용되도록 구성된다. HSI는 전형적으로 시각적 기본 색상인 적색, 녹색 및 청색에 해당하는 세 가지 다른 스펙트럼 채널들을 획득하는 일반 색상 카메라보다 수술 장면에 대해 훨씬 더 상세한 시각적 이미지를 제공할 수 있다. 또한 HSI는 센서의 시야 내의 조직의 화학적 조성에 기초하여 대상들 또는 질병 상태들을 식별할 수 있는 기능을 제공한다. 따라서, 하이퍼스펙트럴 이미징은 스펙트럼 특성들에 기초하여 장면 내의 대상들을 시각적으로 구별하는 능력을 크게 향상시킨다.

도 15는 일부 실시예들에 따른 도 11의 예시적인 수술 장면(1100)의 컴퓨터 단층 촬영 슬라이스 디스플레이 모달리티를 나타내는 예시적인 도면이다. 컴퓨터 단층 촬영(CT) 슬라이스들은 외과 의사가 절개하지 않고 대상 내부를 볼 수 있게 하는, 특정 해부학적 대상들의 가상 2차원(평면) 단면 이미지 슬라이스들(1502)을 생성하기 위해 상이한 각도들로부터 촬영된, 방사선원, 전형적으로는 X 선 방사선을 사용하여 생성된 이미지들(1500)을 결합한다. 해부학적 대상 내의 상이한 3차원 깊이의 단면 이미지들(1502)은 대상 내의 내부 구조들의 시각적 표현을 제공하기 위해 개별적으로 디스플레이될 수 있다.

다중 모달리티 디스플레이 포맷들

특정 종류의 해부학적 구조들을 이미징하기 위해 특정 디스플레이 모달리티가 다른 것들보다 더 적합할 수 있다. 예를 들어 표면 맥관 구조 또는 형성 장애와 같은 해부학적 구조들은 종종 NBI를 사용하여 더 가시적으로 디스플레이될 수 있다. 그러나, 예를 들어, 암 마진들(cancer margins)과 같은 질병 상태들은 종종 라만 분광학을 사용하여 더 가시적으로 디스플레이될 수 있다. 또한, 형광 마커들로 표식될 수 있거나, 자체적으로('내인적으로') 상이한 방출들로 자극 광에 반응할 수 있는 해부학적 구조들은, 종종 예를 들어 형광을 사용하여 보다 가시적으로 디스플레이될 수 있다. 또한 고유한 스펙트럼 특성들을 갖는 해부학적 구조들은, 종종 예를 들어 하이퍼스펙트럴 이미징을 사용하여 보다 가시적으로 디스플레이될 수 있다.

더욱이, 특정 디스플레이 모달리티들은 수술 절차의 특정 단계에서 사용하기에 다른 것들보다 더 적합할 수 있다. 특히, 예를 들어, NBI 디스플레이는 머리 및 목 수술 절차의 초기 계획 단계에서 종종 사용된다. 라만 분광법은 종종 사후 절개 절차 단계에서 사용되지만 라만 활성 입자들과 결합될 때에는 생체 내에서 사용될 수 있다. 형광은 종종 조직 절개 수술 절차 단계 전후에 사용된다. 하이퍼스펙트럴 이미징은 종종 수술 절차의 계획 부분에서 사용된다.

일부 실시예들에 따라, 다중 디스플레이 모달리티들을 동시에 사용하는 수술 장면을 디스플레이하기 위해 선택할 다수의 상이한 디스플레이 포맷들이 제공된다. 스티치 포맷은 하나의 장면의 둘 이상의 상이한 디스플레이 모달리티들로부터의 비디오 이미지들을 함께 스티치하므로, 상이한 디스플레이 모달리티들을 사용하여 표현된 상이한 부분들을 갖는 하나의 수술 장면이 생성된다. 스티치 포맷에서, 상이한 이미지 모달리티들은 수술 장면의 전체 이미지의 상이한 부분을 나타내기 위해 사용되어 전체 이미지의 스티치된 영역 내의 임의의 주어진 지점에서 오직 하나의 이미지 모달리티만이 보여진다. 픽쳐-인-픽쳐(PiP) 포맷은 제1 디스플레이 모달리티를 사용하여 전형적으로 전체 화면(full-screen)인 수술 장면의 제1 주 비디오 이미지를 디스플레이하고, 제2 디스플레이 모달리티를 사용하여 수술 장면의 축소된 크기의 삽입 비디오(또는 스틸) 이미지를 디스플레이의 일부분에 디스플레이한다. 오버레이 포맷은 하나의 디스플레이 모달리티를 사용하는 이미지를 다른 디스플레이 모달리티를 사용하는 이미지에 오버레이한다. 오버레이 포맷에서, 위에 놓이는 이미지가 부분적으로 투명하여 덮어씌워지는 부분이 그 아래에 보이도록 수술 장면의 전체 이미지의 단일 부분을 나타내기 위해 상이한 이미지 모달리티들이 사용될 수 있다.

스티치 포맷

도 16은 일부 실시예들에 따라 스티치 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는, 도 11의 수술 장면(1100)의 예시적인 다중 모달리티 디스플레이의 예이다. 수술 장면의 제1 수술 이미지(1600)는 NBI 모달리티를 사용하여 생성된다. 수술 장면(1100)의 제2 이미지(1650)는 라만 분광학 모달리티를 사용하여 생성된다. 제1 이미지(1600)에서, 특정 혈관 구조들(1112)은 쉽게 보이지만, 제2 해부학적 대상(1106) 내의 종양 구조(1114)는 선명하게 보이지 않는다. 반대로, 제2 이미지(1650)에서, 종양 구조(1114)는 쉽게 보이지만, 혈관 구조들(1112)은 쉽게 보이지 않는다. 제2 디스플레이(1650) 이미지의 선택된 부분(1652)과 제1 디스플레이 이미지(1600)가 함께 스티치되는 제3 이미지(1680)가 생성된다. NBI 모달리티 및 라만 분광법 모달리티를 사용하여 생성된 두 이미지 모두가 수술 절차 중에 생성될 수 있음을 알 수 있다. 일부 실시예들에 따라, 디스플레이 규칙들은 하나의 이미지 모달리티의 어느 부분이 상이한 이미지 모달리티로 스티치될지를 결정할 수 있다. 도 16의 예에서, 제2 디스플레이 이미지(1650)의 라만 분광법 디스플레이 모달리티의 종양 함유 부분(1652)이 제1 디스플레이 이미지에 스티치된다. 따라서, 도 16의 예에서, 라만 분광법 모달리티에서 보다 쉽게 보이는 중요한 해부학적 구조의 이미지는 예를 들어, 혈관 구조들의 디스플레이에 더 적합한 NBI 모달리티로 스티치된다.

도 17은 일부 실시예들에 따라 스티치 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는, 도 11의 수술 장면(1100)의 예시적인 대안적 다중 모달리티 디스플레이의 예이다. 수술 장면의 제1 이미지(1600)는 NBI 모달리티를 사용하여 생성된다. 수술 장면(1100)의 제2 이미지(1650)는 라만 분광법 모달리티를 사용하여 생성된다. 도 17에서, 제1 디스플레이(1600) 이미지의 선택된 부분(1602)과 제2 디스플레이 이미지(1650)가 함께 스티치되는 수술 장면(1100)의 제4 디스플레이 이미지(1700)가 생성된다. 중요한 혈관 형상(1112)을 포함하는 제1 디스플레이 이미지(1600)의 NBI 디스플레이 모달리티의 부분(1602)은 제2 디스플레이 이미지에 스티치된다. 따라서 NBI 모달리티에서 더 쉽게 보이는 중요한 해부학적 구조의 이미지들은 예를 들어 종양 구조들의 디스플레이에 더 적합한 라만 분광법 모달리티로 스티치된다.

픽쳐-인-픽쳐 포맷

도 18은 일부 실시예들에 따라 픽쳐-인-픽쳐(PiP) 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는, 도 11의 수술 장면(1100)의 예시적인 다중 모달리티 디스플레이의 예이다. 도 18의 수술 이미지들은 도 16의 수술 이미지들에 대응한다. 그러나, 도 18에서, 라만 분광법 모달리티를 사용하여 생성된 제2 이미지(1650)의 부분(1652)은 NBI 모달리티를 사용하여 생성된 제1 주 이미지(1600) 내에 축소된 크기의 PiP 이미지(1800)로서 포함된다.

도 19는 일부 실시예들에 따라 픽쳐-인-픽쳐(PiP) 포맷을 사용하여 결합된 다중 디스플레이 모달리티들을 사용하는, 도 11의 수술 장면(1100)의 예시적인 대안적 다중 모달리티 디스플레이의 예이다. 도 19의 수술 이미지들은 도 17의 수술 이미지들에 대응한다. 그러나, 도 19에서, NBI 모달리티 분광법 모달리티를 사용하여 생성된 제1 이미지(1600)의 부분(1602)은 라만 분광법 모달리티를 사용하여 생성된 제2 주 이미지(1650) 내에 축소된 크기의 PiP 이미지(1900)로서 포함된다.

주석 포맷

도 20은 일부 실시예들에 따라 주석 포맷을 사용하는 다중 디스플레이 모달리티들로부터의 정보를 사용하는, 도 11의 수술 장면(1100)의 예시적인 디스플레이의 예이다. 도 20의 수술 이미지들은 도 16 내지 도 17의 이미지들에 대응한다. 그러나, 도 20에서, 라만 분광법 모달리티를 사용하여 생성된 제2 이미지(1650)의 부분(2000)으로부터 결정된 정보는 NBI 모달리티를 사용하여 생성된 제1 주 이미지(1600) 내의 주석(2002)으로서 포함된다. 예시적인 주석은 제2 이미지(1650) 및 대응하는 설명 텍스트, 예를 들어 "종양"으로부터 결정된 오버레이 종양 이미지(2002)를 제공한다.

다중 모달리티 디스플레이들의 동적 표현

도 21a는 일부 실시예들에 따라 다중 모달리티 수술 이미지를 동적으로 표현하기 위한 제1 프로세스(2100)를 나타내는 예시적인 흐름도이다. 도 21b는 카메라(528)를 사용하여 캡처되고 상이한 이미지 모달리티 이미지들을 생성하는 데 사용될 수 있는 비일시적 저장 디바이스(2114)에 저장된 각각의 제1 이미지 정보(2112)를 나타내는 예시적인 도면이다. 도 21c는 카메라(528)를 사용하여 캡처되고 상이한 이미지 모달리티 이미지 부분들을 생성하는 데 사용될 수 있는 비일시적 저장 디바이스(2118)에 저장된 각각의 제2 이미지 부분 정보(2116)를 나타내는 예시적인 도면이다. 제1 프로세스(2100)는 수술 시스템(10)을 참조하여 기술된다.

모달리티 선택 블록들(2102-1 내지 2102-n)은 제1 내지 제n 디스플레이 모달리티 중 하나 이상을 선택하여 생성하도록 컴퓨터 프로세서(58)를 구성한다. 이미지들을 생성하는 데 사용되는 정보는 다중 이미지 모달리티들을 디스플레이하는 복합 다중 모달리티 이미지들을 생성하는 데 사용할 수 있도록 저장될 수 있다. 여기에 설명된 실시예는 NBI, 라만 분광법, 형광, HSI, OCT, 및 CT 디스플레이 모달리티들을 포함한다. 상이한 디스플레이 모달리티들을 생성하기 위해 상이한 이미지 데이터가 요구될 수 있음을 이해할 것이다. 특히, 상이한 이미지 데이터는 광 스펙트럼의 상이한 부분의 사용을 필요로 할 수 있다. 예를 들어, NBI 모달리티 이미지들은 일반적으로 특정 청색 및 녹색 파장들을 필요로 한다. 라만 분광법 이미지들은 일반적으로 관심 조직에 따라 다른 파장들을 필요로 한다. 형광 이미지들은 일반적으로 가시광선 및 근적외선 파장들을 필요로 한다. HSI는 일반적으로 가시광선 및 적외선 영역들 전체의 파장들을 필요로 한다. 따라서, 상이한 이미지 모달리티들에 대한 데이터는 때때로 수술 절차의 과정에서 별도로 캡처되고 처리될 수 있다. 예를 들어, 외과 의사는 먼저 형광 이미지를 관찰하고 나중에 NBI 이미지를 관찰한 다음 형광 및 NBI 이미지들 둘 다로부터의 부분들을 포함하는 복합 다중 모달리티 이미지를 관찰하도록 선택할 수 있다.

도 21b의 저장 디바이스(2116)는 뷰어(31) 내에서 도 12의 이미지(1200)와 같은 전체 화면 NBI 모달리티 이미지를 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 예시적인 NBI 이미지 정보(2120)를 저장한다. 디바이스(2116)는 뷰어(31) 내에서 도 13의 이미지(1300)와 같은 전체 화면 라만 모달리티 이미지를 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 라만 분광법 정보(2130)를 저장한다. 디바이스(2116)는 전체 화면 형광 모달리티 이미지(도시되지 않음)를 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 형광 정보(2140)를 저장한다. 디바이스(2116)는 뷰어(31) 내에서 도 14의 이미지(1400)와 같은 전체 화면 HSI 모달리티 이미지를 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 HSI 정보(2150)를 저장한다.

부분 선택 블록(2104-1 내지 2104-n)은 선택을 하고, 하나 이상의 선택된 디스플레이 모달리티들의 각각의 부분들을 선택하도록 컴퓨터(58)를 구성한다. 상이한 이미지 모달리티들의 상이한 부분들이 복합 다중 모달리티 이미지 내의 디스플레이를 위해 선택될 수 있다. 예를 들어, 혈관을 나타내는 NBI 모달리티 이미지의 일부가 선택될 수 있다. 종양을 나타내는 라만 분광법 모달리티 이미지의 다른 부분이 선택될 수 있다. 도 21c의 저장 디바이스(2118)는 도 17에 도시된 이미지 부분(1602)과 같은 NBI 모달리티 이미지 부분을 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 예시적인 NBI 이미지 부분 정보(2122)를 저장한다. 도 21c의 저장 디바이스(2118)는 도 16에 도시된 이미지 부분(1652)과 같은 라만 분광법 모달리티 이미지 부분을 생성하도록 컴퓨터(58)를 구성하는 데 사용될 수 있는 예시적인 라만 분광법 이미지 부분 정보(2132)를 저장한다. 일부 실시예들에서, 이미지 부분 정보(2122)는 이미지 부분 정보(2120) 내에 내장되어 저장되고, 이미지 부분 정보(2132)는 이미지 정보(2130) 내에 내장되어 저장된다.

포맷 선택 블록(2106)은 선택된 디스플레이 모달리티들 및 대응하는 선택된 디스플레이 부분들에 기초하여 다중 모달리티 디스플레이 포맷을 선택하도록 컴퓨터(58)를 구성한다. 블록(2108)은 포맷 선택 블록(2106)을 사용하여 선택된 다중 모달리티 디스플레이 포맷에 따라 단일 수술 장면의 다중 이미지 모달리티들을 동시에 디스플레이하도록 컴퓨터(58)를 구성한다.

예를 들어, 일부 실시예들에서, 모달리티 선택 블록(2102-1)은 NBI 이미지 모달리티를 선택하여 생성하도록 컴퓨터(58)를 구성한다. 부분 선택 블록(2104-1)은 예를 들어 혈관과 같은 NBI 이미지 내의 특정 해부학적 구조들을 결정하도록 컴퓨터(58)를 구성한다.

또한, 예를 들어, 일부 실시예들에서, 모달리티 선택 블록(2102-n)은 라만 분광법 이미지 모달리티를 선택하도록 컴퓨터(58)를 구성한다. 부분 선택 블록(2104-n)은, 예를 들어 종양과 같은 라만 이미지 내의 특정 해부학적 구조들을 결정하도록 컴퓨터(58)를 구성한다.

다른 모달리티 선택 블록들(도시되지 않음) 및 다른 부분 선택 블록들(도시되지 않음)은 다른 디스플레이 모달리티들, 예를 들어 형광 또는 HSI, 및 대응하는 해부학적 구조들 및 각각의 부분을 선택한다.

포맷 선택 블록(2106)은 모달리티가 주(예를 들어, 전체 화면)로서 또는 인서트 부분으로서 표시되어야 하는지를 결정하고, 함께 스티치될 모달리티들, PiP로서 디스플레이될 모달리티들을 결정하고, 주석을 사용하여 지시될 모달리티 정보를 결정한다. 디스플레이 생성 블록(2108)은 컴퓨터 디스플레이 스크린상에 포맷화된 다중 모달리티 이미지가 디스플레이되도록 컴퓨터(58)를 구성한다.

도 22는 일부 실시예들에 따라 디스플레이 모달리티들 및 선택된 디스플레이 모달리티들의 부분들을 선택하기 위한 하위 프로세스(2200)의 세부 사항들을 나타내는 예시적인 흐름도이다. 하위 프로세스(2200)는 수술 시스템(10)을 참조하여 설명된다. 일부 실시예들에서, 하위 프로세스(2200)는 도 11의 점선(2110) 내에 도시된 모달리티 선택 블록들(2102-1 내지 2102-n) 및 부분 선택 블록들(2104-1 내지 2104-n)을 구현한다. 결정 블록(2202)은 사용자가 디스플레이 모달리티를 선택했는지 여부를 결정하도록 컴퓨터(58)를 구성한다. 사용자가 디스플레이 모달리티를 선택했다는 결정에 응답하여, 블록(2204)은 관심있는 해부학적 구조의 이미지를 포함하는 사용자가 선택한 디스플레이 모달리티의 부분을 선택하도록 컴퓨터(58)를 구성한다. 블록(2204)을 사용한 선택을 따르거나, 사용자가 디스플레이 모달리티를 선택하지 않았다고 결정하는 결정 블록(2202)에 응답하여, 제어는 수술 시스템(10)으로부터 수술 단계 정보를 수신하도록 컴퓨터(58)를 구성하는 블록(2206)으로 진행된다. 일부 실시예들에서, 수술 단계 정보는 예를 들어 수술 시스템 작동 상태 정보 및 수술 기구의 기구학적 정보를 포함한다. 결정 블록(2208)은 수신된 수술 단계 정보가 이미지 모달리티에 대응하는 이미지 선택 규칙과 정합하는지 여부를 결정하도록 컴퓨터 시스템(58)을 구성한다. 수신된 수술 단계 정보가 이미지 선택 규칙과 정합한다는 결정에 응답하여, 블록(2210)은 관심있는 해부학적 구조의 이미지를 포함하는 매칭 디스플레이 모달리티의 일부를 선택하도록 컴퓨터(58)를 구성한다. 블록(2208)에 의한 수술 단계 정합이 없다는 결정에 응답하여, 제어는 결정 블록(2202)으로 다시 진행된다.

도 22로부터 수술 시스템(10)을 사용하는 수술 절차의 수행 중에 상이한 사용자 선택 및 상이한 수술 스테이지 정합이 상이한 지점들에서 발생할 수 있음을 알 수 있다. 따라서, 프로세스(2200)는 수술 절차 동안 상이한 시간들에서 상이한 이미지 모달리티들 및 상이한 부분들을 선택 및 생성할 수 있다.

도 23은 일부 실시예들에 따라 이미지 모달리티의 사용자 선택을 수신하는 하위 프로세스(2300)의 세부 사항들을 나타내는 예시적인 흐름도이다. 하위 프로세스(2300)는 수술 시스템(10)을 참조하여 설명된다. 일부 실시예들에서, 하위 프로세스(2300)는 도 22의 결정 블록(2202)을 구현한다. 결정 블록(2302)은 이미지 디스플레이 모달리티를 선택하기 위해 사용자 입력이 사용자 제어 입력들(36)에 제공되는지 여부를 결정하도록 컴퓨터(58)를 구성한다. 이미지 모달리티를 선택하기 위해 입력 제어들(36)에 사용자 입력이 제공되었다는 결정에 응답하여, 블록(2304)은 사용자가 선택한 모달리티를 블록(2204)에 보고하도록 컴퓨터(58)를 구성한다. 결정 블록(2302)이 사용자 입력이 사용자 제어 입력들(36)에 제공된다고 결정한 것에 응답하여, 결정 블록(2306)은 이미지 모달리티를 선택하기 위한 사용자 눈 추적 입력이 제공되는지를 결정하도록 컴퓨터(58)를 구성한다. 사용자 눈 추적 입력이 이미지 모달리티를 선택하기 위해 제공된다는 결정에 응답하여, 블록(2304)은 컴퓨터(58)가 사용자가 선택한 모달리티를 블록(2204)에 보고하도록 구성한다. 보고 블록(2304) 또는 결정 블록(2306)을 따르는 경우, 어느 경우이든 제어 흐름은 블록(2206)으로 되돌아간다.

도 23으로부터, 수술 시스템(10)을 사용하는 수술 절차의 수행 동안 상이한 사용자 선택들이 상이한 지점들에서 발생할 수 있음을 이해할 것이다. 하위 프로세스(2300)는 사용자 입력의 변화들을 지속적으로 체크하기 위해 수술 절차 중에 계속 순환함을 추가로 이해할 것이다. 따라서, 프로세스(2300)는 수술 절차 동안 상이한 시간들에 상이한 이미지 모달리티들 중에서 선택할 수 있다.

도 24는 일부 실시예들에 따라 수술 시스템(AA)의 뷰어(31) 내에 디스플레이된 모달리티 선택 사용자 인터페이스(UI)(2402)의 예를 나타내는 예시적인 도면이다. 예시적인 모달리티 선택 UI 디스플레이는 왼쪽 열에 모달리티들의 선택을 제공하고 오른쪽 열에 사용자의 모달리티 선택을 나타내기 위한 사용자 입력을 받는다. 일부 실시예들에서, 사용자는 제어 입력들(36)을 사용하여 선택을 한다. 예시적인 모달리티 선택 UI에서, 사용자는 NBI 및 형광 모달리티들을 선택하였다. 도 23의 결정 블록(2302)은 사용자가 도 24의 모달리티 선택 UI 디스플레이를 사용하여 어떤 모달리티 선택들을 하는지를 결정하도록 컴퓨터를 구성한다.

도 25a 내지 도 25c는 일부 실시예들에 따른 2차원 눈 추적(도 25a 내지 25b) 및 깊이 눈 추적(도 25c)을 나타내는 예시적인 도면이다. 사용자가 뷰어(31)를 들여다 보는 곳에 인접하여 배치된 눈 센서(47)는 사용자의 눈 움직임을 추적한다. 도 25a를 참조하면, 전체 화면 디스플레이는 순수 모달리티와 같은 제1 모달리티 이미지(2500)를 가지며, 해부학적 구조(2502)를 디스플레이하고, 사용자의 눈들(2508)이 응시하는 제1 영역(2506) 부근에 중심이 있는 HSI와 같은 제2 모달리티를 갖는 제1 스티치된 부분(stitched-in portion)(2504)을 가진다. 도 25b를 참조하면, 해부학적 구조(2502)를 디스플레이하는 제1 모달리티 이미지(2500)를 갖는 전체 화면 디스플레이는 사용자의 눈들(2508)이 응시하는 제2 영역(2556) 부근에 중심이 있는 제2 모달리티를 갖는 제2 스티치된 부분(2552)을 갖는다. 일부 실시예들에 따르면, 사용자의 시선 부근의 영역에서 스티치된 부분의 생성을 위한 옵션을 트리거하기 위해, 적어도 2 초 동안 지속되는 사용자의 시선이 요구된다.

이미지 선명도 및 이미지에 포함된 상세한 정보로 인해 HSI 모달리티 이미지가 바람직할 수 있다는 것을 알 수 있을 것이다. 그러나 HSI 이미지는 일반적으로 생성을 위해 상당한 처리 능력을 필요로 한다. 사용자가 주시하는 디스플레이 부분에만 HSI 모달리티 이미지를 생성하면 처리 요구 사항들이 줄어들어 전반적인 이미지 처리 효율성이 향상될 수 있다. 일부 실시예들에서, 제어 입력은 평면 눈 추적 동작 모드를 선택하도록 작동될 수 있다. 결정 블록(2306)은 사용자가 어떤 평면 눈 추적 선택들을 하는지 결정하도록 컴퓨터를 구성한다.

도 25c를 참조하면, 스크린 디스플레이는 디스플레이에 도시된 해부학적 구조의 CT 깊이 슬라이스들의 스택(stack) 옆에 해부학적 구조(2502)를 나타낸다. 제1 깊이(2582)에 초점을 맞춘 사용자의 시선이 도시된다. 제2 깊이(2584)에 초점을 맞춘 사용자의 시선이 또한 도시된다. 제1 깊이(2582)에 대응하는 제1 CT 슬라이스(2592)는 제1 깊이(2582)에 대한 사용자의 시선에 응답하여 해부학적 구조(2502)를 나타내는 스크린 디스플레이(2500)상에 오버레이된다. 제2 깊이(2584)에 대응하는 제2 CT 슬라이스(2594)는 사용자의 제2 눈 시선에 응답하여 해부학적 구조(2502)를 나타내는 스크린 디스플레이(2500)상에 오버레이된다. 일부 실시예들에 따르면, 사용자의 시선 깊이에서 오버레이된 CT 슬라이스의 생성을 트리거하기 위해서는 적어도 2초 동안 지속되는 사용자 시선이 요구된다. 일부 실시예들에서, 제어 입력은 깊이 눈 추적 동작 모드를 선택하도록 작동될 수 있다. 결정 블록(2306)은 사용자가 어떤 깊이 눈 추적 선택을 하는지를 결정하도록 컴퓨터를 구성한다.

도 26은 일부 실시예들에 따라 다중 모달리티 디스플레이 포맷을 선택하기 위한 하위 프로세스(2600)의 세부 사항들을 나타내는 예시적인 흐름도이다. 하위 프로세스(2300)는 수술 시스템(10)을 참조하여 설명된다. 일부 실시예들에서, 하위 프로세스(2300)는 도 11의 포맷 선택 블록(2106)을 구현한다. 결정 블록(2602)은 다수의 모달리티들이 선택되는지를 결정하도록 컴퓨터(58)를 구성한다. 다중 모달리티들이 선택되지 않는다는 결정에 응답하여, 제어는 결정 블록(2602)으로 다시 진행된다. 다수의 모달리티들이 선택되었다는 결정에 응답하여, 결정 블록(2604)은 사용자가 사용자 선택 포맷을 지정하는지 여부를 결정한다. 사용자가 사용자 선택 포맷을 지정한다는 결정에 응답하여, 블록(2606)은 사용자 선택 포맷을 블록(2108)에 보고하고, 그 다음에 제어는 결정 모듈(2602)로 다시 진행된다. 사용자가 사용자 선택 포맷 우선순위를 지정하지 않았다는 결정에 응답하여, 블록(2608)은 사전 설정된 포맷 우선순위를 블록(2108)에 보고하고, 그 다음에 제어는 결정 블록(202)으로 다시 흐른다.

도 26으로부터, 사용자는 수술 시스템(10)을 사용하여 수술 절차를 수행하는 동안 상이한 지점들에서 상이한 포맷들 및 포맷 우선순위들을 지정할 수 있음을 알 수 있다. 또한, 하위 프로세스(2600)는 수술 절차 동안 계속 순환하여 사용자 포맷 선택들의 변화를 지속적으로 체크한다는 것을 알 수 있을 것이다. 따라서, 프로세스(2600)는 수술 절차 동안 상이한 시간들에 상이한 모달리티 포맷들 중에서 선택할 수 있다.

도 27은 일부 실시예들에 따라 수술 시스템(AA)의 뷰어(31) 내에 디스플레이된 예시적인 포맷 선택 사용자 인터페이스(UI)(2702)를 나타내는 예시적인 도면이다. 예시적인 포맷 선택 UI(2702)는 좌측 열에 모달리티들을 열거하고, 중간 및 우측 열에 사용자 입력을 수신하여 사용자의 표현 우선순위 선택을 나타내는 표현 우선순위 섹션(2704)을 제공한다. 예시적인 표현 우선순위 섹션(2706)에서, 사용자는 일부 실시예들에서 전체 화면인 주 표현에 대해 순수 및 NBI 모두를 선택하고, 인서트 표현(스티치, PiP 또는 주석)에 대해 라만, 형광 및 HSI를 선택한다. NBI 및 순수 각각에 대한 x1 및 x2 지정은 NBI가 더 높은 우선순위를 가지는 NBI와 순수 사이에서의 예시적인 우선순위를 나타낸다. 예를 들어, 예시적인 우선순위에 따라 NBI 모달리티가 있는 경우 NBI 모달리티가 주이지만, NBI가 없는 경우에는 순수 모달리티가 주가 된다. 예시적인 포맷 선택 UI(2702)는 또한 좌측 열에 표현 스타일(스티치, PiP 또는 주석)을 나열하고 오른쪽 열에 사용자의 표현 스타일 선택을 나타내기 위해 사용자 입력을 수신하는 표현 스타일 섹션(2706)을 제공한다. 예시적인 표현 스타일 섹션(2706)에서, 사용자는 PiP를 선택한다. 따라서, 예시적인 사용자 포맷 선택에서, NBI는 주로서 제공되고 라만, 형광 및 HSI 중 하나 이상이 NBI 스크린 내의 PiP로 제공된다. 도 26의 결정 블록(2608)은 사용자가 도 27의 포맷 선택 UI 디스플레이를 사용하여 어떤 포맷 우선순위 선택들을 하는지를 결정하도록 컴퓨터를 구성한다.

도 28은 일부 실시예들에 따라 수술 단계 정보 및 대응하는 수술 단계 규칙들이 함께 디스플레이 모달리티를 나타내는지 여부를 결정하기 위한 하위 프로세스(2800)의 세부 사항들을 나타내는 예시적인 흐름도이다. 하위 프로세스(2800)는 수술 시스템(10)을 참조하여 기술된다. 일부 실시예들에서, 하위 프로세스(2800)는 도 22의 결정 블록(2208)을 구현한다. 블록(2802)은 시스템 작동 상태 및 수술 기구 운동학과 같은 수술 단계 정보를 수신하도록 컴퓨터(58)를 구성한다. 일부 실시예들에서, 수술 단계 정보는 예를 들어 환자 건강 기록 정보, 및 경험 수준과 같은 외과 의사 정보와 같은 추가 정보를 포함할 수 있다. 블록(2804)은 수술 절차에 대한 수술 단계 규칙들을 수신하도록 컴퓨터를 구성한다. 블록(2806)은 수신된 수술 단계 규칙들을 수신된 수술 단계 정보에 적용하여, 규칙들이 수신된 수술 단계 정보가 디스플레이 모달리티와 정합함을 나타내는지 여부를 결정하도록 컴퓨터를 구성한다. 블록(2808)은 디스플레이 모달리티가 대응하는 경우, 이를 보고하도록 컴퓨터를 구성한다.

도 29는 일부 실시예들에 따라 컴퓨터 시스템(58) 내의 저장 디바이스에 저장된 수술 단계 서명들 및 대응하는 모달리티들을 포함하는 예시적인 정보 구조(2902)를 나타내는 예시적인 도면이다. 각각의 수술 단계의 서명들은 각각의 디스플레이 모달리티들에 대응한다. 일부 실시예들에 따르면, 수술 시스템을 사용하는 수술 중, 수술 단계 서명과 밀접하게 정합하는 수술 단계 정보의 발생은, 수술 시스템이 정합하는 수술 단계 벡터에 대응하는 디스플레이 모달리티를 사용해야 함을 나타낼 수 있다. 일부 실시예들에 따르면, 기계 학습 기술들은 수술 정보 아틀라스(902) 내에 저장된 정보에 기초하여 수술 단계 서명을 생성하는 데 사용될 수 있다. 보다 구체적으로, 예를 들어, 전문 지식과 함께 분류기들을 사용하여 수술 단계 서명들과 이미지 모달리티들을 상관시킬 수 있다. 각각의 수술 단계 서명(SigSS)은 다차원 벡터를 포함한다. 벡터는 이미지 모달리티에 대응하는 수술 단계의 속성을 나타내는 벡터 값을 포함한다. 일부 실시예들에서, 수술 시스템 서명들은 기록된 시스템 상태 정보, 및 다수의 상이한 수술 시스템들을 사용하는 다수의 수술 절차들을 위해 기록된 수술 기구 운동학 동작 정보에 기초하여 생성된다. 일부 실시예들에서, 예를 들어, 수술 기구 운동학 동작은 예를 들어 순간 속도, 순간 가속도, 순간 3차원 위치, 현재 동작 경로 및 예측 동작 경로와 같은 운동학적 특징들을 나타내는 다중 벡터 성분으로 분해된다. 또한, 일부 실시예들에서, 기구의 동작 및 위치가 수술 단계 서명들의 결정에 중요할 뿐만 아니라, 기구에 대한 해부학적 구조의 물리적 위치, 다른 기구들의 물리적 위치, 환자의 건강 및 수술의 성질과 같은 상황 정보는 기구학적 정보의 해석과도 관련이 있다. 또한, 이전의 기구 동작들은 어떤 이미지 모달리티가 어디에서 특정 수술 단계 서명에 해당하는지와 같은 수술 단계 서명의 결정과 관련될 수 있다. 따라서, 일부 실시예들에서, 수술 단계 서명들은 또한 예를 들어 해부학적 구조들의 위치, 다른 기구들의 위치, 환자 건강, 수술 유형, 외과 의사의 경험 수준 및 기구의 선행 동작을 나타내는 벡터를 포함할 수 있다.

도 28을 다시 참조하면, 블록(2806)은 규칙들로서 역할을 하는 수술 단계 서명들과 수신된 수술 단계 정보 사이의 상관을 수행하여, 수신된 수술 단계 정보와 수술 단계 서명 사이에 충분히 밀접하게 정합하는 것이 있는지를 결정하여, 수신된 수술 단계 정보에 대응하는 디스플레이 모달리티를 사용하도록 보고를 트리거한다. 기계 학습 실시예들에서, 정합 여부는 수신된 기구 운동학 및 시스템 상태 정보 등과 수술 상태 서명에 의해 표현된 규칙들의 유사성의 범위에 기초하여 결정된다는 것이 이해될 것이다. 따라서, 일부 실시예들에서, 예를 들어 특정 규칙으로부터 소정의 임계 거리 내에 있는 수술 단계 정보는 해당 규칙과 정합하는 것으로 결정되어, 대응하는 디스플레이 모달리티의 선택을 트리거한다.

도 30은 일부 실시예들에 따라 이미지 모달리티 부분을 생성하기 위한 하위 프로세스(3000)의 세부 사항들을 나타내는 예시적인 흐름도이다. 하위 프로세스(3000)는 수술 시스템(10)을 참조하여 설명된다. 일부 실시예들에서, 하위 프로세스(3000)는 도 22의 블록들(2204 및 2210)을 구현한다. 블록(3002)은 수술 시스템을 사용하여 수행되는 수술을 위해 선택된 이미지 모달리티를 위해 카메라(528)를 사용하여 캡처된 이미지 정보를 수신하도록 컴퓨터를 구성한다. 수신된 이미지 정보는 예를 들어 해부학적 구조의 위치, 마진 평가 및 기능 정보를 포함할 수 있다. 일부 실시예들에서, 이미지 정보는 예를 들어, 환자 건강 기록 정보, 및 경험 수준과 같은 외과 의사 정보와 같은 부가적인 정보를 수반할 수 있다. 블록(3004)은 컴퓨터가 이미지 모달리티 규칙들을 수신하도록 구성한다. 블록(3005)은 수신된 이미지 정보 및 수신된 규칙들에 대응하는 이미지 모달리티를 식별하는 정보를 수신하도록 컴퓨터 시스템을 구성한다. 블록(3006)은 수신된 이미지 모달리티 규칙을 수신된 이미지 정보에 적용하여, 외과 의사가 가장 관심을 가질 가능성이 있는, 따라서 중요 부분을 특징으로 하기에 적절할 때 다른 이미지로의 삽입을 위해 선택되어야 하는 이미지 모달리티 부분을 식별하도록 컴퓨터를 구성한다. 블록(3008)은 부분이 대응하는 것으로 식별되면, 그 부분을 보고하도록 컴퓨터를 구성한다.

하위 프로세스(3000)는 수술 절차를 수행하는 수술 시스템(10)에 의해 현재 사용중인 각각의 이미지 모달리티에 대해 개별적으로 수행된다는 것이 이해될 것이다. 특히, 예를 들어, NBI 및 라만 분광 이미지 모달리티들만이 현재 사용되고 있는 경우, 하위 프로세스(3000)는 NBI 이미지 정보와 NBI 규칙들에 대해 및 라만 이미지 정보와 라만 규칙들에 대해 개별적으로 수행된다. 또한, 전체 장면의 상이한 부분들이 상이한 이미지 모달리티들에 대해 식별될 수 있음을 이해할 것이다. 예를 들어 NBI 모달리티는 혈관들을 식별하는 데 있어 우수할 수 있으며, 라만 모달리티는 종양들을 식별하는 데 있어 우수할 수 있다.

도 31은 일부 실시예들에 따라 컴퓨터 시스템(58) 내의 저장 디바이스 및 대응하는 주석들에 저장된 이미지 서명들을 포함하는 예시적인 정보 구조(3102)를 나타내는 예시적인 도면이다. 각각의 이미지 서명들은 예를 들어 혈관들 또는 종양들과 같은 각각의 해부학적 구조들에 대응하며, 이들은 수술 동안 외과 의사에게 특별한 관심의 대상일 수 있다. 주석은 수술 동안 생성된 수술 이미지의 잠재적인 관련성에 대한 설명을 제공할 수 있으며, 이는 주석과 관련된 이미지 서명과 밀접하게 정합한다. 이미지 서명과 정합하는 이미지 모달리티 정보의 일부는 뷰어(31) 내에 디스플레이되는 전체적인 수술 장면에 인서트되도록(예를 들어, 스티치, PiP 또는 주석을 통해) 선택된다.

일부 실시예들에 따르면, 기계 학습 기술들은 수술 정보 아틀라스(902) 내에 저장된 정보에 기초하여 이미지 서명들을 생성하는 데 사용될 수 있다. 보다 구체적으로, 예를 들어, 분류기들은 전문 지식과 함께 이미지 서명들과 이미지 모달리티들을 상관시키는 데 사용될 수 있다. 각각의 이미지 서명(SigIM)은 다차원 벡터를 포함한다. 벡터는 해부학적 구조를 나타내는 값들을 포함한다. 일부 실시예들에서, 이미지 서명들은 해부학적 구조 형태, 스펙트럼 서명, 이미지 모달리티에 캡처된 깊이 및 색 정보의 분석들과 같은 인자들에 기초하여 생성된다. 상이한 이미지 모달리티가 상이한 해부학적 구조들의 이미지들을 캡처하는 데 적합할 수 있음을 이해할 것이다.

다시 도 30을 참조하면, 블록(3006)은 규칙들로서 역할을 하는 이미지 서명들과 수신된 이미지 정보 사이의 상관을 수행하여, 수신된 이미지 정보와 이미지 서명 사이에 충분히 밀접하게 정합하는 것이 있는지를 결정하여, 수신된 이미지 정보에 대응하는 이미지의 부분을 사용하도록 보고를 트리거한다. 기계 학습 실시예들에서, 정합 여부는 수신된 이미지 정보와 이미지 서명들에 의해 표현된 규칙들 사이의 유사성의 범위에 기초하여 결정된다는 것을 이해할 것이다. 따라서, 일부 실시예들에서, 예를 들어 특정 규칙으로부터 소정의 임계 거리 내에 있는 이미지 정보는 해당 규칙과 정합하는 것으로 결정되어, 다른 이미지 내에 디스플레이하기 위한 대응하는 이미지의 부분의 선택을 트리거한다.

예시적인 실시예들이 도시되고 설명되었지만, 전술한 개시 내용에서 광범위한 수정, 변경 및 대체가 고려될 수 있으며, 일부 경우에, 실시예들의 일부 특징들은 다른 특징들의 대응하는 사용없이 이용될 수 있다. 본 기술분야의 통상의 기술자는 많은 변경들, 대안들, 및 수정들을 인식할 것이다. 따라서, 개시 내용의 범위는 다음의 청구 범위에 의해서만 제한되어야 하고, 청구 범위는 본 명세서에 개시된 실시예들의 범위와 일치하는 방식으로 광범위하게 해석되는 것이 적절하다.

Claims (46)

1. 수술 장면의 다중 모달리티 이미지(multi-modality image)를 생성하는 방법으로서,
   적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
   상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
   상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
   상기 제2 모달리티 이미지의 선택된 일부분 내에 포함된 해부학적 구조 정보에 적어도 부분적으로 기초하여, 상기 제2 모달리티 이미지의 상기 일부분을 선택하는 단계; 및
   상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 상기 수술 장면의 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 상기 선택된 일부분을 디스플레이 내에서 동시에 생성하도록 컴퓨터를 구성하는 단계
   를 포함하는 방법.
2. 제1항에 있어서,
   제2 모달리티 이미지의 일부분을 선택하는 단계가 상기 제2 이미지 정보를 비일시적 저장 디바이스에 저장된 이미지 서명 정보와 비교하는 단계를 포함하는, 방법.
3. 제1항에 있어서,
   제2 모달리티 이미지의 일부분을 선택하는 단계가 상기 제2 이미지 정보를 비일시적 저장 디바이스에 저장된 복수의 이미지 서명들과 비교하는 단계를 포함하는, 방법.
4. 제1항에 있어서,
   상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 부분을 상기 제1 모달리티 이미지의 대응 부분 대신에 상기 제1 모달리티 이미지에 스티치(stitch)하도록 상기 컴퓨터를 구성하는 단계를 포함하는, 방법.
5. 제1항에 있어서,
   상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 부분의 축소된 크기의 이미지 및 상기 제1 모달리티 이미지를 상기 디스플레이에 동시에 포함시키도록 상기 컴퓨터를 구성하는 단계를 포함하는, 방법.
6. 제1항에 있어서,
   상기 제1 모달리티 이미지가 순수 이미지(clear image)를 포함하고, 상기 제2 모달리티 이미지 정보가 개선된 이미지를 포함하는, 방법.
7. 제1항에 있어서,
   상기 제1 모달리티 이미지가 개선된 이미지를 포함하고, 상기 제2 모달리티 이미지가 개선된 이미지를 포함하는, 방법.
8. 제1항에 있어서,
   상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 협대역 이미지를 포함하는, 방법.
9. 제1항에 있어서,
   상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 라만 분광법(Raman spectroscopy) 이미지를 포함하는, 방법.
10. 제1항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 형광 이미지를 포함하는, 방법.
11. 제1항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 하이퍼스펙트럴(hyperspectral) 이미지를 포함하는, 방법.
12. 제1항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 광 간섭 단층촬영(optical coherence tomography) 이미지를 포함하는, 방법.
13. 제1항에 있어서,
    컴퓨터에서 포맷 선택을 수신하는 단계를 더 포함하고,
    상기 구성하는 단계가 상기 수술 장면의 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 상기 선택된 부분을, 선택된 포맷으로 상기 디스플레이 내에서 동시에 생성하도록 상기 컴퓨터를 구성하는 단계를 더 포함하는, 방법.
14. 수술 장면의 다중 모달리티 이미지를 생성하는 방법으로서,
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 개선된 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 개선된 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 제1 및 제2 모달리티 이미지 중 하나를 주(primary)로서 지정하고, 상기 제1 및 제2 모달리티 이미지 중 다른 하나를 인서트로서 지정하는 포맷 선택을 컴퓨터에서 수신하는 단계;
    인서트로서 지정된 상기 모달리티 이미지의 선택된 일부분 내에 포함된 해부학적 구조 정보에 적어도 부분적으로 기초하여, 인서트로서 지정된 상기 모달리티 이미지의 상기 일부분을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 주로서 지정된 상기 모달리티 이미지의 적어도 일부분 및 인서트로서 지정된 상기 모달리티 이미지의 상기 선택된 부분을 디스플레이 내에서 동시에 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 방법.
15. 제14항에 있어서,
    상기 구성하는 단계가 인서트로서 지정된 상기 모달리티 이미지의 상기 선택된 일부분을 주로서 지정된 상기 모달리티 이미지의 상기 적어도 일부분의 대응 부분 대신에 주로서 지정된 상기 모달리티 이미지의 상기 적어도 일부분에 스티치하도록 구성하는 단계를 포함하는, 방법.
16. 제14항에 있어서,
    상기 구성하는 단계가 인서트로 지정된 상기 모달리티 이미지의 상기 선택된 일부분의 축소된 크기의 이미지 및 주로서 지정된 상기 모달리티 이미지의 상기 적어도 일부분을 상기 디스플레이에 동시에 포함시키도록 구성하는 단계를 포함하는, 방법.
17. 수술 장면의 다중 모달리티 이미지를 생성하는 방법으로서,
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    디스플레이 내의 사용자 눈의 초점 위치를 추적하는 단계;
    추적된 디스플레이 내의 사용자 눈의 초점에 적어도 부분적으로 기초하여, 상기 제2 모달리티 이미지의 일부분을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 상기 수술 장면의 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 선택된 일부분을 상기 디스플레이 내에서 동시에 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 방법.
18. 제17항에 있어서,
    상기 제2 모달리티 이미지가 하이퍼스펙트럴 이미지를 포함하는, 방법.
19. 제17항에 있어서,
    상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 일부분을 상기 제1 모달리티 이미지의 대응 부분 대신에 상기 제1 모달리티 이미지에 스티치하도록 상기 컴퓨터를 구성하는 단계를 포함하는, 방법.
20. 제17항에 있어서,
    상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 일부분의 축소된 크기의 이미지 및 상기 제1 모달리티 이미지를 상기 디스플레이에 동시에 포함시키도록 상기 컴퓨터를 구성하는 단계를 포함하는, 방법.
21. 수술 장면의 다중 모달리티 이미지를 생성하는 방법으로서,
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    수술 절차의 과정에서 수술 단계를 추적하는 단계;
    추적된 수술 단계에 적어도 부분적으로 기초하여 모달리티 이미지 포맷을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 적어도 일부분을 상기 선택된 포맷으로 디스플레이 내에서 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 방법.
22. 제21항에 있어서,
    모달리티 이미지를 선택하는 단계가 비일시적 저장 디바이스에 저장된 수술 단계 서명 정보와 상기 수술 단계 정보를 비교하는 단계를 포함하는, 방법.
23. 제22항에 있어서,
    모달리티 이미지를 선택하는 단계가 비일시적 저장 디바이스에 저장된 복수의 수술 단계 서명과 상기 수술 단계 정보를 비교하는 단계를 포함하는, 방법.
24. 수술 장면의 다중 모달리티 이미지를 생성하는 시스템으로서,
    프로세서; 및
    상기 프로세서에서 실행 가능한 명령 세트를 보유하는 메모리 디바이스
    를 포함하고, 상기 명령 세트는 수술 시스템이:
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 제2 모달리티 이미지의 선택된 일부분 내에 포함된 해부학적 구조 정보에 적어도 부분적으로 기초하여, 상기 제2 모달리티 이미지의 상기 일부분을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 상기 수술 장면의 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 상기 선택된 일부분을 디스플레이 내에서 동시에 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 동작들을 수행하도록 하는, 시스템.
25. 제24항에 있어서,
    모달리티 이미지의 일부를 선택하는 단계가 상기 제2 이미지 정보를 비일시적 저장 디바이스에 저장된 이미지 서명 정보와 비교하는 단계를 포함하는, 시스템.
26. 제24항에 있어서,
    모달리티 이미지의 일부를 선택하는 단계가 상기 제2 이미지 정보를 비일시적 저장 디바이스에 저장된 복수의 이미지 서명들과 비교하는 단계를 포함하는, 시스템.
27. 제24항에 있어서,
    상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 부분을 상기 제1 모달리티 이미지의 대응 부분 대신에 상기 제1 모달리티 이미지에 스티치하도록 상기 컴퓨터를 구성하는 단계를 포함하는, 시스템.
28. 제24항에 있어서,
    상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 부분의 축소된 크기의 이미지 및 상기 제1 모달리티 이미지를 상기 디스플레이에 동시에 포함시키도록 상기 컴퓨터를 구성하는 단계를 포함하는, 시스템.
29. 제24항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 개선된 이미지를 포함하는, 시스템.
30. 제24항에 있어서,
    상기 제1 모달리티 이미지가 개선된 이미지를 포함하고, 상기 제2 모달리티 이미지가 개선된 이미지를 포함하는, 시스템.
31. 제24항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 협대역 이미지를 포함하는, 시스템.
32. 제24항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 라만 분광법 이미지를 포함하는, 시스템.
33. 제24항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 형광 이미지를 포함하는, 시스템.
34. 제24항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 하이퍼스펙트럴 이미지를 포함하는, 시스템.
35. 제24항에 있어서,
    상기 제1 모달리티 이미지가 순수 이미지를 포함하고, 상기 제2 모달리티 이미지 정보가 광 간섭 단층촬영 이미지를 포함하는, 시스템.
36. 제24항에 있어서,
    컴퓨터에서 포맷 선택을 수신하는 단계를 더 포함하고,
    상기 구성하는 단계가 상기 수술 장면의 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 상기 선택된 부분을, 선택된 포맷으로 상기 디스플레이 내에서 동시에 생성하도록 상기 컴퓨터를 구성하는 단계를 더 포함하는, 시스템.
37. 수술 장면의 다중 모달리티 이미지를 생성하는 시스템으로서,
    프로세서; 및
    상기 프로세서에서 실행 가능한 명령 세트를 보유하는 메모리 디바이스
    를 포함하고, 상기 명령 세트는 수술 시스템이:
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 제1 및 제2 모달리티 이미지 중 하나를 주(primary)로서 지정하고, 상기 제1 및 제2 모달리티 이미지 중 다른 하나를 인서트로서 지정하는 포맷 선택을 컴퓨터에서 수신하는 단계;
    인서트로서 지정된 상기 모달리티 이미지의 선택된 일부분 내에 포함된 해부학적 구조 정보에 적어도 부분적으로 기초하여, 인서트로서 지정된 상기 모달리티 이미지의 상기 일부분을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 주로서 지정된 상기 모달리티 이미지의 적어도 일부분 및 인서트로서 지정된 상기 모달리티 이미지의 상기 선택된 부분을 디스플레이 내에서 동시에 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 동작들을 상기 수술 시스템이 수행하도록 하는 시스템.
38. 제37항에 있어서,
    상기 구성하는 단계가 인서트로서 지정된 상기 모달리티 이미지의 상기 선택된 일부분을 주로서 지정된 상기 모달리티 이미지의 상기 적어도 일부분의 대응 부분 대신에 주로서 지정된 상기 모달리티 이미지의 상기 적어도 일부분에 스티치하도록 구성하는 단계를 포함하는, 시스템.
39. 제37항에 있어서,
    상기 구성하는 단계가 인서트로 지정된 상기 모달리티 이미지의 상기 선택된 일부분의 축소된 크기의 이미지 및 주로서 지정된 상기 모달리티 이미지의 상기 적어도 일부분을 상기 디스플레이에 동시에 포함시키도록 구성하는 단계를 포함하는, 시스템.
40. 수술 장면의 다중 모달리티 이미지를 생성하는 시스템으로서,
    프로세서; 및
    상기 프로세서에서 실행 가능한 명령 세트를 보유하는 메모리 디바이스
    를 포함하고, 상기 명령 세트는 수술 시스템이:
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    디스플레이 내의 사용자 눈의 초점 위치를 추적하는 단계;
    추적된 디스플레이 내의 사용자 눈의 초점에 적어도 부분적으로 기초하여, 상기 제2 모달리티 이미지의 일부분을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 상기 수술 장면의 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 선택된 일부분을 상기 디스플레이 내에서 동시에 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 동작들을 상기 수술 시스템이 수행하도록 하는 시스템.
41. 제40항에 있어서,
    상기 제2 모달리티 이미지가 하이퍼스펙트럴 이미지를 포함하는, 시스템.
42. 제40항에 있어서,
    상기 구성하는 단계가 상기 제2 모달리티 이미지의 상기 선택된 일부분을 상기 제1 모달리티 이미지의 대응 부분 대신에 상기 제1 모달리티 이미지에 스티치하도록 상기 컴퓨터를 구성하는 단계를 포함하는, 시스템.
43. 제40항에 있어서,
    상기 구성하는 단계가 상기 제2 모달리티 이미지의 선택된 부분의 축소된 크기의 이미지 및 상기 제1 모달리티 이미지를 상기 디스플레이에 동시에 포함시키도록 상기 컴퓨터를 구성하는 단계를 포함하는, 시스템.
44. 수술 장면의 다중 모달리티 이미지를 생성하는 시스템으로서,
    프로세서; 및
    상기 프로세서에서 실행 가능한 명령 세트를 보유하는 메모리 디바이스
    를 포함하고, 상기 명령 세트는 수술 시스템이:
    적어도 하나의 카메라를 사용하여 수술 장면으로부터 반사된 광을 캡처하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제1 모달리티 이미지에 대응하는 제1 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    상기 적어도 하나의 카메라를 사용하여 캡처된 광에 기초하여, 상기 수술 장면의 제2 모달리티 이미지에 대응하는 제2 이미지 정보를 비일시적 저장 디바이스에서 생성하는 단계;
    수술 절차의 과정에서 수술 단계를 추적하는 단계;
    추적된 수술 단계에 적어도 부분적으로 기초하여 모달리티 이미지 포맷을 선택하는 단계; 및
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 사용하여, 상기 제1 모달리티 이미지의 적어도 일부분 및 상기 제2 모달리티 이미지의 적어도 일부분을 상기 선택된 포맷으로 디스플레이 내에서 생성하도록 컴퓨터를 구성하는 단계
    를 포함하는 동작들을 상기 수술 시스템이 수행하도록 하는 시스템.
45. 제44항에 있어서,
    모달리티 이미지를 선택하는 단계가 비일시적 저장 디바이스에 저장된 수술 단계 서명 정보와 상기 수술 단계 정보를 비교하는 단계를 포함하는, 시스템.
46. 제44항에 있어서,
    모달리티 이미지를 선택하는 단계가 비일시적 저장 디바이스에 저장된 복수의 수술 단계 서명과 상기 수술 단계 정보를 비교하는 단계를 포함하는, 방법.

Images