KR102397670B1 - 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템 - Google Patents

Abstract

의료 과정 중에 햅틱 피드백을 제공하기 위한 시스템으로서: 정량적 3차원(Q3D) 내시경; 조직 구조부를 변형시키도록 배치된 수술 기기; 조직 구조부 변형의 측정값을 표시하는 정보에 응답하여 조직 구조부 변형의 표시를 제공하도록 구성된 햅틱 사용자 인터페이스 장치; 및 조직 구조부 변형의 측정값을 표시하는 정보를 포함하는 Q3D 모델을 생성하고, 조직 구조부 변형의 측정값을 표시하는 정보를 햅틱 사용자 인터페이스 장치에 제공하도록 구성된 프로세서를 포함하고 있는 시스템이 제공된다.

Description

정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템{SURGICAL SYSTEM WITH HAPTIC FEEDBACK BASED UPON QUANTITATIVE THREE-DIMENSIONAL IMAGING}

본 발명은 대체로 관련된 영상 센서를 갖는 수술용 내시경 시스템에 관한 것이며, 보다 상세하게는, 수술용 영상에 표시되는 물리적 구조부의 3차원 좌표를 결정하는 것에 관한 것이다.

정량적 3차원(Q3D) 비전은 실세계 장면(real world scene) 내의 목표점들(target points)의 실제 물리적 (x, y, z) 3D 좌표들에 대한 수치적 정보를 제공한다. 정량적 3차원 비전에 의해, 사람은 실세계 장면의 3차원적 지각을 얻을 수 있을 뿐만 아니라, 장면 내의 물체들의 물리적 치수들과 장면 내의 물체들 간의 물리적 거리들에 관한 수치적 정보도 얻을 수 있다. 과거에, 장면에 대한 3D 정보를 결정하기 위해 비행 시간(time-of-flight) 관련 정보 또는 위상 정보를 이용하는 몇 가지 Q3D 시스템들이 제안되었다. 다른 Q3D 시스템은 장면에 대한 3D 정보를 결정하기 위해 구조광(structured light)을 이용하였다.

비행 시간 정보의 이용이 "CMOS 호환가능 3차원 영상 센서 IC(CMOS-compatible three-dimensional image sensor IC)"라는 명칭으로, CMOS 제조 기술을 사용하여 일반 IC 상에 제작되는 픽셀 광 감지 검출기들(pixel light sensing detectors)로 이루어진 2차원 어레이를 포함하고 있는 3차원 영상 시스템을 개시하고 있는 미국 특허 제6,323,942호에 개시되어 있다. 각각의 검출기는 시스템 방출된 펄스가 물체 지점으로부터 반사되어 그 지점에 초점맞춤된 픽셀 검출기에 의해 검출되기 위한 비행 시간(TOF)에 정비례하는 수치의 클록 펄스들(clock pluses)을 축적하는 관련된 고속 카운터(high speed counter)를 갖는다. TOF 데이터는 특정 픽셀로부터 방출된 광 펄스를 반사시키는 물체 상의 지점까지의 거리의 직접적인 디지털 척도를 제공한다. 제2 실시예에서는, 카운터 및 고속 클록 회로는 제거되고, 대신에 각각의 픽셀 검출기 전하 축적 및 전자 셔터를 구비한다. 셔터는 광 펄스가 방출될 때 개방되고, 그 후에 각각의 픽셀 검출기가 관련된 픽셀 검출기에 도달하는 복귀 광자 에너지의 함수로서 전하를 축적하도록 폐쇄된다. 축적된 전하의 양이 왕복 TOF의 직접적인 척도를 제공한다.

시간 지연 정보의 이용이 "내시경 3D 데이터 수집을 위한 장치 및 방법(Apparatus and method for endoscopic 3D data collection)"이라는 명칭으로, 변조형 측정 빔 및 측정 빔을 관찰될 영역으로 안내하기 위한 광전달 기구를 개시하고 있고, 관찰될 영역으로부터의 신호 빔을 적어도 위상 민감형 영상 센서(phase-sensitive image sensor) 상에 영상화시키기 위한 광 영상화 기구에 더하여, 광전달 기구가 조명 렌즈를 포함하도록 되어 있는 미국 특허 제8,262,559호에 개시되어 있다. mm 범위의 깊이의 차이에 상당할 수 있는 시간 지연이 깊이 및 거리 정보를 나타내는 영상의 생성을 가능하게 해주는 위상 정보를 발생시킨다.

시각 영상 내의 물체들의 물리적 좌표들을 결정하기 위한 구조광의 이용이 "내시경(Endoscope)"이라는 명칭의 미국 특허 출원 공개 제2012/0190923호; 및 학술지 Medical Image Analysis, 16 (2012) 1063-1072에 슈말츠 씨.(C. Schmalz) 등의 이름으로 실린 "구조광에 기초한 내시경 3D 스캐너(An endoscopic 3D scanner based on structured light)"에 개시되어 있다. 삼각 측량법이 표면의 지형을 측정하는 데 사용된다. 일정 범위의 다양한 색상 스펙트럼을 가질 수 있는 투사 광선 형태의 구조광이 표면에 입사되고 반사된다. 반사된 광선은 반사된 색상 스펙트럼 정보를 표면의 3D 좌표들을 결정하는 데 사용하도록 보정되는 카메라에 의해 관찰된다. 더 구체적으로는, 구조광의 이용은 일반적으로 3D 표면 상에 광 패턴을 비추고, 물리적 물체의 윤곽으로 인한 빛의 변형 패턴에 기초하여 물리적 거리를 결정하는 것을 포함한다.

픽셀 어레이 내의 픽셀들에 대해 장면 깊이 정보를 연산하도록 사용될 수 있는 복수의 픽셀 어레이들을 포함하는 이미저 어레이 카메라(imager arrary camera)가 개발되었다. 고해상도(HR) 영상들이 다수의 저해상도(LR) 영상들로부터 생성된다. 참조 시점(reference viewpoint)이 선택되고, 그 시점에서 보여지는 대로 HR 영상이 생성된다. 시차 처리 기술(parallax processing technique)은 참조 영상 픽셀들(reference image pixels)에 대해 비참조 영상(non-reference image)의 픽셀 대응점들을 결정하는 데 에일리어싱 효과(aliasing effect)를 이용한다. 융합 및 초해상도 기법이 다수의 LR 영상으로부터 HR 영상을 발생시키는 데 이용된다. 이것에 대해서는, 예컨대 "이기종 이미저를 가진 모놀리식 카메라 어레이를 사용한 영상 취득 및 처리(Capturing and Processing Images using Monolithic Camera Array with Heterogeneous Imager)"라는 명칭의 미국 특허 제8,514,491호; "가설 융합을 이용한 에일리어싱을 포함하는 장면의 다수 뷰들로부터 깊이를 결정하기 위한 시스템 및 방법(Systems and Methods for Determining Depth from multiple Views of a Scene that Include Aliasing using Hypothesized Fusion)"이라는 명칭의 미국 특허 출원 공개 제2013/0070060호; 및 벤카타라만 케이.(K. Venkataraman) 등에 의한 논문 "PiCam: 극박 고성능 모놀리식 카메라 어레이(PiCam: An ultra-Thin high Performance Monolithic Camera Array)"가 참조된다.

도 1은 일부 실시예에 따른 공지된 이미저 센서(180)의 세부를 도시한 설명도이다. 영상 센서(180)는 센서 배열부(184)를 포함한다. 센서 배열부의 각각의 센서는 각각의 차원에서 적어도 2개의 픽셀을 갖는 2차원 픽셀 배열부를 포함한다. 각각의 센서는 렌즈 스택(186)을 포함한다. 각각의 렌즈 스택(186)은 대응하는 초점면(188)을 갖는다. 각각의 렌즈 스택(186)은 그것의 대응하는 초점면(188) 내에 배치된 대응하는 픽셀 배열부 상에 영상을 해상하는 개별적인 광 채널을 발생시킨다. 픽셀들은 광 센서들로서 작용하고, 다수의 픽셀을 가진 각각의 초점면(188)은 영상 센서로서 작용한다. 그것의 초점면(188)을 가진 각각의 센서는 다른 센서들 및 초점면들에 의해 차지되는 센서 배열부의 영역과 다른 센서 배열부의 일정 영역을 차지한다.

도 2는 센서 S₁₁ 내지 S₃₃로 표기된 센서들을 포함하는 도 1의 공지된 센서 배열부(184)의 단순 평면도을 도시한 설명도이다. 이미저 센서 배열부(184)는 복수의 센서(S₁₁ 내지 S₃₃)를 포함하도록 반도체 칩 상에 제작된다. 센서(S₁₁ 내지 S₃₃)의 각각은 복수의 픽셀(예컨대, 0.32 메가픽셀)을 포함하고, 독립적 판독 제어 및 픽셀 디지털화를 포함하는 주변 회로(도시되지 않음)에 연결된다. 일부 실시예에 있어서, 센서(S₁₁ 내지 S₃₃)는 도 2에 도시된 바와 같이 그리드 포맷(grid format)으로 배열된다. 다른 실시예에 있어서는, 센서들은 비 그리드 포맷으로 배열된다. 예를 들어, 센서는 원형 패턴, 지그재그 패턴, 산란형 패턴 또는 서브픽셀 오프셋(sub-pixel offset)을 포함하는 불규칙 패턴으로 배열될 수도 있다.

도 1-2의 센서(180)의 각각의 개별적인 픽셀은 마이크로렌즈 픽셀 스택을 포함한다. 도 3은 도 1-2의 센서들의 공지된 마이크로렌즈 픽셀 스택의 설명도이다. 픽셀 스택(800)은 산화물 층(804) 위에 위치되는 마이크로렌즈(802)를 포함한다. 일반적으로, 산화물 층(804) 아래에는 질화물 층(808) 위에 배치되는 색상 필터(806)가 존재할 수 있고, 질화물 층(808)은 제2 산화물 층(810) 위에 배치되고, 제2 산화물 층(810)은 개별 픽셀의 활성 영역(814)(일반적으로 포토다이오드)을 포함하는 실리콘 층(812) 상부에 배치된다. 마이크로렌즈(802)의 주된 역할은 그것의 표면에 입사된 광을 수집하고, 작은 활성 영역(814) 상에 그 빛을 초점맞춤시키는 것이다. 픽셀 개구부(816)는 마이크로렌즈의 확산에 의해 결정된다.

상술한 공지된 영상 센서 배열 구조에 관한 추가적인 정보는 미국 특허 US 8,514,491 B1(2010년 11월 22일자 출원) 및 미국 특허 출원 공개 US 2013/0070060 A1(2012년 9월 19일자 출원)에서 제공된다.

하나의 양태에 있어서, 수술 과정 중에 햅틱 피드백(haptic feedback)을 제공하는 시스템이 제공된다. 정량적 3차원(Q3D) 내시경이 그것의 시계 내의 장면을 영상화하기 위해 배치된다. 시계 내에 배치되는 수술 기기가 시계 내의 조직 구조부를 변형시키도록 작동가능하다. 햅틱 사용자 인터페이스 장치가 조직 구조부 변형의 측정값을 나타내는 정보에 응답하여 조직 구조부 변형의 지시를 제공하도록 구성된다. 하나 이상의 프로세서가 조직 구조부 변형의 측정값을 나타내는 정보를 포함하는 Q3D 모델을 생성하고, 조직 구조부 변형의 측정값을 나타내는 정보를 햅틱 사용자 인터페이스 장치에 제공하도록 구성된다.

또 다른 양태에 있어서, 의료 과정 중에 햅틱 피드백을 제공하는 시스템이 제공된다. 정량적 3차원(Q3D) 내시경이 시계 내의 장면을 영상화하기 위해 배치된다. 시계 내에 배치되는 수술 기기가 시계 내의 조직 구조부를 변형시키도록 작동가능하다. 하나 이상의 프로세서가 조직 구조부 변형의 측정값을 나타내는 정보를 포함하는 Q3D 모델을 생성하도록 구성된다. 측정된 조직 변형과 조직 강성도의 지식에 기초하여, 하나 이상의 프로세서는 기기에 의해 조직 상에 가해지는 힘을 연산하거나 추정한다. 프로세서는 가해진 힘을 나타내는 정보를 햅틱 사용자 인터페이스 장치에 제공한다.

또 다른 양태에 있어서, 의료 과정 중에 햅틱 피드백을 제공하는 시스템이 제공된다. 정량적 3차원(Q3D) 내시경이 시계 내의 장면을 영상화하기 위해 배치된다. 시계 내에 배치되는 기기가 시계 내의 조직 구조부를 촉진(palpation)하도록 작동가능하다. 하나 이상의 프로세서가 촉진 중의 조직 구조부 변형의 측정값을 나타내는 정보를 포함하는 Q3D 모델을 생성하도록 구성된다. 측정된 조직 변형과가해진 힘의 지식에 기초하여, 하나 이상의 프로세서는 조직 강성도의 측정값을 연산하거나 추정한다. 프로세서는 촉진된 조직 강성도를 나타내는 정보를 햅틱 사용자 인터페이스 장치에 제공한다.

본 발명의 양태는 여기에 간단히 설명되는 첨부도면을 참조하는 하기 상세한 설명으로부터 가장 잘 이해될 것이다. 산업계의 표준적 실시에 따라, 다양한 세부 사항들은 비례척으로 도시되지 않았다는 것에 유의해야 한다. 실상, 다양한 세부 사항들의 치수는 설명의 명료함을 위해 임의적으로 증대되거나 축소될 수 있다. 또한, 본 명세서는 여러 실시예에서 참조부호 및/또는 문자를 반복사용할 수 있다. 이러한 반복사용은 간략함과 명료함을 위한 것으로, 그 자체로 기술되는 여러 실시예 및/또는 구성들 간의 관계에 영향을 미치지는 않는다.
도 1은 공지된 이미저 센서 어레이의 세부를 도시한 설명도이다.
도 2는 도 1의 다수의 센서들을 포함하는 공지의 이미저 센서 어레이의 단순 평면도을 도시한 설명도이다.
도 3은 공지된 마이크로렌즈 픽셀 스택의 설명도이다
도 4는 일부 실시예에 따른 뷰어를 통한 수술 장면의 투시 뷰(perspective view)를 도시한 설명도이다.
도 5는 일부 실시예에 따른, 하나 이상의 기계식 암을 사용하여 최소 침습 수술 과정을 실행하기 위한 원격조작 수술 시스템의 예시적인 블록도이다.
도 6은 일부 실시예에 따른 도 5의 시스템의 환자측 시스템의 예시적인 사시도이다.
도 7a는 일부 실시예에 따른 제1 영상 취득 시스템의 예시적인 도면이다.
도 7b는 일부 실시예에 따른 제2 영상 취득 시스템의 예시적인 도면이다.
도 8은 일부 실시예에 따른, 도 7a의 제1 영상 취득 시스템과 관련된 제어 블록들을 도시하고, 작동 중의 시스템을 도시하고 있는 예시적인 블록도이다.
도 9는 일부 실시예에 따른, 물리적 목표의 정량적 3차원 위치를 결정하기 위한 프로세스를 나타낸 예시적인 플로우차트이다.
도 10은 일부 실시예에 따른, 목표를 시스템적으로 선택하기 위한 도 9의 모듈에 대체로 대응되는 프로세스의 특정 세부 사항들을 도시한 예시적인 플로우차트이다.
도 11은 일부 실시예에 따른, 다수의 센서를 포함하고 있고, 3개의 물체를 포함하는 예시적인 3차원 물리적 세계 장면(three dimensional physical world scene)을 포함하는 시계를 가지도록 배치된 예시의 센서 이미저 어레이의 설명도이다.
도 12는 일부 실시예에 따른, 도 11의 다수의 물리적 물체들의 다수의 센서 상으로의 투영을 나타낸 설명도이다.
도 13은 일부 실시예에 따른 실세계 장면(real-world scene) 내로부터의 관심 영역의 선택을 나타낸 설명도이다.
도 14는 일부 실시예에 따른 다수의 센서 내에 투영된 영상들의 상대적인 기하학적 오프셋에 대한 세부 사항을 도시한 설명도이다.
도 15는 일부 실시예에 따른, 관심 영역(ROI) 내의 지정된 참조 센서에 투영된 영상과 정렬되도록 우측으로 시프트된 관심 영역(ROI) 내의 특정예의 센서들에 투영된 영상들을 도시한 설명도이다.
도 16은 일부 실시예에 따른, 선택된 목표점의 다수의 센서 상으로의 투영을 도시한 설명도이다.
도 17은 일부 실시예에 따른, 도 16의 다수의 센서를 포함하는 이미저 어레이의 일부분 및 물리적 공간 내의 위치에 배치된 선택된 모교 지점(T)을 도시한 설명도이다.
도 18은 일부 실시예에 따른, 현재 선택된 목표점(T)의 도 16의 다수의 영상 센서 상으로의 투영을 도시한 예시적인 정면도이다.
도 19는 일부 실시예에 따른, 도 17을 참조하여 상술한 바와 같은 현재 선택된 목표의 다수의 센서에 대한 배치를 도시하고, 또한 각각의 센서 내의 후보 픽셀에 대한 y 방향 픽셀 오프셋들을 도시하고 있는 설명도이다.
도 20은 일부 실시예에 따른, 수술 과정 중에 Q3D 정보를 사용하기 위한 제1 프로세스를 나타낸 예시적인 플로우차트이다.
도 21은 일부 실시예에 따른, 도 20의 프로세스에 따라 디스플레이 스크린 상에 표시되는 메뉴 선택을 도시한 설명도이다.
도 22a-22b는 일부 실시예에 따른, 도 20의 프로세스에 따라 사용자 입력을 수신하는 특정 세부 사항들을 나타낸 설명도들이다.
도 23은 일부 실시예에 따른, 수술 과정 중에 Q3D 정보를 사용하기 위한 제2 프로세서를 나타낸 예시적인 플로우차트이다.
도 24는 일부 실시예에 따른, 도 23의 프로세스에 따라 디스플레이 스크린 상에 표시되는 메뉴 선택을 도시한 설명도이다.
도 25는 일부 실시예에 따른, 햅틱 피드백을 결정하도록 Q3D 정보를 사용하기 위한 프로세스를 나타낸 예시적인 플로우차트이다.
도 26은 일부 실시예에 따른, 수술 기기의 단부에 의해 접촉된 조직 구조부 및 Q3D 내시경을 도시한 설명도이다.
도 27a-27c는 일부 실시예에 따른, 햅틱 피드백을 제공하는 데 적합한 형상 디스플레이로서 기능하는 실감형 사용자 인터페이스(TUI)의 제1 실시예를 나타낸 설명도들이다.
도 28a-28c는 수술 기기에 의해 가해지는 힘에 의해 변형되는 형상을 갖는 조직 구조부를 나타낸 설명도이다.
도 29a-29c는 일부 실시예에 따른, 햅틱 피드백을 제공하는 데 적합한 형상 디스플레이로서 기능하는 실감형 사용자 인터페이스(TUI)의 대안적인 실시예를 나타낸 설명도이다.
도 30은 일부 실시예에 따른, 외과의의 손가락에 장착된 대안적인 실시예의 TUI를 도시한 설명도이다.
도 31은 일부 실시예에 따른, 조직 표면 변형의 함수로서 햅틱 피드백을 결정하도록 구성된 예시적인 연산 블록을 도시한 도면이다.
도 32는 일부 실시예에 따른, 도 31의 연산 블록을 이용하여 실행되는 프로세스를 나타낸 예시적인 플로우차트이다.
도 33은 일부 실시예에 따른, 도 27a-27c의 TUI와 함께 사용하기 위한 제1 햅틱 피드백 프로세스의 예시적인 플로우차트이다.
도 34는 일부 실시예에 따른, 도 29a-29c의 대안적인 실시예의 TUI와 함께 사용하기 위한 제2 햅틱 피드백 프로세스의 예시적인 플로우차트이다.
도 35는 일부 실시예에 따른, 선택된 조직 표면 위치에 부과되는 힘을 제어하기 위한 제3 프로세스의 예시적인 플로우차트이다.
36a-36e는 일부 실시예에 따른, 기기에 의해 가해지는 힘에 응답하여 생성되는 조직 표면의 변형을 보여주는 조직 구조부의 표면의 일정 시퀀스의 단면 뷰들을 나타낸 설명도들이다.
도 37a-37e는 일부 실시예에 따른, 도 36a-36e의 일정 시퀀스의 단면 뷰들에 도시된 예시의 조직 구조부 변형들에 대응되는 TUI 핀 상부면 인터페이스의 예시의 "순시(instantaneous)" 변형들을 보여주도록 구성된 도 27a-27c의 TUI의 일정 시퀀스의 단면 뷰들을 나타낸 설명도들이다.
도 38a-38e는 일부 실시예에 따른, 도 36a-36e의 일정 시퀀스의 단면 뷰들에 도시된 예시의 조직 구조부 변형들에 대응되는 TUI 피드백 표면의 예시의 "복합적(composite)" 변형들을 보여주는 도 27a-27c의 TUI의 일정 시퀀스의 단면 뷰들을 나타낸 설명도들이다.
도 39a-39e는 일부 실시예에 따른, 도 36a-36e에 도시된 목표 조직 표면의 예시의 변형들에 응답한, 도 29a-29c의 대안적인 실시예의 TUI 내의 하나 이상의 핀의 일정 시퀀스의 변위들을 나타낸 설명도들이다.

이하의 설명은 당업자가 정량적 3차원(Q3D) 정보를 취득하고, Q3D 정보에 기초하여 촉각 피드백을 생성하는 수술 내시경 시스템을 생성하고 사용하는 것을 가능하게 해주도록 제공된다. 실시예들에 대한 다양한 변형들이 당업자에게 명백할 것이며, 여기에 정의되는 일반적인 원리들은 본 발명의 기술사상 및 범위를 벗어나지 않고 다른 실시예들 및 응용예들에 적용될 수 있을 것이다. 또한, 이하의 설명에서, 다수의 세부 사항들은 설명의 목적으로 기술된다. 하지만, 본 발명은 이러한 세부 사항들의 사용 없이도 실시될 수 있을 것임을 인지할 것이다. 경우에 따라서는, 공지된 기계 구성요소, 프로세스 및 데이터 구조들은 불필요한 세부 설명으로 설명을 흐리게 하지 않기 위해 블록도 형태로 도시된다. 동일한 참조 부호가 다른 도면들에서 동일한 항목의 다른 형태의 도시를 표현하는 데 사용될 수 있다. 이하에 참조되는 도면의 플로우차트들은 프로세스들을 표현하는 데 사용된다. 컴퓨터 시스템이 이러한 프로세스들의 일부를 실행시키도록 구성될수 있을 것이다. 컴퓨터 실시 프로세스들을 표현하는 플로우차트들 내의 모듈들(modules)은 이들 모듈들을 참조하여 설명되는 동작들을 실행하기 위한 컴퓨터 프로그램 코드에 따른 컴퓨터 시스템의 구성을 나타낸다. 따라서, 본 발명은 도시된 실시예들에 한정되는 것으로 의도되는 것이 아니라, 여기에 설명되는 원리들과 특징들에 부합하는 가장 넓은 범위가 주어져야 한다.

간략 개요

일부 실시예에 따라, 센서 어레이를 포함하는 이미저(imager)는 내시경과 관련된다. 영상 센서 어레이는 다수의 센서를 포함하고, 각각의 센서는 픽셀 어레이를 포함한다. 내시경의 일부분이 인간의 체강 내로 삽입되고, 영상 센서 어레이의 시계 내의 목표 물체는 광원을 사용하여 조명된다. 목표 물체의 물리적 위치 및/또는 치수들이 어레이의 각각의 센서 상으로 투영된 목표 물체의 영상들에 기초하여 결정된다.

도 4는 일부 실시예에 따른 뷰어(viewer)(312)를 통한 수술 장면의 투시 뷰(perspective view)를 도시한 설명도이다. 2개의 관찰 요소(viewing element)(401R, 401L)를 갖는 관찰 시스템(viewing system)이 양호한 3D 관찰 투시(3D viewing perspective)를 제공할 수 있다. 수술 장면 내의 물리적 구조부에 대한 물리적 치수 및/또는 위치 정보를 표현하는 수치값들이 수술 장면 영상에 오버레이(overlay)되어 표시된다. 예를 들어, 수치적 거리값 "d_Instr_Trgt"이 장면 내에 기기(400)와 목표(410) 사이에 표시되어 보여진다.

원격조작 의료 시스템

원격조작은 일정 거리에서의 기계의 작동을 의미한다. 최소 침습 원격조작 의료 시스템에 있어서, 외과의는 환자의 신체 내의 수술 부위를 관찰하기 위해 카메라를 포함하는 내시경을 사용할 수 있다. 수술 과정 중에 깊이의 지각을 가능하게 해주는 입체 영상이 취득되었다. 일부 실시예에 따라, 내시경 상에 장착되고, 이미저 센서 어레이를 포함하는 카메라 시스템이 정량적 3차원 정보에 더하여 3차원 영상을 생성하기 위해 사용될 수 있는 색상 및 조명 데이터를 제공한다.

도 5는 일부 실시예에 따른, 하나 이상의 기계식 암(158)을 사용하여 최소 침습 수술 과정을 실생하기 위한 원격조작 수술 시스템(100)의 예시적인 블록도이다. 시스템(100)의 양태들은 원격 로봇식 및 자율 작동식 피처(feature)들을 포함한다. 이 기계식 암들은 종종 기기를 지지한다. 예를 들어, 기계식 수술 암(예컨대, 중심 기계식 수술 암(158C))은 예컨대 Q3D 영상 센서 어레이와 관련된 내시경과 같은, 입체식 즉 3차원 수술 영상 취득 장치(101C)를 가진 내시경을 지하위표면은 데 사용될 수 있다. 기계식 수술 암(158C)은 영상 취득 장치(101C)를 포함하는 내시경을 기계식 암에 기계적으로 고정시키기 위한 멸균 어댑터 또는 클램프, 클립, 스크루, 슬롯/그루브 또는 기타 파스너를 포함할 수 있다. 반대로, 영상 취득 장치(101C)를 가진 내시경이 기계식 수술 암(158C)과 견고하게 상호 끼워맞춤되도록 기계식 수술 암(158C)의 물리적 윤곽 및/또는 구조와 상보적인 물리적 윤곽 및/또는 구조를 포함할 수 있다.

사용자 또는 오퍼레이터(O)(일반적으로 외과의)는 마스터 제어 콘솔(150)에서 제어 입력 장치(160)를 조작함으로써 환자(P)에 대한 최소 침습 수술 과정을 실행한다. 오퍼레이터는 도 4를 참조하여 상술한 뷰어(312)를 포함하는 입체 디스플레이 장치(164)를 통해 환자의 신체 내부의 수술 부위의 영상들의 비디오 프레임들을 볼 수 있다. 콘솔(150)의 컴퓨터(151)가 제어 라인(159)을 통해 원격조작식으로 제어되는 내시경 수술 기기(101A-101C)의 운동을 지시하여, 환자측 시스템(152)(환자측 카트라고도 함)을 이용하여 기기들의 운동을 실현한다.

환자측 시스템(152)은 하나 이상의 기계식 암(158)을 포함한다. 일반적으로, 환자측 시스템(152)은 대응되는 포지셔닝 셋업 암(156)에 의해 지지되는 적어도 3개의 기계식 수술 암(158A-158C)(기계식 수술 암(158)이라 통칭됨)을 포함한다. 중심 기계식 수술 암(158C)은 카메라의 시계 내의 영상들에 대한 Q3D 정보의 취득에 적합한 내시경 카메라(101C)를 지원할 수 있다. 중심 좌우의 기계식 수술 암(158A 및 158B)은 조직을 조작할 수 있는 지지 기기(101A 및 101B)를 각각 지지할 수 있다.

도 6은 일부 실시예에 따른 환자측 시스템(152)의 예시적인 사시도이다. 환자측 시스템(152)은 베이스(172)에 의해 지지되는 카트 칼럼(170)을 포함한다. 하나 이상의 기계식 삽입 수술 암/링크(158)가 환자측 시스템(152)의 포지셔닝부의 일부분인 하나 이상의 셋업 암(156)에 각각 부착된다. 베이스(172)의 대략 중심 위치에, 카트 칼럼(170)은 카운터밸런스 서브시스템 및 오염 물질 차단 서브시스템의 구성요소들을 보호하는 보호 커버(180)를 포함한다.

모니터 암(154)을 제외하고는, 각각의 기계식 수술 암(158)은 기기(101A-101C)를 제어하는 데 사용된다. 또한, 각각의 기계식 수술 암(158)은 셋업 암(156)에 연결되고, 셋업 암(156)은 다음으로 본 발명의 하나의 실시예에 있어서 캐리지 하우징(190)에 연결된다. 하나 이상의 기계식 수술 암(158)은 도 6에 도시된 바와 같이 그들 각각의 셋업 암(156)에 의해 각각 지지된다.

기계식 수술 암(158A-158D)은 각각 추적 시스템 및/또는 기기들의 추적에 의한 초기 취득을 돕기 위한 돕기 위한 원시 미보정 기구학 정보(raw uncorrected kinematics information)를 발생시키기 위한 하나 이상의 변위 트랜스듀서, 배향 센서 및/또는 포지션 센서(185)를 포함할 수 있다. 기기들도, 본 발명의 일부 실시예에 있어서, 변위 트랜스듀서, 포지션 선 및/또는 배향 센서(186)를 포함할 수 있다. 또한, 하나 이상의 기기는 기기의 취득 및 추적을 돕기 위한 마커(189)를 포함할 수 있다.

원격조작 의료 시스템에 대한 추가적인 정보는 미국 특허 출원 공개 US 2012/0020547(2011년 9월 30일 출원)에 제공되고 있다.

내시경 이미저 시스템

도 7a는 일부 실시예에 따른 제1 영상 취득 장치(101C)를 가진 제1 내시경의 설명도이다. 영상 취득 장치(101C)는 제1 단부 부분(204), 제2 단부 부분(206) 및 제1 단부 부분(204)의 팁 부분(208)을 포함한 길이부(202)를 포함하고 있는 내시경을 포함한다. 제1 단부 부분(204)은 인간의 체강 내로 삽입되도록 치수결정된다. 다수의 영상 센서를 포함하는 센서 어레이(210)(도시되지 않음)가 제1 단부 부분(204)의 팁 부분(208)에 결합된다. 일부 실시예에 따라, 센서 어레이(210) 내의 각각의 센서는 픽셀 어레이를 포함한다. 길이부(202)는 목표 대상체가 이미저 센서 어레이(210)에 의해 영상화될 수 있도록 팁 부분(208)을 체강 내의 목표 대상체에 충분히 근접하게 포지셔닝시키기에 충분한 길이을 가진다. 일부 실시예에 따라, 제2 단부 부분(206)은 기계식 암(도시되지 않음)과 견고하게 상호 끼워맞춤되도록 상술한 바와 같이 물리적 윤곽 및/또는 구조(도시되지 않음)를 포함할 수 있다. 길이부(202)는 또한 이미저 센서 어레이(210)와 전자적으로 정보를 통신하기 위한 하나 이상의 전자 신호 경로(212)를 포함한다. 광원(214)이 영상화될 대상체를 조명하도록 배치된다. 일부 실시예에 따라, 광원(214)은 예를 들어 비구조광(unstructured light), 백색광, 색상 여과 광 또는 부분 선택 파장의 광일 수 있다. 일부 실시예에 따라, 광원(214)은 팁(208)에 위치되고, 다른 실시예에 있어서는, 선택적으로 내시경(101C)과는 분리되어 배치된다.

도 7b는 일부 실시예에 따른 제2 영상 취득 시스템(101C')을 가진 제2 내시경의 설명도이다. 제1 영상 취득 시스템(101C)을 가진 제1 내시경의 것과 기본적으로 동일한 제2 영상 취득 시스템(101C')의 양태들은 동일한 참조 부호로 지시되고, 다시 설명하지 않는다. 로드 렌즈(rod lens)와 같은 광 파이프 입력부에 대한 입력부가 제1 단부 부분(204)의 팁 부분(208)에 배치된다. 광 파이프 바디는 팁 부분(208)으로부터 물리적으로 변위되어 있는 이미저 센서 어레이(210)로 광 파이프가 입력될 때 수신되는 영상을 전송하도록 길이부(202) 내에 연장된다. 일부 실시예에 있어서, 이미저 센서 어레이(210)는 체강 내의 대상체의 관찰 중에 당해 이미저 센서 어레이(210)가 체강 외부에 배치되도록 팁 부분(208)으로부터 충분히 멀리 변위된다.

도 8은 일부 실시예에 따른, 도 7a의 제1 영상 취득 시스템(101C)을 가진 제1 내시경(101C)과 관련된 제어 블록들을 도시하고, 작동 중의 시스템을 도시하고 있는 예시적인 블록도이다. 이미저 센서 어레이(210)에 의해 취득된 영상들은 데이터 버스(212)를 거쳐 비디오 프로세서(104)로 전송되고, 비디오 프로세서(104)는 버스(105)를 통해 컨트롤러(106)와 통신한다. 비디오 프로세서(104)는 카메라 제어 유닛(CCU) 및 비디오 신호 검출기(VSD) 보드를 포함할 수 있다. CCU는 밝기, 색상 계획(color scheme), 화이트밸런스 등과 같은 영상 센서(210)의 다양한 세팅을 프로그램하거나 제어한다. VSD는 영상 센서로부터 수신된 비디오 신호를 처리한다. 선택적으로, CCU와 VSD는 하나의 기능 블록으로 통합된다.

일부 실시예에 따라, 하나 이상의 프로세서를 포함하는 프로세서 시스템이 프로세서 기능들을 실행하도록 구성된다. 일부 실시예에 있어서, 프로세서 시스템은 여기에 설명되는 프로세서 기능들을 실행하기 위해 함께 작동하도록 구성된 다수의 프로세서를 포함한다. 따라서, 하나 이상의 기능을 실행하도록 구성된 적어도 하나의 프로세서에 대한 참조는 그 기능들이 하나의 프로세서만으로 실행될 수 있거나 함께 작동하는 다수의 프로세서에 의해 실행될 수 있는 프로세서 시스템을 포함한다.

하나의 실시예에 있어서, 프로세서 및 저장 장치(도시되지 않음)를 포함하는 컨트롤러(106)는 길이부(202)의 팁(208)에 인접한 장면 내의 지점들의 물리적 정량적 3D 좌표들을 연산하고, 3D 장면들을 합성하도록 비디오 프로세서(104) 및 3D 디스플레이 드라이버(109) 모두를 구동시키며, 합성된 3D 장면들은 3D 디스플레이(110) 상에 표시될 수 있다. 일부 실시예에 따라, 예를 들어 수술 장면 내의 대상체의 표면 윤곽의 치수의 수치적 표지(numerical indicia) 또는 수술 장면 내의 대상체로부터의 거리와 같은 수술 장면에 대한 Q3D 정보가 생성된다. 아래에 더 상세히 설명되는 바와 같이, 수치적 Q3D 깊이 정보는 수술 장면의 입체 영상에 거리 정보 또는 표면 윤곽 정보로 주석을 다는 데 사용될 수 있다.

데이터 버스(107, 108)는 비디오 프로세서(104), 컨트롤러(106) 및 디스플레이 드라이버(109) 사이에서 정보 및 제어 신호를 교환시킨다. 일부 실시예에 있어서, 이들 요소는 내시경의 바디 내부에서 영상 센서 어레이(210)와 통합될 수 있다. 선택적으로, 이들 요소는 내시경의 내부 및/또는 외부에 분포될 수 있다. 내시경은 목표(120)를 포함하는 수술 장면에 대한 시각적 접근을 제공하기 위해 신체 조직(130)을 침투하도록 캐뉼라(140)를 통해 포지셔닝된다. 선택적으로, 내시경과 하나 이상의 기기가 수술 부위에 도달하도록 단일 개구부(단일 절개부 또는 자연적 체공)를 통과할 수도 있다. 목표(120)는 해부학적 목표, 또 다른 수술 기기 또는 환자의 신체 내부의 수술 장면의 임의의 다른 양태일 수 있다.

입력 시스템(112)은 3D 시각적 표현을 수신하고, 그것을 프로세서(106)에 제공한다. 입력 시스템(112)은 3D 모델을 생성하는 시스템(도시되지 않음)으로부터 CRT 또는 MRI와 같은 3D 모델을 수신하는 전자 통신 버스(도시되지 않음)에 연결되는 저장 장치를 포함할 수 있다. 프로세서(106)는 예를 들어 Q3D 모델과 3차원 시각적 표현 사이에 의도된 정렬을 연산하는 데 사용될 수 있다. 더 구체적으로는, 제한 없이, 입력 시스템(112)은 시스템(152)과 MRI, CT 또는 초음파 영상 시스템과 같은 영상 시스템(도시되지 않음) 사이의 이더넷 통신 연결을 구축하도록 구성된 프로세서를 포함할 수 있다. 다른 영상 시스템이 사용될 수도 있다. 블루투스, 와이파이, 광통신 등의 다른 타입의 통신 연결이 사용될 수도 있다. 선택적으로, 시스템(152) 및 영상 시스템은 하나의 더 큰 시스템 내에 통합될 수도 있다. 외부 장치에 대한 추가적인 조작이 제공되거나 도 25에 도시된 바와 같이 표시된다면, 정렬 프로세스의 결과는 프로세서(106)과 관련된 저장 장치에 저장될 수 있다.

장면의 영상에 추가되는 Q3D 정보의 예

도 4를 다시 참조하면, 도 4는 일부 실시예에 따른, 도 5의 마스터 제어 콘솔(150)의 뷰어(312)의 투시 뷰(perspective view)를 도시한 설명도이다. 일부 실시예에 따라, 3차원 투시(3D perspective)를 제공하기 위해, 뷰어(312)는 각각의 눈에 대한 입체 영상을 포함한다. 도시된 바와 같이, 수술 부위의 좌측 영상(400L) 및 우측 영상(400R)은 좌측 뷰파인더(401L) 및 우측 뷰파인더(401R) 내에 각각 기기(400) 및 목표(410)를 포함한다. 뷰파인더들 내의 영상(400L 및 400R)은 각각 좌측 디스플레이 장치(402L) 및 우측 디스플레이 장치(402R)에 의해 제공될 수 있다. 디스플레이 장치(402L, 402R)는 선택적으로 음극선관(CRT) 모니터, 액정 디스플레이(LCD) 또는 다른 타입의 영상 디스플레이 장치(예컨대, 플라즈마, 디지털 광투사 등)의 쌍일 수 있다. 본 발명의 바람직한 실시예에 있어서, 영상들은 컬러 CRT 또는 컬러 LCD와 같은 한 쌍의 컬러 디스플레이 장치(402L, 402R)에 의해 컬러로 제공된다. 기존 장치들과의 역방향 호환성(backward compatibility)을 지원하기 위해, 입체 디스플레이 장치(402L 및 402R)는 Q3D 시스템과 함께 사용될 수 있다. 선택적으로, Q3D 영상 시스템은 3D 모니터, 3D TV 또는 3D 효과 안경의 사용을 요구하지 않는 디스플레이와 같은 오토스테레오스코픽(autostereoscopic) 디스플레이에 연결될 수 있다.

2개의 관찰 요소(401R, 401L)를 가진 관찰 시스템이 양호한 3D 관찰 투시를 제공할 수 있다. Q3D 영상 시스템은 수술 장면 내의 물리적 구조부에 대한 물리적 인 치수 정보로 이 관찰 투시를 보완한다. Q3D 내시경 시스템과 함께 사용되는 입체 뷰어(312)는 수술 장면의 입체 영상 위에 오버레이되는 Q3D 정보를 표시할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 기기(400)와 목표(410) 사이의 수치적 Q3D 거리값 "d_Instr_Trgt"이 입체 뷰어(312) 내에 표시될 수 있다.

수술 장면의 3차원 투시 위에 물리적 위치 및 치수 정보를 오버레이시키도록 사용될 수 있은 비디오 입체 관찰 시스템의 설명이 여기에 직접적으로 참조되는 미국 특허 출원 공개 US 2012/0020547(2011년 9월 30일 출원)의 단락 [0043]-[0053] 및 대응 도면에 제공되어 있다.

정량적 3차원 물리적 정보 처리

도 9는 일부 실시예에 따른, 물리적 목표의 정량적 3차원 위치를 결정하기 위한 프로세스를 나타낸 예시적인 플로우차트이다. 이 프로세스는 도 8의 실시예의 영상 취득 시스템(101C)을 가진 내시경을 참조하여 설명된다. 모듈(401)은 영상 센서(S_ij)로부터 비디오 데이터를 취득하도록 컨트롤러(106)를 구성한다. 영상 센서 어레이(210)가 전체 시계를 "영상화"하지만, 영상 센서 어레이(210) 중의 상이한 센서들 및 상이한 센서들 내의 상이한 픽셀들은 시계 내의 상이한 대상체 지점들로부터의 영상 투영들에 의해 조명될 수 있다는 것을 이해할 것이다. 비디오 데이터는 예를 들어 색상 및 광 강도 데이터를 포함할 수 있다. 각각의 센서의 각각의 픽셀은 그것에 투영되는 영상의 색상과 강도를 지시하는 하나 이상의 신호를 제공할 수 있다. 모듈(402)은 물리적 세계 뷰(physical world view) 내의 선택된 관심 영역에서 목표들을 체계적으로 선택하도록 컨트롤러를 구성한다. 모듈(403)은 초기 설정값(x₀, y₀, z₀)을 가지고서 목표 3D 좌표(x, y, z)의 연산을 개시하도록 컨트롤러를 구성한다. 이 알고리즘은 다음으로 목표의 투영된 영상을 수신하는 모든 센서(S_ij)로부터의 영상 다이버시티 데이터(image diversity data)를 이용함으로써 일관성(consistency)에 대해 좌표들을 점검한다. 좌표 연산은 허용가능한 정밀도에 도달할 때까지 판정 모듈(404)에서 정제(refining)된다. 판정 모듈(404)은 또한 현재 연산된 물리적 위치가 충분히 정확한지의 여부를 판정하도록 컨트롤러를 구성한다. 현재 연산된 위치가 충분히 정확하지 않다는 판정에 응답하여, 제어는 다른 가능한 물리적 위치를 시도하도록 모듈(403)로 되돌아간다. 현재 연산된 위치가 충분히 정확하다는 판정에 응답하여, 모듈(405)은 전체 관심 영역이 스캔되었는지의 여부를 판정하도록 컨트롤러를 구성한다. 전체 관심 영역이 스캔되지 않았다는 판정에 응답하여, 제어는 모듈(402)로 되돌아가고, 다른 목표가 선택된다. 전체 관심 영역이 스캔되었다는 판정에 응답하여, 제어는 모듈(406)로 진행하고, 모듈(406)은 관심 영상 체적의 3차원 모델을 어셈블리하도록 컨트롤러(406)를 구성한다. 목표 구조부들의 물리적 포지션을 지시하는 3차원 정보에 기초한 목표의 3D 영상의 어셈블리는 당업자에게 공지되어 있어 여기서 설명할 필요가 없다. 모듈(407)은 이후의 검토 및 조작을 위해 다수의 목표에 대해 결정된 물리적 포지션 정보를 사용하여 개발된 3차원 모형을 저장하도록 컨트롤러를 구성한다. 예를 들어, 3D 모델은 환자의 기관의 특정 치수에 대해 임플란트의 크기를 결정하는 것과 같은 수술 용처를 위해 나중에 사용될 수 있을 것이다. 또 다른 예에 있어서, 새로운 수술 기기(101)가 로봇 시스템(152)에 설치될 때, 새로운 기기에 대해 이전 수술 장면을 참조하도록 하기 위해 3D 모델을 재호출하여 디스플레이(110) 상에 표시하는 것이 필요할 수 있다. 모듈(407)은 또한 3D 시각적 표현과 Q3D 모델 간의 정렬의 결과를 저장할 수 있다. 모듈(408)은 정량적 3D 뷰를 표시하기 위해 다수의 목표에 대해 결정된 물리적 포지션 정보를 사용하도록 컨트롤러를 구성한다. Q3D 뷰의 한 예는 도 4에 도시된 거리값 "d_Instr_Trgt"이다.

입체 디스플레이는 3차원 환상을 생성한다고 알려져 있다. 하지만, 실제 3D 디스플레이는 홀로그래픽 영상 또는 곡면 상에 투영된 영상과 같은 3차원 영상을 제공한다. 일반적으로, 3D 디스플레이는 뷰가 관찰 투시를 변경시키도록 이동하는 것을 허용한다.

도 10은 일부 실시예에 따른, 대체로 도 9의 모듈(402)에 대응되는 프로세스의 특정 세부 사항을 도시한 예시적인 플로우차트이다. 모듈(402.1)은 센서 어레이(210)의 모든 센서로부터 물리적 세계 장면(physical world scene)의 영상들을 취득하도록 컨트롤러를 구성한다. 모듈(402.2)은 취득된 장면 내로부터 관심 영역을 특정하도록 컨트롤러를 구성한다. 모듈(402.3)은 동일한 목표의 투영에 의해 조명되는 상이한 센서들 내의 픽셀 위치들을 식별하기 위해 관심 영역 내의 장면 영상들 간의 최상의 정합(match)을 탐색하도록 컨트롤러를 구성한다. 후술하는 바와 같이, 최상의 정합은 시프트되는 영상과 참조 영상 간의 2차원 상호 상관 함수(two-dimensional cross-correlation function)를 최대화할 때까지 센서(S_ij)로부터의 개별 영상들을 시프트시킴으로써(이에 한정되지 않음) 성취될 수 있다. 참조 영상은 예를 들면 센서(S₁₁)로부터 수신된 장면 영상일 수 있다. 모듈(402.4)은 동일한 목표로부터의 투영에 의해 조명되는 후보 픽셀들을 식별하도록 컨트롤러를 구성한다. 모듈(402.5)은 후보 픽셀들이 동일한 목표로부터의 투영에 의해 조명되는지의 여부를 판정하기 위해 선택된 목표에 대해 2개 이상의 픽셀 좌표(N_x, N_y)를 연산하도록 컨트롤러를 구성한다. 판정 모듈(402.6)은 연산된 2D 픽셀 좌표값들이 후보 픽셀들이 동일한 목표로부터의 투영에 의해 조명된다는 것을 지시하는지의 여부를 판정한다. 다수의 센서(S_ij)로 동일한 장면을 관찰하는 것에 의해 발생되는 영상 다이버시티가 다양한 개별 영상(S_ij) 내에서의 특정 목표와 관련된 (N_x, N_y)를 정확하게 식별하는 역할을 한다. 예를 들어, 일부 실시예에 따라, 단지 3개의 센서(S₁₁, S₁₂ 및 S₁₃)만이 사용되는 단순화된 시나리오를 가정하면, 2D 픽셀 좌표 [(Nx₁₁, Ny₁₁), (Nx₁₂, Ny₁₂), (Nx₁₃, Ny₁₃)]의 트리플릿(triplet)이 [S₁₁, S₁₂ 및 S₁₃] 상으로의 동일한 목표의 투영들에 대응되지 않는 경우에는, 양(

및

)(y 방향의 투영 시프트의 추정값들)이 다른 값들을 획득할 것이다. 아래에 제공되는 방정식에 따라,

및

는 픽셀 좌표[(Nx₁₁, Ny₁₁), (Nx₁₂, Ny₁₂), (Nx₁₃, Ny₁₃)]가 동일한 목표의 투영들로부터 발생하는 경우에는 동일해야 한다.

및

가 대략 동일하지 않는 경우에는, 제어는 모듈(402.4)로 되돌아가, 센서 평면(S_ij) 상으로의 목표 투영들에 최상인 후보들을 정제(refining)한다. 상술한 바와 같이, 이상은 알고리즘의 단순화된 구현예일 뿐이다. 일반적으로, 도 10의 모듈(402.6)에 나타내진 바와 같이,

와

간의 차이의 놈(norm)은 모듈(402)이 그것의 반복(iteration)을 완료하기 위해 허용가능한 공차(

)보다 작아야 한다. 유사한 구속조건이 x 축의 대응하는 추정값

및

에 대해 충족되어야 한다. 연산된 2D 픽셀 후보값(N_x, N_y)이 후보 픽셀들이 동일한 목표로부터의 투영에 의해 조명된다는 것을 지시한다는 판정에 응답하여, 제어는 모듈(403)로 진행한다.

각각의 픽셀은 색상 및 강도 정보를 세계 장면(world scene)으로부터 직접적으로 취득한다는 것이 이해될 것이다. 또한, 상기 프로세스에 따라, 각각의 픽셀은 픽셀 상으로 투영된 세계 뷰(world view) 내의 물리적 대상체의 좌표(x, y, z)와 관련된다. 따라서, 색상 정보, 조도 정보, 물리적 위치 정보 즉 색상 및 조명이 투영된 물리적 대상체의 위치는 비일시성 컴퓨터 판독가능 저장 장치 내의 픽셀과 관련될 수 있다. 아래의 표 1은 이러한 관련성을 설명한다.

픽셀 식별자

색상값

조도값

위치(x, y, z)

Q3D 정보를 결정하는 예

투영 정합(projection matching)의 예

도 11은 일부 실시예에 따른, 3개의 예시적인 대상체를 포함하고 있는 예시적인 3차원 실세계 장면을 포함하는 시계를 가지도록 배치된 센서들(S₁₁-S₃₃)의 어레이를 포함하고 하나의 예시의 센서 어레이(210)의 설명도이다. 전술한 바와 같이, 어레이 내의 각각의 센서(S_ij)는 각각의 차원으로 적어도 2개의 픽셀을 갖는 2차원 픽셀 배열부를 포함한다. 각각의 센서는 렌즈 스택을 포함하고, 렌즈 스택은 그것의 초점면 내에 배치된 대응하는 픽셀 배열부 상에 영상을 해상하는 개별적인 광 채널을 발생시킨다. 각각의 픽셀은 광 센서로서 작용하고, 다수의 픽셀을 가진 각각의 초점면은 영상 센서로서 작용한다. 그것의 초점면을 가진 각각의 센서(S₁₁-S₃₃)는 다른 센서들 및 초점면들에 의해 차지되는 센서 어레이의 영역과 다른 센서 어레이의 일정 영역을 차지한다. 적합한 공지의 영상 센서 어레이들이 상술한 미국 특허 US 8,514,491(2010년 11월 22일 출원) 및 미국 특허 출원 공개 US 2013/0070060(2012년 9월 19일 출원)에 개시되어 있다.

일부 실시예에 따라, 센서들은 N_x 및 N_y. 그들의 x 방향 및 y 방향의 픽셀들의 총 개수 및 시계각(field of view angle)(θ_x 및 θ_y)에 의해 특징지어진다. 일부 실시예에 있어서, x 축 및 y 축에 대한 센서 특성은 동일할 것으로 예상된다. 하지만, 대안적인 실시예에 있어서, 센서는 비대칭적인 x 축 및 y 축 특성을 갖는다. 마찬가지로, 일부 실시예에 있어서, 모든 센서는 픽셀의 총 개수 및 동일한 시계각을 가질 것이다. 센서들은 양호하게 제어되도록 센서 어레이(210)에 걸쳐 분포된다. 예를 들어, 센서들은 도시된 2차원 격자 상에서 거리(δ)만큼 이격될 수 있다. 센서 배치 피치(δ)는 상기 격자에 결쳐 대칭적이거나 비대칭적일 수 있다.

도 11에 도시된 실시예에 있어서, 센서들은 센서(S₁₁-S₁₃)가 상부 행을 차하위표면고, 센서(S₂₁-S₂₃)가 중간 행을 차하위표면고, 센서(S₃₁-S₃₃)가 하부 행을 차하위표면은 식으로 사격형 격자 내에 배열되어 있다. 각각의 센서는 N열의 픽셀 및 N행의 픽셀을 포함한다. 파선들에 의해 지시된, 광원에 의해 생성된 광선들이 삼각형 제1 대상체, 구형 제2 대상체 및 사각형 제3 대상체의 각각으로부터 이미저 어레이의 각각의 센서로 반사된다. 예시를 목적으로, 상부 행의 센서(S₁₁, S₁₂ 및 S₁₃)로의 광선들만이 도시되어 있다. 광원은 예컨대 비구조 백색광(non-structured white light) 또는 주변광일 수 있다. 선택적으로, 광원은 가시광선 또는 적외선 스펙트럼 내와 같은 선택된 파장의 광을 제공할 수 있으며, 또는 광이 예컨대 선택된 파장(예컨대, 색상)이나 파장의 범위(예컨대, 색상의 범위)를 제공하도록 여과되거나 분할될 수 있다. 광선들은 마찬가지로 대상체들의 각각으로부터 센서(S₂₁-S₃₃)로 반사된다는 것을 이해할 것이다. 하지만, 설명을 간단히 하기 위해, 이 다른 광선들은 도시되지 않았다.

모듈(401 및 402.1)에 따라, 센서 어레이(210)의 센서들은 세계 뷰로부터 영상들을 개별적으로 취득한다. 도 12는 일부 실시예에 따른, 3개의 대상체의 센서(S_ij)(S₁₁, S₁₂ 및 S₁₃만 도시됨) 상으로의 투영들을 나타낸 설명도이다. 당업자는 센서들에 입사하는 반사된 광선들이 시계 내에 있는 대상체들의 영상을 투영한다는 것을 이해할 것이다. 더 구체적으로는, 이미저 어레이의 다수의 상이한 영상 센서에 입사하는 시계 내의 대상체들로부터 반사된 광선들은 3차원에서 2차원에 이르는 대상체들의 다수의 투시 투영(perspective projection) 즉 반사된 광선들을 수취하는 각각의 센서에서의 상이한 투영을 발생시킨다. 특히 대상체들의 투영들의 상대 위치는 S₁₁으로부터 S₁₂로, S₁₃로 진행할 때 좌에서 우로 시프트된다. 입사 광선들에 의해 조명되는 영상 센서 픽셀들은 입사광에 응답하여 전기 신호를 생성한다. 따라서, 각각의 영상 센서마다, 그것의 픽셀들에 의해 영상 센서 내의 영상 투영의 형상 및 위치를 나타내는 반사된 광선들에 응답하여 일정 패턴의 전기 신호들이 생성된다.

모듈(402.2)에 따라, 관심 영역이 세계 장면(world scene)으로부터 선택된다. 도 13은 장면 내에서의 관심 영역의 선택을 나타내는 설명도이다. 이 예에 있어서는, 삼각형 제1 대상체, 구형 제2 대상체 및 사각형 제3 대상체 모두가 선택된 관심 영역 내에 있다. 이 단계는 오퍼레이터로부터 입력을 수취하는 것에 의해 성취될 수 있으며, 또는 소프트웨어에 의해 소정의 방식으로 구성된 컴퓨터를 이용하여 자동적으로 또는 오퍼레이터 입력과 자동 소프트웨어 제어식 선택의 조합에 의해 실행될 수 있다. 예를 들어, 일부 실시예에 있어서, 세계 장면은 인간 해부학적 구조부의 내강(internal cavity)을 보여줄 수 있고, 대상체들은 체내 기관들이나 수술 기기들 또는 그 일부분일 수 있다. 외과의는 내강 내로부터의 실시간 시각 영상을 수취할 수 있으며, 인간 해부학적 구조부의 조직 영역들과 체강 내에서 돌출한 수술 기기의 일부분을 볼 수 있다. 외과의는 텔레스트레이션 비디오 마커(telestration video marker)와 같은 공지된 기술을 통해 그것의 위치 정보가 결정될 시계 내의 대상체들을 특정할 수 있다. 선택적으로 또는 그와 같은 오퍼레이터 요청에 더하여, 에지 검출 알고리즘(edge detection algorithm)과 같은 자동화된 프로세스가 관심 영역(ROI)을 특정하는 데 사용될 수 있다.

모듈(402.3)에 따라, 동일한 목표의 투영들에 의해 조명된 상이한 센서들의 픽셀 위치들을 식별하도록 관심 영역 내의 장면 영상들 사이에서 최상의 정합이 결정된다. 도 14는 일부 실시예에 따른, 센서(S₁₁, S₁₂ 및 S₁₃)에 투영된 영상들의 상대적인 기하학적 오프셋 형상에 대한 추가 세부 사항을 도시한 설명도이다. 일부 실시예에 따라, 센서(S₁₃)에서의 영상이 참조 영상(reference image)으로 간주되고, 선택된 ROI 내의 대상체들의 투영들은 센서(S₁₃) 내에서의 그들의 위치에 대해 센서(S₁₂) 내에서 양(σ₂₃) 픽셀만큼 우측으로 오프셋된다. 마찬가지로, 선택된 ROI 내의 대상체들의 투영들은 센서(S₁₃) 내에서의 그들의 위치에 대해 센서(S₁₁) 내에서 양(σ₁₃) 픽셀만큼 우측으로 오프셋된다. 센서(S₁₂, S₁₁)의 FOV 관찰 축들이 각각 센서(S₁₃)의 FOV 관찰 축(센서들의 평면에 수직인 관찰 축들과 같은)의 우측으로 오프셋되기 때문에, ROI에서 투영된 영상들은 센서(S₁₃)에 대해 센서(S₁₂ 및 S₁₁)에서 좌측으로 오프셋된다.

도 15는 일부 실시예에 따른, 센서(S₁₃) 내의 ROI 내의 투영된 영상들과 정렬되도록 우측으로 시프트된 센서(S₁₁ 및 S₁₂) 내의 ROI 내의 투영된 영상들을 도시한 설명도이다. 현재의 예에 있어서는, 센서(S₁₃)가 참조 센서로서 작용하도록 지정된다. 다른 센서들이 정렬 및 기하학적 치수들을 결정하는 데 사용하기 위해 선택될 수 있다는 것을 이해할 것이다. 선택된 ROI 내의 대상체들의 투영들은 예컨대 센서(S₁₃)와 같은 지정된 센서에서 식별되고, 예컨대 센서(S₁₁ 및 S₁₂)와 같은 다른 센서들에서의 투영들은 그들이 지정된 센서에서의 투영과 정렬될 때까지 시프트된다. 이러한 방식으로, 선택된 ROI 내의 대상체들의 대응되는 투영들이 지정된 센서 내에서의 투영들의 위치에 대한 그들의 오프셋들과 함께 다른 센서들 내에서 식별될 수 있다.

구체적으로, 예를 들어, 3개의 예시의 대상체의 투영들이 센서(S₁₂) 내에서 양(σ₂₃) 픽셀만큼 우측으로 시프트되고, 3개의 예시의 대상체의 투영들이 센서(S₁₁) 내에서 양(σ₁₃) 픽셀만큼 우측으로 시프트된다. 이 설명예에 있어서는, 설명을 간단히 하기 위해, 투영들이 y 방향으로만 오프셋되고, x 방향으로는 오프셋되지 않는 것을 가정하였지만, 동일한 원리가 센서들 간의 x 방향 투영 오프셋들에도 적용된다. 또한, 이 예는 선형 오프셋들을 도시하고 있지만, 당업자는 예를 들어 다른 센서들에서 상대적인 오프셋들을 가지는 투영들을 정렬시키기 위한 회전과 같은 다른 변환들에 적용할 수 있다.

예컨대 일부 실시예에 따라, 2차원(2D) 상호 상관 기법(cross-correlation technique)이나 주성분 분석(principal component analysis)(PCA)이 S₁₃ 내의 ROI 내의 투영들을 S₁₂ 내의 ROI 내의 투영들과 정렬시키고, S₁₃ 내의 ROI 내의 투영들을 S₁₁ 내의 ROI 내의 투영들과 정렬시키는 데 사용될 수 있다. 일반적으로, 그 의도는 센서(S_ij)로부터의 영상들을 참조 센서로서 지정된 센서로부터의 영상과 최상으로 정합시키거나 정렬시키고자 하는 것이다. 더 구체적으로는, 최고 상관 계수가 성취될 때까지, S₁₂ 내의 ROI 내의 투영된 영상들이 시프트되고, S₁₃ 내의 ROI 내의 투영된 영상들과 상호 상관된다. 마찬가지로, 최고 상관 계수가 성취될 때까지, S₁₁ 내의 ROI 내의 투영된 영상들이 시프트되고, S₁₃ 내의 ROI 내의 투영된 영상들과 상호 상관된다. 따라서, ROI의 투영들의 정렬은 S₁₃ 내의 ROI 내의 투영과 S₁₂ 내의 ROI 내의 투영 사이의 오프셋을 결정하고, S₁₃ 내의 ROI 내의 투영과 S₁₁ 내의 ROI 내의 투영 사이의 오프셋을 결정함으로써, 센서(S₁₁ 및 S₁₂) 내의 ROI의 투영들의 위치를 식별하는 데 사용된다.

후보 픽셀 선택 및 정제의 예

모듈(402.4)에 따라, 후보 픽셀들이 최상의 정합 프로세스에 의해 동일한 목표로부터의 투영들에 의해 조명되는 상이한 센서들 내에서 식별된다. 일단 ROI 내의 대상체들의 투영들이 ROI 내의 센서(S₁₁, S₁₂ 및 S₁₃)의 각각에서 식별되면, ROI 내의 각각의 목표점들의 물리적 (x, y, z) 투영들이 이미저 어레이에 대해 결정될 수 있다. 일부 실시예에 따라, ROI 내의 다수의 목표점의 각각에 대해, 목표점으로부터의 투영에 의해 조명되는 다수의 센서의 각각의 센서 내의 하나 이상의 픽셀이 식별된다. 이러한 각각의 목표점에 대해, 물리적 (x, y, z) 목표점 위치가 적어도 부분적으로 목표점으로부터의 투영들에 의해 조명되는 것으로 결정된 상이한 센서들 내에 배치된 픽셀들 간의 기하학적 관계들에 기초하여 결정된다.

일정 시퀀스의 목표점들이 ROI를 체계적으로 횡단이동하는 것에 의해(예컨대 일정 단계 크기를 가지고 우측에서 좌측으로 그리고 특정 단계 크기를 가지고 위에서 아래로) 자동적으로 선택될 수 있고, 물리적 (x, y, z) 목표점 위치가 각각의 선택된 목표점에 대해 결정될 수 있다. S₁₁ 및 S₁₂가 S₁₃에 대해 최상으로 정합되기 때문에, 횡단이동은 시프트되는 관심 영역 내부에서 실행된다. 목표를 선택하는 것은 목표의 투영에 의해 조명되는 센서(S₁₁, S₁₂ 및 S₁₃)의 각각의 센서 내의 픽셀을 식별하는 것을 포함한다. 따라서, 센서(S₁₁, S₁₂ 및 S₁₃)의 각각의 센서 내의 후보 픽셀들은 선택된 목표점의 투영에 의해 조명되는 것으로서 식별된다.

다시 말해, 목표점(T)을 선택하기 위해, 목표점(T)의 투영에 의해 조명되는 픽셀이 센서(S₁₁, S₁₂ 및 S₁₃)의 각각에서 선택된다. 목표(T)의 (x, y, z) 물리적 위치는 그것의 선택의 순간에는 알려져 있지 않다는 것이 이해될 것이다. 또한, 상술한 정렬 프로세스의 부정확성이 각각의 센서 내의 어느 픽셀들이 선택된 목표(T)의 투영에 의해 조명되는지의 판정에 있어서의 부정확성을 초래할 수 있다. 따라서, 도 17, 18 및 19를 참조하여 설명되는 바와 같이, 현재 선택된 목표(T)의 투영에 의해 조명되는 센서(S₁₁, S₁₂ 및 S₁₃)의 각각의 센서 내의 픽셀들에 대한 판정의 정확성에 대한 추가적인 판정이 이루어진다.

상기 예로 설명을 계속하여, 삼각형 제1 대상체가 현재 선택된 목표점이라고 가정하자. 도 16은 일부 실시예에 따른, 선택된 삼각형 목표점의 센서(S₁₁, S₁₂ 및 S₁₃) 상으로의 투영들을 도시한 설명도이다. 이러한 투영들로부터, 목표(T)에 대한 2D 픽셀 좌표들[(Nx₁₁, Ny₁₁), (Nx₁₂, Ny₁₂), (Nx₁₃, Ny₁₃)]이 결정된다. 단순화를 위해, 도 16은 단지 y 축 픽셀 좌표들만 도시하고 있다. 이러한 2D 픽셀 좌표들을 사용하여, 식 (402.5-1) 및 (402.5-2)이 적용되고,

및

가 모듈(402.5)의 일부로서 연산된다. 모듈(402.6)의 일부로서, 놈

이 연산되어, 허용가능한 공차(

)와 비교된다. 마찬가지로, x 축 픽셀 좌표들 및 위치 추정값이 연산되어 허용가능한 공차들과 비교된다. 모듈(402.6)의 조건이 충족되면, 프로세스는 모듈(403)로 진행한다. 그렇지 않으면, 프로세스는 목표 후보들을 정제하기 위해 모듈(402.4)로 되돌아간다.

도 17을 참조하면, 센서(S₁₁, S₁₂ 및 S₁₃)를 포함하는 이미저 어레이의 일부분 및 물리적 공간 내의 위치(x, y, z)에 배치된 선택된 삼각형 제1 대상체 목표점(T)이 도시되어 있다. 이미저 어레이 내의 센서들은 그들 사이에 알려진 간격(δ_ij)을 가지고 있다. S₁₁과 S₁₂ 사이의 물리적 포지션 간격은 δ₁₂이고, S₁₂과 S₁₃ 사이의 물리적 포지션 간격은 δ₂₃이이다. 일부 실시예에 있어서, 모든 센서(S_ij) 사이의 간격은 δ로 동일한 구조적 사양이다. 센서(S_ij)는 또한 알려진 시계각(θ)을 가지고 있다.

전술한 바와 같이, 일부 실시예에 있어서, 각각의 센서는 사각형 패턴의 행과 열로 배열된 픽셀들을 가진 2D 촬상 소자로서 구성된다. 선택적으로, 픽셀은 예컨대 원형 패턴, 지그재그 패턴, 산란형 패턴 또는 서브픽셀 오프셋(sub-pixel offset)을 포함하는 불규칙 패턴으로 배열될 수 있다. 이러한 소자들의 각도 및 픽셀 특성들은 동일할 수 있으며, 또는 센서마다 상이할 수 있다. 하지만, 이러한 특성들은 알려져 있는 것으로 가정된다. 센서들이 상이할 수도 있지만, 설명을 간단히 하기 위해, 센서들은 동일한 것으로 가정된다.

단순화를 위해, 모든 센서(S_ij)는 N×N 픽셀을 가진다고 가정한다. 센서(S₁₁)로부터의 거리(z)에서, 센서의 N 픽셀 폭은 FOV₁으로 지시된 센서(S₁₁)의 y 차원 시계로 확장된다. 마찬가지로, 센서(S₁₂)로부터의 거리(z)에서, 센서(S₁₂)의 y 차원 시계는 FOV₂로 지시되어 있다. 또한, 센서(S₁₃)로부터의 거리(z)에서, 센서(S₁₃)의 y 차원 시계는 길이(FOV₃)로 지시되어 있다. 길이 FOV₁, FOV₂ 및 FOV₃는 서로 중첩되어, 센서(S11, S12 및 S13)가 어떤 (알려지지 않은) 거리(z)에 물리적으로 위치된 목표(T)의 3원 표본추출 다이버시티(3-way sampling diversity)를 성취하는 것을 나타낸다. 물론, 이 예에서 가정된 바와 같이 센서들이 동일하게 구성된 경우, 길이 FOV₁, FOV₂ 및 FOV₃ 역시 동일할 것이다. 3개의 길이 FOV₁, FOV₂ 및 FOV₃ 모두가 동일한 크기를 가지고, 설명을 목적으로 마치 그들이 서로 인접하여 적층된 것처럼 묘사되어 있지만, 그들이 이미저 어레이로부터 동일한 어떤 (알려지지 않은) 거리(z)에 위치하고 있다는 점에서 동일 평면상에 위치한다는 것이 이해될 것이다.

도 18을 참조하면, 현재 선택된 목표점(T)의 영상 센서(S₁₁, S₁₂ 및 S₁₃) 상으로의 투영의 예시적인 정면도가 도시되어 있다. 단순화를 위해, 센서들이 크기 N×N 픽셀의 기하학적 사각형 픽셀 어레이를 포함하는 것으로 가정한다. 또한, 목표(T) 투영의 x 좌표들이 모두 동일한 것으로 가정한다. 다시 말해, 목표(T)의 센서(S₁₁, S₁₂ 및 S₁₃) 상으로의 투영들에 대해, n_x1 = n_x2 = n_x3인 것으로 가정한다. 설명을 간단히 하기 위해, 또한 기하학적 시계각(θ)은 수평방향일 때와 수직방향일 때가 동일한 것으로 즉 θ_x = θ_y인 것으로 가정한다. 당업자는 상기 가정들 중의 어느 것이 변경되는 경우에 목표(T)의 x, y 및 z 물리적 좌표들를 연산하기 위해 아래에 제공되는 프로세스를 어떻게 변경해야 할지를 알 것이다.

목표(T)의 하나의 영상이 영상 센서(S₁₁)의 평면 내의 기하학적 좌표(n_x1, n_y1)에 위치한 센서(S₁₁) 내의 하나의 물리적 점에 투영된다. 더 구체적으로는, 목표점(T)의 센서(S₁₁) 상으로의 투영은 원점에서 보았을 때 y 축을 따라 n_y1 픽셀에 그리고 x 축을 따라 n_x1 픽셀에 위치된다. 목표(T)의 하나의 영상이 영상 센서(S₁₂)의 평면 내의 기하학적 좌표(n_x2, n_y2)에 위치한 센서(S₁₂) 내의 하나의 물리적 점에 투영된다. 목표(T)의 하나의 영상이 영상 센서(S₁₃)의 평면 내의 기하학적 좌표(n_x3, n_y3)에 위치한 센서(S₁₃) 내의 하나의 물리적 점에 투영된다. 각각의 센서 내의 픽셀 위치(n_xi, n_yi)는 센서에 대해 제공된 원점(0, 0) 기준 좌표에 대해 결정된다는 것이 이해될 것이다. 도 17 또는 도 19에 도시된 바와 같이, 전역 좌표계 (x, y, z)가 정의되고, 목표에 대한 기준으로 사용된다. 예를 들어, 이러한 좌표계의 원점은 센서(S₁₁)의 기하학적 중심에 배치될 수 있다(이에 한정되지 않음).

도 16과 도 18을 함께 참조하면, 목표의 투영의 y 픽셀 거리가 각각의 센서에서 상이하다는 것을 알 수 있다. 현재 선택된 목표(T)의 투영은 S₁₁에서 원점의 좌측으로 n_y1 픽셀에 위치된다. 현재 선택된 목표(T)의 투영은 S₁₂에서 원점의 좌측으로 n_y2 픽셀에 위치된다. 현재 선택된 목표(T)의 투영은 S₁₃에서 원점의 좌측으로 n_y3 픽셀에 위치된다. 전술한 바와 같이, 설명을 간단히 하기 위해, 목표의 투영은 모든 3개의 센서에서 원점으로부터 동일한 x 픽셀 거리에 위치하는 것으로 가정한다.

도 19를 참조하면, 도 17을 참조하여 상술한 바와 같은 현재 선택된 목표(T)의 센서(S₁₁, S₁₂ 및 S₁₃)에 대한 배치가 도시되어 있고, 또한 각각의 센서 내의 후보 픽셀에 대한 y 방향 픽셀 오프셋들을 도시하고 있다. 도 19의 도면은 선택된 목표점(T)의 (x, y, z) 물리적 좌표들을 결정하기 위한 물리적 구조 및 분석틀을 제공한다. 이미저 어레이 평면으로부터의 (알려지지 않은) 거리(z)에서, 각각의 센서에 대한 y 방향 시계는 FOV_i로 표기된 길이에 걸쳐 확장된다. 이 길이 FOV_i는 일부 실시예에 있어서 N 픽셀인 센서의 최대 픽셀 폭에 대응된다. 센서가 x 및 y 방향으로 대칭인 시계를 가진다는 작동상의 가정을 고려하면, 그 길이는 x 축을 따라 수직방향으로도 FOV_i일 것이다.

후보 픽셀 선택이 적어도 부분적으로 선택된 목표의 물리적 위치의 결정에 있어서의 부정확성을 초래할 수 있는 정도의 불확실성을 가질 수 있는 상관 프로세스에 기초하여 이루어진다는 점을 상기하자. 따라서, 일부 실시예에 따라, 목표 투영 후보 선택의 정확성의 추가적인 점검이 아래와 같이 이루어진다.

목표의 물리적 (x, y) 위치 결정 및 목표 투영 후보 선택의 정확성 점검의 예

모듈(402.5)에 따라, 후보 픽셀들이 실제로 동일한 목표로부터의 투영에 의해 조명되는지의 여부를 판정하기 위해, 2개 이상의 2차원 (N_x, N_y) 좌표값이 선택된 목표에 대해 연산된다. 상술한 가정들에 기초하여, 3D 좌표계의 원점을 센서(S₁₁)의 중심에 두면, 도 19의 예의 이미저 어레이 및 현재 선택된 목표(T)는 다음의 관계들을 가진다.

여기서:

N은 영상 센서들의 픽셀 치수이고;

n_x1은 목표점(T)의 S₁₁ 평면의 원점으로부터의 픽셀의 개수로 표현되는 x 방향의 포지션이고;

n_y1은 목표점(T)의 S₁₁ 평면의 원점으로부터의 픽셀의 개수로 표현되는 y 방향의 포지션이고;

n_x2는 목표점(T)의 S₁₂ 평면의 원점으로부터의 픽셀의 개수로 표현되는 x 방향의 포지션이고;

n_y2는 목표점(T)의 S₁₂ 평면의 원점으로부터의 픽셀의 개수로 표현되는 y 방향의 포지션이며;

θ는 시계각이다.

또한, 센서(S₁₁ 및 S₁₃)를 사용하여 동일 수식을 실행하는 경우, S₁₁과 S₁₃ 사이의 간격이 2δ인 것을 고려하면, 다음의 관계식을 얻는다.

여기서:

n_x3는 목표점(T)의 S₁₃ 평면의 원점으로부터의 픽셀의 개수로 표현되는 x 방향의 포지션이고;

n_y3는 목표점(T)의 S₁₃ 평면의 원점으로부터의 픽셀의 개수로 표현되는 y 방향의 포지션이다.

따라서, 선택된 목표(T)의 물리적 x 좌표의 결정은 식 (3) 또는 (6)에 기초하여 결정될 수 있다. 선택된 목표(T)의 물리적 y 좌표의 결정은 식 (2) 또는 (5)에 기초하여 결정될 수 있다. 선택된 목표(T)의 물리적 z 좌표의 결정은 식 (1) 또는 (4)에 기초하여 결정될 수 있다.

더 일반적으로는, 모듈(402.6)에 따라, 연산된 2D 좌표값들이 후보 픽셀들이 동일한 목표로부터의 투영에 의해 조명된다는 것을 지시하는지의 여부의 판정이 이루어진다. 목표(T)의 물리적 (x, y, z) 좌표들의 보다 신뢰성 있는 판정은 각각의 좌표에 대한 2개의 수식의 사용을 통해 얻어질 수 있다는 것이 이해될 것이다. 예를 들어, 목표(T)에 대한 y 좌표는 양 수식 (2) 및 (5)를 사용하여 결정될 수 있다. 2개의 수식을 사용하여 연산된 결과의 y 좌표값들이 특정의 허용가능한 공차 값(

_y)보다 더 크게 다를 경우에는, 정합 프로세스가 충분한 정밀도로 상이한 센서들 내에서의 투영들 간의 오프셋을 해소하는 데 실패하였고, 그 결과 후보 픽셀들이 동일한 목표(T)로부터의 투영들을 수취하지 못하므로 부합하지 못한다는 판정이 내려질 수 있다. 정합하기 위한 y 연산에 실패한 경우에는, 정합 프로세스의 또 다른 반복이 각각의 후보 픽셀이 선택된 목표에 대응되는 센서들 내의 후보 픽셀들의 개선된 선택을 이루려는 노력의 일환으로 실행될 수 있다. 상이한 센서들 상으로의 상이한 투시 투영들이 예컨대 시차 효과(parallax effect) 등으로 인해 다를 수 있기 때문에, 연산된 y 값들이 동일할 가능성이 적다는 것이 이해될 것이다. 따라서, 허용가능한 공차값이 의도된 적용처에 따라 규정된다. 수술 영상 적용처에 대해서는, 일반적으로 0.1 - 0.3 mm의

가 허용가능한 Q3D 정확도를 제공한다. 당업자는 본 발명의 기술사상에서 벗어나지 않고 다양한 허용가능한 공차 레벨들을 정할 수 있을 것이다.

x 및 y 축 둘레의 센서 대칭성을 상정하면, 당업자는 동종의 판정이 n_y1 대신 n_x1을 사용하여 수식 (2) 및 (5)와 유사한 수식들을 이용하여 목표(T)의 x 좌표들에 대해 이루어질 수 있다. 수식 (3) 및 (6)은 z 좌표의 지식을 요구하기 때문에 모듈(402.5 및 402.6)의 부분에 사용될 수 없다. 하지만, 모듈(402.5 및 402.6)의 본질은 센서(S₁₁, S₁₂ 및 S₁₃)의 평면들로의 정확한 목표 투영들을 판정하는 것이다. 이를 위해, x 및 y 축에 대해 조정된 수식 (2) 및 (5)가 충분하다. 후술하는 바와 같이, 완벽한 세트의 좌표 (x, y, z)는 모듈(403 및 404)의 연산분이다.

목표의 물리적 z 위치 결정의 예

도 19에 도시된 바와 같이, 모듈(403 및 404)에 따라, z 좌표에 대한 초기 추정값 z₀가 연산 프로세스를 시작하는 데 사용된다. 이 초기값은 의료 적용처에 따라 자동적으로 정해진다. 의료 적용처는 시각화될 의도된 세계 뷰(intended world view)를 한정한다. 초기값 z₀는 내시경에 가정 근접한 시계의 가장자리에서 시작한다. 도 8을 참조하면, 내시경적 절제술을 포함하는 Q3D 적용처에 대해, z₀는 예컨대 Q3D 내시경(202)의 원위 단부(208)로부터 1-5mm 떨어진 곳일 수 있다. 이러한 초기 추정값은 일반적으로 임의의 조직이나 수술 기기가 Q3D 내시경에 그와 같이 밀접해 있을 가능성이 적기 때문에 이러한 적용처에 대해 충분하다. 다음으로, 값 z₀가 수식 (3) 및 (6)에 대입된다. 목표의 x 좌표가 유일한 것을 고려하면, z₀가 목표의 실제의 정확한 z 좌표이면, 수식 (3) 및 (6)은 동일한 값 또는 허용가능한 수준의 공차(

_x) 내의 대략 동일한 값을 연산할 것이다.

수식 (3)과 (6)의 연산값이 허용가능한 공차(

_x) 밖에 있으면, 반복(iteration)이 이어져, z에 대한 새로운 추정값 z₁이 시도된다. 일부 실시예에 따라, 새로운 추정값은 자동적으로 정해진다. 예컨대, z₁ = z₀ + D, 여기서 Δ는 반복 단계의 크기이다. 일반적으로, k번째 반복에서는 z_k = z_k-1 + Δ. 이 반복 프로세스는 조건 (7)이 충족될 때 중지된다. Δ가 작을수록 정확한 목표 좌표를 결정함에 있어서의 정확성의 증가를 낳지만, 프로세스를 완료하는 데 더 많은 연산 시간, 그에 따른 증가된 대기 시간도 필요로 할 것이다. 증가된 대기 시간은 수술 기기 운동과 조작하는 외과의에 의한 그것의 시각화 사이에 지연을 초래할 수 있다. 다시 말해, 외과의는 명령에 뒤처져 시스템을 지각할 수 있다. 20-30 cm 깊이의 수술 관찰 공간에 대해서는, 0.1-0.3 mm의 Δ가 충분할 수 있다. 물론, 당업자는 반복 프로세스를 완료하는 데 필요한 연산에 대해 Δ의 크기를 조정할 줄 알 것이다.

상기 설명은 설명을 이유로 단순화되었고, 따라서 3개의 센서(S₁₁, S₁₂ 및 S₁₃)만을 포함하였다. 일반적으로는, Q3D 좌표 연산의 정확성을 증가시키면서 또한 전체 반복의 수를 감소시키기 위해 더 많은 센서가 사용될 수 있다. 예를 들어, 3개보다 더 많은 센서, 바람직하게는 3×3 센서 어레이가 사용되면, 최급 구배(steepest gradient)와 같은 방법들이 모듈(402.5 및 403)에 의해 만들어지는 추정값 오차들의 방향성의 추세를 결정하는 데 채용될 수 있다. 그러면, 반복 단계 크기 및 방향이 3D 오차 구배면의 국소적 극단을 향한 진행과 조화되도록 조정될 수 있다.

Q3D 정보에 의한 내시경 수술 가이드

도 20은 일부 실시예에 따른 수술 과정 중에 Q3D 정보를 사용하기 위한 제1 프로세스(2000)를 나타낸 예시적인 플로우차트이다. 컴퓨터 프로그램 코드는 프로세스(2000)를 실행하도록 컴퓨터(151)를 구성한다. 모듈(2002)은 뷰어(312)를 들여다 볼 때의 외과의의 시계 내의 적어도 2개의 대상체를 선택하기 위한 사용자 입력을 수신하도록 컴퓨터를 구성한다. 모듈(2004)은 사용자 선택의 수신에 응답하여 컴퓨터 콘솔 상에 메뉴를 표시하도록 컴퓨터를 구성한다. 판정 모듈(2006)은 메뉴에 대한 사용자 입력이 거리를 표시하기 위해 수신되는지의 여부를 판정하도록 컴퓨터를 구성한다. 사용자 입력이 거리를 표시하기 위해 수신된다는 판정에 응답하여, 모듈(2008)은 외과의의 시계 내의 비디오 영상 내에 수치 거리를 표시하도록 컴퓨터를 구성한다. 판정 모듈(2010)은 거리 표시를 선택하기 위한 사용자 입력의 수신을 위한 규정된 시간 간격 동안 대기하고, "타임 아웃(time out)" 간격 내에서의 사용자 입력의 미수신에 응답하여 판정 모듈(2006)의 동작을 종료하도록 컴퓨터를 구성한다.

판정 모듈(2012)은 메뉴에 대한 사용자 입력이 근접 경보 한계를 입력하기 위해 수신되는지의 여부를 판정하도록 시스템을 구성한다. 사용자 입력이 근접도 임계값을 입력하기 위해 수신된다는 판정에 응답하여, 모듈(2014)은 외과의의 시계 내의 2개 이상의 대상체 사이의 근접도를 모니터하기 위한 Q3D 정보를 사용하도록 컴퓨터를 구성한다. 판정 모듈(2016)은 근접도 임계값이 초과되었는지의 여부를 판정한다. 근접도 임계값이 초과되었다는 판정에 응답하여, 모듈(2018)은 경보를 발동하도록 컴퓨터를 구성한다. 경보는 소리, 깜빡이는 불빛과 같은 시각적 큐(visual queue), 충돌을 회피하기 위한 기기 운동의 잠금 또는 다른 햅틱 피드백(haptic feedback)을 포함할 수 있다. 근접도 임계값이 초과되지 않았다는 판정에 응답하여, 제어는 다시 모니터 모듈(2014)로 되돌아간다. 판정 모듈(2020)은 근접도 임계값을 입력하기 위한 사용자 입력의 수신을 위한 규정된 시간 간격 동안 대기하고, "타임 아웃(time out)" 간격 내에서의 사용자 입력의 미수신에 응답하여 판정 모듈(2012)의 동작을 종료하도록 컴퓨터를 구성한다.

도 21은 일부 실시예에 따른, 도 20의 프로세스에 따라 디스플레이 스크린(2012) 상에 표시되는 메뉴 선택을 도시한 설명도이다. 디스플레이 스크린(2102)은 컴퓨터(151)와 관련된 관찰 모니터를 포함한다. 선택적으로, 디스플레이 스크린(2102)은 뷰어(312)의 관찰 요소(401R, 401L)의 영역을 포함할 수 있다. 사용자 입력에 응답하여, 모듈(2004)은 제1 메뉴 항목 "거리 표시"(2106) 및 제2 메뉴 항목 "근접 경보 설정"(2108)을 포함하는 메뉴(2104)의 표시를 일으킨다. "거리 표시" 메뉴 항목(2106)을 선택하는 사용자 입력에 응답하여, 모듈(2008)은 2개 이상의 대상체 간의 Q3D 거리의 표시를 일으킨다. 도 4를 다시 참조하면, 모듈(2008)을 사용하여 표시된 기기(400)와 목표 사이의 Q3D 거리 "d_Instr_Trgt"의 표시가 도시되어 있다. "근접 경보 설정" 메뉴 항목(2108)을 선택하는 사용자 입력에 응답하여, 그 안에 사용자가 근접도 거리 임계값(예컨대, 1 cm)을 입력할 수 있은 필드를 포함하는 "거리 입력" UI 입력부(2110)가 표시된다. 하나의 대안적인 실시예(도시되지 않음)에 있어서는, 디폴트 근접도 임계값(default proximity threshold)이 모든 기기에 대해 미리 설정될 수 있고, 사용자는 예를 들어 도 21의 메뉴를 사용하여 근접도 임계값를 변경할 수 있다. 이 대안적인 실시예에 있어서, 사용자는 임계값을 입력하는 대신 디폴트 임계값을 고르도록 선택할 수 있다. 일부 실시예에 있어서, 사용자는 거리를 표시하고 근접 경보를 설정하는 것을 모두 선택할 수 있다.

22a-22b는 일부 실시예에 따른, 도 20의 프로세스에 따라 사용자 입력을 수신하는 것의 특정 세부 사항들을 나타낸 설명도들이다. 도 22a는 텔레스트레이션(telestration)과 같은 비디오 마커 툴(video marker tool)을 사용하거나 도 5의 제어 입력 장치(160)를 조작하는 외과의 콘솔을 사용하여 생성될 수 있는, 신체 조직과 같은 목표(410L, 410R)의 예시의 제1 하이라이팅 영역(first highlighting area)(2202L, 2202R)을 도시하고 있다. 도 22b는 비디오 마커 툴(video marker tool)을 사용하여 생성될 수 있는 기기 팁(400L, 400R)의 예시의 제2 하이라이팅 영역(2206L, 2206R)을 도시하고 있다. 일부 실시예에 따른 작동에 있어서, 사용자는 제1 하이라이팅 영역(2202L, 2202R)을 생성한다. 다음으로, 사용자는 비디오 마커 툴를 사용하여 기기 팁(400L, 400R)의 예시의 제2 하이라이팅 영역(2206L, 2206R)을 생성한다. 항목들이 하이라이트되는 순서는 중요하지 않다는 것이 이해될 것이다. 사용자는 다음으로 선택을 입력하기 위한 선택기(selector)(도시 암됨)를 작동시킨다(예컨대, Enter 키를 누른다). 모듈(2002)은 수신된 사용자 입력을 목표 영상(410L, 410R) 및 기기 영상(400L, 400R)의 선택으로서 해석한다.

도 23은 일부 실시예에 따른, 수술 과정 중에 Q3D 정보를 사용하기 위한 제2 프로세스(2300)를 나타낸 예시적인 플로우차트이다. 컴퓨터 프로그램 코드는 프로세스(2300)를 실행하도록 컴퓨터(151)를 구성한다. 모듈(2302)은 뷰어(312)를 들여다 볼 때의 외과의의 시계 내의 적어도 대상체를 선택하기 위한 사용자 입력을 수신하도록 컴퓨터를 구성한다. 예를 들어, 도 22b를 다시 참조하면, 사용자 입력은 비디오 마커 툴을 사용하여 기기 팁(400L, 400R)의 제2 하이라이팅 영역(2206L, 2206R)을 생성하도록 수신된다. 사용자 입력(도시되지 않음)은 기기 팁(400L, 400R)의 영상의 선택을 입력하기 위한 선택기(도시 안됨)를 작동시키도록 수신된다(예컨대, Enter 키를 누른다).

다시 한번 도 23으로 돌아가면, 사용자 선택의 수신에 응답하여, 모듈(2304)은 컴퓨터 콘솔 상에 메뉴를 표시하도록 컴퓨터를 구성한다. 판정 모듈(2306)은 메뉴에 대한 사용자 입력이 선택된 대상체의 영상을 회전시키도록 수신되는지의 여부를 판정하도록 컴퓨터를 구성한다. 사용자 입력이 영상을 회전시키도록 수신된다는 판정에 응답하여, 모듈(2308)은 대상체의 다른 3차원 투시를 보여주기 위해 영상의 회전을 표시하도록 컴퓨터를 구성한다. 판정 모듈(2310)은 영상을 회전시키기 위한 사용자 입력의 수신을 위한 규정된 시간 간격 동안 대기하고, "타임 아웃(time out)" 간격 내에서의 사용자 입력의 미수신에 응답하여 판정 모듈(2306)의 동작을 종료하도록 컴퓨터를 구성한다.

도 24는 일부 실시예에 따른, 도 23의 프로세스에 따라 디스플레이 스크린(2402) 상에 표시되는 메뉴 선택을 도시한 설명도이다. 디스플레이 스크린(2402)은 컴퓨터(151)와 관련된 관찰 모니터를 포함한다. 선택적으로, 디스플레이 스크린(2402)은 뷰어(312)의 관찰 요소(401R, 401L)의 영역을 포함할 수 있다. 사용자 입력에 응답하여, 모듈(2304)은 제3 메뉴 항목 "좌회전"(2406) 및 제4 메뉴 항목 "우회전"(2408)을 포함하는 메뉴(2404)의 표시를 일으킨다. 제3 메뉴 항목 또는 제4 메뉴 항목(2406 또는 2408) 중의 일방 또는 타방을 선택하는 사용자 입력에 응답하여, 모듈(2308)은 도 9의 모듈(407)에 따라 생성되어 저장된 3D 모델의 회전을 일으킨다. 이미저 센서 어레이(210)가 제한된 전체 시계를 가지기 때문에, 회전의 양은 어느 정도의 각도, 예컨대 30도 미만으로 제한될 수 있다는 것을 이해할 것이다.

Q3D 내시경 시스템에 의해 제공하는 햅틱 피드백

햅틱(haptic)은 일반적으로 근운동감각(kinesthetic)(힘) 및 피부(촉감(tactile)) 피드백을 포함할 수 있는 터치 피드백(touch feedback)과 아울러 진동과 운동을 설명한다. 수동식 최소 침습 수술(MIS)에 있어서, 외과의들은 촉감 단서(tactile cue) 및 마스크 힘 단서(masks force cue)를 제거하게 되는 긴 샤프트를 통해 기기와 환자의 상호작용을 느낀다. 원격조작 수술 시스템에 있어서는, 외과의는 더 이상 기기를 직접 조작하지 않기 때문에, 자연적인 햅틱 피드백이 크게 제거된다. 원격조작 최소 침습 수술에 있어서의 햅틱 기술의 한 가지 목적은 외과의가 원격 기구를 작동시키고 있는 것으로 느끼는 것이 아니라 그 자신의 양손이 환자와 접촉하는 것처럼 느끼게 되는 "투명성(transparency)"을 제공하는 것이다. 이 개념을 설명하기 위한 또 다른 방법은 햅틱 원격현장감(haptic telepresence)이다. 일반적으로, 이것은 햅틱 정보를 취득하기 위한 환자측 장치 상의 인공 햅틱 센서들과, 감지된 정보를 외과의에게 전달하기 위한 외과의측의 햅틱 디스플레이를 필요로 한다. 근운동감각 또는 힘 피드백 시스템은 일반적으로 수술 기기에 의해 환자에게 가해지는 힘들을 측정하거나 추정하고, 분해된 힘들을 힘 피드백 장치를 통해 손에 제공한다. 촉감 피드백(tactile feedback)이 조직 표면에 걸친 국소적 조직 변형 및 압력 분포와 같은 정보를 제공하는 데 사용될 수 있다. 촉감 피드백은 예를 들어 외과의가 조직의 건강성의 지표들인 순응성(compliance), 점성(viscosity) 및 표면 질감(surface texture)과 같은 조직의 기계적 특성들을 검출하기 위해 손가락 끝을 사용하게 되는 촉진(palpation)을 시뮬레이션하는 데 이용될 수 있다. 학술지 Current Opinion in Urology, 2009, Vol. 19 (1), pp. 102-107에 실린 오카무라 에이. 엠.(Okamura A.M.)의 "로봇 지원 최소 침습 수술에 있어서의 햅틱 피드백(Okamura A.M.)"이라는 기고문 참조.

공지된 강성도를 갖는 조직 구조부의 변형이 그것에 가해지는 힘의 함수로서 결정될 수 있고, 역으로 공지된 강성도를 갖는 조직 구조부에 가해지는 힘이 조직 구조부 변형의 함수로서 결정될 수 있다. 인체 조직 구조부의 형상은 외과의에 의해 유발되는 운동에 응답하여 수술 중에 변형된다. 연성 조직 변형은 선형 탄성의 관점에서 근사(approximation)될 수 있고, 조직 변형을 발생시키는 접촉력이 결과적인 조직 변형에 기초하여 근사될 수 있다. 일반적으로, 조직 구조부는 유사한 크기의 한 세트의 유한 요소들로 구분될 수 있다. 해부학적 모델들의 형상 불규칙성으로 인해, 조직 체적의 사면체 요소들로의 분해가 바람직한 접근법일 수 있다. 따라서, 목표 조직 구조부의 구성이 그것을 한 세트의 다각형(예를 들어, 사면체) 요소들로 분해하는 것에 의해 모델링될 수 있다.

일반적으로, 조직 변형은 다음의 방정식에 따라 힘과 관계된다.

[K]u = f (8)

여기서, [K]는 강성도 행렬로, 대칭적 양한정 희소 행렬이고; u는 변위 필드이며; f는 외력이다. 이 행렬의 크기는 N이 메쉬 정점(mesh vertex)의 개수일 때 3N × 3N이다. 적어도 어느 정도의 조직 등방성이 가정되면, 행렬 K는 N × N 행렬로서 표현될 수 있다.

더 구체적으로, 대상체의 변형에 기초하여 변형가능한 대상체의 표면에 가해지는 외력은 변형가능한 대상체의 변위(u*)를 얻는 데 필요한 힘이 결정될 수 있는 다음의 공식에 기초하여 결정될 수 있다.

(9)

여기서, [K]는 i번째 위치에 1을 그리고 그 밖의 위치에는 0을 가지는 벡터( e _i )로 구성된 행렬이다. 이 시스템은 풀이 변수들에 특정된 값들을 부과하는 데 사용되는 라그랑주 승수법으로부터 생성된다. 변분 공식 및 라그랑주 승수법이

을 최소화하기 위해 사용될 수 있다. 시스템을 푼 후에 얻어지는 [λ]의 값 λ_i는 변위 u _i = u _i *를 부과하기 위해 자유도(u _i )에서 가해질 것이 필요한 힘의 역원(opposite)과 같다. 여기에 그 전체 개시내용이 참조되는 학술지 IEEE Transactions on Visualization and Computer Graphics (Impact Factor: 1.9), 01/1999; 5:62-73, DOI: 10.1109/2945.764872에 실린 코틴 에스(Cotin, S.)등에 의한 "수술 시뮬레이션을 위한 연성 조직의 실시간 탄성 변형(Real-time elastic deformations of soft tissues for surgery simulation)" 참조. 조직 강성도 값들은 공지되어 있거나, 용이하게 결정될 수 있다. 예를 들어, 여기에 직접적으로 참조되는 Am. J. Roentgenology, 2002;178:1411-1417에 실린 맥나이트 에이. 엘.(McKnight A.L.) 등에 의한 "유방암의 MR 탄성초음파: 예비 결과(MR elastography of breast cancer: preliminary results)", NMR in Biomedicine, 2004;17:181-190에 실린 우프만 케이.(Uffmann K.) 등에 의한 "MR 탄성초음파에 의한 사지 골격 근육의 생체내 탄성 측정(In vivo elasticity measurements of extremity skeletal muscle with MR elastography)", IEEE Transactions on Biomedical Engineering, 2006;53:2129-2138에 실린 테이 비. 케이.(Tay B.K.) 등에 의한 "복강내 기관의 생체내 기계적 거동(In vivo mechanical behavior of intra-abdominal organs)"이 다양한 조직 구조부에 대한 조직 강성도의 보고를 제공한다. 이들의 데이터 및 그 밖의 데이터가 방정식 (8)에 의한 힘 연산에 적합한 행렬 [K]를 결정하는 데 사용될 수 있다.

도 25는 일부 실시예에 따른, 햅틱 피드백을 결정하도록 Q3D 정보를 사용하기 위한 프로세스(2500)를 나타낸 예시적인 플로우차트이다. 프로세스(2500)는 하나 이상의 시스템(152) 및 Q3D 내시경 시스템(101C)을 사용할 수 있다. 도 5 또는 도 6의 시스템(152)은 도 8의 Q3D 내시경 시스템(101C)과 함께 공식 (8) 또는 (9)에 의해 기기에 의해 조직에 가해지는 힘 벡터(f)를 연산한다. 강성도 행렬 [K]는 공지된 조직 강성도 값들을 포함할 수 있다. 일단 연산되면, 기기에 의해 조직 상에 가해지는 힘이 표시되거나 햅틱 인터페이스 디바이스를 구동시키는 데 사용될 수 있다.

도 25를 참조하면, 모듈(2502)은 수술 장면의 Q3D 모델을 생성하는 데 사용되는 수술 장면의 Q3D 정보를 취득한다. 예시의 장면은 조직 구조부 및 수술 기기를 포함한다. 모듈(2504)은 장면 내의 수술 기기를 식별하고 등록한다. 모듈(2506)은 기기가 장면 내의 조직 구조부의 표면에 일정 힘으로 가압될 때 기기 주위의 조직의 변위(u)를 결정하기 위해 Q3D 정보를 사용한다. 모듈(2508)은 장면 내의 조직 구조부의 조직 타입에 적합한 조직 강성도 행렬 정보 [K]를 취득한다. 모듈(2510)은 힘(f)를 결정하기 위해 결정된 조직 변위 정보(u)와 조직 강성도 행렬의 정보를 사용한다. 모듈(2512)은 수술 장면 내의 외과의의 시계 내에 결정된 힘(f)의 시각적 표시를 오버레이시킨다. 모듈(2514)은 결정된 변위(u) 및 결정된 힘(f)을 나타내는 햅틱 피드백을 외과의에게 제공하기 위해 햅틱 인터페이스를 작동시킨다.

도 26은 일부 실시예에 따른, 수술 기기(2604)의 엔드 이펙터 부분에 의해 접촉된 조직 구조부(2602)와, 조직 구조부(2602)와 기기(2604) 사이의 접촉에 대한 Q3D 영상 정보를 취득하기 위한 시계(FOV)를 가지도록 배치된 영상 센서 어레이를 가진 내시경(2606)을 도시한 설명도이다. 내시경은 또한 수술 중에 외과의에 의해 관찰가능한 입체 시각 영상을 취득하는 데에도 사용된다는 것을 이해할 것이다. 원격조작 수술 과정 중에, 외과의는 기기의 엔드 이펙터부를 목표 조직 구조부의 표면과 접촉하도록 조종하기 위해 도 5에 도시된 제어 입력 장치(160)를 조작하면서 입체 디스플레이 장치(164)를 통해 수술 장면을 관찰한다. 외과의는 조직 표면 상의 일정 위치에 그 위치에서의 조직 표면 윤곽의 변형을 일으키는 힘을 부과하도록 기기의 운동을 제어한다.

Q3D 정보는 햅틱 피드백이 기기(2604)에 의해 조직 표면(2608)에 가해지는 변형 및/또는 힘을 나타내도록 외과의에게 제공될 햅틱 피드백의 레벨을 정량화하는 데 사용된다. 더 구체적으로는, Q3D 정보를 사용하여 결정되는 조직 표면(2608)의 변위(2610)의 치수들이 햅틱 피드백을 생성하는 데 사용된다. 관심 조직 영역 또는 적어도 그 하위영역(subregion)이 실질적으로 균일한 강성을 가진다고 가정하면, 변위 변형이 클수록 수술 기기가 더 큰 힘을 가한다는 것을 나타낸다. 방정식 (8)에 따라, 공지된 강성도 행렬(K)에 대해, 도 8의 Q3D 내시경 시스템(101C)에 의해 측정된 변위(u)을 사용하여, 도 26의 기기(2604)에 의해 조직에 가해진 힘 벡터(f)가 연산 또는 근사될 수 있다. 마찬가지로, 힘 벡터(f)로부터, 조직에 의해 제공되는 저항성이 연산되거나 근사될 수 있다. 이러한 정보는 조직 촉진(palpation) 적용처에 유용할 수 있다. 따라서, 일부 실시예에 따라, 더 큰 변형 및/또는 더 큰 힘 또는 조직 연성을 나타내는 햅틱 피드백이 외과의에게 제공될 수 있다. 반대로, 더 작은 변위 변형은 수술 기기가 더 작은 힘을 가한다는 것을 또는 조직이 증가된 강성도를 제공한다는 것을 나타낼 수 있고, 일부 실시예에 따라서는, 더 작은 변형 및/또는 더 작은 힘 또는 더 높은 조직 강성도를 나타내는 햅틱 피드백이 외과의에게 제공될 수 있다.

조직 구조부(2602)는 균일한 강성을 가지지 않을 수 있다. 조직 구조부의 강성과 다른 강성을 가지는 종양이나 혈관과 같은 조직 구조부 내에 내재된 국소적 하위표면 구조부들은 조직 구조부의 국소적 강성을 변경시킬 수 있다. 국소적 하위표면 구조부는 본원에서 '이형(anomaly)'이라 한다. 이형의 존재는 기기에 의해 이형에 오버레이되는 조직 표면 위치에 가해지는 힘에 응답하여 조직 구조부의 국소적 변위 변형에 영향을 미칠 수 있다. 즉, 일정 크기의 힘에 응답한 표면하 이형(subsurface anomaly)과 오버레이되는 조직 표면 위치의 변위 변형은 동일한 크기의 힘에 응답한 표면하 이형과 오버레이되지 않는 다른 조직 표면 위치에서의 변위 변형과 다를 것이다. 따라서, 이러한 조직 구조부 강성의 변동의 결과로서, 조직 구조부의 상이한 위치들에의 실질적으로 동일한 힘의 적용이 그러한 상이한 위치들에서 상이한 변형들을 발생시킬 수 있다. 이 상이한 변형들은 표면하 이형의 존재를 나타낼 수 있다.

조직 강성도 행렬(K)의 변동성을 해결하기 위해, 외과의는 이형이 없는 것으로 알려진 주변 조직 구조부에 대하여 기기를 태핑(tapping)해야 할 수 있다. 이는 수술 과정전(pre-procedure) 영상을 이용하여 이형의 위치를 식별하는 데 관례적인 것이기 때문에, 성취가능한 목표이다. 이러한 영상은 이형이 없는 주변 영역 쪽으로 외과의를 안내할 수 있다. 기기(2604)가 이형을 포함하는 영역에 대해 태핑될 때는, Q3D 내시경 시스템(101C)은 예측보다 작은 양의 변위(u)에 대하 정량적 정보를 제공한다. 그 결과, 조직 강성도의 상대 맵(relative map)이 얻어질 수 있다. 선택적으로, 도 26의 기기(2604)가 힘 센서(도시되지 않음)을 구비하는 경우에는, 조직 강성도 맵이 방정식 (8)에 기초하여 연산되거나 근사될 수 있다. 힘 센서가 힘 벡터(f)를 제공하고, Q3D 내시경 시스템(101C)이 변위(u)를 제공한다. f 및 u가 관심 영역 내의 충분히 많은 지점들에서 측정되면, 강성도 행렬(K)의 요소들이 연산되거나 근사될 수 있다. 예를 들어, 조직 등방성 및 대칭성을 가정하면, 행렬(K)은 N*(N+1)/2까지의 개별 요소들을 가진다. 따라서, 변위(u) 및 힘 벡터(f)는 행렬(K)를 완전히 특성화하기 위해 N*(N+1)/2 위치들까지 측정되어야 한다. 일부 실시예에 따라, 상이한 조직 표면 위치들에서의 상이한 조직 구조부 변위들을 나타내는 햅틱 피드백이 외과의에게 제공된다.

햅틱 사용자 인터페이스

여기에 사용되는 것으로서, "햅틱 사용자 인터페이스(haptic user interface)"라는 용어는 사용자에게 햅틱 정보를 제공하는 사용자 인터페이스를 의미한다. 많은 다양한 종류의 햅틱 인터페이스들이 존재한다. 예를 들어, 여기에 설명되는 것으로서, 실감형 사용자 인터페이스(tangible user interface)라고도 불리는 형상 디스플레이(shape display)가 대상체의 형상 또는 윤곽을 나타내는 햅틱 정보를 제공하는 햅틱 인터페이스로서 기능할 수 있다. 햅틱 사용자 인터페이스는 예를 들어 핀들의 선택적 확장 및 수축을 통하거나 가변성 진동 강도를 통한 기계적 자극을 통해 햅틱 정보를 제공할 수 있다. 햅틱 사용자 인터페이스는 예를 들어 가변성 강도의 전기적 자극을 통해 햅틱 정보를 제공할 수 있다.

도 27a-27c는 일부 실시예에 따른, 햅틱 피드백을 제공하는 데 적합한 형상 디스플레이로서 기능하는 실감형 사용자 인터페이스(TUI)(2702) 형태의 햅틱 사용자 인터페이스의 제1 실시예를 나타낸 설명도들이다. TUI(2702)는 하우징으로부터 선택적으로 외향 변위될 수 있은 복수의 핀(2706)을 수용하는 하우징 구조부(2704)를 포함한다. 도 27a는 도 4의 뷰어(312)를 통해 관찰가능한 수술 장면 내의 가시적인 조직 구조부의 3차원 모델(2708)을 생성하도록 외향 변위된 복수의 핀을 가진 TUI의 제1 실시예를 도시하고 있다. 도 27a에 도시된 핀들의 구성은 조직 구조부의 변형을 지지하는 피드백이 없는 초기 TUI 상태에 대응된다. 초기 상태에서의 TUI(2702)의 제1 실시예에 의해 생성된 조직 구조부의 3차원 모델(2708)은 그것의 형상을 변형시키는 표면력이 없는 휴지(rest) 상태에서의 조직 구조부를 나타낸다. 도 27b는 제1 (x, y) 위치의 핀(2706-1)이 핀의 초기 상태 포지션에 대해 제1 양만큼 내향(도면에서 하향) 변위된 상태의 제1 실시예의 TUI를 도시하고 있다. 도 27c는 제2 핀(2706-2)이 제2 핀의 초기 상태 포지션에 대해 제1 양과 다른 제2 양만큼 내향 변위된 상태의 제1 실시예의 TUI를 도시하고 있다.

도 28a-28c는 수술 기기(2804)에 의해 가해지는 힘에 의해 변형되는 형상을 갖는 조직 구조부(2802)를 나타낸 설명도이다. 도 28a는 기기(2804)가 조직 구조부와 접촉하지 않도록 배치된 휴지(rest) 상태에서의 자연적인 조직 구조부(2802)를 도시하고 있다. 도 28는 제1 변위량만큼의 조직 구조부의 변형(2806-1)을 일으키기에 충분한 힘으로 제1 조직 구조부 위치에서 조직 구조부와 접촉하고 있는 기기(2804)를 도시하고 있다. 도 28c는 제2 변위량만큼의 조직 구조부의 변형(2806-2)을 일으키기에 충분한 힘으로 제2 조직 구조부 위치에서 조직 구조부와 접촉하고 있는 기기(2804)를 도시하고 있다. 도 27a-27c를 다시 참조하면, TUI의 제1 실시예(2702)는 카테시안 (x, y) 평면 내에 배열되어 있는 축방향 정렬 핀의 어레이(2706)를 포함하고 있다. 각각 핀은 어레이 내의 (x, y) 위치와 관련된다. 핀들은 휴지 포지션과 가변도(variable degrees)의 상승 변위 사이에서 축방향으로 이동가능하다. 모든 핀(2706)이 휴지(rest) 상태 즉 어떠한 축방향 변위도 없는 상태에 있을 때, 그들의 헤드들(상부들)이 하우징(2704) 내에 편평한 평면 (x, y) 표면을 한정한다. 각각의 핀(2706)은 그 각각이 제어가능한 가변성 변위량들로 독립적으로 축방향으로 상승, 하강 또는 승강될 수 있도록 자체 액추에이터(도시되지 않음)와 관련되어 있다. 일부 실시예에 따라, 초기 상태에서, 복수의 핀이 조직 구조부(2708)의 3차원 모델을 생성하도록 배열된다. 초기 상태 3차원 모델에 대한 핀 변위의 변동들이 모델링된 조직 구조부의 형상의 대응되는 변화를 나타내는 햅틱 피드백을 제공한다. 제1 실시예의 TUI를 사용하여 생성된 3차원 모델은 의료 과정 중에 외과의가 실제 조직 구조부를 촉진(palpation)하는 것과 유사한 방식으로 모델과 상호작용할 수 있도록 기하학적으로 크기가 결정된다. TUI 조직 모델(2708)의 형상은 외과의 원격조작 제어하에 있는 기기(2804)와의 접촉을 통해 발생되는 도 28a-28c의 조직 구조부(2802)의 표면의 변형에 응답하여 변형되고, 이에 의해 외과의에게 수술 과정 중에 뷰어(312)를 통해 관찰되는 조직 구조부의 변형을 나타내는 햅틱 피드백을 제공한다. Actuation, UIST '13, October 8-11, St. Andrews, UK에 실린 폴머 에스.(Follmer S.) 등에 의한 "inForm: 형상 및 대상체를 통한 동적 물리 어포던스 및 구속조건(inFORM: Dynamic Physical Affordances and Constraints through Shape and Object)"이 햅틱 피드백을 제공하기 위한 형상 디스플레이를 사용하는 2.5D 형상 디스플레이를 개시하고 있으며, 그와 같은 TUI 장치가 여기에 설명되는 바와 같이 기능하도록 변경될 수 있다. 예를 들어, TUI(2702)는 상술한 바와 같이 연산되거나 근사된 강성도 행렬(K)에 따라 Q3D 내시경 시스템(101C)에 의해 구동될 수 있다. 그 결과, 외과의는 적어도 조직 강성도에 대한 상대 정보를 제공받을 것이며, 간접적인 또는 가상의 조직 촉진(palpation)을 실행하는 것이 허용될 것이다.

또 다른 예로서, 외과의는 조직 구조부 상의 다양한 위치들에 실질적으로 일정한 힘을 제공하도록 수술 기기를 조작한다. 일정한 힘 적용은 센서 또는 가시성 게이지를 사용하는 것에 의해 또는 임계 힘 레벨이 감지될 때까지 힘을 가하도록 원격조작식 매니퓰레이터를 설정하는 것에 의해 조절될 수 있다. 선택적으로, 힘 적용은 외과의의 인지적 느낌을 사용하는 것에 의해 이루어질 수 있다. Q3D 내시경은 실질적으로 일정한 힘 적용에 응답하여 다양한 조직 위치들에서의 힘 적용의 위치 및 조직 변형의 측정값을 취득한다. 방정식 (8)의 관계가 실질적으로 일정한 힘 적용에 응답하여 상이한 위치들에서의 상이한 조직 강성도들을 결정하는 데 사용될 수 있으며, 그런 다음 이 위치들 및 강성도들이 햅틱 TUI에 매핑(mapping)될 수 있다. 햅틱 인터페이스는 외과의에게 가상의 촉진(palpation) 출력을 제공하도록 상이한 위치들에서의 상이한 조직 강성도들을 나타내는 외과의 피드백을 제공한다. 그러면, 외과의는 TUI를 통해 경로를 따른 손가락이나 손을 추적하고, 실제 조직 위에서의 외과의의 동작과 유사한 방식으로 시뮬레이션되는 조직 구조부를 촉진하기 위한 경로를 따라 변동하는 강성도를 감지할 수 있다.

일부 실시예에 따라, 조직 강성도 행렬(K) 또는 강성도 맵은 개별 TUI 핀(2706)의 (x, y) 위치들에 매핑될 수 있다. 즉, 주어진 핀(2706)의 물리적 (x, y) 위치가 조직 구조부(2802)의 표면 상의 위치에 매핑된다. 이 예의 목적을 위해 도 27b의 제1 (x, y) 위치의 TUI 핀(2706-1)이 도 28b의 제1 조직 구조부 위치(2806-1)에 매핑되고, 도 27c의 제2 (x, y) 위치의 TUI 핀(2706-2)이 도 28c의 제2 조직 구조부 위치(2806-2)에 매핑된다고 가정하자.

TUI(2702)가 W×L 핀들을 가진다고 가정하면, 표면 조직 구조부(2802)의 Q3D 모델은 W×L 그리드 상에 메시(mesh)될 수 있다. 그러면, 메시의 각각의 노드가 하나의 TUI 핀에 대응될 것이다. Q3D 모델이 관심 조직 표면의 실제 폭(W_tissue)과 길이(L_tissue)를 제공한다고 가정하면, TUI 위치 카운트 N_W 및 N_L을 갖는 핀의 대응되는 (x, y) 좌표는 (N_W/W*W_tissue, N_L/L*L_tissue)로서 연산될 수 있다. 반대로, 알려진 Q3D 모델의 좌표점 (x, y)에 대해서는, 대응되는 TUI 핀의 TUI 위치 카운트가 N_X = x*W/W_tissue 및 N_Y = y*L/L_tissue로서 연산될 수 있다. 이 맵핑은 비일시성 컴퓨터 판독가능 저장 장치(도시하지 않음)에 저장된다. TUI(2702)의 복수의 핀(2706)은 조직 구조부(2802) 또는 조직 구조부의 적어도 관심 영역의 조직 표면 윤곽의 3차원 모델(2708)을 생성하도록 외향(도면에서 상향) 상승된다.

수술 기기가 매핑된 조직 표면 위치들에 등록된다. 즉, 조직 구조부(2802)의 조직 표면의 매핑된 위치들에 대한 기기(2804)의 기구학적 위치가 등록되고 수술 과정 중에 업데이트된다. 등록은 예를 들어 도 9 및 10에서 설명한 것과 유사한 식별 알고리즘을 사용하여 Q3D 내시경의 FOV 내의 목표 기기를 식별하는 것에 의해 성취될 수 있다. 따라서, 기기(2804)의 등록 및 조직 위치들과 TUI 위치들 사이의 매핑으로 인해, 기기(2804)와 조직 구조부(2802)의 표면 위치 사이의 각각의 접촉이 하나 이상의 TUI 핀 위치에 매핑될 수 있다. 또한, 영상 센서 어레이(210)는 기기와 조직 표면 사이의 각가의 접촉에 대해, 이 접촉으로 인한 조직 표면의 변형 변위를 결정하는데 사용될 수 있는 Q3D 정보를 취득한다. Q3D 정보는 다음으로 기기에 의한 접촉에 응답하여, 접촉된 조직 표면 위치에 매핑된 하나 이상의 핀(2706)의 외향 변위의 변화량을 결정하는 데 사용된다.

예를 들어, 도 27a는 도 28a에 도시된 바와 같이 외과의가 기기를 조직 구조부에 인접하게 이동시켰지만 기기를 실제로 조직 구조부와 접촉하도록 사용하지 않았을 때의 휴지 상태에 있는 제1 실시예의 TUI(2702)의 예시의 자세를 도시하고 있다. 도 27b 및 도 28b는 도 28b에 도시된 제1 조직 위치(2806-1)의 변형을 일으키는 외과의의 기기의 조작에 있어서의 피드백이 초기 상태 포지션에 대해 내향 이동한 제1 (x, y) 위치의 TUI 핀(2706-1)을 낳는다는 것을 예시하고 있다. 제1 (x, y) 위치에서의 핀(2706-1)의 내향 변위량은 Q3D 내시경 시스템(101C)에 의해 측정되는 것으로서 도 28b의 제1 조직 위치(2806-1)가 기기에 의해 변위된 만큼의 제1 변위량에 기초하여 결정된다. 마찬가지로, 도 27c 및 도 28c는 도 28c에 도시된 제2 조직 위치(2806-2)의 변형을 일으키는 외과의의 기기(2804)의 조작에 있어서의 피드백이 초기 상태 포지션에 대해 내향 이동한 제2 (x, y) 위치의 TUI 핀(2706-2)을 낳는다는 것을 예시하고 있다. 제2 (x, y) 위치에서의 핀(2706-2)의 외향 변위의 변화는 도 28c의 제2 조직 위치(2806-2)가 기기에 의해 변위된 만큼의 제2 변위량에 기초하여 결정된다.

선택적으로, Q3D 정보로서 감지된 조직 변형은 기기 팁의 자세를 식별하는 기구학적 정보(예컨대, 기기를 유지하는 기구학적 암의 자세를 식별하는 기구학적 정보)에 등록될 수 있다. 결합된 조직 변형 정보와 기기 팁 포지션 및 배향 정보는 다음으로 외과의가 시뮬레이션되는 조직 구조부를 촉진(palpation)하는 것을 가능하게 해주는 햅틱 인터페이스를 생성하도록 TUI에 매핑된다.

도 29a-29c는 일부 실시예에 따른, 햅틱 피드백을 제공하는 데 적합한 형상 디스플레이로서 기능하는 실감형 사용자 인터페이스(TUI)(2902) 형태의 햅틱 사용자 인터페이스의 대안적인 실시예를 나타낸 설명도이다. 대안적인 TUI 실시예(2902)는 조직 표면의 변위에 응답하여 변동가능한 양만큼 외향(도면에서 상향) 변위될 수 있는 복수의 축방향 정렬된 핀(2906)을 수용하는 하우징 구조부(2904)를 포함한다. 도 29a는 어떠한 핀(2906)도 상승되지 않은 휴지(rest) 상태에서의 대안적인 TUI(2902)를 도시하고 있다. 도 29b는 핀(2906)이 제1 양만큼 상승된 대안적인 TUI(2902)를 도시하고 있다. 도 29c는 핀(2906)이 제1 양보다 큰 제2 양만큼 상승된 대안적인 TUI(2902)를 도시하고 있다. 일반적으로, 도 29a-29c의 대안적인 실시예의 TUI(2902)의 핀 구성은 도 27a-27c의 TUI(2702)의 핀 구성과 유사하다. 하지만, 대안적인 실시예의 TUI(2902)는 더 작고, 외과의의 손가락 끝에 장착하도록 기하학적으로 크기가 결정된다. 이러한 대안적인 TUI(2902)의 예들이 공지되어 있다. Journal of Neuroscience Methods, 2007, Vol. 161 (1), pp. 62-74에 실린 킬레브루 제이. 에이치.(Killebrew J.H.) 등에 의한 "임의의 공간-시간적 촉감 자극을 생성하기 위한 조밀한 어레이 자극기(A Dense Array Stimulator to Generate Arbitrary Spatio-Temporal Tactile Stimuli)"는 피부에 "즉시적으로(on the fly)" 임의의 공간-시간적 촉감 자극을 생성하기 위한 400-프로브(probe) 자극기를 개시하고 있다. 각각의 프로브는 그것의 축방향 변위를 제어하기 위한 개별 모터를 포함한다. Proceedings of ICRA in Robotics and Automation, 2000, IEEE, Vol. 4에 실린 모이 지.(Moy G.) 등에 의한 "원격접촉을 위한 순응성 촉감 디스플레이(A Compliant Tactile Display for Teletaction)"는 실리콘 고무로 몰딩된 원피스 공압 작동식 촉감 디스플레이를 개시하고 있다. IEEE Engineering in Medicine and Biology, May/June, 1995에 실린 하우 로버트 디.(Howe, Robert D.) 등에 의한 "원격 촉진 기술(Remote Palpation Technology)"은 체적 대비 고출력, 중량 대비 고출력 및 중량비 대비 힘으로 인해 형상 합금 와이어를 액추에이터로서 사용하는 촉감 형상 디스플레이를 개시하고 있다.

도 27a-27c의 TUI(2702)와 유사하게, 도 29a-29c의 대안적인 실시예의 TUI(2902)의 핀(2906)의 헤드들에 의해 나타나는 TUI 표면의 형상은 예컨대 외과의의 원격조작 제어하에 있는 기기와의 접촉을 통해 발생되는 조직 구조부의 변형에 응답하여 변경된다. 하지만, 도 27a-27c의 TUI(2702)와 달리, 도 29a-29c의 대안적인 실시예에 있어서는, 대안적인 실시예의 TUI의 핀 위치들이 조직 표면 위치들에 매핑되지 않는다. 그 대신, 대안적인 실시예의 TUI(2902)의 핀(2906)의 외향 변위에 의해 생성되는 햅틱 피드백은 입체 디스플레이 장치(164)를 통해 동시에 볼 수 있고, 외과의의 제어하에 수술 기기에 의해 현재 접촉되고 있는 조직 표면의 위치에 매핑된다. 예를 들어, TUI(2902)의 중심점이 기기 팁에 대응되도록 매핑되어, 기기 팁이 이동할 때, 변화하는 햅틱 감각이 TUI(2902) 상에 중심맞춤되어 발생한다. 외과의는 변화를 지각하기 위해 TUI(2702) 상에 손가락을 위치시킨다. 이러한 대안적인 TUI(2902)에 의해 제공되는 햅틱 피드백의 크기는 Q3D 내시경 시스템(101C)에 의해 제공되는 연산되거나 근사된 조직 변위에 또는 방적식 (8)을 사용하여 연산되거나 근사된 힘 벡터(f)에 상관된다.

대안적인 예로, 핀들은 초기에 소정의 거리만큼 축방향으로 외향 변위되고, 핀들은 이 거리를 유지하려 시도하도록 구동된다. 손가락이 핀들의 상부에 가압될 때 핀들이 그들의 디폴트 레벨(default level)로 복귀하도록 구동되는 동안에 손가락이 핀들을 약간 하향 변위시키도록, 디폴트 강성도(default stifness)가 설정된다. 따라서, 핀들은 "질척질척한(squishy)" 느낌을 준다. 기기가 조직을 횡단하여 하나 이상의 강성도의 변화를 접하게 될 때, 이 강성도의 변화는 증가된 강성도를 갖는 조직은 덜 "질척질척한" 것으로 느껴지고(핀들이 손가락쪽으로 축방향으로 변위됨), 감소된 강성도를 갖는 조직은 더 "질척질척한" 것으로 느껴지도록(핀들이 손가락 반대쪽으로 축방향으로 변위됨), TUI에 전달된다. 이런 방식으로, 기기 팁은 촉진 감각이 TUI로 전달되는 원격 촉진 기기(remote palpation instrument)로서 기능한다. 마찬가지로, 하나의 대안적인 실시예에 있어서, 핀들은 초기에 TUI 표면과 동일한 높이의 축방향 변위로 설정되고(예컨대, 도 29a 참조), 감소된 강성도를 갖는 조직이 TUI에서 강성이 더 큰 것으로 느껴진다(핀들이 손가락쪽으로 축방향으로 변위됨).

도 30은 일부 실시예에 따른, 외과의의 손가락(3002)에 장착된 대안적인 실시예의 TUI(2902)를 도시한 설명도이다. 장착되었을 때, 대안적인 실시예의 TUI(2902)는 핀(2906)이 조직 표면의 조직 변위에 응답하여 외향 변위될 때, 핀(2906)이 외과의의 손가락(3002)을 가압한다. 일부 실시예에 따라, 상이한 핀 변위량들이 조직 표면 중의 현재 접촉된 부분의 상이한 조직 변위들 또는 기기에 의해 조직 표면 중의 현재 접촉된 부분에 가해지는 힘의 상이한 양들을 나타낸다.

이제 도 28a-28c 및 도 29a-29c를 모두 참조하면, 도 29a는 도 28a에 도시된 바와 같이 외과의가 기기(2804)를 조직 구조부(2802)에 인접하게 이동시켰지만 기기를 실제로 조직 구조부와 접촉하도록 사용하지 않았을 때의 휴지 상태에 있는 대안적인 실시예의 TUI(2902)의 예시의 자세를 도시하고 있다. 도 29b는 복수의 핀(2906)이 핀들에 접촉한 사용자에게 제1 자극 레벨을 제공하도록 도 28b의 제1 조직 위치(2806-1)가 기기(2804)에 의해 변위된 만큼의 제1 조직 변위량에 기초하여 결정되는 변위량만큼 상승되어 있는, 대안적인 실시예의 TUI(2902)의 핀(2906)을 사용하여 생성된 인터페이스 표면 형상을 도시하고 있다. 도 29c는 복수의 핀(2906)이 핀들에 접촉한 사용자에게 제2 자극 레벨을 제공하도록 도 28c의 제2 조직 위치(2806-2)가 기기(2804)에 의해 변위된 만큼의 제2 조직 변위량에 기초하여 결정되는 변위량만큼 상승되어 있는, 대안적인 실시예의 TUI(2902)의 핀(2906)을 사용하여 생성된 인터페이스 표면 형상을 도시하고 있다. 제1 및 제2 조직 위치(2806-1, 2806-2)에서의 조직 변위량들이 상이하고, 따라서 제1 및 제2 조직 변위량들에 응답하는 TUI 핀 변위량들도 상이하다는 것을 알 수 있다.

당업자는 핀들의 사용을 다른 형태의 햅틱 자극으로 대체하는 방법을 알 것이다. 예를 들어, 손 또는 손가락 그립에 맞닿는 기계식 작동 핀을 사용하여 외과의의 손가락(3002)을 자극하는 대신, 임계값 이하 전기촉감 자극(sub-threshold electricotactile stimulation)이 제공될 수 잇다. 이러한 시스템은 Q3D 내시경 시스템(101C)에 의해 제공되는 것으로서 조직 변위(u) 또는 조직의 힘(f)의 크기에 의해 조절되는 인간 지각 레벨보다 약간만 높은 안전한 레벨의 전류를 사용할 것이다. 이러한 햅틱 자극의 다른 형태들이 공지되어 있다. 예를 들어, IEEE Transactions on Biomedical Engineering, Vol. 39, No. 7, July 1992에 실린 카츠마렉(Kaczmarek) 등에 의한 "최대 동적 범위 전기촉감 자극 파형"이 전체적으로 여기에 참조되는 적합한 전기촉감 자극을 위한 기법 및 파형을 제시하였다. 대안적인 실시예에 있어서, 조작하는 외과의는 진동하거나 도 5의 제어 입력 장치(160)에 조작 저항을 제공하는 햅틱 피드백을 제공받을 수 있다. 진동 또는 조작 저항의 크기는 도 8의 Q3D 내시경 시스템(101C)에 의해 제공되는 것으로서 조직 변위(u) 또는 조직의 힘(f)의 크기에 따라 조절될 것이다. 촉감 피드백을 갖는 제어 입력 장치를 개시하고 있고, 그 전체 내용이 여기에 참조되는 미국 특허 US 6,594,552 B2 2000년 4월 6일자 출원) 및 미국 특허 US 8,561,473 B2(2009년 3월 30일자 출원)에 개시된 바와 같은 적합한 구현예들이 공지되어 있다.

Q3D 정보의 햅틱 피드백으로의 변환

도 31은 일부 실시예에 따른, 조직 표면 변형의 함수로서 햅틱 피드백을 결정하도록 구성된 예시적인 연산 블록(3102)을 도시한 도면이다. 일부 실시예에 따라, 햅틱 피드백은 가변성 핀 축방향 변위를 통해 제공된다. 선택적으로, 예를 들어, 전기적 자극 또는 진동 자극이 햅틱 피드백을 제공하는 데 사용될 수 있다. 도 5의 컴퓨터(151)는 연산 블록을 구현하도록 구성될 수 있다. 영상 센서 어레이(210)를 사용하여 수집된 Q3D 정보는 개별 조직 표면 위치에 대한 특정 시간에서의 수직 변형 거리(X_ti)의 측정값의 지시를 포함하는 정보를 포함한다. 연산 블록은 입력으로서 변형 거리(X_ti)을 나타내는 정보를 수신하고, 블록(3102)은 출력으로서 변형 거리(X_ti)의 함수로서의 하나 이상의 핀 변위량(X_UIi)을 생성한다. 영상 센서 어레이를 사용하는 Q3D 내시경이 여기에서 논의되지만, 다른 타입의 Q3D 내시경이 본 발명의 기술사상을 벗어나지 않고 사용될 수 있다. 예를 들어, 비행 시간 센서(time-of-flight sensor)를 사용하는 Q3D 내시경이 동일한 성능을 가지고 사용될 수 있다. 그 전체 내용이 여기에 참조되는 미국 특허 US 8,262,559 B2(2009년 4월 9일자 출원)가 이러한 대안적인 Q3D 내시경의 적어도 하나의 예를 개시하고 있다.

도 32는 일부 실시예에 따른, 도 31의 연산 블록을 이용하여 실행되는 프로세스(3200)를 나타낸 예시적인 플로우차트이다. 모듈(3202)에서, Q3D 내시경 시스템은 예를 들어 기기(2604)에 의해 변형되는 도 26의 조직 표면(2608)의 변위(u)의 3D 좌표들을 연산한다. 3D 좌표 연산은 도 8-19에서 설명한 요소와 모듈에 의해 실행된다. 모듈(3204)에서, 조직 변위(u)의 3D 좌표들은 핀 위치 카운트들 및 핀 변위들에 매핑된다. 예를 들어, 조직 표면 지점 (x, y)가 측정된 변위(u _xy )를 가진다고 가정하면, 설명한 바와 같이 연산된 위치 카운트 N_X 및 N_Y를 갖는 핀이 그것의 높이를 D_XY만큼 변위시키도록 구동된다. D와 u 간의 관계는 조직 변위의 추정 범위 및 TUI의 상세 구조에 기초하여 비례할 수 있다. 예를 들어, 조직이 20 mm까지의 범위 내에서 변형된다고 추정되면, D와 u 간의 관계는 1:1일 수 있다. 그러면, TUI 핀은 매 1 mm의 조직 변위마다 1 mm만큼 높이가 변할 것이다. 수술 과정이 증가된 강성도의 구조부 상에서 실행되는 경우에는, 더 작은 조직 변위 범위가 사용된다. 이러한 경우, 5 ㎜까지의 범위가 최적일 수 있다. 외과의에게 충분한 햅틱 피드백 분해능을 제공하기 위해, 핀 변위 D는 4*u로 연산될 수 있다. 즉, 매 0.25 mm의 조직 변위에 대해, TUI 핀은 높이가 1 mm만큼 변한다. 당업자는 TUI 햅틱 피드백 인터페이스의 사용을 다른 형태의 햅틱 피드백 인터페이스로 대체하는 방법을 알 것이다. 예를 들어, 임계값 이하 전기적 자극(sub-threshold electric stimulation)이 햅틱 피드백의 한 형태로서 사용된다면, 자극 전류의 크기가 상술한 비례 관계에 따라 조절된다. 선택적으로, 제어 입력 장치(160)의 진동이 햅틱 피드백으로서 사용되는 경우에는, 진동의 가속도나 진동 강도가 상술한 비례 관계에 따라 조절될 수 있다. 일반적으로, 플로우차트의 모듈(3204)은 변위(u_xy)를 도 5 또는 6의 시스템(152)에 의해 사용되는 햅틱 인터페이스에 의해 제공되는 피드백의 크기에 매핑시킨다. 모듈(3206)에서, 프로세스는 도 26의 기기(2604)에 의해 접촉되는 관심 조직 표면의 모든 지점들을 커버하도록 반복된다. 모듈(3208)에서,햅틱 인터페이스가 연산된 맵에 따라 피드백을 제공하도록 구동된다. 선택적인 모듈(3210)도 시스템(152)과 관련된 임의의 디스플레이 상에 시각적 형식의 조직 변위 정보를 제공할 수 있다.

포스 피드백 인터페이스

도 26을 다시 참조하면, 일부 실시예에 따라, 기기에 의해 목표 조직 구조부에 가해지는 힘의 크기를 나타내는 시각적 피드백을 사용자에게 제공하기 위해, 시각적 표지(visual indicia)(2602)가 수술 장면 내의 수술 기기 상에 오버레이되는 것을 볼 수 있다. The Journal of Thoracic and Cardiovascular Surgery, January 2008에 실린 레일리 씨. 이.(Reiley C. E.) 등에 의한 "로봇 보조 수술 작업 성능에 대한 시각적 피드백의 효과(Effects of visual feedback on robot-assisted surgical task performance)"가 원격조작 수술 시에 수술 매듭들을 묶는 동안에 촉감 피드백을 제공하기 위한 시각적 마커의 사용을 교시하고 있다. 시각적 표지는 수술 장면 내의 기기의 영상에 오버레이되는 컬러 코드 마커를 포함한다. 마커의 컬러링은 힘 센서들에 의해 감지되는 힘의 크기와 함께 변한다. 마커는 가해지는 힘의 이상적인 크기에 응답하여 노란색으로 컬러링된다. 마커는 가해지는 힘의 이상적인 크기보다 더 작은 것에 응답하여 녹색으로 컬러링된다. 마커는 가해지는 힘의 이상적인 크기보다 더 큰 것에 응답하여 적색으로 컬러링된다. 작업 시에, 사용자는 힘의 이상적인 크기를 성취하기 위해 필요에 따라 기기를 리포지셔닝시키기 위한 가이드로서 마커 컬러를 이용할 수 있다. 녹색 마커를 본 것에 응답하여, 사용자는 힘의 크기를 증가시키도록 기기를 리포지셔닝시킬 수 있다. 적색 마커를 본 것에 응답하여, 사용자는 힘의 크기를 감소시키도록 기기를 리포지셔닝시킬 수 있다. 이러한 힘 피드백 인터페이스가 상술한 바와 같이 도 8의 Q3D 내시경 시스템(101C)에 의해 제공되는 변위 정보를 처리함으로써 힘의 크기를 연산하거나 근사하는 시스템(152) 내에 통합될 수 있다. 선택적으로, 다른 형태의 힘 피드백 인터페이스가 사용될 수 있다. 예를 들어, 기기에 의해 가해지는 힘의 크기는 막대 그래프의 형태로 또는 도 22a 및 22b의 뷰어(312) 측의 디지털 디스플레이로서 표시될 수 있다.

햅틱 피드백을 제공하기 위해 Q3D 정보를 사용하는 전체 프로세스

도 33은 일부 실시예에 따른, 도 27a-27c의 TUI(2702)와 함께 사용하기 위한 제1 햅틱 피드백 프로세스(3200)의 예시적인 플로우차트이다. 모듈(3302)은 조직 표면 위치들을 TUI 위치들에 매핑시키고, 그 매핑을 비일시성 컴퓨터 판독가능 저장 장치에 저장한다. 모듈(3304)은 수술 기기를 조직 위치들에 등록한다. 등록은 예를 들어 도 9 및 10에서 설명한 것과 유사한 식별 알고리즘을 사용하여 Q3D 내시경의 FOV 내의 목표 기기를 식별하는 것에 의해 성취될 수 있다. 모듈(3306)은 조직 표면 위치를 선택하기 위한 사용자 입력을 수신하고, 기기를 선택된 조직 표면 위치와 정렬되도록 이동시킨다. 모듈(3308)은 선택된 힘을 부과하기 위한 사용자 입력을 수신하고, 기기를 선택된 조직 위치와 접촉하고 선택된 힘을 부과하도록 이동시킨다. 모듈(3310)은 부과된 힘에 응답한 선택된 조직 표면의 변형 거리를 나타내는 Q3D 정보를 수신한다. 모듈(3312)은 선택된 조직 위치에서의 지시된 조직 변형 거리의 함수로서 선택된 조직 표면 위치에 매핑된 하나 이상의 핀의 변위량을 결정한다. 모듈(3314)은 선택된 조직 위치에 매핑된 하나 이상의 핀의 변위를 결정된 양만큼 실행한다. 판정 모듈(3316)은 다른 조직 표면 위치를 선택하기 위한 새로운 사용자 입력이 수신되는지의 여부를 판정한다. 이러한 사용자 입력이 수신되지 않는다면, 모듈(3318)이 규정된 시간양만큼의 대기를 발생시키고, 그후 제어는 다시 판정 모듈(3316)로 복귀한다. 새로운 조직 표면 위치를 선택하기 위한 사용자 입력의 수신에 응답하여, 제어는 모듈(3306)로 진행한다. 당업자는 TUI 햅틱 피드백 인터페이스의 사용을 다른 형태의 햅틱 피드백 인터페이스로 대체하는 방법을 알 것이다. 예를 들어, 임계값 이하 전기적 자극이 햅틱 피드백의 한 가지 형태로서 사용되면, 자극 전류의 크기가 상술한 단계들에 따라 조절된다. 선택적으로, 제어 입력 장치(160)의 진동이 햅틱 피드백으로서 사용되면, 진동 가속도나 진동 강도가 상술한 단계들에 따라 조절될 수 있다. 또한, 시각적 인터페이스가 햅틱 피드백을 제공하도록 사용되면, 피드백을 제공하는 시각적 요소(예컨대, 시각적 표지, 막대 그래프, 디지털 디스플레이 등)가 상술한 단계들에 따라 조절된다.

도 34는 일부 실시예에 따른, 도 29a-29c의 대안적인 실시예의 TUI(2902)와 함께 사용하기 위한 제2 햅틱 피드백 프로세스(3400)의 예시적인 플로우차트이다. 제1 햅틱 피드백 프로세스와 제2 햅틱 피드백 프로세스가 유사하다는 것을 이해할 것이다. 모듈(3406)은 조직 표면 위치를 선택하기 위한 사용자 입력을 수신하고, 기기를 선택된 조직 표면 위치와 정렬되도록 이동시킨다. 모듈(3408)은 선택된 힘을 부과하기 위한 사용자 입력을 수신하고, 기기를 선택된 조직 위치와 접촉하고 선택된 힘을 부과하도록 이동시킨다. 모듈(3410)은 부과된 힘에 응답한 선택된 조직 표면의 변형 거리를 나타내는 Q3D 정보를 수신한다. 모듈(3412)은 선택된 조직 위치에서의 지시된 조직 변형 거리의 함수로서 하나 이상의 핀의 변위량을 결정한다. 모듈(3414)은 선택된 조직 위치에 매핑된 하나 이상의 핀의 변위를 결정된 양만큼 실행한다. 판정 모듈(3416)은 다른 조직 표면 위치를 선택하기 위한 새로운 사용자 입력이 수신되는지의 여부를 판정한다. 이러한 사용자 입력이 수신되지 않는다면, 모듈(3418)이 규정된 시간양만큼의 대기를 발생시키고, 그후 제어는 다시 판정 모듈(3416)로 복귀한다. 새로운 조직 표면 위치를 선택하기 위한 사용자 입력의 수신에 응답하여, 제어는 모듈(3406)로 진행한다.

도 35는 일부 실시예에 따른, 선택된 조직 표면 위치에 부과되는 힘을 제어하기 위한 제3 프로세스의 예시적인 플로우차트이다. 도 26을 참조하여 설명한 바와 같이, 시각적 큐(2602)가 조직 표면 위치에 부과되는 힘을 변경할 것인지의 지시를 제공하기 위해 수술 장면 내에 제공될 수 있다. 제3 프로세스는 제1 또는 제 2 프로세스와 병행하여 진행될 수 있다. 모듈(3502)은 기기의 팁부와 관련된 센서를 사용하여 감지되는 힘의 지시를 수신하고, 감지된 힘의 크기의 시각적 표지를 수술 스크린 디스플레이 내에 생성한다. 판정 모듈(3504)은 기기에 의해 부과되는 힘의 크기를 변경시키기 위한 사용자 입력이 수신되는지의 여부를 판정한다. 힘의 크기를 변경시키기 위한 사용자 입력이 수신되었다는 판정에 응답하여, 모듈(3506)은 사용자 입력에 따라 부과된 힘을 변경시킨다. 힘을 변경시키기 위한 어떠한 사용자 입력도 수신되지 않았다는 판정에 응답하여, 제어는 모듈(3502)로 복귀한다.

가상의 조직 촉진을 위한 Q3D 기반 햅틱 피드백

36a-36e는 일부 실시예에 따른, 기기에 의해 가해지는 힘에 응답하여 생성되는 조직 표면(3608)의 변형을 보여주는 조직 구조부(3602)의 표면의 일정 시퀀스의 단면 뷰들을 나타낸 설명도들이다. 더 구체적으로는, 이 도면들은 가상의 조직 촉진(virtual tissue palpation)을 위한 Q3D 기반 햅틱 피드백의 구현을 예시하고 있다. 예시의 시퀀스로, 기기(3604)가 접촉하여, 조직 구조부(3602)의 조직 표면(3608) 상에 수직 하향 성분을 갖는 힘을 가한다. 이 도면들은 힘에 응답한 복수의 개별 위치들에서의 조직 표면(3608)의 변형을 나타낸다. Q3D 내시경(202)은 다수의 상이한 조직 표면 위치들의 각각에서의 조직 변형을 나타내는 영상 정보를 취득하도록 배치된 상태로 도시되어 있다. 이형(3612)이 조직 구조부(3602) 내의 조직 표면(3608) 아래에 내재된 상태로 도시되어 있다. 조직 구조부(3602)는 고유 강성도(K _t )를 가진다. 이형(3612) 조직 구조부는 다른 고유 강성도(K _a )를 갖는다. 이형 조직 구조부(3612)는 목표 조직 구조부의 표면 아래에 있기 때문에, Q3D는 내시경(202)를 사용하여 취득한 영상에서는 볼 수 없다. 전술한 바와 같이, 강성도 행렬(K _t 및 K _a )는 선험적으로 알려질 수 있다. 이 경우, 시스템(152)은 도 36a의 기기(3604)가 이형을 포함하는 영역을 통과할 때 행렬(K _t )를 행렬(K _a )로 대체하도록 구성될 것이다. 상술한 바와 같이, 사용자나 시스템은 조직 표면에 대한 이형의 포지션을 보여주는 수술전 영상들(pre-operative images)에 기초하여 K _t 로부터 K _a 로의 천이 구역을 식별할 수 있다. 선택적으로, 이형(3612)을 갖는 영역과 이형이 없는 영역 간의 강성도의 상대적 차이를 결정하거나 근사하는 기구가 역시 전술한 바와 같이 시스템(152)에 통합될 수 있다. 이러한 모든 경우에 있어, 시스템(152)은 오프레이터에게 기기에 의해 가해지는 힘에 관한 또는 조직에 의해 제공되는 강성도에 관한 직접적인, 간접적인 또는 상대적인 크기의 햅틱 피드백을 제공한다.

도 37a-37e는 일부 실시예에 따른, 도 36a-36e의 일정 시퀀스의 단면 뷰들에 도시된 예시의 조직 구조부 변형들에 대응되는 TUI 핀 상부면 인터페이스의 예시의 "순시적(instantaneous)" 변형들을 보여주도록 구성된 도 27a-27c의 TUI(2702)의 일정 시퀀스의 단면 뷰들을 나타낸 설명도들이다. 도 37a를 참조하면, TUI(2702)는 일부 실시예에 따라 조직 구조부 표면(3608)에 형성된 변형들에 대응되고 이들을 반영하는 윤곽을 갖는 표면 구조부(3706)를 포함한다. 더 구체적으로는, TUI(2702)는 기기에 의해 가해지는 힘의 크기에, 조직 구조부(3602)에 의해 제공되는 강성도에 또는 Q3D 내시경에 의해 측정되는 조직 변형량에 응답하여 햅틱 피드백 표면(3706)의 물리적 형상을 변경시키도록 협력하는 복수의 핀(2706)을 포함하는 형상 변경 햅틱 피드백 표면 구조부(3706)를 포함한다. 일부 실시예에 따라, TUI 형상 변경 표면(3706)은 TUI 표면을 집합적으로 한정하는 복수의 수직방향 핀(2706)을 포함한다. 각각의 핀(2706)은 TUI 표면 구조부의 형상을 변경시키도록 선택적으로 상승 및 하강된다. TUI 표면을 구성하는 핀들의 상부의 수직방향(축방향) 포지션들은 TUI 표면 윤곽이 조직 구조부 윤곽과 연속적으로 일치하도록 조직 구조부 표면 윤곽의 변화에 응답하여 변경된다. 도 37a-37e의 TUI 표면 변형들은 그것들이 대응되는 조직 구조부 변형들의 존재와 실질적으로 동시에 존재한다는(즉, 사용자가 어떠한 지각가능한 지연도 경험하지 않는다는) 개념을 내포하도록 "순시적((instantaneous))"이라고 일컬어진다. 주어진 TUI의 변형은 대응되는 위치에서의 조직 구조부 변형의 발생에 응답하여 생기게 되고, 대응되는 위치에서의 조직 구조부 형상의 그것의 자연적 형상으로의 복귀에 응답하여 사라진다. 대안적으로, TUI 변형은 가상의 촉진 중에는 기기에 의해 가해지는 힘의 크기에 또는 조직에 의해 제공되는 강성도의 크기에 대응될 수 있다. TUI의 이러한 대안적인 실시예는 도 37a-37e에서 설명된 동일한 원리를 사용하여 구현된다.

도 36a는 기기(3604)에 의한 접촉 이전의 목표 조직 구조부(3602)의 제1 단면 뷰를 도시하고 있다. 도 37a는 기기(3604)가 목표 조직 표면(3608)에 접촉하기 이전의 대응되는 TUI 표면(3706)의 윤곽의 제1 단면 뷰를 도시하고 있다. 이하의 설명을 간단히 하기 위해, 예시의 조직 구조부(3602)의 외부 표면 윤곽은 비교적 평탄하도록 도시되어 있다. 하지만, 조직 구조부(3602)는 자연적으로 곡선형 윤곽을 가질 수 있고, 함몰부 및 융기부와 같은 자연적으로 생기 불규칙부를 가질 수 있다는 것을 이해할 것이다.

도 36b는 기기(3604)가 조직 구조부(3602)의 제1 영역(3601-1)을 변형시키는 힘을 가하도록 표면하 이형(3612) 구조부의 왼쪽의 조직 표면(3608)에 압입되고 있는 조직 구조부(3602)의 제2 단면 뷰를 도시하고 있다. 기기(3604)와 제1 표면 영역(3606-1)에서의 조직 표면 사이의 접촉 지점에서의 변형의 깊이는 적어도 그 접촉 지점에서 표면 상에 가해지는 힘(F_t1)과 그 접촉 지점에서의 목표 조직 표면의 강성도의 함수이다. 예시의 제2 단면 뷰에 있어서, 제1 영역 내에서의 변형의 최저점은 조직 표면(3608)의 인접한 무이상(undisturbed) 영역으로부터의 수직방향 거리(X_t1)이다. 수직방향 거리(X_t1)는 도 8의 Q3D 내시경 시스템(101C)에 의해 측정된다. 다음으로, 시스템(152)은 상술한 바와 같이 대응되는 기기 힘(F_t1)을 연산하거나, 대응되는 국소적 조직 강성도(K_t1)를 추정한다. 도 37b는 기기(3604)가 조직 구조부(3602)의 제1 영역(3606-1)을 양(X_t1)만큼 변형시키는 것에 응답하여, TUI 표면(3706)의 제1 영역(3706-1)의 핀이 제1 양(X_UI1)만큼 후퇴되어 있는 대응되는 TUI 표면(3706)의 윤곽의 제2 단면 뷰를 도시하고 있다. 대안적으로, 동일한 방법, 요소들 또는 단계들이 F_t1 또는 K_t1에 응답하여 TUI 표면을 수정하는 데 적용될 수 있다. 목표 조직 표면의 제1 영역(3606-1)에 대응되는 TUI 표면의 제1 영역(3706-1)에 형성되는 변형은 목표 조직 표면의 제1 영역의 변형의 형상에 대응되는 형상을 가진다. 목표 표면의 제1 영역의 형상은 그것의 자연적인 윤곽으로 복원되었다. TUI 표면의 제1 영역에서의 변형의 깊이(X_UI1)는 적어도 목표 조직 표면의 제1 영역 내에서 목표 조직 표면에 가해진 힘에 응답한 목표 조직 표면의 변형의 깊이(X_t1)의 함수이다. 대안적으로, TUI 표면의 제1 영역에서의 변형의 깊이(X_UI1)는 적어도 F_t1 또는 K_t1의 함수일 수 있다.

도 36c는 기기(3604)가 목표 조직 표면을 변형시키는 힘을 가하도록 표면하 이형 구조부(3612)의 위의 조직 표면의 제2 영역(3606-2)에 압입되고 있는 조직 구조부(3602)의 제3 단면 뷰를 도시하고 있다. 이 예에 있어서는, 기기(3604)와 조직 표면(3602) 사이의 접촉 지점에서의 변형의 깊이는 적어도 그 접촉 지점에서 목표 표면 상에 가해지는 힘과, 그 접촉 지점에서의 목표 조직 표면 및 그 접촉 지점 아래의 표면하 이형 구조부 모두의 강성도의 함수이다. 이 예에 있어서는, 이형(3612)이 목표 조직 구조부(3602)보다 더 큰 강성을 갖는 것으로 가정된다. 이 예에 있어서는, 또한 표면하 이형 구조부는 그것의 강성이 기기에 의해 가해지는 힘에 응답하여 목표 조직 표면의 변형의 깊이에 영향을 미칠 정도로 목표 조직 표면에 충분히 근접한 것으로 가정된다. 예시의 제3 단면 뷰에 있어서는, 목표 조직 표면의 제2 영역(3606-2) 내에서의 변형의 최저점은 목표 조직 표면의 인접한 무이상 영역으로부터의 수직방향 거리(X_t2)이다. 도 37c는 기기가 목표 조직 표면의 제2 영역(3606-2)을 양(X_t2)만큼 변형시키는 것에 응답하여, TUI 표면(3706)의 제2 영역(3706-2)의 핀이 제2 양(X_UI2)만큼 후퇴되어 있는 대응되는 TUI 표면(3706)의 윤곽의 제3 단면 뷰를 도시하고 있다. 목표 조직 표면의 제1 영역(3606-1)이 그것으로부터의 기기 힘의 제거에 응답하여 그것의 자연적인 형상으로 복원되었다는 것을 알 수 있다. 또한, 제1 조직 영역이 그것의 자연적인 형상으로 복원되는 것에 응답하여, TUI 표면의 제1 영역(3706-1)은 그것의 가력전(pre-force) 휴지 형상(rest shape)으로 되돌아간다. 조직 표면의 제2 영역(3606-2)에 대응되는 TUI 표면의 제2 영역(3706-2)에 형성되는 변형은 조직 표면의 제2 영역의 변형의 형상에 대응되는 형상을 가진다. TUI 표면의 제2 영역에서의 변형의 깊이(X_UI2)는 적어도 목표 조직 표면의 제2 영역 내에서 목표 조직 표면에 가해진 힘에 응답한 목표 조직 표면의 변형의 깊이(X_t2)의 함수이다. 대안적으로, 앞서 제시된 원리, 기법, 요소 및 단계들에 따라, TUI 표면의 제2 영역에서의 변형의 깊이(X_UI2)는 적어도 F_t2 또는 K_t2의 함수일 수 있다.

이 예시적인 실시예에 있어서는, 표면하 이형(3612)의 존재로 인해, 조직 구조부(3602)의 제2 영역(3606-2)에서의 강성도가 목표 조직 구조부의 제1 영역(3606-1)에서의 강성도보다 더 높다. 즉, 더 높은 강성도의 표면하 이형이 목표 조직 구조부의 제2 영역(3606-2)의 강성 강화 효과를 가진다. 그 결과, 제1 영역(3606-1)에서의 목표 조직 표면의 변형의 깊이(X_t1)가 제2 영역(3606-2)에서의 목표 조직 표면의 변형의 깊이(X_t2)보다 더 크다. 또한, 제1 영역(3606-1)에서의 목표 조직 표면의 변형의 깊이(X_t1)의 함수인 TUI 피드백 표면의 제1 영역(3706-1)에서의 대응되는 변형의 깊이(X_UI1)가 제2 영역(3606-2)에서의 조직 표면의 변형의 깊이(X_t2)의 함수인 TUI 피드백 표면의 제2 영역(3706-2)에서의 대응되는 변형의 깊이(X_UI2)보다 더 크다. 하지만, 변형의 깊이 대신에, TUI가 국소적 조직 강성도(K_t2)에 따라 그것의 형상을 변경시킨다면, 이형의 존재에 의해 유발되는 증가된 조직 강성도를 반영하기 위해 변형의 양 X_UI2가 X_UI1보다 더 크다. 마찬가지로, 기기 힘이 TUI(2702)에 매핑되는 경우, 변형량 X_UI2는 F_t1으로부터 F_t2로의 힘의 변화에 따라 X_UI1보다 더 클 수도 또는 더 작을 수도 있다.

도 36d는 기기(3604)가 조직 표면(3608)의 제3 영역(3606-3)에 가압되고 있는 조직 구조부(3602)의 제4 단면 뷰를 도시하고 있다. 예시의 제4 단면 뷰에 있어서는, 제3 영역(3606-3) 내에서의 변형의 최저점은 목표 조직 표면(3608)의 인접한 무이상 영역으로부터의 수직방향 거리(X_t3)이다. 도 37d는 기기가 조직 구조부의 제3 영역(3606-3)을 양(X_t3)만큼 변형시키는 것에 응답하여 생성된 대응되는 TUI 피드백 표면(3706)의 윤곽의 제4 단면 뷰를 도시하고 있다. 조직 표면(3608)의 제3 영역(3606-3)에 대응되는 TUI 피드백 표면(3706)의 제3 영역(3706-3)에 형성되는 변형은 조직 표면의 제3 영역(3606-3)의 변형의 형상에 대응되는 형상을 가진다. 또한, 목표 조직 표면의 제2 영역(3606-2)은 그것으로부터의 기기 힘의 제거에 응답하여 그것의 자연적인 형상으로 복원되었다. 또한, 제2 목표 조직 영역이 그것의 자연적인 형상으로 복원되는 것에 응답하여, TUI 피드백 표면(3706)의 제2 영역(3706-2)은 그것의 가력전(pre-force) 휴지 형상(rest shape)으로 되돌아간다. 목표 조직 구조부의 강성도가 목표 조직 표면의 제1 영역 및 제3 영역의 모두에서 실질적으로 동일하기 때문에, 변형의 깊이(X_t1)는 변형의 깊이(X_UI3)와 실질적으로 동일하다. 또한, 변형의 깊이(X_UI1)는 변형의 깊이(X_t1)의 함수이고, 변형의 깊이(X_UI3)는 변형의 깊이(X_t3)의 함수이기 때문에, 변형의 깊이(X_UI1)는 변형의 깊이(X_UI3)와 실질적으로 동일하다.

도 36e는 기기(3604)가 조직 표면(3608)의 제4 영역(3606-4)에 가압되고 있는 목표 조직 구조부(3602)의 제5 단면 뷰를 도시하고 있다. 예시의 제5 단면 뷰에 있어서는, 제4 영역(3606-3) 내에서의 변형의 최저점은 목표 조직 표면(3608)의 인접한 무이상 영역으로부터의 수직방향 거리(X_t4)이다. 도 37e는 기기가 목표 조직 표면(3608)의 제4 영역(3606-4)을 양(X_t4)만큼 변형시키는 것에 응답하여 생성된 대응되는 TUI 피드백 표면(3706)의 윤곽의 제5 단면 뷰를 도시하고 있다. 목표 조직 표면의 제3 영역(3606-3)은 그것으로부터의 기기 힘의 제거에 응답하여 그것의 자연적인 형상으로 복원되었다. 또한, 제3 목표 조직 영역(3603-3)이 그것의 자연적인 형상으로 복원되는 것에 응답하여, TUI 피드백 표면의 제3 영역(3706-3)은 그것의 가력전(pre-force) 휴지 형상(rest shape)으로 되돌아간다. 조직 표면(3608)의 제4 영역(3606-4)에 대응되는 TUI 표면의 제4 영역(3706-4)에 형성되는 변형은 조직 구조부(3602)의 제4 영역(3606-4)의 변형의 형상에 대응되는 형상을 가진다. TUI 피드백 표면(3706)의 제4 영역(3706-4)에서의 변형의 깊이(X_UI4)는 적어도 목표 조직 표면의 제4 영역 내에서 목표 조직 표면에 가해진 힘에 응답한 목표 조직 표면의 변형의 깊이(X_t4)의 함수이다. 목표 조직 표면의 단면 뷰들에 있어서, 목표 조직 변형(X_t1, X_t3 및 X_t4)은 실질적으로 동일하고, 예시의 TUI 표면 변형(X_UI1, X_UI3 및 X_UI4)은 실질적으로 동일하다.

기기(3604)가 조직 표면(3608) 상의 일정 시퀀스의 개별 위치들에서 변형을 발생시키는 것으로 도시되어 있지만, 사용자는 변형의 전면이 목표 조직 표면을 따라 이동하게 만들기 위해 기기가 매끄러운 동작으로 조직 표면을 가로질러 이동하게 만들 수 있다는 것을 이해할 것이다. 그 경우, 도 36a-36e에 도시된 개별 위치들은 그 변형 전면 상의 개별 위치들을 나타낸다. 선택적으로, 사용자는 기기가 하나의 위치에서 다음 위치로 개별적인 건너뛰기(hop)로 이동하게 만들 수 있다. 선택적으로, 시스템(152)이 직접적 또는 간접적 사용자 제어하에 다양한 위치들로 기기들을 자동적으로 이동시킬 수 있다. 간접적 사용자 제어는 사용자 개시에 응답한 프로그램된 명령에 의한 제어를 통한 기기들의 이동을 의미한다. 마찬가지로, 시스템(152)은 프로그램된 명령들로 정해진 알고리즘에 따라 기기들의 운동을 완전히 자동화하도록 구현될 수 있다. 목표 조직 표면을 가로질러 기기를 일정 시퀀스의 개별 동작들로 또는 매끄러운 동작으로 이동시키는 과정에서, 사용자는 TUI 피드백 표면(3706)의 윤곽을 느끼도록 TUI 피드백 표면(3706)에 접촉하고, 상이한 목표 조직 위치들에 대한 기기 힘의 적용에 응답한 목표 조직 표면의 형상 및 강성도의 변화의 육체적 감을 얻을 수 있다. 목표 조직 변형의 양이 적어도 부분적으로 기기 힘이 가해지는 지점에서의 목표 조직 강성도의 함수이기 때문에, TUI 표면의 일정 영역의 변형의 양이 목표 조직 표면의 대응되는 영역의 강성도의 지시를 제공한다. 특히, 예를 들어, 사용자는 일방의 제2 TUI 위치에서의 변형(X_UI1)과 타방의 제1, 제3 및 제4 TUI 위치들에서의 변형(X_UI1, X_UI3 및 X_UI4) 간의 변형의 차이를 감지할 수 있고, 이것이 사용자에게 제2 목표 조직 위치에서의 목표 조직 강성도가 제1, 제3 및 제4 목표 조직 위치들에서의 목표 조직 강성도와 다르다는 것을 지시할 수 있다. 도 36a-36e에 도시된 바와 같이, 이러한 강성도 차이가 보이지 않는 표면하 이형의 존재를 나타낼 수 있다. 따라서, 이 가상의 조직 촉진 시스템 및 방법이 조직 변형, 기기에 의해 가해지는 힘 또는 국소적 조직 강성도에 대한 햅틱 피드백을 제공한다.

도 38a-38e는 일부 실시예에 따른, 도 36a-36e의 일정 시퀀스의 단면 뷰들에 도시된 예시의 조직 구조부 변형들에 대응되는 TUI 피드백 표면(3806)의 예시의 "복합적(composite)" 변형들을 보여주는 도 27a-27c의 TUI의 일정 시퀀스의 단면 뷰들을 나타낸 설명도들이다. 도 38a-38e의 TUI 피드백 표면 변형들은 그들이 누적된다는 개념을 내포하도록 "복합적(composite)"이라고 일컬어진다. 일정 시퀀스의 개별 목표 조직 변형들의 끝에 또는 변형 전면의 발생의 끝에, 누적된 TUI 표면 변형들이 모든 개별 TUI 표면 변형들을 포함하는 하나의 복합적 TUI 표면을 제공하도록, 각각의 TUI 표면 변형은 다른 TUI 표면 변형들이 생성되는 동안 그대로 지속된다. 예를 들어 도 36b-36e의 일정 시퀀스의 목표 표면 변형들에 이어서, 사용자는 TUI 피드백 표면(3806)의 윤곽에 접촉하여, 상이한 목표 조직 위치들에 대한 기기 힘의 적용에 응답한 상이한 개별 위치들에서의 목표 조직 표면(3608)의 형상에 있어서의 변화의 차이의 육체적 감을 얻을 수 있다. TUI 표면의 상이한 위치들에서의 형상 또는 깊이의 차이들은 대응되는 목표 조직 위치들에서의 목표 조직 표면 강성도의 차이들 또는 각각의 조직 위치에서의 기기에 의해 가해지는 힘을 나타낼 수 있다. 예를 들어, 제1 TUI 표면 위치(3806-1), 제3 TUI 표면 위치(3806-3) 및 제4 TUI 표면 위치(3806-4)는 TUI 표면의 휴지 레벨에 대해 각각 양(X_UI1, X_UI3 및 X_UI4)만큼 함몰되어 있고, 제2 TUI 표면 위치(3806-2)는 TUI 표면의 휴지 레벨의 나머지 표면에 대해 다른 양(X_UI2)만큼 함몰되어 있다는 것을 볼 수 있다. 기기가 모든 조직 변형들에 대해 실질적으로 동일한 힘을 가한다고 가정하면, 예시의 예에서, 양(X_UI1, X_UI3 및 X_UI4)은 실질적으로 동일하기 때문에, 양(X_UI1, X_UI3 및 X_UI4)과 양양(X_UI2) 간의 차이는 제2 영역(3606-2) 내의 목표 조직 표면의 강성도의 차이에 인한 것이며, 이것이 숨겨진 표면하 이형(3612)을 지시할 수 있다.

도 39a-39e는 일부 실시예에 따른, 도 36a-36e에 도시된 목표 조직 표면의 예시의 변형들에 응답한, 도 29a-29c의 대안적인 실시예의 TUI(2902) 내의 하나 이상의 핀(2906)의 일정 시퀀스의 변위들을 나타낸 설명도들이다. 햅틱 인터페이스를 제공하는 TUI(2902)는 하나 이상의 핀이 조직 표면의 강성도의 지시를 제공하도록 선택적으로 축방향으로 확장될 수 있는 핀(2906) 어레이를 포함한다. 예시의 예에 있어서, 핀 확장의 길이는 강성도에 비례하여, 핀 확장이 길수록 강성도가 더 큰 것으로 대응된다. 선택적으로, 축방향 구동력이 상술한 바와 같이 더 큰 강성도에 대응하는 것을 나타내도록 증가될 수 있다. 전술한 바와 같이, 조직 표면의 상이한 영역들이 상이한 강성도를 가질 수 있고, 이 상이한 영역들의 상이한 강성도가 숨겨진 표면하 이형의 존재를 지시할 수 있다. 도 39a에 도시된 예시의 초기 핀 변위는 도 36a에 도시된 기기에 의한 접촉 이전의 예시의 목표 조직 표면에 대응되는 양(X_p0)만큼의 휴지의 또는 무활동의 초기 핀 변위를 나타낸다. 도 39b는 도 36b에 나타낸 조직 표면상의 제1 위치(3606-1)에서의 양(X_t1)만큼의 예시의 변형에 응답한 양(X_p1)만큼의 제1 핀 변위를 나타낸다. 도 39c는 도 36c에 나타낸 조직 표면상의 제2 위치(3606-2)에서의 양(X_t2)만큼의 예시의 변형에 응답한 양(X_p2)만큼의 제2 핀 변위를 나타낸다. 도 39d는 도 36d에 나타낸 조직 표면상의 제3 위치(3606-3)에서의 양(X_t3)만큼의 예시의 변형에 응답한 양(X_p3)만큼의 제3 핀 변위를 나타낸다. 도 39e는 도 36e에 나타낸 조직 표면상의 제4 위치(3606-4)에서의 양(X_t4)만큼의 예시의 변형에 응답한 양(X_p4)만큼의 제4 핀 변위를 나타낸다.

목표 조직 표면 강성도가 제1, 제3 및 제4 조직 표면 위치들에서 동일하기 때문에, 제1, 제3 및 제4 핀 변위(X_p1, X_p3 및 X_p4)는 실질적으로 동일하다. 제2 핀 변위(X_p2)는 조직 표면 강성도가 제3 조직 위치(3606-2)에서 더 크기 때문에 나머지 3개의 핀 변위보다 더 크다. 따라서, 핀 변위는 사용자가 하나의 위치로부터 다음번 위치로의 기기의 불연속적 운동을 통하든지 또는 기기의 보다 연속적인 운동을 통하든지 하여, 도 36a-36e에 의해 나타낸 목표 조직 표면 상의 일정 시퀀스의 접촉 위치들을 통해 기기를 제어가능하게 이동시킬 때의 목표 조직 표면 강성도의 지시를 제공한다. 기기가 하나의 위치로부터 다른 위치로 이동할 때의 핀 변위의 변화는 그 2개의 위치 사이에서의 목표 조직 구조부 강성도의 변화를 지시한다. 선택적으로, 기기 힘(_f) 또는 조직 강성도(K)가 TUI에 매핑되는 경우에는, 변위(X_{p1 - 4})는 f 및 K에 의존하고 상술한 단계들에 따라 연산되는 값들을 가진다. 따라서, 이 가상의 조직 촉진 시스템 및 방법이 조직 변형, 기기에 의해 가해지는 힘 또는 국소적 조직 강성도에 대한 햅틱 피드백을 제공한다.

당업자는 상술한 TUI 햅틱 피드백 인터페이스의 사용을 다른 형태의 햅틱 피드백 인터페이스로 대체하는 방법을 알 것이다. 예를 들어, 임계값 이하 전기촉감 자극이 햅틱 피드백의 한 가지 형태로서 사용되면, 자극 전류의 크기가 상술한 단계들에 따라 조절된다. 변위(X_UIi 또는 X_pi)를 조절하는 대신, 자극 전류의 진폭이 그에 맞춰 변경된다. 선택적으로, 제어 입력 장치(160)의 진동이 햅틱 피드백으로서 사용되면, 진동 가속도나 진동 강도가 조직 변위(X_t), 힘(F_t) 또는 강성도(K_t)의 함수로서 조절될 수 있다. 또한, 시각적 인터페이스가 햅틱 피드백을 제공하도록 사용되면, 피드백을 제공하는 시각적 요소(예컨대, 시각적 표지, 막대 그래프, 디지털 디스플레이 등)가 상술한 단계들에 따라 조절된다.

작업 시에, 사용자는 기기가 불연속적 또는 연속적 운동으로 목표 조직 표면을 가로질러 이동되어, 예를 들어 수술 과정 및 조직 타입에 따라 몇 분의 1 밀리미터 범위 내의, 수 밀리미터까지 또는 수 센티미터까지의, 조직 구조부 강성도의 지시를 제공하는 반격을 촉발시키기에 충분히 크지만 조직 손상을 일으킬 정도로 크지는 않은 임상적으로 안전한 양만큼 목표 조직 구조부를 변형시키기에 충분한 작은 수직방향 힘(목표 조직 표면에 대한)으로 압하될 때 수술 장면을 시각적으로 관찰할 수 있다. 예를 들어, 5-40 g의 범위 내의 힘이 심장 수술 과정 중에 사용될 수 있다. 1-30 g의 범위 내의 더 작은 힘이 폐에 대한 중재적 시술 중에 사용될 수 있다. 뼈와 같은 더 강성인 구조부 상에 실행되는 과정은 경우에 따라 100 g를 초과하는 더 높은 레벨의 힘을 사용할 수 있다. 기기가 목표 조직 표면을 가로질러 이동할 ‹š, 햅틱 인터페이스는 목표 조직 구조부 변형, 강성도, 또는 기기에 의해 가해지는 힘의 실시간 지시(사용자가 지각가능한 어떠한 지연도 없는)를 제공한다. 따라서, 사용자는 기기가 그것의 힘을 목표에 부과하는 곳인 목표 조직 표면 상의 현재의 위치를 실시간으로 기기가 주어진 목표 조직 위치에 힘을 제공함과 동시에 시각적으로 추종한다.

도 35를 참조하여 전술한 바와 같이, 일부 실시예에 따라, Q3D 내시경 시스템(101C)이 조직 변위를 측정하고, 다음으로 목표 조직 표면에 부과되는 힘의 크기를 연산하거나 근사(approximation)한다. 작동에 있어, 가상의 촉진 과정 중과 같은 강성도 판정 중에, 목표 조직 표면에 가해지는 힘은 상술한 바와 같이 안전 범위 내에서 유지된다. 더 구체적으로는, 일부 실시예에 따라, 실질적으로 동일한 힘이 도 36b-36e에 나타내진 목표 조직 표면 상의 예시의 불연속적 위치들의 각각에 가해지면, 햅틱 피드백 인터페이스 정보로 표시되는 조직 변형은 국소적 조직 강성도에 반비례한다. 일부 실시예에 있어서, 사용자는 기기에 의해 목표 조직 구조부 상에 부과되는 힘을 조절하기 위해 기기와 목표 조직 구조부 간의 접촉을 제어한다. 따라서, 힘 센서가 모든 강성도 결정 전반에 걸쳐 목표 조직 구조부 상의 실질적으로 일정한 규준화된 힘을 성취하기 위해 사용될 수 있다. 선택적으로, 힘은 시스템(152)에 의해 자동적으로 또는 반자동적으로 제어될 수 있다. 시스템(152)은 또한 Q3D 변위 측정으로부터 결정된 기기 힘의 레벨에 따라 외과의 또는 수술 직원에게 경보를 제공할 수 있다. 예를 들어, 도 35에서, 기기에 의해 가해지는 힘이 특정의 안전 임계값을 초과하는 경우, 적절한 시각적 색인을 제공하는 거에 더하여, 시스템(152)은 가청 경보를 울리거나 시각적 또는 촉감적 경보를 제공할 수도 있다.

본 발명에 따른 실시예들의 전술한 설명 및 도면들은 단지 본 발명의 원리를 예시하는 것이다. 따라서, 다양한 변형들이 첨부된 청구범위에서 한정되는 본 발명의 기술사상 및 범위를 벗어남이 없이 당업자에 의해 상기 실시예들에 이루어질 수 있음을 이해할 것이다.

Claims (19)

1. 의료 과정 중에 햅틱 피드백을 제공하기 위한 시스템에 있어서,
   상기 시스템은:
   동일 평면상에 중첩되는 시계를 갖는 적어도 3개의 영상 센서를 포함하는 영상 센서 어레이를 갖는 정량적 3차원(Q3D) 내시경이며, 각각의 영상 센서는 다른 영상 센서의 픽셀 어레이로부터 분리된 픽셀 어레이를 포함하고, 상기 Q3D 내시경은 상기 중첩되는 시계 내에 배치된 조직 구조부의 상이한 위치들의 변형 거리를 표시하는 Q3D 정보를 취득하도록 작동가능한, 정량적 3차원(Q3D) 내시경;
   상기 중첩되는 시계 내에 배치된 조직 구조부의 상이한 조직 표면 위치들을 변형시키도록 접촉 및 힘을 전달하기 위해 조직 구조부의 표면을 가로질러 이동하도록 작동가능한 수술 기기;
   수술 장면 내의 조직 표면 접촉 위치를 갖는 수술 기기를 식별 및 등록하고, 상기 취득된 Q3D 정보에 기초하여 수술 기기가 상기 상이한 조직 표면 접촉 위치에서 조직 표면에 힘으로 가압될 때 수술 기기 주위의 조직 구조부 변형의 측정값들의 맵을 제공하는 Q3D 모델을 생성하도록 구성된 적어도 하나의 프로세서; 및
   상기 조직 표면 접촉 위치에서의 조직 구조부 변형의 측정값들의 맵을 표시하는 햅틱 피드백을 생성하도록 구성된 햅틱 사용자 인터페이스 장치를 포함하고 있는 것을 특징으로 하는 시스템.
2. 제 1 항에 있어서,
   상기 햅틱 사용자 인터페이스 장치는 형상 디스플레이를 포함하는 것을 특징으로 하는 시스템.
3. 제 1 항에 있어서,
   상기 햅틱 사용자 인터페이스 장치는 축방향으로 정렬된 핀들의 어레이를 포함하는 것을 특징으로 하는 시스템.
4. 제 1 항에 있어서,
   상기 햅틱 사용자 인터페이스 장치는 가변성 전기촉감 자극 공급기를 포함하는 것을 특징으로 하는 시스템.
5. 제 1 항에 있어서,
   상기 햅틱 사용자 인터페이스 장치는 수술 기기 조작 제어 장치를 포함하는 것을 특징으로 하는 시스템.
6. 제 1 항에 있어서,
   상기 프로세스가 임상적으로 안전한 범위를 벗어난 조직 구조부 변형의 측정값을 표시하는 정보를 제공하는 것에 응답하여 경보를 생성하도록 구성된 경보 공급기를 더 포함하는 것을 특징으로 하는 시스템.
7. 제 6 항에 있어서,
   상기 경보 공급기는 가청 경보 공급기를 포함하고, 상기 경보는 가청 경보를 포함하는 것을 특징으로 하는 시스템.
8. 제 6 항에 있어서,
   상기 경보 공급기는 시각적 디스플레이를 포함하고, 상기 경보는 시각적 경보를 포함하는 것을 특징으로 하는 시스템.
9. 제 1 항에 있어서,
   상기 조직 구조부의 변형 중에 상기 조직 구조부에 부과되는 힘을 측정하도록 상기 수술 기기와 연결된 힘 센서; 및
   상기 힘 센서에 의해 측정되는 힘의 시각적 표시를 제공하도록 구성된 시각적 디스플레이를 더 포함하는 것을 특징으로 하는 시스템.
10. 제 1 항에 있어서,
    상기 Q3D 내시경은 이미저를 포함하는 것을 특징으로 하는 시스템.
11. 제 1 항에 있어서,
    상기 Q3D 내시경은 비행 시간 센서를 포함하는 것을 특징으로 하는 시스템.
12. 의료 과정 중에 햅틱 피드백을 제공하기 위한 시스템에 있어서,
    상기 시스템은:
    동일 평면상에 중첩되는 시계를 갖는 적어도 3개의 영상 센서를 포함하는 영상 센서 어레이를 갖는 정량적 3차원(Q3D) 내시경이며, 각각의 영상 센서는 다른 영상 센서의 픽셀 어레이로부터 분리된 픽셀 어레이를 포함하고, 상기 Q3D 내시경은 상기 중첩되는 시계 내에 배치된 조직 구조부의 위치에서의 변형 거리를 표시하는 Q3D 정보를 취득하도록 작동가능한 정량적 3차원(Q3D) 내시경;
    상기 중첩되는 시계 내에 배치된 조직 구조부의 표면 위치를 변형시키도록 접촉 및 힘을 전달하기 위해 작동가능한 수술 기기;
    햅틱 사용자 인터페이스 형상 디스플레이; 및
    적어도 하나의 프로세서를 포함하고 있고,
    상기 햅틱 사용자 인터페이스 형상 디스플레이는:
    상기 조직 구조부의 적어도 일부분을 모델링하는 3차원 윤곽을 제공하고;
    접촉된 조직 구조부 표면 위치에서의 조직 구조부 변형의 측정값을 표시하는 정보에 응답하여 접촉된 조직 구조부 표면 위치에서의 조직 구조부 변형의 표시를 제공하도록 구성되어 있고,
    상기 적어도 하나의 프로세서는 수술 기기가 상기 접촉된 조직 구조부 표면 위치에서 조직 표면에 힘으로 가압될 때 수술 기기 주위의 조직 구조부 변형의 측정값을 표시하는 정보를 포함하는 Q3D 모델을 생성하고, 상기 접촉된 조직 구조부 표면 위치에서의 조직 구조부 변형의 측정값을 표시하는 정보를 상기 햅틱 사용자 인터페이스 형상 디스플레이에 제공하도록 구성되어 있는 것을 특징으로 하는 시스템.
13. 의료 과정 중에 조직 상으로 가해지는 힘을 결정하기 위한 시스템에 있어서,
    상기 시스템은:
    동일 평면상에 중첩되는 시계를 갖는 적어도 3개의 영상 센서를 포함하는 영상 센서 어레이를 갖는 정량적 3차원(Q3D) 내시경이며, 각각의 영상 센서는 다른 영상 센서의 픽셀 어레이로부터 분리된 픽셀 어레이를 포함하고, 상기 Q3D 내시경은 상기 중첩되는 시계 내에 배치된 조직 구조부의 변형 거리를 표시하는 Q3D 정보를 취득하도록 작동가능한 정량적 3차원(Q3D) 내시경;
    상기 중첩되는 시계 내에 배치된 조직 구조부의 표면 위치를 변형시키도록 접촉 및 힘을 전달하기 위해 작동가능한 수술 기기; 및
    수술 기기가 상기 접촉된 조직 구조부 표면에서 조직 표면에 가압될 때 수술 기기 주위의 조직 구조부 변형의 측정값을 표시하는 정보를 포함하는 Q3D 모델을 생성하고, 적어도 부분적으로 상기 조직 변형 정보에 기초하여 상기 수술 기기에 의해 상기 조직 구조부 상으로 가해지는 힘을 결정하도록 구성된 적어도 하나의 프로세서를 포함하고 있는 것을 특징으로 하는 시스템.
14. 제 13 항에 있어서,
    상기 프로세서는 상기 결정된 힘을 표시하는 출력을 생성하는 것을 특징으로 하는 시스템.
15. 제 14 항에 있어서,
    상기 출력이 디스플레이 또는 햅틱 피드백 인터페이스 장치를 구동시키는 것을 특징으로 하는 시스템.
16. 의료 과정 중에 가상의 조직 촉진을 제공하기 위한 시스템에 있어서,
    상기 시스템은:
    동일 평면상에 중첩되는 시계를 갖는 적어도 3개의 영상 센서를 포함하는 영상 센서 어레이를 갖는 정량적 3차원(Q3D) 내시경이며, 각각의 영상 센서는 다른 영상 센서의 픽셀 어레이로부터 분리된 픽셀 어레이를 포함하고, 상기 Q3D 내시경은 상기 중첩되는 시계 내에 배치된 조직 구조부의 변형 거리를 표시하는 Q3D 정보를 취득하도록 작동가능한 정량적 3차원(Q3D) 내시경;
    상기 중첩되는 시계 내에 배치된 조직 구조부의 표면 위치를 변형시키도록 접촉 및 힘을 전달하기 위해 작동가능한 수술 기기; 및
    수술 기기가 상기 접촉된 조직 구조부 표면에서 조직 표면에 가압될 때 수술 기기 주위의 조직 구조부 변형의 측정값을 표시하는 정보를 포함하는 Q3D 모델을 생성하고, 상기 위치에서의 조직 강성도를 결정하고, 적어도 부분적으로 상기 결정된 조직 강성도에 기초하여 가상의 촉진 출력을 제공하도록 구성된 적어도 하나의 프로세서를 포함하고 있는 것을 특징으로 하는 시스템.
17. 제 16 항에 있어서,
    상기 가상의 촉진 출력이 디스플레이 또는 햅틱 피드백 인터페이스 장치를 구동시키는 것을 특징으로 하는 시스템.
18. 제 17 항에 있어서,
    상기 수술 기기를 상기 시계 내의 일련의 위치들로 자동적으로 구동시키도록 구성된 프로세서를 더 포함하는 것을 특징으로 하는 시스템.
19. 제 17 항에 있어서,
    안전 범위를 초과한 가상의 촉진 출력이나 안전 임계값에 대한 증가 또는 감소에 응답하여 경보를 제공하도록 구성된 수단을 더 포함하는 것을 특징으로 하는 시스템.

Images