KR102365889B1

KR102365889B1 - 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Info

Publication number: KR102365889B1
Application number: KR1020167028656A
Authority: KR
Inventors: 앤쏘니 마이클 자크
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2014-03-19
Filing date: 2015-04-30
Publication date: 2022-02-23
Also published as: JP2020103907A; CN110200702A; US20170180720A1; US20200045301A1; EP3119343A4; KR20230042149A; US10965933B2; KR102709112B1; JP6689203B2; US10432922B2; US20220417492A1; WO2015143073A4; JP2022116156A; US20210235068A1; KR20220028139A; US11792386B2; CN110200702B; JP2017516508A; KR20170136413A; KR102512876B1

Abstract

수술 부위의 영상을 사용자에게 디스플레이하도록 구성되는 영상 디스플레이를 포함하는 눈 추적 시스템이 본 명세서에 기술되어 있다. 영상 디스플레이는 제1 파장 범위에서의 광을 방출하도록 구성된다. 본 시스템은 제2 파장 범위에서의 광을 방출하고 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되는 우 눈 추적기를 추가로 포함한다. 본 시스템은 제2 파장 범위에서의 광을 방출하고 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성되는 좌 눈 추적기를 추가로 포함한다. 본 시스템은 영상 디스플레이와 사용자의 우안 및 좌안 사이에 배치된 광학 어셈블리를 추가로 포함한다. 광학 어셈블리는, 좌 눈 추적기 및 우 눈 추적기가 사용자에게 보이는 일 없이, 제1 파장과 제2 파장이 좌안과 영상 디스플레이 사이의 좌 광학 경로의 적어도 일부분을 공유하고 우안과 영상 디스플레이 사이의 우 광학 경로의 적어도 일부분을 공유하도록, 제1 파장 범위 및 제2 파장 범위의 광을 지향시키도록 구성된다. 본 시스템은 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성되는 적어도 하나의 프로세서를 추가로 포함한다.

Description

입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법{MEDICAL DEVICES, SYSTEMS, AND METHODS INTEGRATING EYE GAZE TRACKING FOR STEREO VIEWER}

수술 과정이 원격 조작 의료 시스템(teleoperational medical system)을 사용하여 최소 침습 방식으로 수행될 수 있다. 최소 침습 수술의 이점은 널리 알려져 있으며, 종래의 개복 절개 수술과 비교할 때 보다 적은 환자 외상(patient trauma), 보다 적은 출혈, 및 보다 빠른 회복 시간을 포함한다. 그에 부가하여, 미국 캘리포니아주 서니베일 소재의 Intuitive Surgical, Inc.에 의해 상업화된 DA VINCI® Surgical System과 같은, 원격 조작 의료 시스템의 사용이 공지되어 있다. 이러한 원격 조작 의료 시스템은 수동 최소 침습 수술과 비교할 때 외과의사가 직관적 제어 및 증가된 정밀도로 수술을 할 수 있게 한다.

원격 조작 의료 시스템은 하나 이상의 로봇 아암들에 결합되는 하나 이상의 기구들을 포함할 수 있다. 본 시스템이 최소 침습 수술을 수행하는 데 사용되는 경우, 기구들은, 작은 절개부 또는, 예를 들어, 입, 요도 또는 항문과 같은 자연적 구멍(natural orifice) 등의, 환자의 하나 이상의 작은 개구(opening)들을 통해 수술 부위(surgical area)에 접근할 수 있다. 어떤 경우에, 기구(들)를 개구(들)를 통해 직접 삽입하기보다는, 캐뉼라(cannula) 또는 다른 안내 요소가 각각의 개구 내로 삽입될 수 있고, 기구가 수술 부위에 접근하기 위해 캐뉼라를 통해 삽입될 수 있다. 내시경과 같은 영상 도구(imaging tool)가 수술 부위를 보기 위해 사용될 수 있고, 영상 도구에 의해 포착된 영상이 수술 동안 외과의사가 보게 될 영상 디스플레이 상에 디스플레이될 수 있다.

최소 침습 의료 시술 동안 다양한 적용 분야들을 위해 눈 시선 추적을 효과적으로 그리고 정확하게 이용할 수 있는 원격 조작 의료 시스템을 제공하는 것이 바람직하다. 본원에 개시되는 시스템 및 방법은 종래 기술의 단점들 중 하나 이상을 극복한다.

하나의 예시적인 양태에서, 본 개시 내용은 영상 디스플레이, 우 눈 추적기(right eye tracker), 좌 눈 추적기(left eye tracker), 및 적어도 하나의 프로세서를 포함하는 눈 추적 시스템에 관한 것이다. 영상 디스플레이는 수술 부위(surgical field)의 영상을 사용자에게 디스플레이하도록 구성된다. 일 양태에서, 우 눈 추적기는 사용자의 우안의 제1 주시점(gaze point)에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 우 눈 추적기는 우 입체 영상 디바이스(right stereo imaging device)를 포함한다. 일 양태에서, 좌 눈 추적기는 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 좌 눈 추적기는 좌 입체 영상 디바이스(left stereo imaging device)를 포함한다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다.

다른 예시적인 양태에서, 본 개시 내용은 영상 디스플레이, 우 눈 추적기, 좌 눈 추적기, 광학 어셈블리, 및 적어도 하나의 프로세서를 포함하는 눈 추적 시스템에 관한 것이다. 영상 디스플레이는 수술 부위의 영상을 사용자에게 디스플레이하도록 구성되고, 제1 파장 범위에서의 광을 방출하도록 구성된다. 일 양태에서, 우 눈 추적기는 제2 파장 범위에서의 광을 방출하고 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 좌 눈 추적기는 제2 파장 범위에서의 광을 방출하고 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 광학 어셈블리는 영상 디스플레이와 사용자의 우안 및 좌안 사이에 배치되어 있다. 일 양태에서, 광학 어셈블리는, 좌 눈 추적기 및 우 눈 추적기가 사용자에게 보이는 일 없이, 제1 파장과 제2 파장이 좌안과 영상 디스플레이 사이의 좌 광학 경로(left optical path)의 적어도 일부분을 공유하고 우안과 영상 디스플레이 사이의 우 광학 경로(right optical path)의 적어도 일부분을 공유하도록, 제1 파장 범위 및 제2 파장 범위의 광을 지향시키도록 구성된다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다.

다른 예시적인 양태에서, 본 개시 내용은 의료 시술을 수행하는 원격 조작 의료 시스템에 관한 것이다. 일 양태에서, 원격 조작 의료 시스템은 눈 추적 시스템 및 제어 유닛을 포함한다. 일 양태에서, 눈 추적 시스템은 영상 디스플레이, 적어도 하나의 우 눈 추적기, 적어도 하나의 좌 눈 추적기, 및 적어도 하나의 프로세서를 포함한다. 영상 디스플레이는 수술 부위(surgical field)의 영상을 사용자에게 디스플레이하도록 구성된다. 일 양태에서, 적어도 하나의 우 눈 추적기는 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되고, 적어도 하나의 좌 눈 추적기는 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다. 일 양태에서, 제어 유닛은 결정된 관찰 위치에 기초하여 원격 조작 의료 시스템의 적어도 하나의 기능을 제어하도록 구성된다.

다른 예시적인 양태에서, 본 개시 내용은 영상 디스플레이, 적어도 하나의 우 눈 추적기, 적어도 하나의 좌 눈 추적기, 우안 광 방출기, 및 좌안 광 방출기, 광학 어셈블리, 및 적어도 하나의 프로세서를 포함하는 눈 추적 시스템에 관한 것이다. 영상 디스플레이는 수술 부위의 입체 영상을 사용자에게 디스플레이하도록 구성된다. 일 양태에서, 적어도 하나의 우 눈 추적기는 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되고, 적어도 하나의 좌 눈 추적기는 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 우안 광 방출기는 제1 파장 범위의 광을 사용자의 우안으로 방출하도록 구성되고, 좌안 광 방출기는 제1 파장 범위의 광을 사용자의 좌안으로 방출하도록 구성된다. 일 양태에서, 광학 어셈블리는 영상 디스플레이와 사용자의 양눈 사이에 위치되어 있다. 일 양태에서, 광학 어셈블리는 사용자의 양눈, 눈 추적기들, 및 광 방출기들 사이의 광 통신을 제공하도록 배열된 우안 거울 세트(right eye mirror set) 및 좌안 거울 세트(left eye mirror set)를 포함한다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 입체 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다.

이 실시예들 및 다른 실시예들이 이하의 도면들과 관련하여 이하에서 더 논의된다.

본 개시 내용의 양태들은 첨부 도면과 함께 읽을 때 이하의 상세한 설명으로부터 가장 잘 이해된다. 강조할 점은, 산업계에서의 표준 실무에 따라, 다양한 특징들이 축척에 따라 그려져 있지 않다는 것이다. 실제로, 다양한 특징들의 치수가 논의의 명확함을 위해 임의로 확대 또는 축소되어 있을 수 있다. 그에 부가하여, 본 개시 내용은 다양한 예들에서 참조 번호 및/또는 문자를 반복할 수 있다. 이 반복은 간단함 및 명확함을 위한 것이며, 그 자체로 논의되는 다양한 실시예들 및/또는 구성들 간의 관계에 영향을 미치지 않는다.
도 1a는 본 개시 내용의 일 실시예에 따른 예시적인 원격 조작 의료 시스템을 나타낸 도면.
도 1b, 도 1c, 및 도 1d는 본 개시 내용의 다양한 실시예들에 따른 원격 조작 의료 시스템의 예시적인 컴포넌트들을 나타낸 도면. 상세하게는, 도 1b는 본 개시 내용의 일 실시예에 따른 예시적인 원격 조작 어셈블리의 정면 입면도. 도 1c는 본 개시 내용의 일 실시예에 따른 예시적인 조작자 입력 시스템의 정면 입면도. 도 1d는 본 개시 내용의 일 실시예에 따른 예시적인 비전 카트 컴포넌트(vision cart component)의 정면도.
도 2a는 본 개시 내용의 일 실시예에 따른, 예시적인 영상 디스플레이 및 수술 부위에 상대적인 사용자의 3D 좌표 프레임(3D coordinate frame)의 블록도.
도 2b는 본 개시 내용의 일 실시예에 따른, 원격 조작 시스템 및/또는 수술 기구에 영향을 미치기 위해 눈 추적 유닛을 사용하는 예시적인 방법을 나타낸 플로우차트.
도 3a 내지 도 3d는 본 개시 내용에 따른, 도 1a, 도 1b, 및 도 1c의 원격 조작 의료 시스템에 의해 사용되는 입체 뷰어의 눈 추적 시스템의 다양한 실시예들을 개략적으로 도면.
도 4a는 본 개시 내용의 일 실시예에 따른, 도 3a 내지 도 3d의 눈 추적 시스템을 사용하여 외과의사의 3D 주시점을 결정하는 방법을 나타낸 도면.
도 4b는 본 개시 내용의 일 실시예에 따른, 미리 결정된 목표물(T)이 교정 프로세스 동안 디스플레이 상에 보여질 때 외과의사의 각막 반사 및 동공을 추적하는 눈 추적 유닛들의 일 예를 나타낸 개략도.
도 4c는 본 개시 내용의 일 실시예에 따른, 외과의사의 각막 반사 및 동공 위치에 대응하는 2D 좌표 프레임의 일 예를 나타낸 개략도.

본 개시 내용의 원리들의 이해를 돕기 위해, 도면들에 예시된 실시예들이 이제부터 참조될 것이고, 실시예들을 기술하기 위해 특정 표현이 사용될 것이다. 그럼에도 불구하고 본 개시 내용의 범주를 제한하는 것으로 의도되어 있지 않다는 것을 잘 알 것이다. 이하의 상세한 설명에서, 개시된 실시예들의 완전한 이해를 제공하기 위해 많은 구체적인 상세가 기재되어 있다. 그렇지만, 본 개시 내용의 실시예들이 이 구체적인 상세가 없어도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게는 명백할 것이다. 다른 경우에, 본 개시 내용의 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 널리 공지된 방법들, 절차들, 컴포넌트들 및 회로들이 상세히 기술되지 않았다.

본 개시 내용의 원리들의 기술된 디바이스들, 기구들, 방법들, 및 임의의 추가 적용 분야에 대한 임의의 대안들 및 추가의 수정들이 본 개시 내용에 관련되어 있는 기술 분야의 통상의 기술자에게는 통상적으로 안출될 것으로 충분히 생각되고 있다. 상세하게는, 일 실시예와 관련하여 기술되는 특징들, 컴포넌트들, 및/또는 단계들이 본 개시 내용의 다른 실시예들과 관련하여 기술되는 특징들, 컴포넌트들, 및/또는 단계들과 결합될 수 있다는 것이 충분히 생각되고 있다. 그에 부가하여, 본원에 제공되는 치수들은 특정의 예에 대한 것이며, 본 개시 내용의 개념들을 구현하기 위해 상이한 크기들, 치수들, 및/또는 비율들이 이용될 수 있다는 것이 생각되고 있다. 불필요한 설명 반복을 피하기 위해, 하나의 예시적인 실시예에 따라 기술되는 하나 이상의 컴포넌트들 또는 동작들이 적용가능한 경우 다른 예시적인 실시예들로부터 사용되거나 생략될 수 있다. 간결함을 위해, 이 조합들의 수많은 반복들이 개별적으로 기술되지 않을 것이다. 간단함을 위해, 어떤 경우에, 도면들 전체에 걸쳐 동일하거나 유사한 부분들을 지칭하기 위해 동일한 참조 번호가 사용된다.

이하의 실시예들은 다양한 기구들 및 기구들의 부분들을 3차원 공간에서의 그들의 상태의 면에서 기술할 것이다. 본원에서 사용되는 바와 같이, 용어 "위치(position)"는 3차원 공간에서의 물체 또는 물체의 일부분의 위치를 지칭한다(예컨대, X, Y, Z 직교 좌표를 따라 3 개의 평행 이동 자유도(degree of translational freedom)). 본원에서 사용되는 바와 같이, 용어 "배향(orientation)"은 물체 또는 물체의 일부분의 회전 배치(rotational placement)를 지칭한다(3 개의 회전 자유도(degree of rotational freedom) - 예컨대, 롤(roll), 피치(pitch) 및 요(yaw) -). 본원에서 사용되는 바와 같이, 용어 "자세(pose)"는 적어도 하나의 평행 이동 자유도에서의 물체 또는 물체의 일부분의 위치 및 적어도 하나의 회전 자유도에서의 그 물체 또는 물체의 일부분의 배향을 지칭한다(최대 6 개의 총 자유도(total degree of freedom)). 본원에서 사용되는 바와 같이, 용어 "형상"은 가늘고 긴 물체를 따라 측정되는 자세들, 위치들, 또는 배향들의 세트를 지칭한다.

용어 "근위(proximal)"및 "원위(distal)"가 임상의(clinician)로부터 수술 부위까지 연장되는 기구의 단부를 조작하는 임상의와 관련하여 본원에서 사용된다는 것을 잘 알 것이다. 용어 "근위"는 임상의에 보다 가까운 기구의 부분을 지칭하고, 용어 "원위"는 임상의로부터 보다 멀리 떨어지고 수술 부위에 보다 가까운 기구의 부분을 지칭한다. 간결함 및 명확함을 위해, "수평", "수직", "위쪽" 및 "아래쪽"과 같은 공간 용어들이 도면들과 관련하여 본원에서 사용될 수 있다. 그렇지만, 수술 기구들이 많은 배향들 및 위치들에서 사용되고, 그 용어들은 제한하는 것으로 그리고 절대적인 것으로 의도되어 있지 않다.

본 개시 내용은 일반적으로, 진단, 수술, 및/또는 치료 과정(이들로 제한되지 않음)을 비롯한, 각종의 의료 시술에서 사용되는 원격 조작 의료 시스템 및/또는 기구의 사용 동안 사용자의 눈의 특성들을 관찰하고 측정하기 위해 눈 추적 시스템을 사용하는 것(예컨대, 눈 시선 추적)에 관한 것이다. 상세하게는, 일부 실시예에서, 본원에 개시되는 눈 추적 시스템은 수술 콘솔(surgical console) 상에서의 사용자의 눈 시선의 정확한 위치(예컨대, 2D 또는 3D 위치)를 추적할 수 있는 것에 의존한다. 일부 실시예에서, 눈 추적 시스템은 시스템 기구들을 직접 조작하는 것에 의해 그리고/또는 시스템 전체에 걸친 변경을 실시하기 위해 시스템 특성들에 영향을 미치는 것에 의해 원격 조작 시스템을 제어하는 데 사용될 수 있다. 상세하게는, 본 개시 내용의 일부 실시예는 조작자가 최소 침습 시술 중에 원격 조작 의료 시스템을 사용하는 동안 수술 콘솔 상에서의 조작자의 눈 시선을 정확하게 추적하는 것에 의한 시스템 및 기구 제어에 관한 것이다.

원격 조작되는 수술 시스템에서, 외과의사의 눈 주시점이 수술 동안, 입체 카메라와 같은, 하나 이상의 눈 추적기들에 의해 추적될 수 있다. 그렇지만, 눈 시선 추적이, 비제한적인 예로서, 사용자의 머리 위치의 변화 및 (예컨대, 입체 뷰를 생성하는) 각각의 눈에 대한 개별적인 영상 디스플레이들을 비롯한, 다양한 인자들로 인해 부정확할 수 있다. 예를 들어, 외과의사의 눈의 동공의 위치 및 각막 반사가 외과의사의 머리와 눈 배향의 조합에 의해 결정될 수 있다. 많은 경우에, 외과의사의 머리 움직임, 콘솔에 대한 외과의사의 머리 압력, 및/또는 수술 동안 눈 추적기들에 의한 영상 가려짐은 종래의 기법들을 사용하는 정확하고 효과적인 눈 시선 추적을 손상시킬 수 있다. 종래에, 눈 시선 추적 기법들은 눈 추적 프로세스 동안 사용되기 위해 원격 조작 수술 시스템 밖에 배치된 외부 디바이스를 필요로 한다. 예를 들어, 외부 디바이스가 수술 동안 외과의사에 의해 착용되는 안경에 장착될 수 있다. 보통 외부 눈 추적 디바이스와 외과의사의 양눈 사이에 거리 및 상대 운동이 있다. 따라서, 이러한 종류의 외부 눈 추적 디바이스는 외과의사에게 불편 및 거북한 느낌을 야기할 수 있을 뿐만 아니라, 외과의사의 수술의 정확도에도 영향을 미칠 수 있다. 대안적으로, 종래의 눈 시선 추적 디바이스는 접안경 근방에 위치될 수 있다. 이 구성은, 외과의사가 접안경을 들여다볼 때, 외과의사의 시야에 대한 방해를 야기할 수 있다. 예를 들어, 눈 시선 추적 디바이스의 가장자리가 외과의사의 시야에 보일 수 있고, 이는 외과의사를 산만케하거나 외과의사의 수술 부위의 뷰를 열화시킬 수 있다. 일부 실시예에서, 본 명세서에 기술되는 눈 시선 추적 디바이스는 눈 추적기들이, 외과의사에 보이지 않은 채로 있는 동안, 디스플레이된 영상과 동일한 광학 경로의 적어도 일부를 공유할 수 있게 하도록 구성된다.

본원에 개시되는 실시예들은, 비제한적인 예로서, 사용자 머리 움직임, 머리 압력, 카메라 또는 추적기에 의한 영상 가려짐, 및/또는 각각의 눈에의 독립적인 영상 디스플레이와 같은, 통상의 오류 유발 인자들을 보상하는 것에 의해 눈 추적 디바이스의 정확도를 개선시킨다. 본 명세서에 기술되는 실시예들은, 각각의 눈에 대한 하나 이상의 눈 추적기들로부터 획득된 위치 데이터 및 일정한 동공간 거리의 가정(및/또는 다른 눈 추적 특성들)에 기초하여 3D 눈 시선 위치를 보다 정확하게 예측하는 모델을 사용하는 것에 의해, 이 오류 유발 인자들을 참작한다. 상세하게는, 사용자의 각각의 눈이 그 자신의 독립적인 눈 추적기에 의해 측정된다. 본 기술 분야의 통상의 기술자는 본원에 개시되는 눈 추적 시스템이 보다 정확한 시선 지원 시스템 및/또는 기구 제어로부터 이득을 보는 유사한(예컨대, 비원격 조작) 응용 분야들에서 이용될 수 있다는 것을 잘 알 것이다. 본원에 개시되는 눈 추적 시스템 및 방법을 이용하는 것에 의해, 사용자는 원격 조작 의료 시스템과의 보다 직관적이고 보다 효율적인 상호작용을 경험할 수 있다.

다양한 실시예에 따르면, 기구 전달 및 조작을 안내하기 위해 원격 조작 시스템을 사용하여 최소 침습 의료 시술이 수행될 수 있다. 도면들 중 도 1a를 참조하면, 예를 들어, 진단, 치료, 또는 수술 과정을 비롯한 의료 시술에서 사용하기 위한 원격 조작 의료 시스템은 전체적으로 참조 번호(10)로 표시되어 있다. 기술될 것인 바와 같이 본 개시 내용의 원격 조작 의료 시스템은 외과의사의 원격 조작 제어 하에 있다. 대안의 실시예에서, 원격 조작 의료 시스템은 시술 또는 하위 시술(sub-procedure)을 수행하도록 프로그램된 컴퓨터의 부분적 제어 하에 있을 수 있다. 또 다른 대안의 실시예에서, 완전 자동 의료 시스템은, 시술 또는 하위 시술을 수행하도록 프로그램된 컴퓨터의 전면적 제어 하에서, 시술 또는 하위 시술을 수행하는 데 사용될 수 있다. 도 1에 도시된 바와 같이, 원격 조작 의료 시스템(10)은 일반적으로 환자(P)가 위치되어 있는 수술대(O) 근방에 있거나 그에 장착된 원격 조작 어셈블리(12)를 포함한다. 원격 조작 어셈블리(12)는 PSM(patient-side manipulator)이라고 지칭될 수 있다. 의료 기구 시스템(14)은 원격 조작 어셈블리(12)에 동작가능하게 결합되어 있다. 조작자 입력 시스템(16)은 외과의사 또는 다른 유형의 임상의(S)가 수술 부위의 영상 또는 수술 부위를 나타내는 영상을 볼 수 있게 하고 의료 기구 시스템(14)의 동작을 제어할 수 있게 한다. 조작자 입력 시스템(16)은 마스터 또는 외과의사의 콘솔이라고 지칭될 수 있다. 본 개시 내용에 기술되는 시스템들 및 기법들을 구현하는 데 사용될 수 있는 원격 조작 수술 시스템의 일 예는 미국 캘리포니아주 서니베일 소재의 Intuitive Surgical, Inc.에 의해 제조되는 da Vinci® Surgical System이다.

원격 조작 어셈블리(12)는 의료 기구 시스템(14)을 지지하고, 하나 이상의 비서보 제어 링크(non-servo controlled link)들(예컨대, 일반적으로 셋업 구조(set-up structure)라고 지칭되는, 제자리에 수동으로 위치되고 잠금될 수 있는 하나 이상의 링크들)의 운동학적 구조(kinematic structure) 및 원격 조작 매니퓰레이터(teleoperational manipulator)를 포함할 수 있다. (예컨대, 도 2를 참조) 원격 조작 어셈블리(12)는 의료 기구 시스템(14) 상에서의 입력들을 구동하는 복수의 모터들을 포함한다. 그 모터들은 제어 시스템(22)으로부터의 명령들에 응답하여 움직인다. 모터들은, 의료 기구 시스템(14)에 결합될 때, 의료 기구를 자연적으로 또는 외과적으로 생성된 해부학적 구멍 내로 전진시킬 수 있는 구동 시스템을 포함한다. 다른 모터 구동 시스템(motorized drive system)은, 3 개의 직선 운동 자유도(예컨대, X, Y, Z 직교좌표 축을 따른 직선 운동) 및 3 개의 회전 운동 자유도(예컨대, X, Y, Z 직교좌표 축을 중심으로 한 회전)를 포함할 수 있는, 다수의 자유도로 의료 기구의 원위 단부를 움직일 수 있다. 그에 부가하여, 모터가 기구의 관절운동가능 엔드 이펙터(articulable end effector)를 작동(actuate)시키는 데 사용될 수 있다.

원격 조작 의료 시스템(10)은 또한 내시경과 같은 영상 포착 디바이스, 및 연관된 영상 처리 하드웨어 및 소프트웨어를 포함하는 영상 포착 시스템(18)을 포함한다. 원격 조작 의료 시스템(10)은 또한 원격 조작 어셈블리(12)의 센서들, 모터들, 액추에이터들, 및 다른 컴포넌트들, 조작자 입력 시스템(16), 및 영상 포착 시스템(18)에 동작가능하게 연결되는 제어 시스템(22)을 포함한다.

조작자 입력 시스템(16)은, 수술대(O)와 동일한 방에 보통 위치되는, 외과의사의 콘솔에 위치될 수 있다. 그렇지만, 외과의사(S)가 환자(P)와 상이한 방 또는 완전히 상이한 건물에 위치될 수 있다는 것을 잘 알 것이다. 조작자 입력 시스템(16)은 일반적으로 의료 기구 시스템(14)을 제어하기 위한 하나 이상의 제어 디바이스(들)를 포함한다. 보다 구체적으로는, 외과의사의 입력 명령들에 응답하여, 제어 시스템(22)은 의료 기구 시스템(14)의 서보 기계식 움직임(servomechanical movement)을 달성한다. 제어 디바이스(들)는 손잡이, 조이스틱, 트랙볼, 데이터 글러브(data glove), 트리거 건(trigger-gun), 손 조작 제어기(hand-operated controller), 발 조작 제어기(foot-operated controller), 음성 인식 디바이스, 터치 스크린, 신체 동작 또는 프레즌스(presence) 센서 등과 같은, 임의의 수의 각종의 입력 디바이스들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 제어 디바이스(들)는, 외과의사가 수술 현장에 있는 것처럼 기구들을 직접 제어한다는 강한 느낌을 갖도록 제어 디바이스(들)가 기구들과 일체로 되어 있다는 인지(perception)인, 텔레프레즌스(telepresence)를 외과의사에게 제공하기 위해 원격 조작 어셈블리의 의료 기구들과 동일한 자유도를 제공받을 것이다. 다른 실시예에서, 제어 디바이스(들)는 연관된 의료 기구들보다 많거나 적은 자유도를 가지며 텔레프레즌스를 외과의사에게 여전히 제공할 수 있다. 일부 실시예에서, 제어 디바이스(들)는 6 자유도로 움직이고 또한 기구들을 작동시키기 위한(예를 들어, 파지 조(grasping jaw)를 오므리는 것, 전극에 전위를 가하는 것, 약물 치료제를 전달하는 것 등을 위한) 작동가능 핸들(actuatable handle)을 포함할 수 있는 수동 입력 디바이스이다.

시스템 조작자는 조작자 입력 시스템(16)에 동작가능하게 결합되거나 그 내에 포함되는 디스플레이 시스템(20) 상에서 보도록 제시되는, 영상 포착 시스템(18)에 의해 포착된, 영상을 본다. 디스플레이 시스템(20)은 영상 포착 시스템(18)의 서브시스템들에 의해 발생되는 수술 부위 및 의료 기구 시스템(들)(14)의 영상 또는 표현을 디스플레이한다. 디스플레이 시스템(20) 및 조작자 입력 시스템(16)은 조작자가 텔레프레즌스의 인지와 함께 의료 기구 시스템(14) 및 조작자 입력 시스템(16)을 제어할 수 있도록 배향될 수 있다. 디스플레이 시스템(20)은, 조작자의 각각의 눈에 개별적인 영상을 제시하고 따라서 조작자가 입체 영상을 볼 수 있게 하기 위해, 개별적인 좌 디스플레이 및 우 디스플레이와 같은, 다수의 디스플레이들을 포함할 수 있다.

대안적으로 또는 그에 부가하여, 디스플레이 시스템(20)은 CT(computerized tomography), MRI(magnetic resonance imaging), 형광 투시(fluoroscopy), 서모그래피(thermography), 초음파, OCT(optical coherence tomography), 열 영상(thermal imaging), 임피던스 영상(impedance imaging), 레이저 영상(laser imaging), 나노튜브 X-선 영상(nanotube X-ray imaging) 등과 같은 영상 기술을 사용하여 수술 전에 또는 수술 중에 기록 및/또는 촬영된 수술 부위의 영상을 제시할 수 있다. 제시되는 수술 전 또는 수술 중 영상들은 2차원, 3차원, 또는 4차원(예컨대, 시간 기반 또는 속도 기반 정보를 포함함) 영상 및 영상을 재생하기 위한 연관된 영상 데이터 세트를 포함할 수 있다.

제어 시스템(22)은 적어도 하나의 메모리 및 적어도 하나의 프로세서(도시되지 않음), 그리고 원격 조작 시스템(12), 의료 기구 시스템(14), 조작자 입력 시스템(16), 영상 포착 시스템(18), 및 디스플레이 시스템(20) 사이의 제어를 수행하기 위한 전형적으로 복수의 프로세서들을 포함한다. 제어 시스템(22)은 또한 본원에 개시되는 양태들에 따라 기술된 방법들의 일부 또는 전부를 구현하기 위해 프로그램된 명령어들(예컨대, 명령어들을 저장하는 컴퓨터 판독가능 매체)을 포함한다. 제어 시스템(22)이 도 1의 간략화된 개략도에 단일 블록으로 도시되어 있지만, 이 시스템은 2개 이상의 데이터 처리 회로들을 포함할 수 있고, 처리의 한 부분은 임의로 원격 조작 어셈블리(12) 상에서 또는 그에 인접하여 수행되고, 처리의 다른 부분은 조작자 입력 시스템(16)에서 수행되며, 기타 등등이다. 아주 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍처들 중 임의의 것이 이용될 수 있다. 이와 유사하게, 프로그램된 명령어들은 다수의 개별적인 프로그램들 또는 서브루틴들로서 구현될 수 있거나, 본 명세서에 기술되는 원격 조작 시스템들의 다수의 다른 양태들에 통합될 수 있다. 일 실시예에서, 제어 시스템(22)은, 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 원격검침(Wireless Telemetry)과 같은, 무선 통신 프로토콜들을 지원한다.

일부 실시예에서, 제어 시스템(22)은 의료 기구 시스템(104)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기들을 포함할 수 있다. 피드백에 응답하여, 서보 제어기들은 신호들을 조작자 입력 시스템(16)으로 전송한다. 서보 제어기(들)는 또한 환자 신체에서의 개구들을 통해 신체 내의 내부 수술 부위 내로 연장되는 의료 기구 시스템(들)(14)을 움직이라고 원격 조작 어셈블리(12)에 지시하는 신호들을 전송할 수 있다. 임의의 적당한 종래의 또는 특수 서보 제어기가 사용될 수 있다. 서보 제어기는 원격 조작 어셈블리(12)로부터 분리되어 있거나 그와 통합되어 있을 수 있다. 일부 실시예에서, 서보 제어기 및 원격 조작 어셈블리는 환자의 신체에 인접하여 위치되는 원격 조작 아암 카트(teleoperational arm cart)의 일부로서 제공된다.

이 실시예에서, 원격 조작 의료 시스템(10)은 또한 조작자 입력 시스템(16)에 동작가능하게 결합되거나 그에 포함될 수 있는 눈 추적 유닛(24)을 포함한다. 눈 추적 유닛(24)은 조작자가 디스플레이(20)를 보고 있고 그리고/또는 조작자 입력 시스템(16)에서 조작자 제어들을 조작하고 있는 동안 조작자의 양눈에 관련된 정보를 감지, 측정, 기록, 및 전달하기 위해 제어 시스템(22)에 동작가능하게 결합된다.

원격 조작 의료 시스템(10)은, 조명 시스템, 조향 제어(steering control) 시스템, 관주(irrigation) 시스템 및/또는 흡인(suction) 시스템과 같은, 임의적인 조작 및 지원 시스템들(도시되지 않음)을 추가로 포함할 수 있다. 대안의 실시예에서, 원격 조작 시스템은 하나 초과의 원격 조작 어셈블리 및/또는 하나 초과의 조작자 입력 시스템을 포함할 수 있다. 매니퓰레이터 어셈블리들의 정확한 개수는, 인자들 중에서도 특히, 수술 과정 및 수술실 내에서의 공간 제약조건들에 의존할 것이다. 조작자 입력 시스템들이 나란히 배치될 수 있거나, 개별적인 장소들에 위치될 수 있다. 다수의 조작자 입력 시스템들은 한 명 초과의 조작자가 하나 이상의 매니퓰레이터 어셈블리들을 다양한 조합으로 제어할 수 있게 한다.

도 1b는 일 실시예에 따른, 원격 조작 어셈블리(100)(예컨대, 도 1a에 도시된 원격 조작 어셈블리(12))의 정면 입면도이다. 어셈블리(100)는 바닥 위에 놓여 있는 베이스(102), 베이스(102) 상에 장착되어 있는 지지 타워(104), 및 수술 도구(surgical tool)들(영상 포착 시스템(18)의 부분들을 포함함)을 지지하는 몇 개의 아암들을 포함한다. 도 1b에 도시된 바와 같이, 아암들(106a, 106b, 106c)은 조직을 다루는 데 사용되는 수술 기구들을 지지하고 움직이는 기구 아암(instrument arm)이고, 아암(108)은 내시경을 지지하고 움직이는 카메라 아암이다. 도 1b는 기구 아암들(106a, 106b, 106c) 상에, 각각, 장착되는 교체가능한 수술 기구들(110a, 110b, 110c)을 추가로 나타내고 있고, 카메라 아암(108) 상에 장착된 내시경(112)을 나타내고 있다. 내시경(112)은 수술 부위의 입체 영상들을 포착하여 개별적인 입체 영상들을 디스플레이 시스템(20)에 제공하기 위한 입체 내시경일 수 있다. 정통한 자는 기구들 및 카메라를 지지하는 아암들이 또한 천장 또는 벽에 또는 어떤 경우에 수술실에 있는 다른 장비(예컨대, 수술대)에 장착된 베이스 플랫폼(고정되거나 이동가능함)에 의해 지지될 수 있다는 것을 잘 알 것이다. 마찬가지로, 정통한 자는 2개 이상의 개별적인 베이스들이 사용될 수 있다(예컨대, 하나의 베이스가 각각의 아암을 지지함)는 것을 잘 알 것이다.

도 1b에 추가로 예시된 바와 같이, 기구들(110a, 110b, 110c) 및 내시경(112)은 기구 인터페이스들(각각, 150a, 150b, 150c, 및 150d) 및 기구 샤프트들(각각, 152a, 152b, 152c, 및 152d)을 포함한다. 일부 실시예에서, 원격 조작 어셈블리(100)는 기구들(110a, 110b, 110c) 및 내시경(112)을 캐뉼라에 대해 고정시키는 캐뉼라에 대한 지지체를 포함할 수 있다. 일부 실시예에서, 기구 아암들(106a, 106b, 106c, 및 108) 각각의 부분들은 기구들(110a, 110b, 110c) 및 내시경(112)을 환자에 대해 위치시키기 위해 수술실에 있는 직원에 의해 조절가능할 수 있다. 아암들의 다른 부분들(106a, 106b, 106c, 및 108)은 (도 1c에 도시된 바와 같은) 조작자 입력 시스템(120)에서 조작자에 의해 작동되고 제어될 수 있다. 수술 기구들(110a, 110b, 110c) 및 내시경(112)이 또한 조작자 입력 시스템(120)에서 조작자에 의해 제어될 수 있다.

도 1c는 조작자 입력 시스템(120)(예컨대, 도 1a에 도시된 조작자 입력 시스템(16))의 정면 입면도이다. 조작자 입력 시스템(120)은, 수술 기구들(110a, 110b, 110c) 및 내시경(112)을 제어하는 데 사용되는 운동학적 연쇄(kinematic chain)인, 좌 및 우 다중 DOF(degree-of-freedom) 제어 인터페이스(122a 및 122b)를 갖춘 콘솔(121)을 포함한다. 외과의사는 제어 인터페이스들(122) 각각 상의 핀처 어셈블리(pincher assembly)(124a, 124b)를, 전형적으로 엄지손가락과 집게손가락으로, 파지하고, 핀처 어셈블리를 다양한 위치 및 배향으로 움직일 수 있다. 도구 제어 모델이 선택될 때, 제어 인터페이스들(122) 각각은 대응하는 수술 기구 및 기구 아암(106)을 제어하도록 구성된다. 예를 들어, 좌 제어 인터페이스(122a)는 기구 아암(106a) 및 수술 기구(110a)에 결합될 수 있고, 우 제어 인터페이스(122b)는 기구 아암(106b) 및 수술 기구(110b)에 결합될 수 있다. 제3 기구 아암(106c)이 수술 과정 동안 사용되고 좌측에 위치되면, 좌 제어 인터페이스(122a)는 아암(106a) 및 수술 기구(110a)를 제어하는 것으로부터 아암(106c) 및 수술 기구(110c)를 제어하는 것으로 전환될 수 있다. 마찬가지로, 제3 기구 아암(106c)이 수술 과정 동안 사용되고 우측에 위치되면, 우 제어 인터페이스(122a)는 아암(106b) 및 수술 기구(110b)를 제어하는 것으로부터 아암(106c) 및 수술 기구(110c)를 제어하는 것으로 전환될 수 있다. 어떤 경우에, 제어 인터페이스들(122a, 122b)과 아암(106a)/수술 기구(110a)의 조합 및 아암(106b)/수술 기구(110b)의 조합 사이의 제어 할당이 또한 교환될 수 있다. 이것은, 예를 들어, 내시경이 180도 롤링되는 경우, 내시경의 시야에서 움직이는 기구가 외과의사가 움직이고 있는 제어 인터페이스와 동일한 측면에 나타나도록, 행해질 수 있다. 핀처 어셈블리는 전형적으로 수술 기구(110)의 원위 단부에 있는 조를 갖는 수술용 엔드 이펙터(jawed surgical end effector)(예컨대, 가위, 파지 견인기(grasping retractor) 등)를 조작하는 데 사용된다.

부가의 제어들은 풋 페달(foot pedal)들(128)을 구비하고 있다. 풋 페달들(128) 각각은 기구들(110) 중 선택된 기구 상의 특정 기능을 활성화시킬 수 있다. 예를 들어, 풋 페달들(128)은 드릴 또는 소작 도구(cautery tool)를 활성화시킬 수 있거나, 관주, 석션, 또는 다른 기능들을 조작할 수 있다. 다수의 기구들이 페달들(128) 중 다수의 페달들을 누르는 것에 의해 활성화될 수 있다. 기구들(110)의 특정 기능이 다른 제어들에 의해 활성화될 수 있다.

외과의사의 콘솔(120)은 또한 입체 영상 뷰어 시스템(126)(예컨대, 도 1a에 도시된 디스플레이 시스템(20))을 포함한다. 입체 영상 뷰어 시스템(126)은 좌 접안경(125a) 및 우 접안경(125b)을 포함하고, 따라서 외과의사는 입체 영상 뷰어 시스템(126) 내에서 외과의사의 좌안과 우안을 사용하여, 각각, 좌 입체 영상과 우 입체 영상을 볼 수 있다. 외과의사가 디스플레이 시스템(예컨대, 도 1a에 도시된 디스플레이 시스템(20)) 상에서 3차원 영상으로서 인지하는 내시경(112)에 의해 포착된 좌측 영상과 우측 영상이 대응하는 좌 영상 디스플레이와 우 영상 디스플레이 상에 출력된다. 유리한 구성에서, 제어 인터페이스들(122)은, 디스플레이에 보여지는 수술 도구들의 영상들이 디스플레이 아래쪽에서 외과의사의 양손 근방에 위치되는 것처럼 보이도록, 입체 영상 뷰어 시스템(126) 아래쪽에 위치된다. 이 특징은 외과의사가 양손을 직접 보는 것처럼 3차원 디스플레이에서 다양한 수술 기구들을 직관적으로 제어할 수 있게 한다. 그에 따라, 연관된 기구 아암 및 기구의 서보 제어가 내시경 영상 기준 프레임(endoscopic image reference frame)에 기초한다.

내시경 영상 기준 프레임은 또한 제어 인터페이스들(122)이 카메라 제어 모드로 전환되는 경우에도 사용된다. 어떤 경우에, 카메라 제어 모드가 선택되면, 외과의사는 제어 인터페이스들(122) 중 하나 또는 둘 다를 한꺼번에 움직이는 것에 의해 내시경(112)의 원위 단부를 움직일 수 있다. 외과의사는 이어서, 영상을 자신의 양손으로 잡고 있는 것처럼 제어 인터페이스들(122)을 움직이는 것에 의해, 디스플레이된 입체 영상을 직관적으로 움직일 수 있다(예컨대, 패닝(pan), 틸팅(tilt), 줌잉(zoom)할 수 있다).

도 1c에 추가로 도시된 바와 같이, 헤드레스트(headrest)(130)가 입체 영상 뷰어 시스템(126) 위쪽에 위치되어 있다. 외과의사가 입체 영상 뷰어 시스템(126)을 통해 쳐다보고 있을 때, 외과의사의 이마는 헤드레스트(130)와 맞닿게 위치된다. 본 개시 내용의 일부 실시예에서, 내시경(112) 또는 다른 수술 기구들의 조작이 제어 인터페이스들(122)을 이용하는 대신에 헤드레스트(130)의 조작을 통해 달성될 수 있다. 일부 실시예에서, 헤드레스트(130)는, 예를 들어, 압력 센서, 로커 플레이트(rocker plate), 광학적으로 모니터링되는 슬립 플레이트(slip plate), 또는 외과의사의 머리의 움직임을 검출할 수 있는 다른 센서들을 포함할 수 있다. 내시경 카메라를 제어하기 위해 헤드레스트를 조작하는 데 감지 방법을 사용하는 것에 관한 추가 상세는, 예를 들어, 발명의 명칭이 "ENDOSCOPE CONTROL SYSTEM"인 미국 출원 제61/865,996호 - 참고로 본원에 포함됨 - 에서 찾아볼 수 있다.

도 1d는 수술 시스템의 비전 카트 컴포넌트(140)의 정면도이다. 예를 들어, 일 실시예에서, 비전 카트 컴포넌트(140)는 도 1a에 도시된 의료 시스템(10)의 일부이다. 비전 카트(140)는 수술 시스템의 중앙 전자 데이터 처리 유닛(142)(예컨대, 도 1a에 도시된 제어 시스템(22)의 전부 또는 부분들) 및 비전 장비(vision equipment)(144)(예컨대, 도 1a에 도시된 영상 포착 시스템(18)의 부분들)를 하우징하고 있다. 중앙 전자 데이터 처리 유닛(142)은 수술 시스템을 조작하는 데 사용되는 데이터 처리의 상당 부분을 포함한다. 그렇지만, 다양한 구현에서, 전자 데이터 처리가 외과의사 콘솔(120)과 원격 조작 어셈블리(100)에 분산될 수 있다. 비전 장비(144)는 내시경(112)의 좌 및 우 영상 포착 기능을 위한 카메라 제어 유닛들을 포함할 수 있다. 비전 장비(144)는 또한 수술 부위를 촬영하기 위한 조명을 제공하는 조명 장비(예컨대, 크세논 램프)를 포함할 수 있다. 도 1d에 도시된 바와 같이, 비전 카트(140)는, 어셈블리(100) 상에 또는 환자측 카트(patient side cart) 상에와 같은, 다른 곳에 장착될 수 있는 임의적인 터치 스크린 모니터(146)(예를 들어, 24-인치 모니터)를 포함한다. 비전 카트(140)는, 전기 수술 유닛(electrosurgical unit), 취입기(insufflator), 석션 관주 기구(suction irrigation instrument), 또는 써드파티 소작 장비(cautery equipment)와 같은, 임의적인 보조 수술 장비를 위한 공간(148)을 추가로 포함한다. 원격 조작 어셈블리(100) 및 외과의사의 콘솔(120)은, 예를 들어, 광섬유 통신 링크를 통해, 비전 카트(140)에 결합됨으로써, 3 개의 컴포넌트들이 함께 외과의사에게 직관적 텔레프레즌스를 제공하는 단일의 원격 조작 최소 침습 수술 시스템으로서 기능한다.

유의할 점은, 일부 실시예에서, 원격 조작 수술 시스템의 어셈블리(100)의 일부 또는 전부가 가상(시뮬레이트된) 환경에서 구현될 수 있고, 여기서 외과의사의 콘솔(120)에서 외과의사가 보게 되는 영상의 일부 또는 전부가 기구들 및/또는 해부 구조(anatomy)의 합성 영상일 수 있다는 것이다. 일부 실시예에서, 이러한 합성 영상이 비전 카트 컴포넌트(140)에 의해 제공되고 그리고/또는 외과의사의 콘솔(120)에서 (예컨대, 시뮬레이션 모듈을 통해) 직접 발생될 수 있다.

도 1a 내지 도 1d를 참조하여 기술되는 원격 조작 수술 시스템에 의한 전형적인 최소 침습 수술 과정 동안, 적어도 2 번의 절개가 환자의 신체에 (보통 연관된 캐뉼라를 위치시키기 위해 투관침(trocar)을 사용하여) 행해진다. 하나의 절개는 내시경 카메라 장비를 위한 것이고, 다른 절개들은 수술 기구들을 위한 것이다. 일부 수술 과정에서, 수술 부위에 대한 접근 및 촬영을 제공하기 위해 몇 개의 기구 및/또는 카메라 포트들이 사용된다. 절개가 종래의 개복 수술을 위해 사용되는 보다 큰 절개와 비교하여 비교적 작지만, 환자 외상을 추가로 감소시키기 위해 그리고 개선된 미용술을 위해 최소 횟수의 절개가 요망된다. 다른 실시예에서, 원격 조작 의료 시스템(10)은 환자 해부 구조에의 단일 절개 접근으로 또는 코, 입, 항문, 질(vagina) 등과 같은 자연적인 구멍을 통한 접근으로 사용될 수 있다.

전형적인 원격 조작 수술 동안, 외과의사가 수술 시스템, 영상 디바이스들, 및/또는 시스템과 연관된 다른 수술 기구들을 제어하기 위해 다양한 제어들을 물리적으로 조작하는 것이 종종 필요하다. 예를 들어, 외과의사는 디바이스를 안내하고 그에 영향을 미치기 위해 제어들을 물리적으로 조작하는 것에 의해 영상 디바이스의 시야를 조절할 필요가 있을 수 있다. 외과의사는, 수술 시스템에 로그인하기 위해, 내시경의 뷰 내에서 목표 수술 부위를 탐색하기 위해, 클램프(clamp)와 같은 수술 기구의 움직임을 조작하기 위해, 그리고/또는 시스템 설정 또는 디스플레이 설정을 조절하기 위해, 조이스틱 또는 마우스를 수동으로 제어하는 데 자신의 손을 사용하거나, 외과의사의 콘솔에서 풋 페달을 태핑(tap)하는 데 자신의 발을 사용할 수 있다. 종래의 방법들은 외과의사가 한쪽 손을 수술로부터 자유롭게 하는 것 또는 풋 페달을 태핑하기 위해 한쪽 발을 사용하는 것을 요구하고, 그 둘 다는 수술을 불필요하게 지연시키거나 방해할 수 있다. 예를 들어, 손 또는 발 동작이 외과의사의 시선 및 주의를 목표 수술 부위로부터 외과의사의 콘솔로 돌릴 수 있고, 이는 수술을 지연시키거나 방해할 수 있을 것이다. 요구된 수동 조절을 수행한 후에, 외과의사는 자신의 주의를 재집중하고 주시점을 목표 수술 부위에 재포커싱하는 데 부가 시간을 소비할 필요가 있을 수 있다.

본원에 개시되는 실시예들은 한 명 이상의 사용자들(예컨대, 외과의사 및/또는 교관)이 수술 시스템과 인터페이싱하는 방식을 향상시키기 위해 시선 검출을 이용한다. 사용자의 눈 시선(예컨대, 디스플레이 시스템 또는 다른 수술 시스템 컴포넌트에 상대적인 사용자의 눈 시선의 위치)을 수술 시스템으로 보내지는 명령들로 변환하는 것에 의해, 본원에 개시되는 실시예들은 종래의 제어 방법에 의해 제공되는 것보다 원격 조작 의료 시스템(10)에 대한 보다 빠르고 보다 효율적인 제어를 가능하게 할 수 있다. 눈 추적 또는 눈 시선 추적은 POG(point-of-gaze: 주시점)(즉, 전형적으로 3D 공간에서 사용자가 쳐다보고 있는 곳), 또는 머리에 상대적인 눈의 움직임 중 어느 하나를 측정하는 프로세스이다. 환언하면, POG는 사람의 시선이 향해 있는 공간에서의 지점이며, 또한 각각의 눈의 망막(즉, 중심와(fovea))의 최고 시력 영역(highest acuity region)의 중심에 결상되는 공간에서의 지점으로도 정의되었다.

도 2a는 영상 디스플레이(151)(예컨대, 도 1a에 도시된 영상 디스플레이 시스템(20)) 및 수술 부위(155)에 상대적인 사용자(U)(예컨대, 외과의사 또는 감독관)의 블록도를 나타낸 것이다. 사용자(및 사용자의 양눈)은 제1 3D 좌표 프레임(160)에 존재하고, 영상 디스플레이(151)는 제2 3D 좌표 프레임(165)을 포함하며, 수술 부위는 제3 3D 좌표 프레임(170)에 존재한다. 각각의 좌표 프레임(160, 165, 170)은 다른 것들과 상이한 차원들 및 특성들을 포함한다. 사용자가 제1 프레임(160)에서의 자신의 시선을 제2 프레임(165)에서의 영상 디스플레이(165)에 상대적으로 이동시킬 때, 본 명세서에 개시되는 실시예들은 그 눈 움직임을, 원격 조작 의료 시스템(10) 및/또는 디스플레이의 제2 프레임(165) 및/또는 수술 부위의 제3 프레임(170)에서의 수술 기구에 그에 대응하여 영향을 미치기 위해, 제어 신호로 변환할 수 있다.

일 양태에서, 눈 시선 추적 및 다른 눈 특성들의 관찰이 원격 조작 의료 시스템(10)과 통신하고 그리고/또는 그 전체의 거동에 영향을 미치기 위해 사용될 수 있다. 예를 들어, 도 1a에 도시된 눈 추적 유닛(24)에 의해 관찰된 눈 특성들 및 통태가 (예컨대, 망막 스캔과 유사한 방식으로) 외과의사 인식 및 로그인을 위해 사용될 수 있다. 어떤 경우에, 사용자의 눈 시선이 공간에서의(예컨대, 제3 좌표 프레임(170)에서의) 수술 기구들의 3D 위치들을 더 잘 교정하고 원격 로봇 아암 운동학적 연쇄의 가능한 부정확성을 고려하는 데 사용될 수 있다. 일부 실시예에서, 사용자 인터페이스(예컨대, 메뉴)가 영상 디스플레이 상에 보여지는 수술 부위의 영상 위에 오버레이될 수 있다. 어떤 경우에, 제1 좌표 프레임(160)에서의 사용자의 눈 시선은 제2 좌표 프레임(165)에서 영상 디스플레이(151) 상에서의 관찰 위치를 결정하는 데 사용될 수 있고, 결정된 관찰 위치에 대응하는 사용자 인터페이스의 사용자 선택가능 옵션들 중에서의 사용자의 선택을 식별해줄 수 있다. 어떤 경우에, 사용자의 시선의 3D 위치는 양눈 사이의 관찰된 동태에 기초하여 사용자가 입체 영상을 보고 있는지를 정량화하는 데 사용될 수 있다.

다른 양태에서, 비제한적인 예로서, 영상 디바이스 및/또는 에너지 전달 디바이스와 같은, 원격 조작 의료 시스템(10)에 결합되어 있는 개별 수술 기구들을 활성화, 비활성화, 그리고 다른 방식으로 제어하기 위해 실시간 눈 시선 추적이 사용될 수 있다. 예를 들어, 시스템(10)은, 제어 시스템(예컨대, 프로세서)이 관찰 위치가 미리 결정된 길이의 시간 동안 수술 기구의 위치와 일치하는 것으로 결정하면, 수술 기구를 활성화시키도록 구성될 수 있다.

도 2b는 원격 조작 의료 시스템(100) 및/또는 임의의 연관된 수술 기구들을 제어하고 그에 영향을 미치기 위해 눈 추적 유닛을 사용하는 예시적인 방법을 기술하는 플로우차트(180)를 나타낸 것이다. 본 명세서에 기술되는 방법 프로세스들 중 임의의 방법 프로세스는, 적어도 부분적으로, 하나 이상의 프로세서들에 의해 실행될 수 있는 비일시적, 유형적 머신 판독가능 매체 상에 저장된 실행가능 코드의 형태로 구현될 수 있다. 프로세스(182)에서, 도 2a에 도시된 제1 좌표 프레임(160)에 있는, 사용자(U)는, 제2 좌표 프레임(165)에 있는, 영상 디스플레이(151)에서의 특정의 3D 위치를 주시한다. 프로세스(184)에서, 눈 추적 유닛(예컨대, 도 1a에 도시된 눈 추적 유닛(24))의 좌 및 우 눈 추적기는 사용자(U)의 눈 특성(예컨대, 눈 시선을 반영하는 특성)을 관찰하고 측정한다. 일부 실시예에서, 좌 및 우 눈 추적기기는 영상 디스플레이(151)의 제2 좌표 프레임(165)에 상대적인 사용자의 각각의 눈의 눈 시선을 측정한다. 프로세스(186)에서, 제어 시스템(예컨대, 도 1a에 도시된 제어 시스템(22))은, 사용자의 양눈이 향해 있는 (제2 좌표 프레임(165) 내에서의) 영상 디스플레이(151) 상에서의 3D 위치를 결정하기 위해, 눈 추적기로부터의 측정된 눈 시선 데이터를 사용한다. 일부 실시예에서, 제어 시스템은 양눈으로부터의 반사로부터 눈 추적기에 의해 수광되는 광의 입사각을 추적하는 것에 의해 관찰된 위치를 결정할 수 있다. 일부 실시예에서, 프로세서(206)는 처음에 사용자가 영상 디스플레이(151) 상의 기지의 위치들에 디스플레이되는 목표 표식을 볼 때 기준 입사각(baseline incident angle)을 결정하기 위해 교정 프로세스(예컨대, 도 4a에 기술되는 교정 프로세스(302))를 수행하고, 검출된 각도와 영상 디스플레이(151) 상에서의 관찰된 위치 사이의 기능적 관계를 발생시킬 수 있다. 제어 시스템은 이어서 사용자가 영상 디스플레이(151) 상의 다른 위치를 볼 때 입사각을 추적하고, 발생된 기능적 관계를 대응하는 관찰된 위치를 결정(예컨대, 교정된 각도 및 위치로부터 외삽)하는 데 사용할 수 있다.

프로세스(188)에서, 제어 시스템은 사용자가 영상 디스플레이(151) 상의 디스플레이된 표식들 중 하나(예컨대, 메뉴 옵션)를 그 표식의 선택을 위한 정의된 조건을 충족시키는 방식으로 보고 있는지를 결정한다. 그러한 경우, 프로세스(190)에서, 사용자가 표식을 선택하는 것은 제어 시스템으로 하여금 디스플레이된 표식에 대응하는 기능을 개시하게 한다. 예를 들어, 일부 실시예에서, 사용자의 시선은 원격 조작 의료 시스템(100)에의 로그온, 또는 영상 디스플레이(151)의 조명, 또는 다양한 다른 시스템 설정과 연관된 표식의 선택을 나타낼 수 있다.

그렇지 않은 경우, 프로세스(192)에서, 제어 시스템은 제2 기준 프레임(165)에서의 보여진 3D 위치를 제3 좌표 프레임(170)에서의 수술 부위(155) 내의 대응하는 3D 위치에 서로 위치 맞춤(co-register)시킨다. 프로세스(194)에서, 제어 시스템은 사용자가 영상 디바이스 또는 다른 수술 기구를 조작하기 위한 정의된 조건을 충족시키는 방식으로 수술 부위를 쳐다보고 있는지를 결정한다. 그러한 경우, 프로세스(196)에서, 사용자가 수술 부위의 특정의 영역 또는 수술 부위 내의 특정의 기구를 주시하는 것은 제어 시스템(206)으로 하여금 사용자의 시선의 특성에 대응하는 방식으로 관련 기구에 영향을 미치게 한다. 예를 들어, 일부 실시예에서, 앞서 언급된 바와 같이, 사용자가 수술 부위(155)의 특정의 영역을 주시하면, 영상 디바이스는 사용자의 시선을 "따라가고" (예컨대, 영상 디바이스의 시야의 중앙을 사용자의 주시점에 위치시키기 위해) 영상 디바이스의 시야의 중앙을 재설정한다. 다른 실시예에서, 사용자가 특정의 수술 기구를 미리 정의된 길이의 시간 동안 주시하면, 수술 기구가 활성화될 수 있다. 그렇지 않은 경우, 프로세스(198)에서, 눈 추적기들은 가능한 지시들이 있는지 사용자의 시선을 계속하여 평가한다.

눈 움직임 및 시선 방향을 측정하기 위한 다수의 방법들이 있다. 본 명세서에 기술되는 하나의 방법에서, IR(infrared) 광 방출기는 IR 광을 사용자의 눈 쪽으로 방출한다. IR 광이 사용자의 망막으로부터 (동공을 통해) 다시 IR 유닛(예컨대, IR 카메라 또는 다른 영상 디바이스) 쪽으로 반사되고, 반사된 IR 광의 양은 방출기에 상대적인 사람의 시선의 방향에 기초한다. 일부 실시예에서, 반사된 IR 광이 특정 양의 시간 동안 특정의 문턱값에 도달하면 3D 공간에서의 사용자의 주시점이 결정될 수 있다. 시선의 짧은 소멸(small lapse)은 깜빡임으로서 해석될 수 있고, 전형적으로 무시된다. 다른 눈 추적 방법들은 비디오 영상 - 이로부터 눈 위치가 추출됨 - 을 사용하거나, 탐색 코일(search coil)을 사용하거나, 전기 안구도(electrooculogram)에 기초한다.

도 3a는 사용자의 주시점(예컨대, "사용자가 보고 있는 곳") 또는 머리에 상대적인 눈의 움직임을 결정하기 위해, 눈 위치 및 눈 움직임과 같은, 사용자의 눈 특성을 측정하는 눈 추적 시스템(220)을 개략적으로 나타낸 것이다. 눈 추적 시스템(200)은 영상 디스플레이(208), 적어도 하나의 광 방출기(210), 눈 추적 유닛(212), 및 광학 어셈블리(213)를 포함한다. 하나 이상의 눈 추적 시스템들(200)이 외과의사의 콘솔(120)에 통합될 수 있다. 광학 어셈블리(213)는 눈(202)과 광 방출기(210), 눈 추적 검출기(212), 및 영상 디스플레이(208) 사이의 광 전송 경로에 위치된다. 광학 어셈블리(213)는 광 방출기(210)로부터의 눈 추적 광(즉, IR 광)을 눈(202) 쪽으로, 영상 디스플레이(208)로부터의 가시광을 눈(202) 쪽으로, 그리고 눈(202)으로부터의 반사된 눈 추적 광(예컨대, IR 광)을 눈 추적 검출기(212) 쪽으로 지향시킨다. 이 실시예에서, 방출된 눈 추적 광, 반사된 눈 추적 광, 및 가시광은 눈(202)과 광학 어셈블리(213) 사이의 광학 경로를 공유한다. 도 3b, 도 3c, 및 도 3d에 보다 상세히 기술되는 바와 같이, 눈 추적 유닛은 2개 이상의 카메라 또는 다른 영상 디바이스를 이용하거나 단일의 입체 포착 영상 디바이스를 이용하는 입체 영상 디바이스일 수 있다. 각각의 눈 추적 시스템(200)은 외과의사의 좌안 또는 우안 중 어느 하나를 독립적으로 추적하는 데 사용될 수 있다. 예를 들어, 광학 어셈블리(213)가 광을 외과의사의 좌안(예컨대, 도 3b에 도시된 눈(202a)) 쪽으로 지향시키는 데 사용되는 경우, 눈 추적 시스템(200)은 좌안 시선을 나타내는 특성을 검출하도록 구성된다. 광학 어셈블리(213)가 광을 외과의사의 우안(예컨대, 도 3b에 도시된 눈(202b)) 쪽으로 지향시키는 데 사용되는 경우, 눈 추적 시스템(200)은 우안 시선을 나타내는 특성을 검출하도록 구성된다. 도 3b에 보다 상세히 기술되는 바와 같이, 눈 추적 시스템(200)은 눈 추적 검출기(212)에 의해 추적되는 눈(202)의 눈 특성 데이터(예컨대, 동공 위치 데이터 또는 각막 반사 데이터)를 처리하기 위해 하나 이상의 프로세서들과 결합될 수 있다.

도 3a에 도시된 바와 같이, 영상 디스플레이(208)로부터 방출되는 가시광(211a)은 광학 어셈블리(213)에 의해 외과의사의 눈(202) 쪽으로 지향된다. 광 방출기(210)에 의해 방출되는 눈 추적 광(예컨대, IR 광)(211b)은 광학 어셈블리(213)에 의해 외과의사의 눈 쪽으로 지향되고, 외과의사의 눈(202)에 의해 다시 광학 어셈블리(213) 쪽으로 반사된다. 광학 어셈블리(213)는 외과의사의 눈(202)로부터 반사된 눈 추적 광을 눈 추적 유닛(212) 쪽으로 지향시킨다.

일부 실시예에서, 광학 어셈블리(213)는 가시광 및 눈 추적 광 둘 다를 반사시키도록 배열된 하나 이상의 거울들을 포함한다. 대안의 실시예에서, 광학 어셈블리(213)는 어떤 광 빔은 반사시키면서 다른 광 빔은 투과시키는 빔 분할기 또는 다른 광학 필터링 요소를 포함할 수 있다. 예를 들어, 도 3c에 기술된 바와 같이, 광학 어셈블리는, IR 광과 같은, 특정의 파장 범위에서의 광은 선택적으로 통과시키면서, 가시광과 같은, 그 특정의 파장 범위 밖의 광은 반사시키도록 구성되는 이색성 요소(예컨대, 필터 또는 거울)를 포함할 수 있다. 광학 어셈블리(213)는 또한 임의의 다른 적당한 수 및 배열의 거울들 및/또는, 비제한적인 예로서, 이색성 거울(예컨대, 부분적으로 반사성이 있고 부분적으로 투과성이 있는 부분 반사 거울), 이색성 광학 코팅을 갖는 반사체, 이색성 거울을 갖는 프리즘(dichroic mirrored prism), 복굴절 재료, 및/또는 편광 빔 분할기와 같은, 다른 광학 디바이스들을 포함할 수 있다. 광학 어셈블리(213)는 눈 추적 시스템(200) 내의 컴포넌트들이 보다 많은 각종의 가능한 배열들을 가질 수 있게 하는데, 그 이유는, 눈 추적 유닛(212)으로부터의 광(211b)이 영상 디스플레이(208)로부터의 가시광과 동일한 광학 경로를 적어도 부분적으로 공유하더라도, 광학 어셈블리(213)의 거울들 및/또는 필터들이 눈 추적 유닛(212)을 외과의사에 보이지 않게 효과적으로 "감출" 수 있기 때문이다.

도 3b는 본 개시 내용의 일 실시예에 따른, 눈 추적 시스템(220)을 나타낸 도면이다. 눈 추적 시스템(220)은 도 1a, 도 1b, 및 도 1c의 원격 조작 의료 시스템(10)에 의해 사용될 수 있다. 예를 들어, 눈 추적 시스템(220)은 본 개시 내용의 일부 실시예에 따른 외과의사의 콘솔(120)에 있는 입체 뷰어(126)에 부분적으로 또는 전체적으로 포함될 수 있다. 눈 추적 시스템(220)은 좌 및 우 접안경(125a 및 125b), 좌안 및 우안 거울 세트(204a 및 204b)를 포함하는 광학 어셈블리(235), 좌안 및 우안 영상 디스플레이(208a 및 208b), 좌안 및 우안 광 방출기(210a 및 210b), 그리고 좌 및 우 눈 추적 유닛(212a 및 212b)을 포함한다. 도시된 실시예에서, 눈 추적 시스템(220)은 좌안 프로세서(214a), 우안 프로세서(214b), 및 적분기(216)를 포함한다.

시스템(220)의 좌 및 우 접안경(125a, 125b)은 외과의사의 콘솔(120)의 컴포넌트일 수 있다(도 1c를 참조). 좌 및 우 접안경(125a, 125b)은 렌즈를 포함하고, 외과의사는 외과의사의 좌안과 우안으로, 각각, 좌 및 우 접안경(125a, 125b)을 통해 좌 및 우 영상 디스플레이(208a, 208b)를 볼 수 있다. 렌즈는 광원(예컨대, 광 방출기(210a, 210b) 및/또는 영상 디스플레이(208a, 208b))으로부터의(예컨대, 광원으로부터 방출되거나 반사된) 광을 검출기(양눈(202a, 202b) 등) 쪽으로 집속시킬 수 있다. 렌즈는 목표물로부터의 광을 수집하고, 실상(real image)을 생성하기 위해, 그 광 빔을 집속시키는 대물 렌즈를 포함할 수 있다. 일부 실시예에서, 상이한 사용자들의 상이한 동공간 거리(interpupillary distance)를 참작하기 위해 좌 접안경(125a)과 우 접안경(125b) 사이의 거리가 조절가능하다. 일부 실시예에서, 좌 및 우 접안경(125a, 125b)은, 각각, 외과의사의 좌안 및 우안 시력의 요구에 기초하여 독립적으로 조절될 수 있다. 일부 실시예에서, 좌 및 우 접안경(125a, 125b)은 광 방출기 및/또는 좌안 및 우안 영상 디스플레이(208a, 208b)로부터의 광의 반사를 최소화하고 투과를 최대화하도록 구성되는 적당한 광학 코팅을 포함할 수 있다.

좌안 및 우안 광 방출기(210a, 210b)는, 각각, 외과의사의 좌안 및 우안을 조명하기 위해 광(211b)을 방출하고, 반사된 광이 좌안 및 우안에 대한 주시점을, 각각, 추적하기 위해 좌 및 우 눈 추적 유닛(212a, 212b)에 의해, 각각, 포착될 수 있다. 일부 실시예에서, 좌 및 우 광 방출기(210a 및 210b)는, IR LED(IR light emitting diode)와 같은, IR(infrared) 광 방출기일 수 있다. 일부 실시예에서, 각각의 눈에 대해 하나 초과의 광 방출기(예컨대, 각각의 눈에 대해 2개의 광 방출기)가 있을 수 있다. 각각의 광 방출기로부터 방출되는 광이 단일의 눈에 개별적인 반사들인 것처럼 보이도록, 각각의 눈에 대한 다수의 광 방출기들이 미리 결정된 거리만큼 떨어져 있을 수 있다. 일부 실시예에서, 하나 이상의 좌안 광 방출기들(210a)이 좌 눈 추적 유닛들(212a)과 서로 통합될 수 있고, 하나 이상의 우안 광 방출기들(210b)이 우 눈 추적 유닛들(212b)과 서로 통합될 수 있다. 다양한 실시예들은 각각의 눈에 대해 임의의 수의 추적 유닛들을 포함할 수 있다. 일부 실시예는 좌안과 우안에 대해 같지 않은 수의 추적 유닛들을 포함할 수 있다.

좌 눈 추적 유닛들(212a)은 외과의사의 좌안의 주시점을 추적하는 데 사용될 수 있고, 우 눈 추적 유닛들(212b)은 외과의사의 우안의 주시점을 추적하는 데 사용될 수 있다. 도 3b에 도시된 바와 같이, 눈 추적 유닛들(212a, 212b) 각각은 입체 눈 추적을 위한 2개의 눈 추적 카메라를 포함하는 3차원 영상 시스템이다. 각각의 눈 추적 유닛은 외과의사의 각자의 눈에 대한 동공 위치 및 각막 반사를 추적하는 데 사용될 수 있다. 예를 들어, 도시된 실시예에서, 2개의 좌안 추적 카메라(212a1, 212a2)는 외과의사의 좌안의 동공의 위치 및 각막 반사를 추적하는 데 사용된다. 이와 유사하게, 도시된 실시예에서, 2개의 우안 추적 카메라(212b1, 212b2)는 외과의사의 우안의 동공의 위치 및 각막 반사를 추적하는 데 사용된다. 각각의 동공의 위치 및 각막 반사의 입체 영상이 하나 초과의 눈 추적 유닛에 의해 독립적으로 추적될 수 있도록 각각의 눈에 대한 다수의 눈 추적 유닛들이 미리 결정된 거리만큼 서로로부터 떨어져 있게 위치되고, 각각의 동공의 위치 및 각막 반사의 3D 위치가 각각의 눈에 대한 독립적인 눈 추적 유닛들로부터 수집된 데이터에 기초하여 계산될 수 있다. 대안의 실시예에서, 눈 추적 유닛들 각각은, 예를 들어, 입체 카메라를 비롯한, 단일의 영상 디바이스를 포함할 수 있거나, 2개 초과의 영상 디바이스들을 포함할 수 있다.

일부 실시예에서, 눈 추적 유닛(212a 및 212b)은 CCD(charged coupled device) 카메라이다. 일부 실시예에서, 눈 추적 유닛(212a 및 212b)은 IR 광에 민감하고 IR 광 방출기로부터 방출된 적외선 광을 포착할 수 있는 IR 카메라이다. 일부 실시예에서, 눈 추적 유닛(212a 및 212b)은 양눈(예컨대, 동공)의 보다 높은 확대를 가지는 영상을 제공하기 위해 고배율 줌 렌즈(high zoom lens)를 포함할 수 있다.

일부 실시예에서, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)는 좌안 및 우안 영상 디스플레이(208a, 208b)의 베이스에, 각각, 위치된다. 일부 실시예에서, 눈 추적 유닛(212a, 212b)은 도 1c에 도시된 입체 영상 뷰어 시스템(126)에 위치될 수 있다. 광 방출기(210a 및 210b)는, 각각, 좌 및 우 눈 추적 유닛(212a 및 212b)과 함께 통합될 수 있다. 전형적으로, 사용자는 자신의 좌안과 우안을 좌안 및 우안 영상 디스플레이(125a, 125b)와, 각각, 직접 마주하도록 위치시킬 것이다. 이와 같이, 이 배열에 의해, 각각의 눈 추적 유닛(212a, 212b)은 추적될 눈과 직접 마주하도록 위치된다. 상세하게는, 좌 및 우 눈 추적 유닛(212a, 212b)은, 각각, 좌안 및 우안과 직접 마주하도록 위치된다. 본원에 개시되는 구성은 눈 추적 프로세스의 편의성 및 정확도를 개선시킬 수 있는데, 그 이유는 이 구성이, 안경과 같은, 외부 추적 디바이스를 필요 없게 해주기 때문이다. 그에 부가하여, 앞서 기술한 바와 같이, 종래의 눈 시선 추적 디바이스가 접안경 근방에 위치될 수 있고, 그로써 외과의사가 접안경을 들여다 볼 때 방해를 야기할 수 있다. 예를 들어, 눈 시선 추적 디바이스의 가장자리가 외과의사의 시야에 보일 수 있어, 어쩌면 외과의사를 산만케하거나 수술 부위의 뷰를 부분적으로 흐릿하게 할 수 있다. 이와 같이, 현재 구성은 외과의사의 시야 내의 임의의 불필요한 방해 영상을 제거하는 것에 의해 눈 추적 기술을 사용하는 데 있어서의 외과의사의 경험을 개선시킬 수 있다.

도시된 실시예에서 그리고 도 2a를 참조하면, 프로세서(214a, 214b)는 좌 및 우 눈 추적 유닛(212a, 212b)에, 각각, 결합되고, 영상 디스플레이(151)(예컨대, 디스플레이(208a, 208b))의 제2 좌표 프레임(165)과 관련한 외과의사의 주시점의 3D 위치를 계산하고 그 3D 위치를 수술 부위(155)의 제3 좌표 시스템(170)의 대응하는 3D 위치로 변환하도록(도 2a에 도시됨) 구성된다. 예를 들어, 좌 및 우 눈 추적 유닛(212a, 212b)에 의해 포착된 주시점이 정정(rectify)될 수 있고, 외과의사의 좌안과 우안의 주시점 사이의 시차(disparity)가 결정될 수 있다. 외과의사의 주시점의 3D 위치가 이어서 좌 및 우 눈 추적 유닛(212a, 212b) 사이의 거리, 좌 및 우 눈 추적 유닛(212a, 212b) 각각의 초점 거리에 관련된 파라미터들, 및 결정된 시차를 사용하여 계산될 수 있다.

수술 부위의 3D 입체 영상이 눈 추적 시스템(220)을 통해 외과의사에 의해 인지될 수 있다. 일부 실시예에서, 수술 동안 수술 부위(155)의 영상들을 포착하기 위해 원격 조작 어셈블리(100)에 위치된 내시경(112)이 조작될 수 있고(도 2a에 도시됨), 이 영상들이 좌 및 우 영상 디스플레이(208a, 208b) 상에 보여질 수 있다. 일부 실시예에서, 영상 디스플레이(208a, 208b)는 도 2a에 도시된 영상 디스플레이(151)와 동일하다. 일부 실시예에서, 내시경(112)은 입체 카메라를 포함한다. 내시경(112)에 의해 포착된 영상들은 이어서 좌 및 우 입체 영상을 발생시키기 위해 프로세서(214a, 214b)에 의해, 각각, 처리될 수 있다. 발생된 좌 및 우 입체 영상은, 각각, 좌 및 우 영상 디스플레이(208a 및 208b) 상에 보여질 수 있다. 상세하게는, 좌안 영상 디스플레이(208a)는 내시경(112)에 통신가능하게 결합되고, 수술 동안 수술 부위의 좌안 입체 영상을 디스플레이하도록 구성된다. 이와 유사하게, 우안 영상 디스플레이(208b)는 입체 카메라(112)에 결합되고, 수술 부위의 우안 입체 영상을 디스플레이하도록 구성된다. 좌안 입체 영상 및 우안 입체 영상은 입체 카메라(112)에 의해 포착되고, 각각, 좌안 및 우안 시야를 위해 처리된다. 좌안 및 우안 영상 디스플레이(208a, 208b)는 2D 또는 3D 디스플레이 화면일 수 있다. 일부 실시예에서, 좌안 및 우안 영상 디스플레이(208a, 208b)는 LCD(liquid crystal display) 화면이다. 어떤 경우에, 영상 디스플레이(208a, 208b)가 다수의 디스플레이 화면 또는 디바이스(예컨대, 외부 화면 또는 모바일 디바이스) 상에 동시에 제시될 수 있다.

앞서 언급된 바와 같이, 눈 추적 시스템(220)은 좌안 프로세서(214a), 우안 프로세서(214b), 및 적분기(216)를 포함한다. 프로세서(214a, 214b) 및 적분기(216)는 사용자의 주시점이 향해 있는 영상 디스플레이(208a, 208b) 상에서의 관찰 위치를 결정하기 위해 그리고 결정된 관찰 위치에 기초하여 원격 조작 의료 시스템(10)의 적어도 하나의 기능을 제어하기 위해 눈 추적 유닛(212a, 212b)으로부터 수신되는 주시점 데이터를 처리하도록 구성된다. 상세하게는, 프로세서(214a, 214b)는 좌 눈 및 우 눈 추적 유닛(212a, 212b)에 의해 수신되는 동공 위치 및 각막 반사 지점 데이터를 처리할 수 있다. 일부 실시예에서, 각각의 눈 추적 유닛에 의해 수신되는 동공 위치 및 각막 반사 지점 데이터는 동공의 위치 및 각막 반사의 3D 위치를 결정하기 위해 프로세서(214a 및 214b)에 의해 처리될 수 있다. 적분기(216)는 수술 동안 외과의사의 3D 주시점 또는 3D 주시 위치를 형성하기 위해 각각의 눈으로부터 수신되는 동공 위치 및 각막 반사 데이터를 적분하는 데 사용될 수 있다.

일부 실시예에서, 좌안 및 우안 프로세서(및/또는 적분기)의 기능들이 단일의 프로세서에 의해 수행될 수 있다. 일부 실시예에서, 적분기(216)는 사용자의 눈 주시 위치를 결정하고 처리하기 위해 양쪽 프로세서(214a, 214b)에 의해 수신되는 정보를 적분할 수 있다. 일부 실시예에서, 프로세서(214a, 214b) 및/또는 적분기(216)는 원격 조작 시스템(10) 내의 다른 곳에(예컨대, 중앙 전자 데이터 처리 유닛(142)의 일부로서 비전 카트(140) 내에, 원격 조작 어셈블리(100)에, 그리고/또는 외과의사의 콘솔(120) 내에) 위치될 수 있다. 일부 실시예에서, 프로세서(214a, 214b) 및/또는 적분기(216)는 또한 주시점 측정, 위치 맞춤(registration), 및 교정 데이터를 저장하기 위해 메모리에 결합될 수 있다. 일부 실시예에서, 프로세서(214a, 214b) 및/또는 적분기(216)는 외과의사의 주시점의 2D 위치를 계산하는 데 사용될 수 있다. 이하에서 더욱 상세히 기술되는 바와 같이, 일부 실시예에서, 동공의 위치 및 각막 반사의 3D 위치를 결정할 때 외과의사의 머리 움직임이 보상될 수 있다.

일부 실시예에서, 외과의사의 주시점의 계산된 2D 또는 3D 위치는, 외과의사의 주시점의 변화를 보여주는 점, 깃발, 또는 벡터와 같은, 각종의 적당한 표현들 중 임의의 것으로 디스플레이될 수 있다. 외과의사의 주시점이 좌 및 우 영상 디스플레이(208a, 208b) 상에 수술 부위(155)의 영상과 결합하여 디스플레이될 수 있다. 일부 실시예에서, 눈 추적 시스템(220)은 또한 시뮬레이션 모듈, 예컨대, da Vinci® Skills Simulator™와 통합된 외과의사의 콘솔(120)에서 사용될 수 있고, 여기서 가상 영상들이 좌 및 우 영상 디스플레이(208a 및 208b) 상에 보여질 수 있다.

광학 어셈블리(235)는 광 방출기(210)로부터의 IR 광을 양눈(202) 쪽으로, 영상 디스플레이(208)로부터의 가시광을 양눈(202) 쪽으로, 그리고 양눈(202)으로부터 (광 방출기(210)로부터 방출된) 반사된 IR 광을 눈 추적 유닛(212) 쪽으로 지향시키기 위해 양눈(202), 광 방출기(210), 눈 추적 유닛(212), 및 영상 디스플레이(208)에 상대적으로 배열되어 있다. 상세하게는, 광학 어셈블리(235)의 좌 및 우 거울 세트(204a, 204b) 각각은 좌 및 우 광 방출기(210a, 210b)로부터의 IR 광을, 각각, 외과의사의 좌안과 우안 내로, 각각, 반사시키도록 그리고 좌안과 우안으로부터의 IR 광을, 각각, 좌 및 우 눈 추적 유닛(212a, 212b) 내로 반사시키도록 배열된 복수의 거울들을 포함한다.

이와 같이, 좌안 거울 세트(204a)는 외과의사의 좌안, 좌 눈 추적 유닛(212a), 및 좌안 광 방출기(210a) 사이의 광 통신을 제공하도록 배열되어 있는 일련의 거울들을 포함한다. 예를 들어, 좌안 영상 디스플레이(208a) 상에 보여지는 입체 영상의 좌안 부분이 외과의사가 보게 가시광(211a)을 통해 외과의사의 좌안 내로 지향될 수 있도록, 거울들(204a)이, 도 3b에 도시된 바와 같이, 배열될 수 있다. 좌안 거울 세트(204a)는 또한 좌안 광 방출기(210a)로부터 방출되는 IR 광(211b)이 외과의사의 좌안 상으로 지향될 수 있게 한다. 외과의사의 좌안으로부터 반사된 IR 광(211b)은 좌안 거울 세트(204a)에 의해 좌 눈 추적 유닛(212a) 쪽으로 지향될 수 있고, 그로써 좌 눈 추적 유닛(212a)이 외과의사의 좌안의 주시점의 3D 위치를 결정하기 위해 반사된 IR 광을 추적할 수 있게 한다.

이와 유사하게, 우안 거울 세트(204b)는 외과의사의 우안, 우 눈 추적 유닛(212b), 및 우안 광 방출기(210b) 사이의 광 통신을 제공하도록 배열되어 있는 일련의 거울들을 포함한다. 예를 들어, 우안 영상 디스플레이(208b) 상에 보여지는 입체 영상의 우안 부분이 외과의사가 보게 가시광(211a)으로 외과의사의 우안 내로 지향될 수 있도록, 거울들(204b)이, 도 3b에 도시된 바와 같이, 배열될 수 있다. 우안 거울 세트(204b)는 또한 우안 광 방출기(210b)로부터 방출되는 IR 광(211b)이 외과의사의 우안 상으로 지향될 수 있게 한다. 외과의사의 우안으로부터 반사된 IR 광(211b)은 우안 거울 세트(204b)에 의해 우 눈 추적 유닛(212b) 쪽으로 지향될 수 있고, 그로써 우 눈 추적 유닛(212b)이 외과의사의 우안의 주시점의 3D 위치를 결정하기 위해 반사된 IR 광을 추적할 수 있게 한다. 도 3b에서, 방출된 IR 광(211b) 및 반사된 IR 광(211b)의 경로는 디스플레이(208a)와 눈(202a) 사이에서 그리고 디스플레이(208b)와 눈(202b) 사이에서 광학 경로를 가시광(211a)과 공유한다.

앞서 언급된 바와 같이, 일부 실시예에서, 좌 눈 및 우 눈 추적 유닛(212a, 212b)은 또한 (예컨대, 도 2a에 도시된 제1 좌표 프레임(160)에서) 외과의사의 3D 머리 움직임을 추적하기 위해 사용될 수 있다. 일부 실시예에서, 추적 유닛(212a, 212b)은 외과의사의 머리(예컨대, 얼굴을 포함함) 상의 고정 기준점을 모니터링하는 것에 의해 외과의사의 머리의 3D 움직임을 추적한다. 기준점이 외과의사의 눈 주시점과 연속적으로 동기화된 움직임을 갖지 않기 때문에, 기준점은 외과의사의 머리 위치 및 배향을 추정하는 데 사용될 수 있다. 기준점은 외과의사의 머리 상의 각종의 해부학적 랜드마크들 또는 특징들 중 임의의 것을 포함할 수 있다. 예를 들어, 기준점은 눈꺼풀 곡률, 눈의 코너, 홍채, 및/또는 눈썹과 같은 머리 특징을 포함할 수 있다. 일부 예에서, 기준점으로서 사용되는 머리 특징이 세그먼트화되어 추적될 수 있다. 예를 들어, 일 실시예에서, 눈의 코너는 눈의 2개의 스플라인의 교차점에 의해 검출되고 위치 확인될 수 있다. 2개의 입체 유닛(예컨대, 좌 눈 및 우 눈 추적 유닛(212a, 212b))이 사용될 때, 머리 특징이 3D 공간에서 추적될 수 있다. 외과의사의 좌안과 우안 사이의 동공간 거리가 일정한 것으로 가정되고, 그의 계산에서 프로세서에 의해 상수 인자로서 사용된다. 외과의사가 자신의 주시점을 이동시키는 일 없이 자신의 머리 또는 얼굴을 움직일 때, 외과의사의 동공은 눈 추적 유닛(212a, 212b)에 대해 움직이지 않은 채로 있다. 그에 따라, 외과의사의 동공이 눈 추적 유닛(212a, 212b)에 대해 고정된 채로 있는 동안 머리 상의 기준점은 움직인다. 따라서, 좌우 동공과 머리/얼굴 상의 기준점 사이에 상대 운동이 있다. 적절한 보상 값을 계산하기 위해, 이 상대 운동이 좌 눈 및 우 눈 추적 유닛(212a 및 212b)에 의해 추적되고 모니터링될 수 있다. 이 보상 값은 외과의사의 각각의 눈의 주시점의 3D 위치를 결정할 때 추적된 3D 머리 움직임을 보상하는 데 사용될 수 있다.

도 3c는 빔 분할기로서 동작하는 광학 어셈블리(255)를 포함하는 눈 추적 시스템(250)을 나타낸 도면이다. 눈 추적 시스템(250)은 도 3a의 눈 추적 시스템(200)의 예시적인 실시예이다. 눈 추적 시스템(250)은 본 개시 내용의 다양한 실시예들에 따른 외과의사의 콘솔(120) 상의 입체 영상 뷰어 시스템(126)에 부분적으로 또는 전체적으로 포함될 수 있다. 눈 추적 시스템(250)은 좌 눈 추적 유닛(212a)(눈 추적 카메라(212a1, 212a2)를 가짐), 우 눈 추적 유닛(212b)(눈 추적 카메라(212b1, 212b2)를 가짐), 좌안 광 방출기(210a), 우안 광 방출기(210b), 좌안 영상 디스플레이(208a), 우안 영상 디스플레이(208b), 좌안 프로세서(214a), 좌안 프로세서(214b), 및 적분기(216)를 포함한다. 그렇지만, 도 3c에 도시된 눈 추적 시스템(250)에서, 이 컴포넌트들은 눈 추적 시스템(220)에서와 상이한 구성으로 배열되어 있다. 도 3b에 도시된 눈 추적 시스템(220)에서는, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)는 (사용자에 대해) 영상 디스플레이(208a, 208b) 아래에 위치된다. 광학 어셈블리(235)는 영상 디스플레이(208a, 208b)와 접안경(125a, 125b) 사이에 위치된다. 이와 달리, 도 3c에 도시된 눈 추적 시스템(250)에서는, 좌 눈 및 우 눈 추적 유닛(212a, 212b)이 좌안 및 우안 영상 디스플레이(208a, 208b)와 광학 어셈블리(255) 사이의 영역 또는 공간에서 영상 디스플레이(208a, 208b)의 전방에 위치된다. 광학 어셈블리(255)는 좌안 거울 세트(204a) 및 우안 거울 세트(204b)를 포함한다. 좌안 거울 세트(204a)는 제1 광학 요소(256) 및 제2 광학 요소(257)를 포함한다. 우안 거울 세트(204b)는 제3 광학 요소(258) 및 제4 광학 요소(259)를 포함한다. 광학 요소(256, 257, 258, 및 259)는, 거울, 필터, 및 프리즘(이들로 제한되지 않음)을 비롯한, 각종의 광 투과 및/또는 광 반사 광학 디바이스들 중 임의의 것일 수 있다. 2개의 프로세서(214a, 214b)가 도 3c에 도시되어 있지만, 본 기술 분야의 통상의 기술자는 임의의 수의 프로세서들이 임의의 적절한 토폴로지로 배열될 수 있다는 것을 잘 알 것이다.

일부 실시예에서, 광학 어셈블리(255)는, 비제한적인 예로서, 이색성 거울 또는 이색성 필터와 같은, 빔 분할기를 포함하는 적어도 하나의 거울 세트를 포함한다. 빔 분할기는 상이한 파장 범위 내의 광을 투과시키는 것과 반사시키는 것 둘 다를 할 수 있는 임의의 디바이스를 포함할 수 있다. 예를 들어, 도 3c에 도시된 바와 같이, 좌안 거울 세트(204a)의 제2 광학 요소(257)는, 좌안 입체 영상 디스플레이(208a)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 통과시킬 수 있는 좌 빔 분할기(257)를 포함한다. 이와 같이, 좌안 광 방출기(210a)로부터 방출되는 IR 광(211b)은 좌안을 조명하기 위해 좌 빔 분할기(257)를 통과할 수 있고, 외과의사의 좌안(202a)으로부터 반사된 IR 광(112b)도 좌 눈 추적 유닛(212a)에 의해 포착되기 위해 좌 빔 분할기(257)를 통과할 수 있다. 이와 동시에, 좌안 영상 디스플레이(208a)로부터 방출되는 가시광(211a)은 외과의사의 좌안(202a)이 보도록 거울 세트(204a)의 광학 요소(256 및 257)에 의해 지향될 수 있다. 일부 실시예에서, 좌 빔 분할기(257)는 이색성 거울을 포함한다.

이와 유사하게, 우안 거울 세트(204b)의 제3 광학 요소(258)는, 우안 입체 영상 디스플레이(208b)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 통과시킬 수 있는 우 빔 분할기를 포함한다. 이와 같이, 우안 광 방출기(210b)로부터 방출되는 IR 광(211b)은 우안을 조명하기 위해 우 빔 분할기(258)를 통과할 수 있고, 외과의사의 우안(202b)으로부터 반사된 IR 광(211b)도 우 눈 추적 유닛(212b)에 의해 포착되기 위해 우 빔 분할기(258)를 통과할 수 있다. 이와 동시에, 우안 영상 디스플레이(208b)로부터 방출되는 가시광(211a)은 외과의사의 우안(202b)이 보도록 거울 세트(204b)(및 빔 분할기(258))에 의해 지향될 수 있다. 일부 실시예에서, 우 빔 분할기(258)는 이색성 거울을 포함한다.

빔 분할기(257, 258)를 광학 어셈블리(255)에 포함시키는 것은 눈 추적 유닛(212a, 212b)이, (예컨대, 영상 디스플레이(208a, 208b)에서) 외과의사에 보이지 않으면서, 영상 디스플레이(208a, 208b)로부터 나오는 디스플레이된 영상에 대한 광학 경로의 적어도 일부를 공유하는 구성을 가능하게 한다. 환언하면, 반사된 IR 광(211b)은 가시광(211a)의 광학 경로의 일부분, 즉 눈과 각자의 빔 분할기 사이의(예컨대, 눈(202a)과 빔 분할기(257) 사이의 그리고 눈(202b)과 빔 분할기(258) 사이의) 광학 경로의 일부분을 공유한다. 도 3c에 도시된 바와 같이, 좌 눈 및 우 눈 추적 유닛(212a, 212b)은 빔 분할기(203a, 203b) 뒤에 그리고 외과의사의 양눈과 직접 마주하게 위치된다. 이 구성은 눈 추적 유닛(212a, 212b)이, 가시광 경로를 방해함이 없이 그리고 어떤 광 반사 경로도 영상 디스플레이(208a, 208b)에 영향을 미치는 일 없이(예컨대, 영상 디스플레이(208a, 208b)가 외과의사의 양눈으로부터 어떤 반사된 IR 광도 수광하는 일 없이), 외과의사의 좌안과 우안(202a, 202b)으로부터, 각각, 정보를 포착할 수 있게 한다. 이와 달리, 도 3b에 도시된 바와 같이, 외과의사의 양눈(202a, 202b)으로부터 반사된 IR 광(파선 화살표로 도시됨)은 눈 추적 유닛(212a, 212b)에 의해 수광되기 위해 다시 영상 디스플레이(208a, 208b) 쪽으로 반사된다.

어떤 경우에, 빔 분할기(예컨대, 빔 분할기(257, 258))를 눈 추적 시스템(250)의 광학 어셈블리(255)에 포함시키는 것은, 눈 추적 유닛(212a, 212b)이 외과의사에 보이지 않으면서, 눈 추적 유닛(212a, 212b)으로부터의 광(211b)이 디스플레이된 영상으로부터의 가시광(211a)의 광학 경로의 적어도 일부를 공유할 수 있게 한다. 어떤 경우에, 외과의사는 방해 영상에 의해 덜 산만케될 수 있고 현재 시술에 더욱 집중할 수 있는데, 그 이유는 이 구성이 눈 추적 유닛으로부터의 방해 영상을 외과의사의 영상 디스플레이(208a, 208b)에서 제거할 수 있기 대문이다. 그에 부가하여, 도 3c에 도시된 구성은 또한 눈 추적 시스템(250)의 설계 및 제조에 대한 보다 많은 유연성 또는 컴팩트성(compactness)을 제공할 수 있다. 시스템(250)의 구성은 최소화된 공간 및 설계 제약조건을 수용하면서 디스플레이의 보다 깨끗한 뷰(눈 추적 유닛이 보이지 않음)를 생성할 수 있다.

도 3d는 본 개시 내용의 일 실시예에 따른, 빔 분할기로서 동작하는 광학 어셈블리(260)를 포함하는 예시적인 눈 추적 시스템(280)을 나타낸 도면이다. 눈 추적 시스템(280)은 도 3a에 도시된 눈 추적 시스템(200)의 다른 예시적인 실시예이다. 눈 추적 시스템(280)은 본 개시 내용의 일부 실시예에 따른 외과의사의 콘솔(120) 상의 입체 영상 뷰어 시스템(126)에 부분적으로 또는 전체적으로 포함될 수 있다. 눈 추적 시스템(280)은 좌 눈 추적 유닛(212a)(눈 추적 카메라(212a1, 212a2)를 가짐), 우 눈 추적 유닛(212b)(눈 추적 카메라(212b1, 212b2)를 가짐), 좌안 광 방출기(210a), 우안 광 방출기(210b), 좌안 영상 디스플레이(208a), 우안 영상 디스플레이(208b), 좌안 프로세서(214a), 좌안 프로세서(214b), 및 적분기(216)를 포함한다. 도 3d에 도시된 눈 추적 시스템(280)에서는, 이 컴포넌트들은 눈 추적 시스템(250)에서와 상이한 구성으로 배열되어 있다. 상세하게는, 도 3c에 도시된 눈 추적 시스템(250)에서는, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)는 영상 디스플레이(208a, 208b)와 광학 어셈블리(255) 사이에 위치된다. 이와 달리, 도 3d에 도시된 눈 추적 시스템(280)에서는, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)가 광학 어셈블리(260)에 인접하여(예컨대, 그의 측방에) 위치된다(또는 양눈에 대해 약 90° 회전되어 있음). 도 3d의 도시된 실시예에서, 광학 어셈블리(260)와 영상 디스플레이(208a, 208b) 사이의 공간이 비어 있고, 그로써 영상 디스플레이(208a, 208b)와 광학 어셈블리(260) 사이에 방해받지 않는 광학 경로를 제공한다.

도 3c에 도시된 광학 어셈블리(255)와 같이, 눈 추적 시스템(280)의 광학 어셈블리(260)는 빔 분할기로서 기능하는 2개의 광학 요소를 포함한다. 도 3d에 도시된 광학 어셈블리(260)에서는, 제1 및 제4 광학 요소(256 및 259)가 빔 분할기로서 기능한다. 상세하게는, 좌안 거울 세트(204a)의 제1 광학 요소(256)는 좌 빔 분할기를 포함하고, 우안 거울 세트(204b)의 제4 광학 요소(259)는 우 빔 분할기를 포함한다. 도 3d에 도시된 바와 같이, 좌안 거울 세트(204a)의 좌 빔 분할기(256)는, 좌안 입체 영상 디스플레이(208a)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 투과시킨다. 이와 같이, 좌안 광 방출기(210a)로부터 방출되는 IR 광(211b)은 좌안을 조명하기 위해 좌 빔 분할기(256)를 통과할 수 있고, 외과의사의 좌안(202a)으로부터 반사된 IR 광도 좌 눈 추적 유닛(212a)에 의해 포착되기 위해 좌 빔 분할기(256)를 통과할 수 있다. 이와 동시에, 좌안 영상 디스플레이(208a)로부터 방출되는 가시광은 외과의사의 좌안(202a)이 보도록 거울 세트(204a)(빔 분할기(256)를 포함함)에 의해 지향될 수 있다. 일부 실시예에서, 좌 빔 분할기(256)는 이색성 거울을 포함한다.

이와 유사하게, 우안 거울 세트(204b)의 우 빔 분할기(259)는, 우안 입체 영상 디스플레이(208b)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 투과시킨다. 이와 같이, 우안 광 방출기(210b)로부터 방출되는 IR 광(211b)은 우안을 조명하기 위해 우 빔 분할기(259)를 통과할 수 있고, 외과의사의 우안(202b)으로부터 반사된 IR 광(211b)도 우 눈 추적 유닛(212b)에 의해 포착되기 위해 우 빔 분할기(259)를 통과할 수 있다. 이와 동시에, 우안 영상 디스플레이(208b)로부터 방출되는 가시광(211a)은 외과의사의 우안(202b)이 보도록 거울 세트(204b)(및 빔 분할기(259))에 의해 지향될 수 있다. 일부 실시예에서, 우 빔 분할기(259)는 이색성 거울을 포함한다.

빔 분할기(257, 259)를 광학 어셈블리(260)에 포함시키는 것은, 눈 추적 유닛이 외과의사에 보이지 않으면서, 눈 추적 유닛(212a, 212b)으로부터의 광(211b)이 영상 디스플레이(208a, 208b)로부터 나오는 디스플레이된 영상에 대한 광학 경로의 적어도 일부를 공유하는 구성을 가능하게 한다. 상세하게는, 도 3d에 도시된 바와 같이, 좌 눈 및 우 눈 추적 유닛(212a, 212b)은 빔 분할기(257, 259) 뒤에 그리고 외과의사의 양눈에 어떤 각도(예컨대, 90°)로 위치된다. 이 구성은 눈 추적 유닛(212a, 212b)이, 디스플레이로부터의 가시광의 경로를 방해함이 없이 그리고 어떤 광 반사 경로도 영상 디스플레이(208a, 208b)에 영향을 미치는 일 없이(예컨대, 영상 디스플레이(208a, 208b)가 외과의사의 양눈으로부터 어떤 반사된 IR 광도 수광하는 일 없이), 외과의사의 좌안과 우안으로부터 정보를 포착할 수 있게 한다.

어떤 경우에, 빔 분할기(예컨대, 빔 분할기(256, 259))를 눈 추적 시스템(280)의 광학 어셈블리(260)에 포함시키는 것은, 눈 추적 유닛(212a, 212b)이 외과의사에 보이지 않으면서, 눈 추적 유닛(212a, 212b)으로부터의 광(211b)이 디스플레이된 영상으로부터의 가시광(211a)의 광학 경로의 적어도 일부를 공유할 수 있게 한다. 어떤 경우에, 외과의사는 방해 영상에 의해 덜 산만케될 수 있고 현재 시술에 더욱 집중할 수 있는데, 그 이유는 이 구성이 눈 추적 유닛으로부터의 방해 영상을 외과의사의 영상 디스플레이(208a, 208b)에서 제거할 수 있기 대문이다. 그에 부가하여, 도 3d에 도시된 구성은 또한 눈 추적 시스템(280)의 설계 및 제조에 대한 보다 많은 유연성 또는 컴팩트성을 제공할 수 있다. 시스템(280)의 구성은 최소화된 공간 및 설계 제약조건을 수용하면서 디스플레이의 보다 깨끗한 뷰(눈 추적 유닛이 보이지 않음)를 생성할 수 있다.

광 방출기(210)(예컨대, 좌안 및 우안 광 방출기(210a 및 210b))의 위치가 융통성이 있다는 것을 잘 알 것이다. 눈 추적 유닛(212)(예컨대, 좌 눈 및 우 눈 추적 유닛(212a 및 212b))의 위치도 융통성이 있다. 본 기술 분야의 통상의 기술자는, 외과의사의 시야에 대한 방해를 최소화하기 위해 그리고 눈 추적 프로세스의 정확도 및 효율성을 개선시키기 위해, 광 방출기(212) 및/또는 눈 추적 유닛(212)이 (예컨대, 외과의사 및 외과의사의 콘솔(120) 상의) 영상 디스플레이에 상대적인 임의의 적당한 위치에 위치될 수 있다는 것을 잘 알 것이다.

도 4a는 본 개시 내용의 일 실시예에 따른, 도 3a 내지 도 3d에 도시된 바와 같은 눈 추적 시스템을 사용하여 외과의사의 3D 주시점을 결정하는 방법(300)을 나타낸 것이다. 방법(300)은 2개의 프로세스 - 교정 프로세스(302) 및 측정 프로세스(304) - 를 포함한다. 일부 실시예에서, 교정 프로세스(302)는, 3D 공간에서의 외과의사의 주시점이 기지의 3D 위치 파라미터들을 갖는 3D 공간에서의 미리 결정된 목표물과 비교되는, 3D 교정 프로세스이다.

3D 공간에서 보여지는 목표물(T)의 영상이 좌 및 우 입체 영상으로 분리되고, 좌 및 우 영상 디스플레이(208a, 208b) 상에, 각각, 디스플레이될 수 있다. 좌안 및 우안 광 방출기(210a, 210b)는 좌 눈 및 우 눈 추적 유닛(212a, 212b)에 의해, 각각, 추적될 수 있는 광을 방출할 수 있다. 좌안 및 우안 영상 디스플레이(208a 및 208b) 상에 디스플레이되는 목표물의 좌안 및 우안 입체 영상이 반사되고 외과의사의 좌안(202a)과 우안(202b) 내로, 각각, 지향될 수 있도록 좌안 및 우안 거울 세트(204a 및 204b)가 배열될 수 있다. 일부 실시예에서, 도 3a 내지 도 3d에 도시된 바와 같이, 좌안 광 통신과 우안 광 통신 사이에 "크로스토크" 또는 공유 광학 경로가 없도록 좌안 및 우안 거울 세트(204a 및 204b)가 배열된다. 광 방출기(210a, 210b)로부터 방출되는, IR 광(211b)과 같은, 광이 또한 외과의사의 좌안(202a)과 우안(202b)을 조명하기 위해 좌안 및 우안 거울 세트(204a, 204b)를 통해 지향될 수 있다. 교정 프로세스 동안, 이하의 프로세스들에서 보상 값 및/또는 주시점 결정 모델을 결정하기 위해, 측정된 데이터가 목표 대상물의 미리 결정된 위치 데이터와 비교될 수 있도록, 목표물의 3D 위치가 미리 결정된다 - 예를 들어, 3D 공간에서 기지의 3D 위치 파라미터들을 가짐 -.

도 4b는 미리 결정된 목표물(T)(3D 좌표(aT, bT, cT)를 가짐)이 교정 프로세스 동안 좌안 영상 디스플레이(208a) 상에 보여질 때 좌 눈 추적 유닛(212a)이 외과의사의 좌안(202a)의 각막 반사 및 동공 위치를 추적하는 것의 일 예를 나타낸 것이다. 교정 프로세스(302)는 3D 공간에서 목표물(T)을 보여주는 프로세스(312)에서 시작될 수 있다. 도 4b에 도시된 바와 같이, 목표물(T)이 좌안 영상 디스플레이(208a) 상에서 (aT, bT, cT)의 좌표 값을 갖는 미리 결정된 3D 좌표 프레임(350)에 위치될 수 있다. 좌안 영상 디스플레이(208a) 상에 보여진 목표물(T)은 입체 유닛(112)에 의해 포착되고 프로세서(214a)에 의해 처리된 좌안 입체 영상일 수 있다. 다른 실시예에서, 목표물(T)은 가상적으로 생성된 영상일 수 있다. 도 3a 내지 도 3d와 관련하여 앞서 논의된 바와 같이, 좌안 거울 세트(204a)(도시되지 않음)는 좌 눈 추적 유닛(212a) 및 외과의사의 좌안(202a)에 상대적인 임의의 적당한 위치에 위치될 수 있다. 간략함을 위해 외과의사의 좌안의 하나의 각막 반사만이 도 4b에 도시되어 있지만, 각각의 눈(202)에 대한 하나 초과의 광 방출기(210)로부터의 하나 초과의 각막 반사가 있을 수 있다는 것을 잘 알 것이다.

일부 예에서, 목표물(T)은 3D 공간(350)에 보여지는 수술 도구 아이콘일 수 있다. 목표물(T)은 또한 움직이는 목표물, 또는 크기를 동적으로 변화시킬 수 있는 목표물일 수 있다. 대안적으로, 목표물은 또한 수술 부위에 있는 실제 수술 도구일 수 있고, 그의 위치는 임의의 적당한 도구 추적 기술을 사용하여 추적되고 식별될 수 있다. 예를 들어, 교정 프로세스(302)는 2005년 5월 16일자로 출원된, 발명의 명칭이 "Methods and system for performing 3D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery"인 미국 특허 공보 제2006/0258938호 - 이는 참고로 본원에 포함됨 - 에 개시된 특징들을 포함할 수 있다. 교정 프로세스(302) 동안, 이하의 단계들에서 다양한 모델들을 결정하기 위해, 측정된 데이터가 목표물(T)의 기지의 위치 파라미터들과 비교될 수 있도록, 목표물(T)의 3D 위치가 미리 결정된다 - 예를 들어, 3D 공간에서 기지의 3D 위치 파라미터들(예컨대, (aT, bT, cT)의 좌표 값)을 가짐 -.

도시된 실시예에서, 교정 프로세스(302)는 좌 눈 및 우 눈 추적 유닛(212a 및 212b)에 의해, 각각, 포착되는 좌안과 우안의 동공의 2D 위치 및 2D 각막 반사 데이터를 수신하는 단계(314)로 진행한다. 일부 실시예에서, 2D 동공 위치 및 2D 각막 반사 데이터는 좌표 값, 변위, 및/또는 각도를 포함할 수 있다. 일부 실시예에서, 외과의사의 좌안(202a)과 우안(202b)의 각막 반사가 추적되기 위해 좌 눈 및 우 눈 추적 유닛(212a, 212b) 내로, 각각, 지향될 수 있도록, 좌안 및 우안 거울 세트(204a 및 204b)가 도 3a 내지 도 3d에 도시된 바와 같이 배열된다. 추적된 2D 데이터는 이어서, 외과의사의 좌안(202a)과 우안(202b)의 3D 동공 위치 및 각막 반사 데이터를 획득하기 위해, 좌안 및 우안 프로세서(214a, 214b) 및/또는 적분기(216)에 의해 수신되어 처리될 수 있다.

도 4c는 외과의사의 각막에 대응하는 2D 좌표 프레임(360), 및 외과의사의 동공에 대응하는 2D 좌표 프레임(370)을 나타낸 것이다. 도 4c에 도시된 바와 같이, 좌안 광 방출기(210a)가 광을 외과의사의 눈(202a) 쪽으로 방출할 때, 광(예컨대, IR 광)은 외과의사의 좌안(202a)의 각막의 표면으로부터 반사되고, 반사 영상은 각막 반사 중심(365)(좌표 (uR, vR)을 가짐)이 미리 결정된 2D 좌표 프레임(360)에 위치되는 밝은 영상으로 된다. 어떤 경우에, 각막 반사 데이터는 눈마다 하나 초과의 각막 반사에 대한 추적 정보를 포함한다. 미리 결정된 2D 좌표 프레임(370)에서의 동공(375)의 중심(좌표 (xP, yP)를 가짐)이 또한 좌 눈 추적 유닛(212a)에 의해 추적될 수 있다.

교정 프로세스(302)는 좌안과 우안의 동공 위치 및 각막 반사 데이터를, 각각, 보다 정확하게 결정하기 위해 머리 움직임을 추적하는 프로세스(316)로 진행한다. 환언하면, 머리 움직임으로 인해 유발된 동공 위치 및 각막 반사 데이터의 부정확성을 보상하기 위해 머리 움직임 데이터가 사용될 수 있다. 예를 들어, 머리의 회전이 머리 움직임 데이터의 변화에 의해 근사화될 수 있다. 일부 실시예에서, 도 3a와 관련하여 앞서 기술된 바와 같이, 머리 움직임을 결정하기 위해 외과의사의 머리 특징(예컨대, 눈의 코너)이 추적될 수 있다. 일부 실시예에서, 외과의사는 적절한 보상 값 및/또는 보상 모델을 결정하기 위해 영상 디스플레이(208a, 208b)에서의 목표물(T)에 포커싱하면서 하나 이상의 머리 움직임들을 수행하도록 요청받을 수 있다. 예를 들어, 외과의사는 영상 디스플레이(208a, 208b) 상의 미리 결정된 목표물(T)에 포커싱하면서 자신의 머리를 접안경(125a, 125b)에 보다 가깝게 움직이라고 요청받을 수 있다. 외과의사는 또한 보다 많은 교정 정보를 수집하기 위해 자신의 머리를 일련의 움직임으로(예컨대, 상하로, 좌우로, 회전하여, 그리고/또는 접안경으로부터 더 멀어지는 쪽으로) 움직이라고 요청받을 수 있다.

좌 눈 및 우 눈 추적 유닛(212a 및 212b)은 얼굴/머리 움직임에 관련된 보상 값을 결정하기 위해 외과의사의 동공과 얼굴/머리 특징 사이의 상대 운동을 포착할 수 있다. 일부 실시예에서, 외과의사의 머리 움직임이 또한 헤드레스트(130) 상에 장착된 하나 이상의 센서들에 의해 추적될 수 있다. 계산된 2D 또는 3D 주시점 위치가 외과의사의 추적된 머리 움직임에 기초하여 추가로 조절되거나 보상될 수 있다. 보상 값을 결정하기 위해, 센서들에 의해 수집된 데이터가 프로세스(316)에서 획득된 데이터와 결합될 수 있다. 헤드레스트를 조작하기 위해 감지 방법을 사용하는 것에 관한 추가 상세는, 예를 들어, 발명의 명칭이 "ENDOSCOPE CONTROL SYSTEM"인 미국 출원 제61/865,996호에서 찾아볼 수 있다.

일부 실시예에서, 보상 값 및/또는 보상 모델이 장래의 측정 또는 계산을 위해 프로세서(214a, 214b) 및/또는 적분기(216)에 결합된 메모리에 저장될 수 있다. 일부 실시예에서, 사용자가 시스템에 다시 로그인할 때 동일한 사용자가 교정 프로세스를 반복할 필요가 없도록, 특정 사용자의 보상 값 및/또는 보상 모델이 사용자의 프로파일 데이터의 일부로서 메모리에 저장될 수 있다.

교정 프로세스(302)는 외과의사의 좌안(202a)과 우안(202b) 각각의 3D 동공 위치 및 3D 각막 반사 데이터를, 각각, 결정하는 프로세스(318)로 진행한다. 일부 실시예에서, 눈 추적 유닛(212a)은 입체 카메라를 포함하고, 2D 동공 위치 및 2D 각막 반사 데이터를 포함하는 입체 영상이 포착되고, 다수의 입체 영상 간의 시차를 계산하기 위해, 프로세서(214a)에 의해 처리될 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 하나 이상의 좌 눈 추적 유닛(212a)이 외과의사의 좌안(202a)의 입체 영상을 포착할 수 있는 입체 카메라를 포함할 때, 다수의 입체 영상들 사이의 시차를 계산하기 위해, 각각의 개별 좌 눈 추적 유닛(212a)으로부터의 2D 동공 위치(375)(xP, yP) 및 2D 각막 반사 데이터(365)(uR, vR)가 처리될 수 있다. 일부 실시예에서, 결정된 위치 데이터는 외과의사의 좌안(202a)의 2D 동공 위치 및 2D 각막 반사 데이터를 포함할 수 있다.

각각의 눈의 결정된 2D 데이터는 이어서 외과의사의 3D 눈 시선 위치를 추정하기 위해 결합될 수 있다. 일부 실시예에서, 결정된 위치 데이터는 동공의 3D 위치 및 3D 각막 반사 데이터를 포함할 수 있다. 시차-깊이 변환 맵은 교정 프로세스 동안 이 방법을 사용하여 획득될 수 있다. 외과의사의 동공의 깊이(좌표점 zP) 및 각막 반사의 깊이(좌표점 wR)를 비롯한 3D 데이터가 이어서 시차를 사용하여 추정될 수 있다. 예를 들어, 외과의사의 좌안(202a)의 3D 눈 시선 데이터가 좌 눈 추적 유닛들(212a) 사이의 거리, 좌 눈 추적 유닛들(212a) 각각의 초점 거리에 관련된 파라미터들, 및 계산된 시차를 사용하여 계산될 수 있다. 시차-깊이 변환 맵은 교정 프로세스 동안 이 방법을 사용하여 획득될 수 있다. 일부 실시예에서, 외과의사의 머리 움직임이 또한 좌 및 우 눈 추적기(204a 및 204b)에 의해 포착될 수 있다.

일부 실시예에서, 외과의사의 동공은, 상이한 깊이를 갖는 목표물(T)을 쳐다볼 때, (예컨대, 도 4b에 도시된 각도 γ로 표시된 바와 같이) 이접 운동(vergence)을 보여줄 수 있다. 외과의사의 동공 및 각막 반사의 깊이는 외과의사의 동공들 각각의 이접 운동(예컨대, 각도 γ)을 모니터링하는 것 및 측정된 동공간 거리와 3D 좌표 프레임(350)에서의 목표물(T)의 깊이 사이의 변환 차트를 형성하는 것에 의해 추정될 수 있다. 일부 실시예에서, 외과의사의 동공의 깊이(예컨대, zP) 및 각막 반사의 깊이(예컨대, wR)가 도 4b에 예시된 바와 같이 삼각측량법을 사용하여 계산될 수 있다. 예를 들어, 다수의 좌 눈 추적 유닛들(212a) 사이의 거리는 거리 dC(예컨대, 도 4b에서 지점 A와 지점 B 사이의 거리)로 설정되고, 외과의사의 눈이 3D 좌표 프레임(350)에서 상이한 위치에 있는 목표물(T)을 쳐다보고 있을 때 삼각측량 각도 α 및 β가 추적될 수 있다. 한 경우에, 목표물(T)이 상이한 깊이에 위치될 때, 각도 α 및 β가 그에 따라 변할 수 있고, 따라서 눈 추적 유닛(212a)과 동공 사이의 거리 dP(예컨대, 지점 C와 동공 사이의 거리)가 계산될 수 있다. 거리 값 dP는 또한 3D 동공 위치(예컨대, 좌표 (xP, yP, zP))를 계산하는 데 사용될 수 있다. 외과의사의 우안의 3D 동공 위치(예컨대, 좌표 (xP, yP, zP)) 및 각막 반사 데이터(예컨대, 좌표 (uR, vR, wR))가 외과의사의 좌안의 결정과 실질적으로 유사한 방식으로 결정될 수 있다.

교정 프로세스(302)의 프로세스(322)에서, 주시점 결정 모델을 결정하기 위해 결정된 3D 동공 위치 및 3D 각막 반사 데이터가 미리 결정된 목표물(T)의 미리 결정된 3D 위치 파라미터들과 비교된다. 환언하면, 3D 동공 위치 및 3D 각막 반사 데이터와 미리 결정된 목표물(T)의 3D 위치 사이의 관계를 결정하는 것에 의해 주시점 결정 모델이 형성될 수 있다. 일부 예에서, 하기의 관계식 또는 함수 f를 획득하기 위해 외과의사의 좌안(202a)의 결정된 3D 동공 위치(375')(좌표 (xP, yP, zP)) 및 3D 각막 반사 데이터(365')(좌표 ((uR, vR, wR))가 프로세스(312)에서 선택된 목표물(T)의 좌 입체 영상의 3D 위치 데이터(T)(좌표 (aT, bT, cT))와 비교된다:

(aT, bT, cT) = f (xP, yP, zP, uR, vR, wR)

일부 실시예에서, 복수의 교정 목표물들이 교정 프로세스를 위해 사용되고, 함수 f의 파라미터들이 교정 프로세스 동안 복수의 목표 지점들로부터 수집된 동공의 위치 및 각막 반사 데이터를 사용하여 결정될 수 있다. 일부 예에서, 최소 제곱 최적화(least squares optimization), 또는 최대 우도 추정(maximum likelihood estimation)과 같은 방법들이 함수 f의 파라미터들을 결정하는 데 사용될 수 있다. 일부 실시예에서, 각각의 눈에 대한 시선 방향 벡터는 각각의 눈의 3D 동공 위치 및 3D 각막 반사 데이터를 사용하여 형성될 수 있고, 각각의 시선 방향 벡터의 교차점이 외과의사의 주시점인 것으로 결정될 수 있다. 함수 f를 결정하기 위해, 결정된 주시점이 이어서 목표물(T)의 3D 위치 데이터와 비교될 수 있다. 일부 실시예에서, 교정 프로세스 동안, 함수 f를 사용하여 계산된 3D 위치와 목표물(T)의 실제의 결정된 위치 사이의 오차가, 최소 제곱 최적화, 최대 우도 추정과 같은, 최적화 방법을 사용하여 최소화될 수 있다. 일부 실시예에서, 주시점 결정 모델이 또한 외과의사의 양눈의 2D 위치 데이터, 목표물의 2D 위치 데이터, 및 외과의사의 동공의 이접 운동(예컨대, 각도 γ)을 사용하여 형성될 수 있다. 일부 실시예에서, 주시점 결정 모델은 또한 동공의 3D 위치 및 3D 각막 반사 데이터로부터 3D 공간에서의 좌표 시스템에서의 목표물(T)의 3D 위치로의 변환을 나타내는 행렬을 포함할 수 있다.

이와 유사하게, 외과의사의 우안(202b)의 3D 동공 위치 및 3D 각막 반사 데이터가 프로세스(312)에서 선택된 목표물(T)의 우 입체 영상의 3D 위치 데이터와 비교될 수 있다.

일부 실시예에서, 교정 프로세스(302)가 여러 번 반복될 수 있고, 따라서 주시점 결정 모델의 정확도는 정확도가 미리 결정된 시스템 요구사항을 충족시킬 때까지 개선될 수 있다. 일부 실시예에서, 제1 주시점 결정 모델(예컨대, 함수 f)이 형성된 후에, 제1 주시점 결정 모델의 정확도를 추정하기 위해 하나 이상의 실제 목표물들이 사용될 수 있다. 예를 들어, 실제 목표물(들)을 사용하여 매핑 최적화를 재실행함으로써, 제1 주시점 결정 모델이 제2 주시점 결정 모델을 형성하기 위해 업데이트될 수 있다. 보다 정확한 주시점 결정 모델이 형성될 수 있도록, 제1 모델과 제2 모델 간에 정확도가 비교되고 평가된다.

교정 프로세스(302)가 완료된 후에, 방법(300)은 측정 프로세스(304)로 진행한다. 측정 프로세스(304)는 수술 또는 수련 프로세스 동안 내시경 또는 입체 카메라(112)가 수술 부위의 영상을 포착하고 있을 때 수행될 수 있다. 일부 실시예에서, 교정 프로세스(302) 및 측정 프로세스(304)가 또한 시뮬레이트된 실습에서 시뮬레이션 모듈을 사용하여, 예를 들어, (예컨대, 외과의사의 콘솔(120)과 통합될 수 있는) da Vinci® Skills Simulator™을 사용하여 수행될 수 있다.

측정 프로세스(304)는 외과의사가 좌안 및 우안 영상 디스플레이(208a, 208b) 상에 디스플레이된 영상(예컨대, 수술 부위 또는 가상 영상)을 쳐다보고 있을 때 외과의사의 좌안(202a)과 우안(202b)의 2D 동공 위치 및 2D 각막 반사 데이터를 수신하는 단계(324)에서 시작된다. 프로세스(324)에 대한 구성 및 방법은 이전에 논의된 바와 같은 방법(300)의 프로세스(314)와 실질적으로 유사할 수 있다. 일부 실시예에서, 수술 부위의 영상은 내시경 또는 입체 카메라(112)에 의해 포착되고, 좌안 및 우안 영상 디스플레이(208a, 208b) 상에, 각각, 디스플레이되는 좌안 및 우안 입체 영상으로 분리되기 위해 처리될 수 있다. 외과의사의 좌안과 우안의 2D 동공 위치 및 2D 각막 반사 데이터는 좌 눈 및 우 눈 추적 유닛(212a, 212b)에 의해, 각각, 포착되고, 3D 동공 위치 데이터를 획득하기 위해 프로세서(214a, 214b) 및/또는 적분기(216)에 의해 처리된다.

측정 프로세스(304)는 프로세스(316)에서 결정된 보상 값 및/또는 보상 모델을 사용하여 외과의사의 좌안(202a)과 우안(202b) 각각에 대한 동공 위치 및 각막 반사 데이터를 추정하는 단계(326)로 진행한다. 일부 실시예에서, 단계(316)에서 포착된 머리/얼굴 움직임이 또한 동공의 위치 및 각막 반사 데이터 또는 외과의사의 3D 주시점을 보상하는 데 사용될 수 있다. 앞서 기술된 바와 같이, 교정 프로세스(302) 동안 좌 눈 및 우 눈 추적 유닛(212a, 212b)을 사용하여 머리 특징을 추적하는 것에 의해 머리 움직임 데이터가 추적될 수 있고, 보상 값 및/또는 보상 모델이 머리 움직임으로 인해 유발되는 동공 위치 및/또는 각막 반사 데이터의 변화를 계산하는 데 사용될 수 있다. 계산된 변화 값은 프로세스(324)에서 결정된 외과의사의 좌안과 우안에 대한 동공 위치 및 각막 반사 데이터를 조절하는 데(예컨대, 외과의사의 머리 움직임을 보상하는 데) 사용될 수 있다. 상세하게는, 교정 프로세스(302) 동안 머리 움직임과 눈 코너의 추적된 움직임 사이의 함수가 형성될 수 있다. 측정 프로세스(304) 동안, 머리/눈 특징의 움직임이 또한 추적될 수 있고, 외과의사의 머리 움직임이 교정 프로세스(302)로부터 형성된 함수를 사용하여 추정될 수 있다. 3D 동공 위치 및 3D 각막 반사 데이터가 이어서 단계(322)에서 획득된 주시점 결정 모델을 사용하여 프로세서(214)에 의해 외과의사의 3D 주시점 위치로 변환될 수 있다.

측정 프로세스(304)는 외과의사의 좌안(202a)과 우안(202b) 각각의 3D 동공 위치 및 3D 각막 반사 데이터를 결정하는 프로세스(328)로 진행한다. 3D 동공 위치 및 3D 각막 반사 데이터를 결정하는 프로세스는 이전에 논의된 바와 같은 방법(300)의 프로세스(318)와 실질적으로 유사할 수 있다. 일부 실시예에서, 좌 눈 추적 유닛들(212a) 각각으로부터 수신되는 2D 동공 위치 및 2D 각막 반사 데이터는 좌안 프로세서(214a)에 의해 처리될 수 있다. 좌안(202a)의 동공의 위치 및 각막 반사는 이어서 각막 반사의 각막 반사 중심(365)과 동공(375)의 중심 간의 상대 위치를 사용하여 계산될 수 있다(도 4c에 도시됨). 외과의사의 우안의 3D 동공 위치 및 3D 각막 반사 데이터가 외과의사의 좌안의 결정과 실질적으로 유사한 방식으로 결정될 수 있다. 예를 들어, 우 눈 추적 유닛들(212b)각각으로부터 수신되는 2D 동공 위치 및 2D 각막 반사 데이터는 우안 프로세서(214b)에 의해 처리될 수 있다. 우안(202b)의 동공의 위치 및 각막 반사는 이어서 우 각막 반사의 각막 반사 중심과 우 동공의 중심 간의 상대 위치를 사용하여 계산될 수 있다.

측정 프로세스(304)는 교정 프로세스(302)의 프로세스(322)에서 획득된 주시점 결정 모델을 사용하여 외과의사의 3D 주시점을 결정하는 프로세스(330)로 진행한다. 일부 실시예에서, 프로세스(328)에서 결정된 외과의사의 양쪽 눈의 3D 동공 위치 및 3D 각막 반사 데이터는 외과의사의 주시점의 3D 위치를 결정하기 위해 주시점 결정 모델을 사용하여 처리될 수 있다. 일부 예에서, 각각의 눈에 대한 시선 방향 벡터는 프로세스(328)에서 각각의 눈의 결정된 3D 동공 위치 및 3D 각막 반사 데이터를 사용하여 형성될 수 있다. 각각의 시선 방향 벡터의 교차점이 이어서 외과의사의 주시점을 결정하는 데 사용될 수 있다.

측정 프로세스(304) 후에, 일부 실시예에서, 결정된 3D 주시점 위치가 도 3a 내지 도 3d에 도시된 영상 디스플레이(208) 상에 보여질 수 있다. 3D 주시점 위치는 점, 선, 벡터, 화살표, 및 반투명 원(이들로 제한되지 않음)과 같은, 각종의 적당한 표현들 중 임의의 것으로 표현될 수 있다. 앞서 논의된 바와 같이 원격 조작 의료 시스템(10)에 의해 측정된 주시점이, 실시간 의료 시술 및 가상 수련 시술 둘 다를 비롯한, 다양한 응용 분야에서 사용될 수 있다.

예시적인 실시예들이 도시되고 기술되어 있지만, 전술한 개시 내용에서 광범위한 수정, 변경 및 치환이 생각되고, 어떤 경우에, 실시예들의 일부 특징들이 다른 특징들의 대응하는 사용 없이 이용될 수 있다. 본 기술 분야의 통상의 기술자라면 많은 변형들, 대안들 및 수정들을 잘 알 것이다. 이와 같이, 본 개시 내용의 범주는 이하의 청구항들에 의해서만 제한되어야 하고, 청구항들이 광의로 그리고 본원에 개시되는 실시예들의 범주와 부합하는 방식으로 해석되어야 하는 것은 당연하다.

Claims

눈 추적 시스템으로서,
제1 좌표 프레임을 포함하는 영상 디스플레이 - 상기 영상 디스플레이는 제2 좌표 프레임을 포함하는 수술 부위(surgical field)의 영상을 제3 좌표 프레임에 있는 사용자에게 디스플레이하도록 구성되고, 제1 파장 범위에서의 광을 방출하도록 구성됨 -;
제2 파장 범위에서의 광을 방출하고 상기 사용자의 우안의 제1 주시점(gaze point)에 관한 데이터를 측정하도록 구성되는 우 눈 추적기(right eye tracker);
상기 제2 파장 범위에서의 광을 방출하고 상기 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성되는 좌 눈 추적기(left eye tracker);
상기 영상 디스플레이와 상기 사용자의 우안 및 좌안 사이에 배치된 광학 어셈블리(optical assembly) - 상기 광학 어셈블리는, 상기 우 눈 추적기 및 상기 좌 눈 추적기가 상기 사용자에게 보이는 일 없이, 상기 제1 파장 범위의 광과 상기 제2 파장 범위의 광이 상기 좌안과 상기 영상 디스플레이 사이의 좌 광학 경로(left optical path)의 적어도 일부분을 공유하고 상기 우안과 상기 영상 디스플레이 사이의 우 광학 경로(right optical path)의 적어도 일부분을 공유하도록, 상기 제1 파장 범위 및 상기 제2 파장 범위의 광을 지향(direct)시키도록 구성됨 -; 및
상기 사용자의 제1 주시점 및 제2 주 시점이 향해 있는 상기 디스플레이된 영상에서의 관찰 위치(viewing location)를 결정하기 위해 상기 제1 주시점 및 상기 제2 주시점에 관한 상기 데이터를 처리하도록 구성되는 적어도 하나의 프로세서
를 포함하는, 눈 추적 시스템.
제1항에 있어서, 상기 광학 어셈블리는 상기 제1 파장 범위에서의 광을 반사시키고 상기 제2 파장 범위에서의 광의 통과를 가능하게 하도록 구성되는 빔 분할기(beam splitter)를 포함하는, 눈 추적 시스템.
제2항에 있어서, 상기 빔 분할기는 이색성 거울(dichroic mirror)을 포함하는, 눈 추적 시스템.
제2항에 있어서, 상기 광학 어셈블리는 상기 빔 분할기로부터 반사된 광을 수광하도록 구성되는 거울을 추가로 포함하는, 눈 추적 시스템.
제1항에 있어서, 상기 우 눈 추적기는 우 입체 영상 디바이스(right stereo imaging device)를 포함하고, 상기 좌 눈 추적기는 좌 입체 영상 디바이스(left stereo imaging device)를 포함하는, 눈 추적 시스템.
제5항에 있어서, 상기 우 입체 영상 디바이스와 상기 좌 입체 영상 디바이스 각각은 복수의 눈 추적 카메라들을 포함하는, 눈 추적 시스템.
제1항에 있어서, 상기 적어도 하나의 프로세서는 일정한 동공간 거리(constant interpupillary distance)에 대응하는 상수 인자(constant factor)에 기초하여 상기 관찰 위치를 결정하기 위해 상기 제1 주시점 및 상기 제2 주시점에 관한 상기 데이터를 처리하도록 구성되는, 눈 추적 시스템.
제1항에 있어서, 상기 우 눈 추적기는 상기 우안의 2D 각막 반사 데이터(2D corneal reflection data)를 검출하도록 구성되고, 상기 좌 눈 추적기는 상기 좌안의 2D 각막 반사 데이터를 검출하도록 구성되는, 눈 추적 시스템.
제1항에 있어서, 상기 우 눈 추적기는 상기 우안의 2D 동공 위치 데이터(2D pupillary position data)를 검출하도록 구성되고, 상기 좌 눈 추적기는 상기 좌안의 2D 동공 위치 데이터를 검출하도록 구성되는, 눈 추적 시스템.
제1항에 있어서, 상기 우 눈 추적기 및 상기 좌 눈 추적기는 상기 사용자의 머리 특징에 대응하는 고정 기준점(fixed reference point)에 관한 위치 데이터를 추적하도록 구성되는, 눈 추적 시스템.
제10항에 있어서, 상기 적어도 하나의 프로세서는, 상기 고정 기준점에 관한 상기 위치 데이터에 기초하여 상기 관찰 위치를 결정하기 위해, 상기 제1 주시점 및 상기 제2 주시점에 관한 상기 데이터를 처리하고 상기 사용자의 머리 움직임들을 보상하도록 구성되는, 눈 추적 시스템.
제1항에 있어서, 상기 광학 어셈블리는 상기 영상 디스플레이로부터의 상기 제1 파장 범위의 광을 반사시키고 상기 제1 파장 범위의 광을 투과시키도록 구성되는, 눈 추적 시스템.