KR20230059843A

KR20230059843A - 통합된 사용자 환경

Info

Publication number: KR20230059843A
Application number: KR1020237014209A
Authority: KR
Inventors: 앤쏘니 엠 자크; 조이 쩌우
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2014-11-13
Filing date: 2015-11-12
Publication date: 2023-05-03
Also published as: CN107111682B; EP3217912A4; EP3217912A1; KR20170083091A; CN107111682A; US20170319282A1; CN114694829A; WO2016077531A1

Abstract

사용자 인터페이스를 관리하기 위한 시스템이 개시되며, 이 시스템은 제1 원격작동형 수술 시스템을 포함하고, 제1 원격작동형 수술 시스템은, 제1 원격작동형 수술 시스템에서 제2 원격작동형 수술 시스템으로부터 제2 원격작동형 수술 시스템의 동작을 기술하는 환경 변수를 수신하도록 구성된 통신 서브시스템; 및 비디오 서브시스템을 포함하고, 이 비디오 서브시스템은, 제1 원격작동형 수술 시스템에서 로컬 장면 ―로컬 장면은 제1 원격작동형 수술 시스템의 동작의 상태를 나타냄― 을 렌더링하고; 제1 원격작동형 수술 시스템에서 원격 장면 ―원격 장면은 제2 원격작동형 수술 시스템의 동작의 상태를 나타내며, 원격 장면은 적어도 부분적으로 환경 변수에 기초함― 을 렌더링하며; 로컬 장면과 원격 장면을 합성하여 합성 장면을 생성하고; 제1 원격작동형 수술 시스템의 사용자에게 합성 장면을 프리젠팅한다.

Description

통합된 사용자 환경{INTEGRATED USER ENVIRONMENTS}

관련 출원

본 특허 출원은, 참조로 그 전체가 본 명세서에 포함되는 2014년 11월 13일 출원된 발명의 명칭이 "INTEGRATED USER ENVIRONMENTS"인 미국 가출원 제62/079,392호에 대한 우선권 및 그 출원일에 대한 이익을 주장한다.

분야

여기서 설명된 실시예들은 대체로 네트워크 통신에 관한 것으로, 특히 통합된 사용자 환경을 위한 시스템 및 방법에 관한 것이다.

최소한으로 침습적인 의료 기술은, 진단 또는 수술 절차 동안에 손상되는 조직의 양을 감소시킴으로써, 환자 회복 시간, 불편함, 및 해로운 부작용을 감소시키기 위한 것이다. 수동 복강경 및 개복 수술의 한계를 극복하기 위해 로봇 기술을 이용하는 원격작동형 수술 시스템(소위, 수술 로봇 시스템)이 이용될 수 있다. 원격현장감 시스템(telepresence system)의 진보는, 환자의 신체 내부의 외과의사의 뷰, 수술 기구의 증가된 움직임 정도, 및 장거리에 걸친 수술 협업 능력을 제공한다. 원격작동형 수술 시스템을 이용한 작업의 복잡성에 비추어, 적절하고 효과적인 훈련이 중요하다.

반드시 축척비율에 맞게 도시되지는 않은 도면들에 있어서, 유사한 참조 번호들은 상이한 도면들 내의 유사한 컴포넌트들을 기술할 수 있다. 상이한 문자 접미사(suffix)를 갖는 유사한 숫자들은 유사한 컴포넌트들의 상이한 사례들을 나타낼 수 있다. 일부 실시예들은 첨부된 도면들에서 제한이 아닌 예로서 설명된다.
도 1은 한 실시예에 따른 원격작동형 수술 시스템을 나타내는 개략도이다;
도 2a는 한 실시예에 따른 마스터 어셈블리를 도시하는 도면이다;
도 2b는 한 실시예에 따른 마스터 어셈블리의 마스터 제어기를 나타내는 도면이다;
도 2c는 한 실시예에 따른 마스터 어셈블리의 팔걸이를 나타내는 도면이다;
도 3은 한 실시예에 따른 가상 수술 부위를 나타낸다;
도 4는 한 실시예에 따른 2개의 가상 수술 부위를 합성하는 프로세스를 나타낸다;
도 5는 한 실시예에 따른 수련인 시스템과 감독 시스템 사이에서 공유하는 협력 데이터를 나타내는 데이터 흐름도이다;
도 6은 한 실시예에 따른 마스터 어셈블리를 나타내는 블록도이다;
도 7은 한 실시예에 따른 원격작동형 수술 훈련 세션을 채점하는 방법을 나타내는 플로차트이다;
도 8은 예시적인 실시예에 따른, 예시적인 컴퓨터 시스템의 형태로 된 머신을 나타내는 블록도이며, 이 머신 내에서 머신으로 하여금 여기서 논의된 방법들 중 임의의 것을 수행하게 하기 위한 명령어들 세트 또는 명령어들 시퀀스가 실행될 수 있다.

이하의 설명은 본 기술분야의 통상의 기술자가 의료 디바이스 시뮬레이터의 시스템 및 방법을 생성하고 이용할 수 있게 하도록 제시된다. 실시예들에 대한 다양한 수정이 본 기술분야의 통상의 기술자에게는 용이하게 명백할 것이며, 여기서 정의된 일반 원리는 본 발명의 주제의 사상과 범위를 벗어나지 않고 다른 실시예들 및 응용들에 적용될 수 있다. 게다가, 이하의 설명에서, 많은 상세사항이 설명의 목적을 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자라면, 본 발명의 주제가 이들 특정한 상세사항들의 이용없이 실시될 수 있다는 것을 알 것이다. 다른 예들에서, 공지된 머신 컴포넌트들, 프로세스들 및 데이터 구조들은 불필요한 상세사항으로 본 개시를 모호하게 하지 않기 위해 블록도 형태로 도시된다. 이하에서 참조되는 도면들 내의 흐름도들은 프로세스를 나타내기 위해 이용된다. 컴퓨터 시스템은 이들 프로세스들 중 일부를 수행하도록 구성될 수 있다. 컴퓨터-구현된 프로세스들을 나타내는 흐름도들 내의 모듈들 또는 서브시스템들은 이들 모듈들을 참조하여 설명되는 동작들을 수행하는 컴퓨터 프로그램 코드에 따른 컴퓨터 시스템의 구성을 나타낸다. 따라서, 본 발명의 주제는 도시된 실시예들로 제한되는 것이 아니라, 여기서 개시된 원리 및 피쳐들에 부합하는 가장 넓은 범위를 따라야 한다.

서언

수술 훈련은, 관찰, 사체 또는 수술 훈련 모델을 이용한 연습, 및 시뮬레이션 훈련을 포함하는 다양한 형태로 이루어질 수 있다. 원격작동형 수술 분야에서는, 이들 훈련 기술들 모두가 이용될 수 있다. 일관되고 반복가능한 경험을 제공하기 위하여, 시뮬레이션 훈련은 뚜렷한 이점을 제공한다.

원격작동형 시뮬레이터에 대한 성능을 분석할 때, 교육 목표는 컨티뉴엄(continuum) 상에서 볼 수 있고, 그 컨티뉴엄의 한 끝에는 기본적인 시스템 스킬이 있고 다른 끝에는 로봇 수술 절차가 있다. 중간에, 로봇 수술 스킬과 작업이 표현된다. 따라서, 사용자는, 바늘 타겟팅, 물체 움직이기, 또는 공간에서의 기구 네비게이션과 같은 능란한 작업 등의 기본적인 로봇 시스템 스킬과 함께 학습을 시작할 수 있다. 결국, 사용자는 컨티뉴엄의 중간으로 진행하여 봉합 또는 매듭 묶기 등의 로봇 수술 스킬을 연습할 수 있다. 스킬 숙련도를 얻은 후, 사용자는 로봇 수술 절차 및 자궁 적출술 등의 절차 작업으로 진행할 수 있다.

시뮬레이션 훈련은 다양한 모드에서 사용자에게 제공될 수 있다. 사용자는 개개의 훈련 모듈에 참여하여 안내없이 또는 안내를 동반하여 훈련 작업을 시도할 수 있다. 이러한 안내는, 예를 들어 오디오 프롬프트, 텍스트 오버레이 등과 함께 훈련 모듈에 의해 제공될 수 있다. 대안으로서, 사용자는 안내를 제공하는 전문가 사용자(예를 들어, 감독, 강사 또는 교사)와의 협력적 환경에 참여할 수 있다. 여기서 예시된 시스템 및 프로세스는, 하나 이상의 원격 사용자가 전문가 사용자의 움직임 및 주석(annotation)을 볼 수 있는 협력적 환경을 설명한다. 이러한 전문가-안내형 경험은 교육을 향상시키고 훈련 시간을 단축시킬 수 있다.

원격작동형 수술 시스템

도 1은 한 실시예에 따른 원격작동형 수술 시스템(100)을 나타내는 개략도이다. 원격작동형 수술 시스템(100)은, 환자(106)에 관한 다양한 절차를 수행하는데 있어서 수술 기구(104)의 동작을 제어하기 위한 수술 조작기 어셈블리(102)를 포함한다. 어셈블리(102)는 수술 테이블(108)에 장착되거나 수술 테이블(108) 근처에 위치한다. 마스터 어셈블리(110) 등의 사용자 인터페이스는 외과의사(112)가 수술 부위를 보고 조작기 어셈블리(102)를 제어하는 것을 허용한다.

대안적 실시예에서, 원격작동형 수술 시스템(100)은 하나 보다 많은 조작기 어셈블리(102)를 포함할 수 있다. 조작기 어셈블리의 정확한 개수는, 특히, 수술 절차 및 수술실 내의 공간 제약 등에 따라 다를 것이다.

마스터 어셈블리(110)는 수술 테이블(108)과 동일한 공간에 위치할 수 있다. 그러나, 외과의사(112)는 환자(106)와는 상이한 방 또는 완전히 상이한 건물에 위치할 수도 있다는 것을 이해해야 한다. 마스터 어셈블리(110)는 일반적으로 조작기 어셈블리(102)를 제어하기 위한 하나 이상의 제어 디바이스(들)(114)를 포함한다. 제어 디바이스(들)(114)은, 중력-평형 아암, 조이스틱, 트랙볼, 장갑, 트리거-그립, 수동 조작형 제어기, 손 동작 센서, 음성 인식 디바이스, 안구 동작 센서 등의, 임의의 개수의 다양한 입력 디바이스를 포함할 수 있다. 일부 실시예에서, 제어 디바이스(들)(114)에는, 외과의사(112)에게 원격현장감 또는 제어 디바이스(들)(114)이 기구(104)와 일체라는 인식을 제공하여 외과의사(112)가 기구(104)를 직접 제어하는 듯한 강한 감각을 갖게 하기 위해, 연관된 수술 기구(104)와 동일한 자유도가 제공된다. 일부 실시예에서, 제어 디바이스(114)는, 6개 이상의 자유도로 움직이고, 또한 기구들을 작동시키기 위한(예를 들어, 붙잡는 턱을 닫거나, 전극에 전위를 인가하거나, 약물 치료를 제공하는 등을 위한) 작동가능한 핸들 또는 기타의 제어 피쳐(예를 들어, 하나 이상의 버턴, 스위치 등)를 포함할 수 있는 수동 입력 디바이스이다.

시각화 시스템(116)은 외과의사(112)에게 수술 부위의 동시적 2차원 또는 3차원 비디오 이미지를 제공한다. 시각화 시스템(116)은 뷰잉 스코프 어셈블리를 포함할 수 있다. 일부 실시예들에서, 시각적 이미지는 수술 부위 내에 위치한 내시경에 의해 포착될 수 있다. 시각화 시스템(116)은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있고, 이것은, 제어 시스템(118)의 하나 이상의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호작용하거나 또는 기타의 방식으로 이에 의해 실행될 수 있다.

디스플레이 시스템(120)은 시각화 시스템(116)에 의해 포착된 수술 부위 및 수술 기구(104)의 시각적 이미지를 디스플레이할 수 있다. 디스플레이 시스템(120) 및 마스터 제어 디바이스(114)는 스코프 어셈블리 내의 시각적 촬상 디바이스와 수술 기구(104)의 상대적 위치들이 외과의사의 눈과 손의 상대적 위치와 유사하게끔 배향되어, 작동자(예를 들어, 외과의사(112))가 수술 기구(104)를, 마치 기구(104)에 인접한 작업 공간을 실질적 트루 프레전스(true presence)로 보고 있는 것처럼, 미스터 제어 디바이스(114)로 조작할 수 있게 할 수 있다. "트루 프레전스"란, 이미지의 프리젠테이션이, 수술 기구(104)를 물리적으로 조작하고 있는 작동자의 관점을 시뮬레이션하는 정확한 관점의 이미지(true perspective image)라는 것을 의미한다.

제어 시스템(118)은, 수술 조작기 어셈블리(102), 마스터 어셈블리(114) 및 디스플레이 시스템(116) 사이에서 제어를 수행하기 위한 적어도 하나의 프로세서(미도시) 및 통상적으로 복수의 프로세서를 포함한다. 제어 시스템(118)은 또한, 여기서 설명된 방법들 중 일부 또는 전부를 구현하는 소프트웨어 프로그래밍 명령어들을 포함한다. 제어 시스템(118)은 도 1의 단순화된 개략도에서 단일 블록으로 도시되어 있지만, 제어 시스템(118)은 다수의 데이터 처리 회로(예를 들어, 수술 조작기 어셈블리(102) 및/또는 마스터 어셈블리(110))를 포함할 수 있다. 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍쳐 중 임의의 아키텍처가 채용될 수 있다. 유사하게, 프로그래밍 코드는 다수의 별개의 프로그램 또는 서브루틴으로서 구현되거나, 여기서 설명된 원격작동형 시스템들의 다수의 다른 양태들 내로 통합될 수 있다. 다양한 실시예에서, 제어 시스템(118)은, Bluetooth, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 원격측정 등의, 무선 통신 프로토콜을 지원할 수 있다.

일부 실시예들에서, 제어 시스템(118)은, 수술 기구(104)로부터 마스터 어셈블리(114)로 힘과 토크 피드백을 제공하는 서보 제어기를 포함할 수 있다. 임의의 적절한 종래의 또는 전문화된 서보 제어기가 이용될 수 있다. 서보 제어기는 조작기 어셈블리(102)와 별개이거나 조작기 어셈블리(102)와 일체형일 수 있다. 일부 실시예에서, 서보 제어기 및 조작기 어셈블리(102)는 환자(106)에 인접하여 위치한 로봇 팔 카트(robotic arm cart)의 일부로서 제공된다. 서보 제어기는, 신체의 개구를 통해 환자 신체 내의 내부 수술 부위 속으로 연장되는 기구(104)를 움직이도록 조작기 어셈블리(102)에게 지시하는 신호를 전송한다.

각각의 조작기 어셈블리(102)는 적어도 하나의 수술 기구(104)(예를 들어, "슬레이브")를 지지하고, 일련의 비-원격작동형, 수동 관절식 연결부 및 원격작동형 로봇 조작기를 포함할 수 있다. 연결부는 셋업 구조물이라고 지칭될 수 있고, 이것은 셋업 구조물이 공간에서 소정의 위치와 배향으로 배치 및 유지되는 것을 허용하는 관절부(joints)와 결합된 하나 이상의 링크를 포함한다. 조작기 어셈블리(102)는 일련의 액츄에이터(예를 들어, 모터)에 의해 구동될 수 있다. 이들 모터들은 제어 시스템(118)으로부터의 명령에 응답하여 로봇 조작기를 능동적으로 움직인다. 모터는 또한 수술 기구(104)에 결합되어 수술 기구(104)를 자연적으로 또는 외과적으로 생성된 해부학적 오리피스(orifice) 내로 전진시키고 수술 기구(104))를 3개 범위의 선형 동작(X, Y, Z 선형 동작)과 3개 범위의 회전 동작(예를 들어, 롤(roll), 피치(pitch), 요(yaw))을 포함할 수 있는 복수의 자유도로 움직일 수 있다. 추가로, 모터는, 조직 샘플을 획득하거나 또는 약물을 투여하기 위한 생체검사 디바이스(biopsy device) 또는 시술기(effector)의 턱으로 조직들을 붙잡기 위한 관절식 작동기, 또는 이하에서 더 자세히 설명되는 기타의 치료를 제공하기 위한 또 다른 시술기 등의 수술 기구(104)의 시술기를 작동시키는데 이용될 수 있다. 예를 들어, 기구(104)는 동작의 원격 중심 주변으로 피칭(pitch) 및 요잉(yaw)될 수 있고, 이것은 동작(예를 들어, z-축 동작)의 원격 중심을 통해 삽입되거나 철회될 수 있다. 다른 자유도는 기구의 일부만(예를 들어, 최종 시술기)을 이동시킴으로써 제공될 수 있다. 예를 들어, 최종 시술기는 샤프트(shaft) 롤링함으로써 롤링될 수 있고, 최종 시술기는 말단 손목에서 피칭 및 요잉된다.

도 2a는 (도 1에 도시된) 조작기 어셈블리(102)를 제어하기 위해 사용자에 의해 이용가능한 사용자 인터페이스의 한 예인 마스터 어셈블리(110)를 나타내는 도면이다. 사용자는, 마스터 어셈블리(110)에 앉아서 디스플레이 시스템(202), 마스터 제어기(204) 및 발판 패널(206)에 액세스할 수 있다. 발판 패널(206)은 사용자가 다양한 수술 기구들을 교체하거나 비디오 또는 카메라 피쳐를 제어하는 등의 다양한 작업을 수행할 수 있게 한다.

마스터 어셈블리(110)에 착석한 동안, 사용자는 팔걸이(208)에 팔을 둘 수 있다. 라이브 수술에서 동작할 때, 디스플레이 시스템(202)은, 때때로 포탈(portal) 또는 캐뉼라(cannula)라고 하는 수술 부위로의 작은 개구를 통해 삽입된 카메라로부터 포착된 수술 현장을 디스플레이한다. 하나 이상의 대응하는 조작기 어셈블리(예를 들어, 도 1에 도시된 조작기 어셈블리(102))가 없는 마스터 어셈블리(110) 등의 사용자 인터페이스는 또한, 원격작동형 수술 시스템(예를 들어, 도 1에 도시된 원격작동형 수술 시스템(100))의 이용에 관해 사용자를 훈련시키는데 이용될 수 있다. 훈련 목적을 위해, 시뮬레이션된 환경이 디스플레이 시스템(202) 상에 디스플레이될 수 있고, 여기서, 시뮬레이션된 환경은 수술 부위 및 가상 슬레이브 수술 기구의 입체 디스플레이일 수 있다. 사용자가 마스터 제어기(204)를 움직이면, 가상 수술 기구는 입체 디스플레이에서 대응하는 방식으로 움직일 수 있다.

도 2b는 한 실시예에 따른 마스터 어셈블리(110)의 마스터 제어기(204)를 나타내는 도면이다. 마스터 제어기(204)는 핸드헬드 부분 또는 짐벌(gimbal)을 포함한다. 마스터 제어기(204)는, 피봇 접속부 또는 관절부에 의해 함께 접속된 복수의 부재 또는 링크를 포함하는 관절식 아암 부를 갖는다. 사용자는 자신의 엄지 및 검지 손가락을 핀처 형성부(pincher formation, 212) 위에 위치시킴으로써 손가락 루프(210)를 쥔다. 사용자의 엄지 손가락 및 검지 손가락은 통상적으로 슬롯들을 통해 체결된(threaded) 스트랩(strap)에 의해 핀처 형성부 상에 고정되어 손가락 루프(210)를 생성한다. 핀처 형성부(212)가 엄지 손가락과 검지 손가락 사이에서 압착될 때, 손가락 또는 수술 기구(104)의 다른 요소는 동기적으로 움직인다. 마스터 제어기(204)의 관절부는, 예를 들어, 힘 피드백, 중력 보상 등을 제공하기 위해, 전기 모터 등의 액츄에이터에 동작적으로 접속된다. 또한, 적절하게 배치된 센서들, 예를 들면, 인코더 또는 전위차계 등이 마스터 제어기(204)의 각각의 관절부 상에 배치되어, 마스터 제어기(204)의 관절 위치들이 원격작동형 수술 시스템(100) 내의 마스터 어셈블리(110) 또는 기타의 제어 시스템에 의해 결정될 수 있게 한다.

한 실시예에서, 2개의 마스터 제어기(204)가 있고, 각각은, 사용자가 각각의 손의 검지와 엄지를 삽입할 수 있는 2개의 손가락 루프(210)를 갖는다. 2개의 마스터 제어기(204) 각각은 가상 수술 기구를 제어할 수 있다. 사용자는 하나 또는 양쪽의 마스터 제어기(204)에 대해 복수의 기구를 교체하는 소프트웨어 또는 하드웨어 메커니즘을 제공받을 수 있다. 예를 들어, 사용자에게는 2개의 포셉(forceps) 및 리트랙터(retractor) 등의 3개의 기구가 제공될 수 있다. 포셉들 중 하나 또는 양쪽 모두는 조직을 소작(cauterize)할 수 있는 에너지 기구일 수 있다. 사용자는 먼저 각각의 마스터 제어기(204)에서 포셉을 이용한 다음, 우측 마스터 제어기(204)를 전환시켜 리트랙터를 제어해 수술 현장의 섹션을 노출시킨 다음, 우측 마스터 제어기(204)를 다시 포셉으로 전환하여 조직의 절단, 프로빙, 또는 절개를 계속할 수 있다.

마스터 제어기(204)를 이용하는 동안, 사용자는, 검지 및 엄지(또는 루프(210) 내에 삽입된 임의의 2개의 손가락)를 이용한 핀칭 동작에 추가하여 회전 동작(롤, 피치, 요)과 함께 전체 3차원 범위의 동작(x, y, 및 z 축)을 제공받는다. 따라서, 적절한 마스터 제어기(204)를 움직임으로써, 사용자는 전체 범위의 동작을 통해 대응하는 수술 기구를 조작할 수 있다.

도 2c는 한 실시예에 따른 마스터 어셈블리(110)의 팔걸이(208)를 나타내는 도면이다. 팔걸이(208)는, 터치스크린, 소프트 버턴, 기계적 버턴 등의 하나 이상의 터치 컨트롤(control)을 포함할 수 있다. 도 2c에 나타낸 예에서, 사용자가 다양한 비디오, 오디오 또는 다른 시스템 설정을 구성할 수 있는 단일 터치스크린(214)이 도시되어 있다.

한 실시예에서, 디스플레이 시스템(120)은 환자 내부의 수술 부위를 시뮬레이션하는 가상 환경을 디스플레이할 수 있다. 가상 환경은 수술 기구(104)에 추가하여 다양한 생물학적 구조물을 포함할 수 있다. 외과의사(112)는, 실제 환자를 해롭게 할 가능성을 갖지 않고 다양한 스킬 또는 절차로 훈련시키거나 인증을 획득하거나 실험하기 위해 가상 환경 내에서 기구(104)를 동작시킨다. 수술 절차를 시뮬레이션하는 것은 또한, 더 적은 수의 컴포넌트를 요구한다는 이점을 가진다. 예를 들어, 실제 환자가 없으므로 환자측 카트가 필요하지 않다. 따라서, 시뮬레이션은 증가된 편의성과 접근성을 제공한다.

가상 훈련 환경의 개요

여기서는 전문가 사용자의 수술 기구와 함께 가상 수술 환경에서 렌더링된 로컬 사용자의 가상 수술 기구를 포함하는 가상 훈련 환경이 개시된다. 한 목표는 더욱 일관된 훈련 결과를 획득하는 것이다. 또 다른 목표는 훈련 시간을 줄이는 것이다. 역시 다른 목표는, 더욱 매력적이고 상호작용 방식의 훈련 환경을 제공하며 훈련 효율을 높이는 전문가 피드백을 위한 플랫폼을 제공하는 것을 포함하지만, 이것으로 제한되지 않는다.

도 3은 한 실시예에 따른 가상 수술 부위(300)를 나타낸다. 가상 수술 부위(300)는 디스플레이 시스템(202) 상에 디스플레이될 수 있고, 2개의 가상 슬레이브 수술 기구(302)를 포함한다. 협력적 훈련 환경에서, 제2 세트의 가상 수술 기구가 사용자의 디스플레이 상에 오버레이될 수 있다. 제2 세트의 가상 수술 기구는 전문가 사용자(예를 들어, 감독, 강사, 교사 등)에 의해 제어되는 가상 기구의 표현일 수 있다. 도 4는 한 실시예에 따른 2개의 가상 수술 부위를 합성하는 프로세스를 나타낸다. 수련인은 수련인 장면(400)에서 렌더링될 수 있는 하나의 가상 환경에서 작업할 수 있다. 유사하게, 전문가 사용자는 동일하거나 유사한 환경을 볼 수 있고 별개의 가상 수술 기구를 제어할 수 있다. 전문가 장면(402)은 별개로 렌더링된다. 결합된 장면(404)은 수련인 장면(400)과 전문가 장면(402)의 합성물이며, 마스터 어셈블리의 수련인에게 출력된다. 유사하게, 결합된 장면은 전문가의 마스터 어셈블리에 출력된다.

전문가 사용자의 수술 기구는 (결합된 장면(404)에서 점선 윤곽선 가상 기구로 표시된) 수련인 스크린에서 반투과 또는 반투명 오버레이로서 프리젠팅될 수 있다. 이러한 방식으로, 별개의 마스터 어셈블리를 동작시키고 있는 전문가 사용자는 시각적으로 수련인을 안내하거나 조언할 수 있으며 수련인은 디스플레이 시스템에서 전문가의 가상 기구를 흉내내거나 볼 수 있다. 반투명 효과, 시-스루 효과(see-through effect) 또는 추상화된 표현(예를 들어, 점선 테두리, 고스트 모양, 만화 그리기 등) 등의 다른 시각적 효과가 전문가 사용자의 수술 기구에 적용될 수 있다.

선택사항으로서, 일부 실시예들에서, 전문가 사용자의 수술 기구는 수련인 사용자의 가상 수술 기구와 유사한 방식으로(예를 들어, 불투명, 음영 등) 렌더링된다. 또한, 전문가의 가상 수술 기구가 (예를 들어, 반투명 효과를 이용하여) 시각적으로 수정되는 일부 실시예가 설명되지만, 이러한 수정은 수련인 사용자의 가상 기구에 적용될 수 있다는 것을 이해해야 한다. 예를 들어, 한 실시예에서, 전문가 사용자의 스테이션에서, 전문가 사용자의 가상 기구는 불투명하게 렌더링되는 반면, 수련인의 가상 기구는 반투명 또는 시-스루(see-through)로 렌더링된다. 추가로, 가상 기구(수련인 또는 전문가)에 이용되는 효과는 연습 이전이나 연습 동안에 수정될 수 있다. 수정은 훈련 방법을 개선하는데 이용될 수 있다.

도 5는 한 실시예에 따른 수련인 시스템(500)과 감독 시스템(502) 사이에서 공유하는 협력 데이터를 나타내는 데이터 흐름도이다. 한 실시예에서, 수련인 시스템(500) 및 감독 시스템(502) 각각은 원격작동형 수술 시스템(예를 들어, 도 1에 도시된 원격작동형 수술 시스템(100))이다. 대안적인 실시예에서, 수련인 시스템(500) 및 감독 시스템(502) 중 적어도 하나는 하나 이상의 연관된 조작기 어셈블리(예를 들어, 도 1에 도시된 조작기 어셈블리(102))가 없는 원격작동형 수술 시스템의 사용자 인터페이스 컴포넌트(예를 들어, 도 2a에 도시된 마스터 어셈블리(110))를 포함한다. 수련인 시스템의 사용자(예를 들어, 수련인)가 마스터 제어 디바이스(예를 들어, 마스터 제어기, 발 페달 등)를 통해 마스터 어셈블리를 동작시킬 때, 수련인 시스템(500)은, 다양한 마스터 제어 디바이스의 위치, 속도 또는 상태 등의 입력 데이터를 수신한다. 수련인 시스템에서 수신된 입력 데이터의 일부 또는 전부는 전문가 시스템에 전송된다(화살표 504). 입력 데이터는, 수련인 시스템(500) 상의 가상 수술 기구의 위치 및 상태를 로컬 장면(508)으로서 렌더링하는데 이용된다. 유사하게, 입력 데이터는 수련인 시스템(510)의 환경을 렌더링하기 위해 전문가 시스템(502) 상에서 이용된다. 이것은 전문가 시스템(502)의 사용자 관점에서의 원격 장면이다.

유사한 방식으로, 전문가 시스템(502)의 사용자 동작의 결과로서 전문가 시스템(502)에서 수신된 입력 데이터의 일부 또는 전부는 수련인 시스템(500)에 전송된다. 전문가 시스템(502)에서, 전문가 시스템(502)의 사용자 동작의 결과로서 전문가 시스템(502)에서 수신된 입력 데이터는 로컬 장면(512)(전문가 시스템(502)의 사용자에 관해 로컬)을 렌더링하는데 이용된다. 전문가 시스템(502)의 사용자 동작의 결과로서 전문가 시스템(502)에서 수신된 입력 데이터는 수련인 시스템(500)에 전송되어(화살표 514) (수련인 시스템(500)에 관해 원격인) 원격 장면(516)으로서 렌더링된다.

수련인 시스템(500)은 로컬 장면(508) 및 원격 장면(516)을 포함하는 합성 장면(518)을 렌더링한다. 합성 장면(518)은 다양한 그래픽 조작을 이용하여 원격 장면(516)을 변경할 수 있는데, 예를 들어, 원격 장면(516)을 반투명하게 하거나, 원격 가상 기구의 색상을 변경하거나, 수련인 시스템(500)의 사용자가 합성 장면(518)에서의 로컬 가상 수술 기구를 원격(예를 들어, 전문가) 수술 기구와 더욱 용이하게 구별하는 것을 허용하는 기타의 강화를 가한다. 전문가 시스템(502)은 유사한 합성 장면(520)을 생성하여 전문가 시스템(502) 사용자에게 로컬 및 원격 가상 수술 기구의 뷰를 제공한다. 전문가 시스템(502)은, 선택사항으로서, 예를 들어 로컬 장면(512) 또는 원격 장면(510)을 반투과, 반투명으로 하거나, 가상 기구의 색상을 변경하는 등에 의한, 다양한 그래픽 조작을 이용하여 로컬 장면(512) 또는 원격 장면(510)(전문가 시스템(502)의 관점에서 로컬 및 원격)을 변경할 수 있다.

도 6은 마스터 어셈블리(110)를 예시하는 블록도이다. 마스터 어셈블리(110)는, 원격작동형 수술 시스템에서, 하나 이상의 수술 기구(예를 들어, 도 1에 도시된 수술 기구(104))를 연관된 조작기 어셈블리(예를 들어, 도 1의 조작기 어셈블리(102))를 통해 제어하는데 이용될 수 있는 사용자 인터페이스의 한 실시예이다. 마스터 어셈블리(110)는 또한, 원격작동형 수술 시스템의 이용에 있어서 사람을 훈련시키기 위해 가상 환경에서 시뮬레이션된 절차를 수행하는데 이용될 수 있다. 사용자가 가상 수술 시뮬레이션에서 가상 수술 기구를 제어하기 위해 마스터 제어기(114)를 조작할 때, 입력 신호가 입/출력(I/O) 버퍼(600)에 전송된다. 입력 신호는, (예를 들어, 마스터 제어기(204)의) 다양한 아암 이동 및 위치, 카메라 제어, 또는 마스터 어셈블리(110)의 사용자로부터 수신된 기타의 입력을 포함한다. 가상 수술 시뮬레이션에 영향을 주는 입력 제어 신호를 식별하기 위해, 입력 제어 신호는 스캔, 필터링 및 처리될 수 있다. 이러한 입력 제어 신호는 마스터 어셈블리(110)의 비디오 서브시스템(602)에 전송된다. 비디오 서브시스템(602)은, 디스플레이(604) 상의 프리젠테이션을 위한 비디오 이미지를 렌더링하기 위해, 비디오 프로세서, 비디오 메모리 및 기타의 컴포넌트를 포함할 수 있다. 입력 제어 신호는 또한, 통신 모듈(606)에 전송된다. 통신 서브시스템(606)은 입력 제어 신호들을 또 다른 (원격) 마스터 어셈블리(110)(미도시)에 전송하고, 그러면, 이 또 다른 마스터 어셈블리는 입력 제어 신호들이 마치 (원격) 마스터 어셈블리(110)에 대해 국지적으로 생성된 것처럼 입력 제어 신호들을 이용할 수 있다. 통신 서브시스템(606)은 또한, 원격 마스터 어셈블리(110)로부터 입력 제어 신호를 수신할 수 있고, 여기서, 수신된 입력 제어 신호는 원격 마스터 어셈블리(110)의 원격 사용자에 의해 취해진 동작을 나타낸다. 원격 사용자로부터 수신된 입력 제어 신호는 I/O 버퍼(600)에 포워딩되고, I/O 버퍼는 이것을 처리를 위해 비디오 서브시스템(602)에 전달한다.

하나보다 많은 원격 마스터 어셈블리(110)가 통신 서브시스템(606)으로부터 입력 제어 신호를 수신할 수 있고 통신 서브시스템(606)은 하나보다 많은 원격 마스터 어셈블리(110)로부터 입력 제어 신호를 수신할 수 있다는 것을 이해해야 한다. 이러한 방식으로, 여러 명의 강사가 로컬 사용자에게 동시적인 지침 또는 안내를 제공할 수 있고, 각각의 강사는 가상 수술 기구가 로컬 사용자의 디스플레이에 표시되게 한다. 또한 이러한 방식으로, 여러 명의 수련인 사용자는 한 명 이상의 강사로부터 지침을 받을 수 있다. 도 6은 통신 서브시스템(606)이 I/O 버퍼(600)로부터 입력 제어 신호를 수신하는 것을 도시하고 있지만, 통신 서브시스템(606)은, 운영 체제, 디바이스 드라이버, 애플리케이션, 또는 기타의 미들웨어 등의, 다른 중간 소스로부터 입력 제어 신호를 수신할 수 있다.

통신 서브시스템(606)은, 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 모바일 전화 네트워크, POTS(Plain Old Telephone) 네트워크, 및 무선 데이터 네트워크(예를 들어, Wi-Fi, 3G 및 4G LTE/LTE-A 또는 WiMAX 네트워크) 등의, 다양한 네트워킹 프로토콜 또는 기술을 이용하여 원격 마스터 어셈블리(110)와 통신할 수 있다.

도 6은, 제1 사용자 인터페이스에서 제2 사용자 인터페이스로부터 제2 사용자 인터페이스의 동작을 기술하는 환경 변수를 수신하도록 구성된 통신 서브시스템(606)을 갖는 제1 사용자 인터페이스(예를 들어, 마스터 어셈블리(110))를 포함하는 사용자 인터페이스를 관리하기 위한 시스템을 나타낸다. 제1 사용자 인터페이스는 또한, 제1 사용자 인터페이스에서 로컬 장면을 렌더링하는 비디오 서브시스템(602)을 포함하고, 로컬 장면은 제1 사용자 인터페이스의 동작의 상태를 나타낸다. 비디오 서브시스템(602)은 제1 사용자 인터페이스에서 원격 장면을 렌더링하고, 원격 장면은 제2 사용자 인터페이스의 동작의 상태를 나타내며, 원격 장면은 적어도 부분적으로 환경 변수에 기초한다. 그 다음, 비디오 서브시스템(602)은 로컬 장면과 원격 장면을 합성하여 합성 장면을 생성하고 합성 장면을 디스플레이(604)를 통해 제1 사용자 인터페이스의 사용자에게 프리젠팅한다.

환경 변수는 하나 이상의 n-튜플(n-tuple)의 데이터 구조로 표현될 수 있다. 예를 들어, n-튜플은 (input_id, x-위치, y-위치, z-위치)로서 4-튜플일 수 있다. 일부 실시예에서, input_id는 원격작동형 수술 시스템의 사용자 인터페이스의 입력을 고유하게 식별하는데 이용된다. 예를 들어, 값 "1"은 좌측 마스터 제어기에 대응하고 값 "2"는 우측 마스터 제어기에 대응할 수 있다. 따라서, (1, 33.4, 24.9, 18.4)의 4-튜플은, 좌측 마스터 제어기 위치가 x 위치에서 33.4cm, y 위치에서 24.9cm, z 위치에서 18.4cm임을 나타낸다. 마스터 어셈블리는 x-y-z 위치를 가상 환경에서의 대응하는 위치로 변환하여 좌측 마스터 제어기에 대응하는 가상 수술 기구의 위치, 자세 또는 속도를 정확하게 나타낼 수 있다. 동일한 4-튜플은 로컬 장면을 렌더링하기 위해 국지적으로 이용되거나 원격작동형 수술 시스템의 원격 마스터 제어기에 전송되어 장면을 렌더링할 수 있다. n-튜플을 전송하는 것은 네트워크 부하를 감소시키고 레이턴시를 줄일 수 있다는 점에서 유익하다.

또 다른 실시예에서, x-y-z 위치에 추가하여 마스터 제어기의 포즈(pose)가 하나의 마스터 어셈블리로부터 또 다른 마스터 어셈블리에 전송된다. 이것은 손목의 배향을 제공한다. 기구 핀처 형성부의 개/폐 값도 전송된다. 좌상귀에 3x3 회전 행렬이 있고 우상귀에 3x1 병진 벡터가 있는 4x4 변환 행렬이 이용된다. 또한, input_id는, 왼손/오른손, (복수의 원격 사용자가 있는 경우) 어느 원격 사용자인지를 나타내고, 그리퍼(gripper)의 개/폐 위치(0에서 1 사이, 0은 완전 개방이고 1은 완전 폐쇄)가 전송된다.

한 실시예에서, 제2 사용자 인터페이스는 제2 사용자 인터페이스의 사용자에 의해 동작되는 마스터 제어기를 포함하고, 환경 변수는 마스터 제어기의 위치, 속도 또는 회전을 포함한다.

한 실시예에서, 통신 서브시스템(606)은 또한, 제2 사용자 인터페이스로부터 주석 변수를 수신하도록 구성되고, 주석 변수는 합성 장면 상에 렌더링할 주석을 기술한다. 이러한 실시예에서, 비디오 서브시스템(602)은 또한, 주석을 포함하도록 합성 장면을 합성하고 합성 장면에서 주석을 프리젠팅하도록 구성된다. 한 실시예에서, 주석은, 크레용 컨트롤(crayon control), 하이 라이터 컨트롤(high lighter control), 또는 포인터 아이콘을 포함한다. 예를 들어, 원격 사용자(예를 들어, 감독, 강사, 교사 등)는 마스터 제어기(204)를 이용하여 크레용 아이콘을 제어해 공유된 스크린 상에 화살표, 원, 대시 등을 그려 주석을 달수 있다. 주석은, 텍스트, 도형(예를 들어, 원, 정사각형 등), 자유형 도면, 사진, 아이콘 등으로서 제공될 수 있다. 주석은 제2 사용자 인터페이스의 사용자에 의해 선택될 수 있다.

주석들은 세계 좌표 프레임(world coordinate frame)에서 렌더링되어 특정한 카메라 기준 프레임이 아니라 환경에 결속되게 할 수 있다. 이 구성에서, 주석은 카메라 각도의 변경에 관계없이 환경 내의 주어진 위치에서 지속될 수 있다. 예를 들어, 전문가는 실습 동안에 수련인이 포커싱할 봉합 스폰지 상에 도트(dot)를 주석으로 표시할 수 있고, 여기서, 이 도트는 카메라 변경에 관계없이 연습 동안에 스펀지 상에서 영구적인 위치를 유지한다.

실시예에서, 환경 변수는 카메라 제어 변수를 포함한다. 이러한 실시예에서, 비디오 서브시스템(602)은 또한, 로컬 장면을 렌더링하도록 구성되고, 로컬 장면을 렌더링하는 것은 카메라 제어 변수를 이용하여 로컬 장면을 렌더링하는 것을 포함하도록 구성된다.

한 실시예에서, 로컬 장면은 제1 사용자 인터페이스의 사용자에 의해 제어되는 가상 수술 기구를 포함한다.

한 실시예에서, 비디오 서브시스템은 또한, 원격 장면을 반투명 레이어로서 렌더링하도록 구성되고, 반투명 레이어는 제1 사용자 인터페이스의 사용자가 합성 장면을 볼 때 로컬 장면을 보는 것을 허용한다.

한 실시예에서, 마스터 어셈블리는 제1 사용자 인터페이스의 사용자에게 수술 연습을 제공하는 훈련 서브시스템을 포함할 수 있고, 여기서, 수술 연습은 또한 제2 사용자 인터페이스의 사용자에게도 실질적으로 동시에 제공된다.

한 실시예에서, 통신 서브시스템(606)은 광역 네트워크를 통해 환경 변수를 수신하도록 구성된다. 한 실시예에서, 광역 통신 네트워크는 인터넷을 포함한다. 한 실시예에서, 광역 통신 네트워크는 무선 네트워크를 포함한다.

한 실시예에서, 비디오 서브시스템(602)은 로컬 장면과 원격 장면을 별개의 캔버스들 상에서 렌더링하도록 구성된다.

한 실시예에서, 비디오 서브시스템(602)은 로컬 장면의 렌더링과는 별개의 캔버스 상에 합성 장면을 렌더링하도록 구성된다.

도 7은 한 실시예에 따른 원격작동형 수술 훈련 세션을 채점하는 방법(700)을 나타내는 플로차트이다. 블록 702에서, 제1 사용자 인터페이스에서 제2 사용자 인터페이스로부터 제2 사용자 인터페이스의 동작을 기술하는 환경 변수가 수신된다. 한 실시예에서, 제2 사용자 인터페이스는 제2 사용자 인터페이스의 사용자에 의해 동작되는 마스터 제어기를 포함하고, 여기서, 환경 변수는 마스터 제어기의 위치, 속도 또는 회전을 포함한다. 한 실시예에서, 환경 변수는 카메라 제어 변수를 포함하고, 여기서, 로컬 장면을 렌더링하는 단계는 카메라 제어 변수를 이용하여 로컬 장면을 렌더링하는 단계를 포함한다.

한 실시예에서, 환경 변수를 수신하는 단계는 광역 네트워크를 통해 환경 변수를 수신하는 단계를 포함한다. 한 실시예에서, 광역 통신 네트워크는 인터넷을 포함한다. 한 실시예에서, 광역 통신 네트워크는 무선 네트워크를 포함한다.

블록 704에서, 로컬 장면이 제1 사용자 인터페이스에서 렌더링되고, 로컬 장면은 제1 사용자 인터페이스의 동작의 상태를 나타낸다.

블록 706에서, 원격 장면이 제1 사용자 인터페이스에서 렌더링되고, 원격 장면은 제2 사용자 인터페이스의 동작의 상태를 나타내며, 원격 장면은 적어도 부분적으로 환경 변수에 기초한다. 한 실시예에서, 원격 장면을 렌더링하는 단계는 원격 장면을 반투명 레이어로서 렌더링하는 단계를 포함하고, 반투명 레이어는 제1 사용자 인터페이스의 사용자가 합성 장면을 볼 때 로컬 장면을 보는 것을 허용한다.

블록 708에서, 로컬 장면과 원격 장면은 합성 장면을 생성하도록 합성된다. 한 실시예에서, 로컬 장면은 제1 사용자 인터페이스의 사용자에 의해 제어되는 가상 수술 기구를 포함한다. 한 실시예에서, 로컬 장면의 렌더링 및 원격 장면의 렌더링은 별개의 캔버스들 상에서 수행된다.

블록 710에서, 합성 장면은 제1 사용자 인터페이스의 사용자에게 프리젠팅된다. 한 실시예에서, 합성 장면을 렌더링하는 단계는 로컬 장면의 렌더링과는 별개의 캔버스 상에서 수행된다.

실시예에서, 방법(700)은 제2 사용자 인터페이스로부터 주석 변수 ―주석 변수는 합성 장면 상에서 렌더링할 주석을 기술함― 를 수신하는 단계; 및 주석을 포함하도록 합성 장면을 합성하는 단계를 포함하고, 여기서, 합성 장면을 프리젠팅하는 것은 합성 장면에서 주석을 프리젠팅하는 것을 포함한다. 한 실시예에서, 주석은, 크레용 컨트롤(crayon control), 하이 라이터 컨트롤(high lighter control), 또는 포인터 아이콘을 포함한다.

한 실시예에서, 주석은 제2 사용자 인터페이스의 사용자에 의해 선택된다.

추가 실시예에서, 방법(700)은 제1 사용자 인터페이스의 사용자에게 수술 연습을 제공하는 단계를 포함하고, 여기서, 수술 연습은 또한 제2 사용자 인터페이스의 사용자에게도 실질적으로 동시에 제공된다.

컴퓨터 하드웨어 및 저장 디바이스

도 8은, 예시적인 실시예에 따른, 예시적인 컴퓨터 시스템(800)의 형태로 된 머신을 나타내는 블록도이며, 이 머신 내에서 머신으로 하여금 여기서 논의된 방법들 중 임의의 하나를 수행하게 하기 위한 명령어 세트 또는 명령어 시퀀스들이 실행될 수 있다. 대안적 실시예들에서, 머신은 독립형 디바이스(standalone device)로서 동작하거나 다른 머신들에 접속(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신은 서버-클라이언트 네트워크 환경에서 서버 또는 클라이언트 머신의 용량으로 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신은, 개인용 컴퓨터(PC), 태블릿 PC, 셋탑 박스(STB), PDA(personal digital assistant), 모바일 전화, 웹 어플라이언스, 네트워크 라우터, 스위치 또는 브릿지, 또는 머신에 의해 취해지는 동작을 명시하는 명령어(순차적 또는 기타의 방식)를 실행할 수 있는 임의의 머신일 수 있다. 또한, 단일의 머신만이 예시되어 있지만, 용어 "머신"은, 여기서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 개별적으로 또는 공동으로 한 세트(또는 복수 세트)의 명령어를 실행하는 머신들의 임의의 집합을 포함하는 것으로 간주되어야 할 것이다.

예시적인 컴퓨터 시스템(800)은, 적어도 하나의 프로세서(802)(예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU) 또는 양쪽 모두, 프로세서 코어, 컴퓨팅 노드 등), 메인 메모리(804), 및 정적 메모리(806)를 포함하며, 이들은 링크(808)(예를 들어, 버스)를 통해 서로 통신한다. 컴퓨터 시스템(800)은, 비디오 디스플레이 유닛(810), 영숫자 입력 디바이스(812)(예를 들어, 키보드), 및 사용자 인터페이스(UI) 네비게이션 디바이스(814)(예를 들어, 마우스)를 더 포함할 수 있다. 한 실시예에서, 비디오 디스플레이 유닛(810), 입력 디바이스(812) 및 UI 네비게이션 디바이스(814)는 터치 스크린 디스플레이 내에 병합된다. 컴퓨터 시스템(800)은 추가적으로, 저장 디바이스(예를 들어, 드라이브 유닛)(816), 신호 생성 디바이스(818)(예를 들어, 스피커), 네트워크 인터페이스 디바이스(820), 및 GPS(global positioning system) 센서, 나침반, 가속도계 또는 기타의 센서 등의 하나 이상의 센서(미도시)를 포함할 수 있다.

저장 디바이스(816)는, 여기서 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하거나 이에 의해 이용되는 하나 이상의 세트의 데이터 구조 및 명령어(824)(예를 들어, 소프트웨어)가 저장되어 있는 머신-판독가능한 매체(822)를 포함한다. 명령어(824)는 또한, 완전히 또는 적어도 부분적으로, 메인 메모리(804), 정적 메모리(806) 내에, 및/또는 컴퓨터 시스템(800)에 의한 그 실행 동안에 프로세서(802) 내에 존재할 수 있고, 메인 메모리(804), 정적 메모리(806), 및 프로세서(802)는 또한 머신-판독가능한 매체를 구성한다.

머신-판독가능한 매체(822)가 예시적 실시예에서는 단일의 매체인 것으로 예시되어 있지만, 용어 "머신-판독가능한 매체"는 하나 이상의 명령어(824)를 저장하는 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐쉬 및 서버)를 포함할 수 있다. 용어 "머신 판독가능한 매체"는 또한, 머신에 의한 실행을 위한 명령어를 저장, 인코딩, 또는 운반할 수 있고 머신으로 하여금 본 개시내용의 방법론들 중 임의의 하나 이상을 수행하게 하거나, 이러한 명령어에 의해 이용되거나 이와 연관된 데이터 구조를 저장, 인코딩 또는 운반할 수 있는 임의의 유형 매체(tangible medium)를 포함하는 것으로 간주되어야 한다. 따라서, 용어 "머신-판독가능한 매체"는, 고체-상태 메모리, 광학 및 자기 매체를 포함하지만, 이것으로 제한되지 않는 것으로 간주되어야 한다. 머신-판독가능한 매체의 구체적인 예로서는, 예시로서, 반도체 메모리 디바이스(예를 들어, 전기적으로 프로그램가능한 판독 전용 메모리(EPROM), 전기적으로 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM)) 및 플래시 메모리 디바이스; 내부 하드 디스크 및 착탈식 디스크 등의 자기 디스크; 광자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크를 포함한, 비휘발성 메모리를 포함한다.

명령어(824)는 또한, 다수의 널리 공지된 전송 프로토콜들 중 임의의 하나(예를 들어, HTTP)를 이용하는 네트워크 인터페이스 디바이스(820)를 통한 전송 매체를 이용해 통신 네트워크(826)를 통해 전송되거나 수신될 수 있다. 통신 네트워크의 예로서는, 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 모바일 전화 네트워크, POTS(plain old telephone) 네트워크, 및 무선 데이터 네트워크(예를 들어, Wi-Fi, 3G, 및 4G LTE/LTE-A 또는 WiMAX 네트워크)가 포함된다. 용어 "전송 매체"는, 머신에 의한 실행을 위한 명령어를 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 가능하게 하는 디지털이나 아날로그 통신 신호 또는 기타의 무형 매체를 포함하는 임의의 무형 매체를 포함하는 것으로 간주되어야 한다.

명료성을 위해, 상기 설명은 상이한 기능 유닛들 또는 프로세서들을 참조하여 일부 실시예들을 설명할 수도 있다는 것을 이해할 것이다. 그러나, 상이한 기능 유닛들, 프로세서들 또는 도메인들 사이의 임의의 적절한 기능 분배가 본 개시내용으로부터 벗어나지 않고 이용될 수 있다는 것이 명백할 것이다. 예를 들어, 별개의 프로세서 또는 제어기에 의해 수행되는 것으로 예시된 기능은 동일한 프로세서 또는 제어기에 의해 수행될 수도 있다. 따라서, 특정한 기능 유닛에 대한 언급은, 엄격한 논리적 또는 물리적 구조 또는 구성을 나타내는 것이 아니라, 설명된 기능을 제공하기 위한 적절한 수단에 대한 언급으로서 간주되어야 한다.

본 개시내용이 일부 실시예와 관련하여 설명되었지만, 본 명세서에서 설명된 특정한 형태로 제한되고자 하는 것이 아니다. 본 기술분야의 통상의 기술자라면, 설명된 실시예들의 다양한 피쳐들은 본 개시내용에 따라 결합될 수 있다는 것을 인식할 것이다. 게다가, 본 개시내용의 사상 및 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 다양한 수정 및 변형이 이루어질 수 있다는 것을 이해할 것이다.

또한, 상기 상세한 설명에서, 다양한 피쳐들은 본 개시내용의 체계화의 목적을 위해 하나의 실시예에서 함께 그룹화되어 있다는 것을 알 수 있다. 본 개시내용의 이 방법은, 청구된 실시예들이 각각의 청구항에서 명시적으로 기재되어 있는 것 보다 많은 피쳐들을 요구한다는 의도를 반영하는 것으로서 해석되어서는 안 된다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 청구 대상은 하나의 개시된 실시예의 모든 피쳐들보다 적다. 따라서, 이하의 청구항들은 상세한 설명 내에 병합되는 것이며, 각각의 청구항은 그 자체로 별개의 실시예를 나타낸다.

본 발명에 따른 실시예들의 상기 설명 및 도면은 본 발명의 주제의 원리를 예시하기 위한 것일 뿐이다. 첨부된 청구항들에 정의된 본 발명의 주제의 사상과 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 실시예들에 대한 다양한 수정이 이루어질 수 있다는 것을 이해할 것이다.

따라서, 본 발명의 소정의 예시적인 실시예들이 설명되고 첨부된 도면들에 도시되었지만, 이러한 실시예들은 예시일 뿐이고 넓은 본 발명의 주제를 제한하기 위한 것은 아니며, 본 기술분야의 통상의 기술자에 의해 다양한 다른 수정이 이루어질 수도 있기 때문에, 본 발명의 실시예들은 도시되고 설명된 특정의 구성이나 배열로 제한되지 않다는 것을 이해하여야 한다.

Claims

원격작동형 수술 시스템의 사용자 인터페이스를 관리하는 방법으로서,
제1 사용자 인터페이스에서 제2 사용자 인터페이스로부터 상기 제2 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 환경 변수를 수신하는 단계로, 상기 제2 사용자 인터페이스는 상기 제2 사용자 인터페이스의 적어도 하나의 가상 기구의 각각의 움직임을 제어하는 상기 제1 사용자 인터페이스로부터 원격에 있고 별개인, 단계;
상기 제1 사용자 인터페이스에서 로컬 장면을 렌더링하는 단계로, 상기 제1 사용자 인터페이스에서 로컬 장면은 상기 제1 사용자 인터페이스에 대해 로컬인 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나에 대응하는 위치, 속도 및 회전 중 적어도 하나를 갖는 상기 제1 사용자 인터페이스에 대해 로컬인 적어도 하나의 가상 기구의 표현을 포함하는, 단계;
상기 제1 사용자 인터페이스에서 원격 장면을 렌더링하는 단계로, 상기 제1 사용자 인터페이스에서 원격 장면은 상기 제1 사용자 인터페이스로부터 원격에 있고 별개인 상기 제2 사용자 인터페이스의 상기 마스터 제어기에 의해 제어되는 상기 제2 사용자 인터페이스의 상기 적어도 하나의 가상 기구의 표현을 포함하고, 상기 제2 사용자 인터페이스의 상기 적어도 하나의 가상 기구의 표현은 상기 제2 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 상기 제2 사용자 인터페이스에서 수신된 상기 환경 변수를 변환함으로써 생성되는, 단계;
상기 제1 사용자 인터페이스의 사용자에게 합성 장면을 프리젠팅하는 단계로, 상기 제1 사용자 인터페이스에서 프리젠팅되는 상기 합성 장면은 상기 제2 사용자 인터페이스의 마스터 제어기에 의해 제어되는 상기 제2 사용자 인터페이스의 상기 적어도 하나의 가상 기구의 표현 및 상기 제1 사용자 인터페이스에 대해 로컬이고 상기 제1 사용자 인터페이스의 마스터 제어기에 의해 제어되는 상기 적어도 하나의 가상 기구를 포함하는, 단계;
제2 사용자 인터페이스에서 제1 사용자 인터페이스로부터 상기 제1 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 환경 변수를 수신하는 단계로, 상기 제1 사용자 인터페이스는 상기 제1 사용자 인터페이스의 적어도 하나의 가상 기구의 각각의 움직임을 제어하는 상기 제2 사용자 인터페이스로부터 원격에 있고 별개인, 단계;
상기 제2 사용자 인터페이스에서 로컬 장면을 렌더링하는 단계로, 상기 제2 사용자 인터페이스에서 로컬 장면은 상기 제2 사용자 인터페이스에 대해 로컬인 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나에 대응하는 위치, 속도 및 회전 중 적어도 하나를 갖는 상기 제2 사용자 인터페이스에 대해 로컬인 적어도 하나의 가상 기구의 표현을 포함하는, 단계;
상기 제2 사용자 인터페이스에서 원격 장면을 렌더링하는 단계로, 상기 제2 사용자 인터페이스에서 원격 장면은 상기 제2 사용자 인터페이스로부터 원격에 있고 별개인 상기 제1 사용자 인터페이스의 상기 마스터 제어기에 의해 제어되는 상기 제1 사용자 인터페이스의 상기 적어도 하나의 가상 기구의 표현을 포함하고, 상기 제1 사용자 인터페이스의 상기 적어도 하나의 가상 기구의 표현은 상기 제1 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 상기 제1 사용자 인터페이스에서 수신된 상기 환경 변수를 변환함으로써 생성되는, 단계;
상기 제2 사용자 인터페이스의 사용자에게 합성 장면을 프리젠팅하는 단계로, 상기 제2 사용자 인터페이스에서 프리젠팅되는 상기 합성 장면은 상기 제1 사용자 인터페이스의 마스터 제어기에 의해 제어되는 상기 제1 사용자 인터페이스의 상기 적어도 하나의 가상 기구의 표현 및 상기 제2 사용자 인터페이스에 대해 로컬이고 상기 제2 사용자 인터페이스의 마스터 제어기에 의해 제어되는 상기 적어도 하나의 가상 기구를 포함하는, 단계;
를 포함하는 방법.
제1항에 있어서, 상기 제1 사용자 인터페이스의 마스터 제어기 및 상기 제2 사용자 인터페이스의 마스터 제어기는 물리적 기구를 제어하지 않고, 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스 각각의 가상 기구의 동작의 위치, 속도 또는 회전을 포함하는 각각의 상기 환경 변수에 기초하여 각각의 가상 기구만을 제어하도록 구성되는, 방법.
제1항에 있어서,
상기 제2 사용자 인터페이스로부터 주석 변수를 수신하는 단계로, 상기 주석 변수는 상기 제1 사용자 인터페이스의 상기 합성 장면 상에서 렌더링할 주석을 기술하는, 단계; 및
상기 주석을 포함하도록 상기 제1 사용자 인터페이스의 상기 합성 장면을 합성하는 단계
를 더 포함하고, 상기 제1 사용자 인터페이스의 상기 합성 장면을 프리젠팅하는 단계는 상기 제1 사용자 인터페이스의 상기 합성 장면에서 상기 주석을 프리젠팅하는 단계를 포함하는, 방법.
제3항에 있어서, 상기 주석은, 크레용 컨트롤(crayon control), 하이라이터 컨트롤(highlighter control), 또는 포인터 아이콘을 포함하는, 방법.
제4항에 있어서, 상기 주석은 상기 제2 사용자 인터페이스의 사용자에 의해 선택되는, 방법.
제1항에 있어서, 상기 제2 사용자 인터페이스로부터 수신된 상기 환경 변수는 카메라 제어 변수를 포함하고, 상기 제1 사용자 인터페이스에서 로컬 장면을 렌더링하는 단계는 상기 카메라 제어 변수를 이용하여 상기 제1 사용자 인터페이스에서 로컬 장면을 렌더링하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 제1 사용자 인터페이스의 가상 기구는 상기 제1 사용자 인터페이스의 사용자에 의해 제어되는 가상 수술 기구를 포함하는, 방법.
제1항에 있어서, 상기 제1 사용자 인터페이스에서 원격 장면을 렌더링하는 단계는 상기 제1 사용자 인터페이스에서 원격 장면을 반투명 레이어(translucent layer)로서 렌더링하는 단계를 포함하고, 상기 반투명 레이어는 상기 제1 사용자 인터페이스의 사용자가 상기 합성 장면을 볼 때 상기 제1 사용자 인터페이스에서 로컬 장면을 식별하는 것을 허용하는, 방법.
제1항에 있어서,
상기 제1 사용자 인터페이스의 사용자에게 수술 연습을 제공하는 단계를 더 포함하고, 상기 수술 연습은 또한 상기 제2 사용자 인터페이스의 상기 사용자에게도 실질적으로 동시에 제공되는, 방법.
제1항에 있어서, 상기 제1 사용자 인터페이스에서 로컬 장면을 렌더링하는 단계와 상기 제1 사용자 인터페이스에서 원격 장면을 렌더링하는 단계는 별개의 캔버스들 상에서 수행되는, 방법.
사용자 인터페이스를 관리하기 위한 시스템으로서,
제1 사용자 인터페이스를 포함하고, 상기 제1 사용자 인터페이스는,
상기 제1 사용자 인터페이스에서, 상기 제1 사용자 인터페이스로부터 원격에 있고 별개인 제2 사용자 인터페이스로부터, 상기 제2 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 환경 변수를 수신하도록 구성된 제1 통신 서브시스템; 및
제1 비디오 서브시스템을 포함하고, 상기 제1 비디오 서브시스템은,
상기 제1 사용자 인터페이스에서 로컬 장면을 렌더링하고, 상기 제1 사용자 인터페이스에서 로컬 장면은 상기 제1 사용자 인터페이스의 마스터 제어기의 동작 상태를 나타내는 위치, 속도, 및 회전 중 적어도 하나에 대응하는 위치, 속도 및 회전 중 적어도 하나를 갖는 상기 제1 사용자 인터페이스에 대해 로컬인 적어도 하나의 가상 기구의 표현을 포함하고;
상기 제1 사용자 인터페이스에서 원격 장면을 렌더링하며, 상기 제1 사용자 인터페이스에서 원격 장면은 상기 제1 사용자 인터페이스로부터 원격에 있고 별개인 상기 제2 사용자 인터페이스의 적어도 하나의 가상 기구의 표현을 포함하고, 상기 원격 장면은 상기 제2 사용자 인터페이스의 상기 마스터 제어기에 의해 제어되는 상기 제2 사용자 인터페이스의 상기 가상 기구의 표현을 포함하며, 상기 가상 기구의 표현은 상기 제2 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 상기 환경 변수를 변환함으로써 생성되고;
상기 제1 사용자 인터페이스의 사용자에게 합성 장면을 프리젠팅하고, 상기 제1 사용자 인터페이스에서 상기 합성 장면은 상기 제2 사용자 인터페이스에 대해 로컬인 상기 가상 기구의 표현 및 상기 제1 사용자 인터페이스에 대해 로컬인 상기 적어도 하나의 가상 기구를 포함하고; 그리고
상기 제2 사용자 인터페이스는,
상기 제2 사용자 인터페이스에서, 상기 제2 사용자 인터페이스로부터 원격에 있고 별개인 제1 사용자 인터페이스로부터, 상기 제1 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 환경 변수를 수신하도록 구성된 제2 통신 서브시스템; 및
제2 비디오 서브시스템을 포함하고, 상기 제2 비디오 서브시스템은,
상기 제2 사용자 인터페이스에서 로컬 장면을 렌더링하고, 상기 제2 사용자 인터페이스에서 로컬 장면은 상기 제2 사용자 인터페이스의 마스터 제어기의 동작 상태를 나타내는 위치, 속도, 및 회전 중 적어도 하나에 대응하는 위치, 속도 및 회전 중 적어도 하나를 갖는 상기 제2 사용자 인터페이스에 대해 로컬인 적어도 하나의 가상 기구의 표현을 포함하고;
상기 제2 사용자 인터페이스에서 원격 장면을 렌더링하며, 상기 제1 사용자 인터페이스에서 원격 장면은 상기 제2 사용자 인터페이스로부터 원격에 있고 별개인 상기 제1 사용자 인터페이스의 적어도 하나의 가상 기구의 표현을 포함하고, 상기 제2 사용자 인터페이스에서 상기 원격 장면은 상기 제1 사용자 인터페이스의 상기 마스터 제어기에 의해 제어되는 상기 제1 사용자 인터페이스의 상기 가상 기구의 표현을 포함하며, 상기 가상 기구의 표현은 상기 제1 사용자 인터페이스의 마스터 제어기의 위치, 속도, 및 회전 중 적어도 하나를 기술하는 상기 환경 변수를 변환함으로써 생성되고;
상기 제2 사용자 인터페이스의 사용자에게 합성 장면을 프리젠팅하고, 상기 제2 사용자 인터페이스에서 상기 합성 장면은 상기 제1 사용자 인터페이스의 상기 가상 기구의 표현 및 상기 제2 사용자 인터페이스에 대해 로컬인 상기 적어도 하나의 가상 기구를 포함하는,
시스템.
제11항에 있어서, 상기 제1 사용자 인터페이스의 마스터 제어기 및 상기 제2 사용자 인터페이스의 마스터 제어기는 물리적 기구를 제어하지 않고, 상기 제1 사용자 인터페이스 및 상기 제2 사용자 인터페이스 각각의 가상 기구의 동작의 위치, 속도 또는 회전을 포함하는 각각의 상기 환경 변수에 기초하여 각각의 가상 기구만을 제어하도록 구성되는, 시스템.
제11항에 있어서, 상기 제1 통신 서브시스템은 상기 제2 사용자 인터페이스로부터 주석 변수를 수신하도록 더욱 구성되고, 상기 주석 변수는 상기 제1 사용자 인터페이스에서 상기 합성 장면 상에 렌더링할 주석을 기술하며;
상기 제1 비디오 서브시스템은,
상기 주석을 포함하도록 상기 제1 사용자 인터페이스에서 상기 합성 장면을 합성하고;
상기 제1 사용자 인터페이스의 상기 합성 장면에서 상기 주석을 프리젠팅하도록 더욱 구성된, 시스템.
제11항에 있어서, 상기 제2 사용자 인터페이스로부터 수신된 상기 환경 변수는 카메라 제어 변수를 포함하고, 상기 제1 비디오 서브시스템은, 상기 카메라 제어 변수를 이용하여 상기 제1 사용자 인터페이스에서 상기 로컬 장면을 렌더링하도록 더욱 구성되는, 시스템.
제11항에 있어서, 상기 제1 비디오 서브시스템은, 상기 제1 사용자 인터페이스에서 상기 원격 장면을 반투명 레이어로서 렌더링하도록 더욱 구성되고, 상기 반투명 레이어는 상기 제1 사용자 인터페이스의 사용자가 상기 합성 장면을 볼 때 상기 제1 사용자 인터페이스에서 상기 로컬 장면을 보는 것을 허용하는, 시스템.