KR102105142B1 - 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 기구의 제어를 입력 장치로 전환하는 방법 - Google Patents

Abstract

오퍼레이터는 디스플레이 스크린으로 수술 부위의 실시간 영상을 관찰하면서 수술 부위의 대상물에 대해 수술을 수행하기 위해 기구를 원격로봇식으로 제어한다. 오퍼레이터를 상기와 같은 작업으로부터 덜어주기 위해서 보조자는 수술 부위로 향하거나 수술 부위로부터 멀어지는 다른 기구의 움직임을 제어한다. 기구의 작업 단부가 디스플레이 스크린의 화면으로 들어가는 즉시 기구의 제어가 자동적으로 보조자로부터 오퍼레이터로 전환된다.

Description

입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 기구의 제어를 입력 장치로 전환하는 방법{SWITCHING CONTROL OF AN INSTRUMENT TO AN INPUT DEVICE UPON THE INSTRUMENT ENTERING A DISPLAY AREA VIEWABLE BY AN OPERATOR OF THE INPUT DEVICE}

본 발명은 대체로 로봇 시스템에 관한 것이며, 특히, 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 입력 장치에 대한 기구의 제어를 전환하는 방법에 관한 것이다.

로봇 시스템에서는, 수술 부위의 대상물에 대해 수술을 수행하기 위해 오퍼레이터에 의해 복수의 기구가 원격로봇식으로(telerobotically) 제어될 수 있다. 수술을 수행하기 위해 기구가 대상물과 상호작용할 때 기구의 엔드 이펙터의 영상을 포착하기 위해서 수술 현장에 카메라가 제공되어 있기 때문에, 오퍼레이터는 결합된 입력 장치를 통하여 기구의 엔드 이펙터를 제어하면서 디스플레이 스크린으로 기구의 엔드 이펙터의 움직임을 관찰할 수 있다.

수술을 수행하는 동안, 필요한 기능을 수행하기 위해서 새로운 기구를 수술 부위로 들여오거나; 수술 부위에 있던 기구를 새로운 기구와 교체하거나; 수술 부위에 있던 기구의 엔드 이펙터를 새로운 엔드 이펙터로 교체하거나; 보조적인 물품을 기구에 부착하여 이 기구를 수술 부위로 삽입하는 것에 의해서 수술을 수행하기 위해 몇 가지 보조적인 물품을 수술 부위로 들여오거나; 또는 제거할 물품을 기구에 부착하고, 상기 기구를 후퇴시키고 상기 기구로부터 상기 물품을 분리시키는 것에 의해서 수술 부위로부터 상기 물품을 제거하거나, 수술 부위에서 한 번 더 사용할 수 있도록 상기 기구를 수술 부위로 다시 삽입할 필요가 있을 수 있다.

이러한 사용예의 각각에 있어서, 주된 오퍼레이터가 나머지 기구를 사용하여 계속해서 수술을 수행하는 동안 상기 조치들 모두 또는 상기 조치들 중의 일부를 보조자로 하여 제어하게 하는 것이 유리할 수 있다. 일단 새로운 기구 또는 후퇴되고 다시 삽입된 기구가 수술 부위에서 사용될 수 있게 되면, 상기 기구가 수술 부위에서 주된 오퍼레이터에 의해 사용될 수 있도록 상기 기구의 제어가 주된 오퍼레이터로 이양될 수 있다.

그러나, 새로운 기구 또는 후퇴되고 다시 삽입된 기구를 수술 부위로 삽입하는 것은 보조자에게는 시간이 많이 걸리고 어려운 작업이 될 수 있다. 또한, 보조자에게는 주된 오퍼레이터에게로 기구의 제어가 넘어가기 전에 디스플레이 스크린으로 주된 오퍼레이터가 새로운 기구 또는 다시 삽입된 기구를 볼 수 있도록 새로운 기구 또는 다시 삽입된 기구를 수술 현장의 카메라의 시야 내에 있게 하는 것이 어려울 수 있다. 또한 보조자는 새로운 기구 또는 다시 삽입된 기구의 삽입 깊이를 잘못 판단하여 새로운 기구 또는 다시 삽입된 기구의 원위 단부를 수술 부위로 너무 깊게 위치시킬 수도 있고, 이로 인해 기구과 수술 부위의 대상물과 의도하지 않은 접촉을 초래할 수 있다. 이러한 의도하지 않은 유해한 접촉을 피하기 위해서, 보조자가 새로운 기구 또는 다시 삽입된 기구를 매우 느리게 수술 부위로 이동시킬 개연성이 있다.

본 명세서에 참고문헌으로 포함되어 있는 미국 특허 제6,645,196호는, 공구 교환 작업 후에, 수술 부위로부터 원래의 공구를 제거하기 전의 원래의 공구의 작업 위치로 근접하게 새로운 공구를 신속하고 정확하게 안내하기 위해서 의료용 로봇 시스템에 사용될 수 있는 안내된 공구 교환 방법을 기술하고 있다.

그러나, 수술을 수행하는 동안, 수술 부위의 대상물에 대해 수술을 수행하면서 기구가 이동할 때 카메라가 기구의 작업 단부를 보다 잘 볼 수 있도록 카메라 자세는 변할 수 있다. 이러한 상황에서, 교체되거나 다시 삽입되는 이전의 기구를 이전의 위치로 삽입하는 것은 바람직하지 않을 수 있는데, 그 이유는 이전의 위치가 새로운 기구에 대해서는 좋은 위치가 아닐 수 있고 나아가서는 이전의 위치가 현재의 카메라의 시야 외측에 놓일 수 있기 때문이다. 또한, 새로운 기구를 사용하여 수술을 계속하여 수행하는 것을 지나치게 지연시키지 않기 위해서 주된 오퍼레이터로 하여 새로운 기구의 제어를 가능한 한 빨리 맡게 하는 것이 바람직할 수 있다.

따라서, 본 발명의 하나 이상의 실시형태의 한 가지 목적은 기구가 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 들어오는 즉시 기구의 제어를 입력 장치로 전환하는 로봇 시스템 및 이 로봇 시스템으로 실행되는 방법을 제공하는 것이다.

본 발명의 하나 이상의 실시형태의 다른 목적은 기구 또는 공구 교환 절차와 양립할 수 있는 로봇 시스템 및 이 로봇 시스템으로 실행되는 방법을 제공하는 것이다.

본 발명의 하나 이상의 실시형태의 다른 목적은 기구가 수술 부위로 안내되는 동안 수술 부위의 대상물에 대한 손상을 방지하는 로봇 시스템 및 이 로봇 시스템으로 실행되는 방법을 제공하는 것이다.

본 발명의 하나 이상의 실시형태의 다른 목적은 기구가 오퍼레이터가 디스플레이 스크린으로 볼 수 있는 디스플레이 영역으로 들어가지 않은 상태에서 수술 부위쪽으로의 기구의 삽입이 최대 삽입 거리에 도달하면 로봇 시스템의 오퍼레이터에게 경고하는 로봇 시스템 및 이 로봇 시스템으로 실행되는 방법을 제공하는 것이다.

상기 목적 및 부가적인 목적은 본 발명의 다양한 실시형태에 의해 달성되는데, 간단히 말하면, 한 실시형태는 카메라; 기구; 입력 장치; 그리고 상기 기구가 카메라의 시야의 영역으로 진입한 것을 결정하는 즉시 상기 기구의 제어를 상기 입력 장치로 전환하도록 구성된 프로세서를 포함하는 로봇 시스템이다.

다른 실시형태는 기구의 제어를 입력 장치로 전환시키는 로봇 시스템으로 실행되는 방법이고, 상기 방법은 상기 기구가 카메라의 시야의 영역으로 진입한 것을 결정하는 즉시 상기 기구의 제어를 상기 입력 장치로 전환하는 것을 포함하고 있다.

본 발명의 다양한 실시형태의 부가적인 목적, 특징 및 장점은 바람직한 실시례의 아래의 설명으로부터 명확하게 될 수 있고, 상기 설명은 첨부된 도면과 함께 고려되어야 한다.

도 1은 본 발명의 여러 실시형태를 이용하는 로봇 시스템의 블록도를 나타내고 있다.
도 2는 본 발명의 여러 실시형태를 이용하는 기구의 제어를 입력 장치로 전환시키는 방법의 흐름도를 나타내고 있다.
도 3은 본 발명의 여러 실시형태를 이용하는 도 2의 방법에 사용될 수 있는, 기구가 디스플레이 스크린의 관찰 영역 내에 있는지 여부를 결정하는 방법의 흐름도를 나타내고 있다.
도 4는 카메라 기준 프레임 내의 한 지점의 왼쪽 시야(view)과 오른쪽 시야를 나타내고 있다.
도 5 및 도 6은 컴퓨터 모니터의 왼쪽 관찰 영역에 표시되는 전체 왼쪽 카메라 시야 및 컴퓨터 모니터의 왼쪽 관찰 영역에 표시되는 부분적인 왼쪽 카메라 시야를 각각 나타내고 있다.
도 7a 내지 도 7d는 본 발명의 여러 실시형태를 이용하는 복수 구멍 의료용 로봇 시스템으로 수행되는 안내된 공구 교환 절차의 다양한 단계에서의 수술 부위의 기구의 개략도를 나타내고 있다.
도 8a 내지 도 8c는 본 발명의 여러 실시형태를 이용하는 단일 구멍 의료용 로봇 시스템으로 수행되는 안내된 공구 교환 절차의 상이한 단계에서의 수술 부위의 관절연결식 기구의 개략도를 나타내고 있다.
도 9는 본 발명의 여러 실시형태를 이용하는 복수 구멍 의료용 로봇 시스템(multiple aperture medical robotic system)을 이용하는 수술실의 평면도를 나타내고 있다.
도 10은 본 발명의 여러 실시형태를 이용하는 복수 구멍 의료용 로봇 시스템용 환자 측 카트의 정면도를 나타내고 있다.
도 11은 본 발명의 여러 실시형태를 이용하는 복수 구멍 의료용 로봇 시스템에 사용할 수 있는 기구의 사시도를 나타내고 있다.
도 12는 본 발명의 여러 실시형태를 이용하는 단일 구멍 의료용 로봇 시스템(single aperture medical robotic system)을 이용하는 수술실의 평면도를 나타내고 있다.
도 13은 본 발명의 여러 실시형태를 이용하는 단일 구멍 의료용 로봇 시스템에서 엔트리 가이드의 원위 단부로부터 뻗어 나온 관절연결식 기구를 가진 엔트리 가이드의 원위 단부의 사시도를 나타내고 있다.
도 14는 본 발명의 여러 실시형태를 이용하는 단일 구멍 의료용 로봇 시스템에 유용한 엔트리 가이드의 단면도를 나타내고 있다.
도 15는 본 발명의 여러 실시형태를 이용하는 단일 구멍 의료용 로봇 시스템에서 로봇 암 조립체에 결합된 플랫폼에 장착된 관절연결식 기구 조립체의 사시도를 나타내고 있다.
도 16은 본 발명의 여러 실시형태를 이용하는 로봇 시스템에 사용할 수 있는 콘솔의 정면도를 나타내고 있다.

도 1은, 한 가지 예로서, 기구가 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 진입하는 즉시 기구("공구"라고도 함)의 제어를 입력 장치로 전환시키는 로봇 시스템(1000)으로 실행되는 방법에 의해 사용되는 다양한 구성요소들의 블록도를 나타내고 있다. 도 2 내지 도 8은 상기 방법을 설명하는 흐름도 및 다른 물품을 나타내고 있다. 도 9 내지 도 11은 수술 부위로 진입하기 위한 복수의 구멍을 이용하는 제1 예시적인 로봇 시스템(2000)의 상세한 내용을 나타내고 있다. 도 12 내지 도 15는 수술 부위로 진입하기 위한 한 개의 구멍을 이용하는 제2 예시적인 로봇 시스템(3000)의 상세한 내용을 나타내고 있다. 도 16은 상기 제1 예시적인 로봇 시스템(2000) 및 상기 제2 예시적인 로봇 시스템(3000)에 사용될 수 있는 예시적인 오퍼레이터의 콘솔을 나타내고 있다.

도 1 내지 도 8에 도시된 본 발명의 상세한 내용을 설명하기 전에, 로봇 시스템(1000)의 예시적인 실시형태에 관한 정보 및 부가적인 상세한 내용을 제공하기 위해서 제1 예시적인 로봇 시스템(2000)과 제2 예시적인 로봇 시스템(3000)을 먼저 설명한다. 비록 본 명세서에는 로봇 시스템(1000)의 예로서 의료용 로봇 시스템이 기술되어 있지만, 본 명세서에서 청구하는 본 발명의 다양한 실시형태는 상기와 같은 유형의 로봇 시스템으로 제한되는 것은 아니라는 점을 알아야 한다.

도 9를 참고하면, 환자("P")에 대해 의료 시술을 수행하기 위해 외과의사("S")가 복수 구멍 의료용 로봇 시스템(2000)을 사용하고 있는 수술실의 평면도가 도시되어 있다. 이 경우의 의료용 로봇 시스템은 환자가 수술대("O")에 있는 동안 한 명 이상의 보조자("A")로부터 도움을 받아서 환자에 대해 최소 침습 진단 또는 최소 침습 수술을 수행하는 동안 외과의사가 사용하는 콘솔("C")을 포함하는 최소 침습 로봇 수술(MIRS:Minimally Invasive Robotic Surgical) 시스템이다.

도 16과 관련하여 상세하게 기술되어 있는 바와 같이, 상기 콘솔은 버스(110)를 통하여 환자-측 카트(150)와 통신하는 프로세서(43)를 포함하고 있다. 복수의 로봇 암(34, 36, 38)이 상기 환자-측 카트(150)에 포함되어 있다. 기구(33)가 로봇 암(34)에 의해 유지되어 조작되고, 다른 기구(35)는 로봇 암(36)에 의해 유지되어 조작되고, 그리고 내시경(37)은 로봇 암(38)에 의해 유지되어 조작된다. 상기 의료용 로봇 시스템(2000)은 각각의 기구가 자신의 진입 구멍을 통하여 환자 내부로 진입하도록 복수의 구멍이 사용되기 때문에 복수 구멍 의료용 로봇 시스템(multiple aperture medical robotic system)이라고 칭한다. 한 가지 예로서, 기구(35)는 구멍(166)으로 삽입되어 환자 내부로 진입한다.

외과의사는, 외과의사가 콘솔의 스테레오 비전 디스플레이(45)("디스플레이 스크린" 이라고도 함)로 수술 부위의 3차원("3D") 실시간 영상을 보면서 프로세서(43)가 각각 결합된 로봇 암(34, 36)으로 하여 탈착가능하게 결합된 각각의 기구(33, 35)를 조작하도록 입력 장치(41, 42)를 조작함으로써 의료 시술을 수행한다. 입체 내시경(37)(왼쪽과 오른쪽 입체 영상을 포착하기 위해 왼쪽 카메라와 오른쪽 카메라를 가지고 있는 내시경)은 수술 부위의 입체 영상을 포착한다. 프로세서(43)는 입체 영상이 스테레오 비전 디스플레이(45)에 적절하게 표시될 수 있도록 상기 입체 영상을 처리한다.

로봇 암(34, 36, 38)의 각각은 통상적으로, 링크(162)와 같은, 복수의 링크로 형성되어 있고, 이 복수의 링크는, 조인트(163)와 같은, 작동가능한 조인트를 통하여 서로 결합되어 있으며 상기 조인트를 통하여 조작된다. 상기 로봇 암의 각각은 셋업 암(setup arm)과 기구 매니퓰레이터를 포함하고 있다. 상기 셋업 암은 피벗점이 환자 내부로의 진입 구멍에 있도록 자신에 의해 유지된 기구를 위치시킨다. 상기 기구 매니퓰레이터는 자신에 의해 유지된 기구를 조작하여 상기 기구가 피벗점에 대해서 피벗운동할 수 있게 하고, 진입 구멍으로 삽입되고 상기 진입 구멍으로부터 빠져나올 수 있게 하고, 자신의 축선(shaft axis)에 대해서 회전할 수 있게 한다. 상기 로봇 암(34, 36, 38)은 환자-측 카트(150)를 통하여 수술실로 운반될 수 있고, 대체 형태로서, 상기 로봇 암은 수술실의 벽이나 천정에 있는 슬라이더(slider)에 부착될 수 있다.

도 10은 예시적인 환자-측 카트(150)의 정면도를 나타내고 있다. 도 9에 도시된 로봇 암(34, 36, 38)에 부가하여, 제4 로봇 암(32)이 도 10에 도시되어 있다. 제4 로봇 암(32)은 다른 기구(31)가 상기 기구(33, 35) 및 내시경(37)와 함께 수술 부위로 삽입될 수 있도록 사용될 수 있다. 로봇 암(32, 34, 36, 38)의 각각은 로봇 암에 대한 또는 로봇 암에 관련된 상태 및/또는 다른 정보를 나타내기 위해 발광 다이오드("LED") 어레이(1091) 또는 다른 시각적인 표시기를 가지도록 구성될 수 있다. 다양한 목적을 위해서, 예를 들면, 보조자가 로봇 암에 의해 유지된 기구를 환자의 대응하는 진입 구멍으로부터 수동으로 후퇴시키는 작용 및/또는 상기 진입 구멍 속으로 삽입하는 작용을 할 수 있도록 보조자가 로봇 암의 통제권(control)을 가질 수 있게 하기 위해서, 하나 이상의 버튼(1092) 또는 다른 유형의 스위치 메카니즘이 로봇 암에나 로봇 암의 근처에 설치될 수도 있다.

도 11은 상기 기구(33)나 상기 기구(35)용으로 사용될 수 있는 예시적인 기구(100)를 나타내고 있다. 상기 기구(100)는 접속 하우징(108), 샤프트(104), 엔드 이펙터(102), 그리고 하나 이상의 손목 조인트를 포함하는 손목 메카니즘(106)을 포함하고 있다. 접속 하우징(108)은 부착된 로봇 암의 기구 매니퓰레이터의 액추에이터(예를 들면, 모터)에 기계적으로 결합되도록 로봇 암에 탈착가능하게 부착되어 있다. 상기 기구 매니퓰레이터의 액추에이터에 결합되어 있으며 샤프트(104)를 통하여 접속 하우징(108)으로부터 손목 메카니즘(106)의 하나 이상의 손목 조인트로 그리고 상기 기구의 엔드 이펙터(102)의 조(jaw)로 뻗어 있는 케이블 또는 봉(rod)이 손목 조인트와 조를 종래의 방식으로 작동시킨다. 상기 기구 매니퓰레이터도 상기 기구를 진입 구멍에 있는 피벗점에 대해서 피칭운동 각회전(pitch angular rotation) 및 요잉운동 각회전(yaw angular rotation)으로 조작할 수 있고, 상기 기구를 상기 기구의 축선에 대해서 롤링운동 각회전(roll angular rotation)으로 조작할 수 있고, 그리고 상기 기구를 프로세서(43)에 의해 명령을 받은대로 로봇 암의 레일(rail)을 따라서 삽입 및 후퇴시킬 수 있다.

한 번에 사용되는 수술 공구의 수와 이에 따라 상기 의료용 로봇 시스템(2000)에서 사용되는 로봇 암의 수는, 다른 요인들 중에서도, 대체로 진단이나 수술 그리고 수술실 내의 공간 제한사항에 좌우된다. 수술하는 동안 사용되는 공구들 중의 하나 이상을 바꿀 필요가 있으면, 외과의사는 더 이상 사용되지 않는 기구를 로봇 암으로부터 분리시키고, 이를 수술실의 트레이("T")의 다른 기구(131)와 교체할 것을 보조자에게 명령할 수 있다. 교체될 기구를 확인하는데 있어서 보조자를 도와주기 위하여, 상기 기구를 유지하는 로봇 암에 있는 LED 칼라 어레이(1091) 중의 하나 이상의 LED가 켜질 수 있다. 마찬가지로, 교체 기구(131)를 확인하는데 있어서 보조자를 도와주기 위하여, 상기 교체 기구에 인접해 있는 LED에 전기가 공급될 수 있다. 대체 형태로서, 예를 들면, 보조자가 볼 수 있는 국소(local) 디스플레이 스크린에 상기 정보를 제공하거나 청각적인 통신 시스템을 통하여 외과의사로부터 보조자에게로의 음성 명령에 의하는 것과 같이, 상기 정보를 전달하는 다른 잘 알려진 수단이 사용될 수 있다. 상기 기구(그리고 상기 기구의 매니퓰레이터)의 제어를 외과의사로부터 보조자로 이양하기 위해서, 외과의사가 상기 기구와 결합된 입력 장치에 있거나 상기 입력 장치에 인접해 있는 버튼(예를 들면, 도 16에서 볼 수 있는 것과 같은 입력 장치(42)에 인접해 있는 버튼(49))을 작동시킬 수 있거나, 대체 형태로서, 보조자가 상기 기구를 유지하는 로봇 암에 있는 메카니즘(1092)과 같은 버튼을 작동시킬 수 있다. 보조자가 기구를 제어하는 시점 이후에는, 보조자가 상기 기구를 로봇 암에 있는 레일을 따라서 수동으로 후방으로 미끄럼이동시키는 것에 의해서 상기 기구를 환자의 외부로 빼내거나 상기 기구를 로봇 암에 있는 레일을 따라서 수동으로 전방으로 미끄럼이동시키는 것에 의해서 상기 기구를 환자 내부로 삽입할 수 있다.

본 명세서에 참고문헌으로 포함되어 있는, 발명의 명칭이 "협력적 최소 침습 원격수술 시스템(Cooperative Minimally Invasive Telesurgical System)" 인 미국 특허 제6,659,939 B2호는 본 명세서에 기술되어 있는 것과 같은 복수 구멍 의료용 로봇 시스템에 대한 부가적인 상세한 내용을 제공한다.

로봇 시스템(1000)의 제2 예로서, 도 12는 환자("P")에 대해 의료 시술을 수행하기 위해 외과의사("S")가 단일 구멍 의료용 로봇 시스템(3000)을 사용하고 있는 수술실의 평면도를 나타내고 있다. 이 경우의 의료용 로봇 시스템은 환자가 수술대("O")에 있는 동안 한 명 이상의 보조자("A")로부터 도움을 받아서 환자에 대해 최소 침습 진단 또는 최소 침습 수술을 수행하는 동안 외과의사가 사용하는 콘솔("C")을 포함하는 최소 침습 로봇 수술(MIRS:Minimally Invasive Robotic Surgical) 시스템이다.

단일 구멍 의료용 로봇 시스템(3000)에서는, 복수의 관절연결식 기구가 엔트리 가이드(EG)(200)에 의해 환자의 한 개의 진입 구멍(1101)를 통하여 수술 부위로 삽입된다. 상기 진입 구멍(1101)은 최소 침습 절개부 또는 신체 구멍(natural body orifice)일 수 있다. 엔트리 가이드(200)는 로봇 암(2514)에 의해 유지되고 조작되는 원통형 구조이다. 로봇 암(2514)은 셋업 암과 엔트리 가이드 매니퓰레이터를 포함하고 있다. 상기 셋업 암은 피벗점이 상기 진입 구멍(1101)에 있도록 엔트리 가이드(200)를 상기 진입 구멍(1101)에 위치시키는데 사용된다. 상기 엔트리 가이드 매니퓰레이터는 로봇식으로 엔트리 가이드(200)를 상기 진입 구멍(1101) 속으로 삽입하고 상기 진입 구멍(1101)으로부터 빼내기 위해서 사용될 수 있다. 상기 엔트리 가이드 매니퓰레이터는 또한 엔트리 가이드(200)(그리고 당시에 엔트리 가이드 내에 배치된 관절연결식 기구)를 피벗점에 대해서 피칭운동 각회전과 요잉운동 각회전으로 로봇식으로 피벗운동시키기 위해서 사용될 수도 있다. 상기 엔트리 가이드 매니퓰레이터는 또한 엔트리 가이드(200)(그리고 당시에 엔트리 가이드 내에 배치된 관절연결식 기구)를 엔트리 가이드(200)의 길이방향의 축에 대해서 롤링운동으로 회전시킬 수도 있다. 로봇 암(2514)의 원위 단부(distal end)에 플랫폼(2512)이 부착되어 있으며, 이 플랫폼에 각각의 기구가 엔트리 가이드(200)를 통하여 뻗을 수 있도록 기구 조립체(2516)가 장착되어 있다. 각각의 기구 조립체는 관절연결식 기구 및 관절연결식 기구의 기구 매니퓰레이터를 포함하고 있다.

도 13에 도시되어 있는 바와 같이, 엔트리 가이드(200)는 엔트리 가이드의 원위 단부로부터 뻗어 나온 관절연결식 수술 공구 기구(231, 241) 및 관절연결식 스테레오 카메라 기구(211)(또는 다른 영상 포착 장치 기구)와 같은, 관절연결식 기구를 가지고 있다. 상기 카메라 기구(211)는 카메라 기구의 끝부분에 수용된 한 쌍의 입체 영상 포착 장치(311, 312) 및 광섬유 케이블(313)(광섬유 케이블의 근위 단부에서 광원에 결합되어 있음)을 가지고 있다. 상기 수술 공구(231, 241)는 엔드 이펙터(331, 341)를 가지고 있다. 비록 단 두 개의 수술 공구(231, 241)만 도시되어 있지만, 엔트리 가이드(200)는 환자의 수술 부위에서 의료 시술을 수행하기 위해 필요한 만큼 추가적인 공구를 가이드할 수 있다. 예를 들면, 도 14에서의 엔트리 가이드(200)의 단면도에 도시되어 있는 것과 같이, 통로(351)는 엔트리 가이드(200)를 통하여 그리고 엔트리 가이드의 원위 단부를 통하여 다른 관절연결식 수술 공구를 뻗어 나오게 하는데 이용할 수 있다. 통로(431)와 통로(441)는 각각 관절연결식 수술 공구 기구(231, 241)에 의해 사용되고, 통로(321)는 관절연결식 카메라 기구(211)용으로 사용된다.

각각의 관절연결식 기구는 복수의 작동가능한 조인트 및 이 조인트에 결합된 복수의 링크를 포함하고 있다. 한 가지 예로서, 도 13에 도시되어 있는 바와 같이, 제2 관절연결식 기구(241)는 제1 링크(322), 제2 링크(324) 및 제3 링크(326), 제1 조인트(323) 및 제2 조인트(325), 그리고 손목 조인트(327)를 포함하고 있다. 제1 링크(322)와 제3 링크(326)가 서로 평행하게 유지되어 있는 동안 제2 링크(324)가 제1 조인트(323)에 대해 피칭운동(pitch)과 요잉운동(yaw)으로 피벗운동할 수 있도록 제1 조인트(323)는 제1 링크(322)와 제2 링크(324)를 결합시키고 제2 조인트(325)는 제2 링크(324)와 제3 링크(326)를 결합시킨다. 제1 관절연결식 기구, 제3 관절연결식 기구 및 관절연결식 카메라 기구(231, 251, 211)가 유사하게 구성되고 작동될 수 있다.

도 15는, 한 가지 예로서, 로봇 암(2514)의 원위 단부에 있는 플랫폼(2512)에 장착된 관절연결식 기구 조립체(2516)를 나타내고 있다. 상기한 바와 같이, 엔트리 가이드(200)가 엔트리 가이드 매니퓰레이터에 의해 (플랫폼(2512)과 함께) 조작될 수 있도록 엔트리 가이드(200)가 플랫폼(2512)에 부착되어 있다. 각각의 관절연결식 기구 조립체는 관절연결식 기구 및 이 관절연결식 기구의 기구 매니퓰레이터를 포함하고 있다. 예를 들면, 예시적인 관절연결식 기구(2502a)가 이 관절연결식 기구의 조인트를 작동시키는 복수의 액추에이터를 포함하는 액추에이터 조립체(2504)에 장착되어 있다. 상기 관절연결식 기구(2502a)는 자신의 액추에이터 조립체(2504)를 지나서 뻗어 있으며 엔트리 가이드(200)로 들어가는 경통(2506)을 가지고 있다. 액추에이터 조립체(2504)는 경통(2506)의 엔트리 가이드(200)로의 삽입 및 엔트리 가이드(200)로부터의 후퇴를 제어하는 리니어 액추에이터(2510)(예를 들면, 서보 기구에 의해 제어되는 리드 스크루와 너트 또는 볼 스크루와 너트 조립체)에 장착되어 있다. 이 경우에 기구 매니퓰레이터(2520)는 액추에이터 조립체(2504) 및 리니어 액추에이터(2510)를 포함하고 있다. 상기 관절연결식 기구(2502a)가 관절연결식 수술 공구 기구(241)인 경우에, 경통(2506)의 원위 단부는 도 13에 도시된 제1 링크(322)이다. 제2 기구(2502b)는 도면에 도시된 것과 유사한 메카니즘에 의해 장착되어 있다. 또한, 관절연결식 카메라 기구가 유사하게 장착될 수 있다.

도 16은, 한 가지 예로서, 의료용 로봇 시스템(2000)과 의료용 로봇 시스템(3000)의 양자에 사용될 수 있는 콘솔의 정면도를 나타내고 있다. 상기 콘솔은, 엔트리 가이드 및 관절연결식 기구와 같은, 관련 장치를 바람직하게는 6 자유도("DOF")로 조작하기 위해서 사용자가 자신의 왼손과 오른손으로 각각 쥘 수 있는 왼쪽 입력 장치 및 오른쪽 입력 장치(41, 42)를 가지고 있다. 발끝 제어부(toe control) 및 발뒤꿈치 제어부(heel control)를 가진 푸트 페달(44)이 상기 콘솔에 설치되어 있어서 사용자는 상기 푸트 페달과 결합된 장치의 움직임 및/또는 작동을 제어할 수 있다. 제어 및 다른 목적을 위해서 프로세서(43)가 상기 콘솔에 설치되어 있다. 사용자가 내시경(37) 또는 관절연결식 카메라 기구(211)의 입체 카메라에 의해 포착된 영상으로부터 수술 부위를 입체 화면(stereo vision)으로 볼 수 있도록 상기 콘솔에 스테레오 비전 디스플레이(45)도 제공되어 있다. 사용자가 사용자의 왼쪽 눈과 오른쪽 눈으로 스테레오 비전 디스플레이(45) 내측의 왼쪽 2차원("2D") 디스플레이 스크린과 오른쪽 2차원("2D") 디스플레이 스크린을 각각 볼 수 있도록 왼쪽 접안레즈(46)와 오른쪽 접안렌즈(47)가 스테레오 비전 디스플레이(45)에 설치되어 있다.

상기 프로세서(43)는 상기 의료용 로봇 시스템으로 다양한 기능을 수행한다. 상기 프로세서가 수행하는 한 가지 중요한 기능은 버스(110)를 통한 제어 신호에 의해 입력 장치(41, 42)의 기계적인 운동을 변형시키고 전달하여 외과의사가 상기 공구 기구(231, 241), 카메라 기구(211) 및 엔트리 가이드(200)와 같은, 장치를 효과적으로 조작할 수 있도록 각각의 조인트를 작동시키기 위해 각각의 해당 매니퓰레이터의 액추에이터에 명령을 내리는 것이다. 다른 기능은 본 명세서에 기술된 다양한 방법을 수행하는 것이다.

비록 프로세서로 기재되어 있지만, 상기 프로세서(43)는 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합 형태에 의해 실행될 수 있다는 것을 알아야 한다. 또한, 본 명세서에 기재되어 있는 것과 같은 프로세서의 기능은 한 개의 유닛에 의해 수행되거나 또는 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합 형태에 의해 각각 실행될 수 있는 상이한 구성요소들 중에서 분할된 것에 의해수행될 수 있다. 또한, 비록 프로세서(43)가 콘솔의 일부분인 것으로 도시되어 있거나 콘솔에 물리적으로 인접해 있지만, 프로세서(43)는 상기 시스템의 전체에 분포된 다수의 하부 장치(subunit)를 포함할 수도 있다.

본 명세서에 참고문헌으로 포함되어 있는, 발명의 명칭이 "최소 침습 수술 시스템(Minimally Invasive Surgical System)"인 미국 특허출원 공개공보 제US 2008/0065108 Al호는, 본 명세서에 기술된 것과 같은 단일 구멍 의료용 로봇 시스템(single aperture medical robotic system)에 관한 추가적인 상세한 내용을 제공한다.

이제 다시 도 1을 참고하면, 본 발명의 다양한 실시형태를 설명하기 위해서 로봇 시스템(1000)의 구성요소들의 블록도가 도시되어 있다. 본 예에서는, 로봇 시스템(1000)이 두 개의 공구와 한 개의 카메라를 가지고 있다. 제1 공구의 작업 단부의 자세(다시 말해서, 위치 및 방향)는 제1 복수의 조인트 센서(1002)에 의해 위치 및/또는 속도가 감지되는 제1 복수의 작동가능한 조인트(1001)에 의해 이동될 수 있고, 제2 공구의 작업 단부의 자세는 제2 복수의 조인트 센서(1005)에 의해 위치 및/또는 속도가 감지되는 제2 복수의 작동가능한 조인트(1004)에 의해 이동될 수 있고, 그리고 카메라의 영상 포착 단부(37)는 제3 복수의 조인트 센서(1008)에 의해 위치 및/또는 속도가 감지되는 제3 복수의 작동가능한 조인트(1007)에 의해 이동될 수 있다. 카메라(37)에 의해 포착된 영상은 비디오 프로세서(1010) 및/또는 프로세서(43)에 의해 처리되고, 처리된 영상은 스테레오 비전 디스플레이(45)에 표시된다.

통상의 작동 모드("공구 추종(tool following)" 모드라고도 한다)에서는, 상기 로봇 시스템(1000)의 오퍼레이터가 현장의 카메라가 공구의 작업 단부의 영상을 포착하는 동안 수술 부위의 대상물에 대해 수술을 수행하기 위해 공구를 제어한다. 이 모드에서는, 제1 복수의 조인트 센서(1002)에 의해 제공된 감지된 조인트 위치 및/또는 속도가 그 당시에 입력 장치(41)에 의해 지정된 조인트 위치 및/또는 속도와 일치하도록 프로세서(43)가 제1 복수의 조인트 액추에이터(1003)로 하여 제1 복수의 조인트(1001)를 작동시키도록 입력 장치(41)가 제1 공구에 결합되어 있다. 또한, 제2 복수의 조인트 센서(1005)에 의해 제공된 감지된 조인트 위치 및/또는 속도가 그 당시에 입력 장치(42)에 의해 지정된 조인트 위치 및/또는 속도와 일치하도록 프로세서(43)가 제2 복수의 조인트 액추에이터(1006)로 하여 제2 복수의 조인트(1004)를 작동시키도록 입력 장치(42)가 제2 공구에 결합되어 있다. 한편, 프로세서(43)가 제3 복수의 조인트 액추에이터(1009)에 명령하여 제3 복수의 조인트(1007)를 자신들의 현재의 위치에 유지시키는 것에 의해 카메라(37)는 제위치에 유지될 수 있다. 대체 형태로서, 프로세서(43)가 제3 복수의 조인트 액추에이터(1009)에 명령하여 제1 공구와 제2 공구의 작업 단부를 카메라(37)의 시야("FOV") 내에 있도록 제3 복수의 조인트(1007)를 작동시키는 것에 의해 카메라(37)가 제1 공구와 제2 공구의 이동을 추적할 수 있다.

공구들 중의 한 개의 공구의 제어(control)가 보조자 오퍼레이터 또는 프로세서(43)로 전환될 것을 나타내기 위해 하나 이상의 스위치(1011)가 설치되어 있다. 보조자가 스위치들 중의 지정된 하나를 작동시켜서 프로세서(43)를 통하여 대응하는 공구의 제어를 인수할 수 있도록 스위치(1011) 중의 일부 또는 모두가 공구를 유지하는 로봇 암에 설치될 수 있다. 대체 형태로서 또는 부가적으로, 오퍼레이터가 스위치들 중의 지정된 하나를 작동시켜서 해당 공구의 제어를 수동 작용을 위해 프로세서(43)를 통하여 보조자에게 또는 자동 작용을 위해 프로세서(43)로 직접 이전시킬 수 있도록 (도 16에 도시된 것과 같은 암 레스트(arm rest)상의 스위치(40)와 같이) 스위치(1011) 중의 일부 또는 모두가 입력 장치(41, 42)상에 또는 입력 장치(41, 42)에 인접하게 설치될 수 있다. 공구들 중의 하나의 공구의 제어가 프로세서(43)에 의해 보조자로 바뀌는 것을 보조자에게 나타내기 위해서 하나 이상의 표시기(1012)(예를 들면, LED)가 또한 설치되어 있다. 보조자가 공구들 중에서 어떤 공구가 현재 자신의 제어하에 있는지 알도록 상기 표시기(1012) 중의 하나 이상이 공구를 유지하는 로봇 암에 설치될 수 있다. 부가적으로, 수술 부위로 도입될 새로운 또는 교체 공구로서 한 공구가 프로세서(43)에 의해 표시될 수 있도록 표시기(1012) 중의 하나 이상이 한 구조물에 설치될 수 있다. 프로그램된 명령 및 데이터를 저장하기 위해 메모리(1013)가 제공되어 있다.

도 2는 기구의 제어를 입력 장치로 전환시키는 로봇 시스템(1000)의 프로세서(43)에서 실행되는 방법의 흐름도를 나타내고 있다. 블록 1021에서는, 오퍼레이터가, 상기한 바와 같이, 오퍼레이터가 해당 입력 장치를 통하여 기구의 통제권을 가지는 통상적인 모드로 수술을 하고 있다. 블록 1022에서는, 상기 방법이, 보조자가 기구의 매니퓰레이터를 이동시킴으로써 기구의 움직임을 수동으로 제어할 수 있도록 기구의 제어가 보조자에게로 전환되어야 하는지 또는 프로세서(43)가 프로그램된 명령에 따라 기구의 움직임을 제어할 수 있도록 기구의 제어가 프로세서(43)로 전환되어야 하는지를 체크한다. 상기한 바와 같이, 이러한 전환은 스위치(1010) 중의 하나의 작동(activation)에 의해 표시될 수 있다. 블록 1022 에서의 결정이 NO이면, 상기 방법은 블록 1021로 되돌아 가고 오퍼레이터가 기구의 제어를 유지한다. 한편, 블록 1022 에서의 결정이 YES이면, 블록 1023에서, 상기 방법은 기구의 제어를 보조자 또는 프로세서(43)로 전환한다.

블록 1024 및 블록 1026에서, 상기 방법은 기구가 후퇴 방향으로 이동하는지 또는 삽입 방향으로 이동하는지를 각각 결정한다. 기구가 후퇴 방향으로(다시 말해서, 기구가 수술 부위로부터 멀어지게 이동하는 결과를 초래할 수 있는 방향으로)이동하면, 상기 방법은 이러한 작동을 허용하고 블록 1024를 반복하기 위해 되돌아가거나 관절연결식 기구에 명령하여 후퇴 자세를 취하는 작용 및/또는 기구가 후퇴하는 동안 다른 기구나 대상물과의 충돌을 피하는 작용을 하는 후퇴 모드 알고리즘을 실행하기 위해 선택적 블록 1025를 실행한다. 관절연결식 기구에 대한 상기와 같은 후퇴 알고리즘에 대한 추가적인 상세한 내용은, 예를 들면, 본 명세서에 참고로 포함되어 있는, 발명의 명칭이 "엔트리 가이드의 진입 및 진출 이동 동안 관절연결식 기구의 컨트롤러 보조식 재구성(Controller Assisted Reconfiguration of an Articulated Instrument during Movement Into and Out of an Entry Guide)" 인 미국 특허출원 공개공보 제US 2011/0040305 Al호에서 볼 수 있다. 한편, 상기 기구가 삽입 방향으로(다시 말해서, 수술 부위쪽으로 이동하는 방향으로) 이동하면, 상기 방법은 이러한 작동을 허용하고 블록 1028로 바로 진행하거나 또는 선택적 블록 1027을 실행하는데, 상기 선택적 블록 1027에서는 카메라 시야(FOV) 표적 알고리즘(targeting algorithm)이 공구 조인트 액추에이터에 명령하여 도중에 다른 기구 및 대상물과의 충돌을 피하면서 기구의 작업 단부가 카메라(37)의 FOV(시야)쪽으로 이동하도록 공구 조인트를 작동시킨다. 이러한 식으로, 카메라(37)가 수술하는 동안 이동하면, 기구의 작업 단부는 카메라가 수술 부위쪽으로 삽입되고 있을 때 카메라를 뒤따르도록 그 방향을 자동적으로 바꿀 수 있다.

기구의 작업 단부가 카메라(37)의 시야 내에 유지되도록 기구의 명령받은 움직임에 대응하여 카메라(37)의 자세가 자동적으로 바뀌는 결합된 컨트롤 모드가 프로세서(43)에 의해 실행되면 카메라(37)는 수술하는 동안 이동할 수 있다. 카메라(37)는 결합된 입력 장치를 통하여 직접적인 오퍼레이터 명령에 대응하여 이동할 수 있다. 이러한 후자의 경우에서는, 수술 부위에서의 원하는 위치로 보조자에 의해 삽입되는 기구의 배치를 오퍼레이터가 효과적으로 안내할 수 있다.

FOV(시야) 표적 알고리즘의 단순화된 예로서, 도 7a 내지 도 7d는 복수 구멍 의료용 로봇 시스템(2000)을 이용하는 안내된 공구 교환 절차의 다양한 단계에서의 수술 부위에서 자신의 각각의 구멍(166, 167)으로부터 뻗어 나온 기구(33, 35)의 개략도를 나타내고 있다. 도 7a에서, 기구의 작업 단부는 내시경(37)의 시야(FOV)(2120) 내에 있는 것으로 도시되어 있다. 도 7b에서는, 도 7a에 대응하는 시간 이후에 세 가지 사건이 발생하였다. 첫번째로, 기구(33)는 공구 교환을 위해 철수되었으므로 기구(33)가 본 도면에서는 보이지 않는다. 두번째로, 이동의 방향을 나타내는 화살표와 함께 상기 기구의 이전의 위치는 점선 형태로 그리고 새로운 위치는 실선 형태로 표시되어 있는 것과 같이 기구(35)의 작업 단부가 이동하였다. 세번째로, 기구(35)의 작업 단부를 카메라의 FOV(2120) 내에 유지시키기 위해서 내시경(37)의 영상 포착 단부 및 내시경의 FOV(시야)(2120)가 또한 이동하였다. 도 7c에서는, 기구(33)(또는 교체물)가 자신의 원래의 후퇴 경로를 통하여 뻗은 라인을 따라서 다시 삽입되어 있다. 그러나, 내시경(37)의 FOV(2120)가 이동하였기 때문에, 이 경우에 기구(33)의 작업 단부는 내시경(37)의 FOV(2120)에 들어오지 않는다. 따라서, 이러한 상황이 발생하는 것을 방지하기 위해서, 도 7d에서는, 기구(33)의 작업 단부가 이동된 내시경(37)의 FOV(2120) 내에 있도록 FOV(시야) 표적 알고리즘이 기구(33)가 삽입되는 동안 기구(33)를 피벗운동시켰다. 이 경우에 있어서 상기 피벗운동은, 삽입 모드 알고리즘에 따라 수행된 상기 피벗운동의 방향을 나타내는 화살표와 함께 상기 기구의 원래의 위치를 점선 형태로 그리고 수정된 위치를 실선 형태로 표시하는 것에 의해서 도시되어 있다. 잘 아시겠지만, 다른 기구와의 충돌 및/또는 수술 부위에서 또는 수술 부위로 오는 도중에 대상물과 부딪치는 것을 피하기 위해서 기구(33)가 피벗운동하는 동안 주의를 기울여야 한다. 이러한 불행을 방지하기 위하여, FOV(카메라 시야) 표적 알고리즘이 상기 대상물 및 다른 기구의 현재의 배치상태에 관한 정보를 이용하는 것에 의해서 종래의 충돌 회피 기술이 이용될 수 있다.

다시 도 2를 참고하면, 블록 1028에서, 상기 방법은 기구가 당시에 스테레오 비전 디스플레이(45)에 표시되고 있는 수술 부위의 시야(view)로 들어왔는지 여부를 결정한다. 블록 1028 에서의 결정이 NO이면, 상기 방법은 블록 1024 및 블록 1026을 다시 실행하기 위해 되돌아간다. 한편, 블록 1028 에서의 결정이 YES이면, 블록 1029에서, 상기 방법은 상기 기구의 제어를 보조자로부터 오퍼레이터로 전환시키고 블록 1021로 되돌아간다.

비록 상기 흐름도에 나타나 있지는 않지만, 상기 방법은, 보조자나 오퍼레이터가 기구의 제어를 오퍼레이터로 전환하기 위해서 언제라도 도 2의 순서를 무시할 수 있도록 실행될 수도 있다. 예를 들면, 스위치(1011) 중의 하나는 통상적인 프로세스가 중단되고 있고 기구의 제어가 오퍼레이터에게로 즉시 복귀될 것이라는 것을 표시하도록 작동될 수 있다. 이것이 실행될 수 있는 한 가지 방법은, 기구의 제어를 오퍼레이터로부터 전환하기 위해서 이전에 작동되었던 스위치를 작동정지시키는 것이다.

도 3은, 한 가지 예로서, 도 2의 블록 1028을 실행하는 방법의 흐름도를 나타내고 있다. 블록 1031에서, 상기 방법은 현재 보조자에 의해 제어되고 있는 기구의 공구 조인트 센서로부터 데이터를 수신한다. 동시에, 블록 1032에서, 상기 방법은 카메라 조인트 센서로부터 데이터를 수신한다. 블록 1033에서, 상기 방법은, 예를 들면, 상기 기구에 대한 역운동학 알고리즘(inverse kinematics algorithm)을 이용하여 공구 조인트 데이터를 공구 기준 프레임에서의 자세에 매핑(mapping)시킴으로써, 공구 기준 프레임에서의 기구의 작업 단부의 자세를 결정하는데, 이 경우에 상기 공구 기준 프레임은, 예를 들면, 기구의 한 지점에 고정된 원점을 가지는 직각좌표 기준 프레임(Cartesian reference frame)이다. 블록 1034에서, 상기 방법은, 예를 들면, 카메라 기구에 대한 역운동학 알고리즘을 이용하여 카메라 조인트 데이터를 카메라 기준 프레임에서의 자세에 매핑시킴으로써, 카메라 기준 프레임에서의 카메라의 영상 포착 단부(37)의 자세를 결정하는데, 이 경우에 상기 카메라 기준 프레임, 예를 들면, 카메라 기구의 한 지점에 고정된 원점을 가지는 직각좌표 기준 프레임이다.

블록 1035에서, 상기 방법은 카메라 기준 프레임에서의 기구의 작업 단부의 자세를 결정한다. 이러한 결정은, 단순히 공구 기준 프레임과 세계 기준 프레임(world reference frame) 사이의 알려진 변환과 카메라 기준 프레임과 세계 기준 프레임 사이의 알려진 변환을 이용하는 것에 의해서 할 수 있는데, 이 경우에 상기 세계 기준 프레임은, 예를 들면, 수술 부위의 한 고정 지점에 원점을 가지는 직각좌표 기준 프레임(Cartesian reference frame)이다. 카메라 기준 프레임에서 기구의 작업 단부의 결정된 자세는 미리 결정된 오류 변환(error transform)을 이용하여 정정될 수 있고, 상기 오류 변환은 역운동학 알고리즘을 이용하여 결정된 공구 자세와 비디오 영상 처리(video image processing)를 이용하여 결정된 공구 자세 사이의 차이로부터 결정될 수 있다. 상기 오류 변환은 수술전 교정 단계(pre-operative calibration step)에 의해 우선 결정될 수 있고, 기구의 작업 단부가 카메라(37)의 시야에 있을 때 주기적으로 갱신된다. 상기와 같은 기준 프레임과 변환에 대한 추가적인 상세한 내용에 대해서는, 예를 들면, 본 명세서에 참고로 포함되어 있는, 발명의 명칭이 "최소 침습 수술 장치에서의 카메라 기준 제어(Camera Referenced Control in a Minimally Invasive Surgical Apparatus)" 인 미국 특허 제6,671,581 B2호를 참고하면 된다.

블록 1036에서, 상기 방법은 카메라 뷰(camera view)에 대해 디스플레이 뷰(display view)을 결정하는데, 상기 디스플레이 뷰는 당시에 스테레오 비전 디스플레이(45)에 표시되어 있는 것이고 카메라 뷰는 당시에 스테레오 카메라에 의해 포착되고 있는 입체 영상이다.

도 4를 참고하면, 한 가지 실례로서, 스테레오 카메라가 베이스라인 거리 "b" 만큼 분리되어 있으며 카메라의 초점 거리 "f"에 형성된 영상면 I1 및 I2를 가지고 있는 두 개의 카메라 C1 및 C2를 포함하고 있다. 상기 영상면 I1 및 I2는 내측 카메라 기하학적 구조와 외측 카메라 기하학적 구조가 상이한 효과를 제거하기 위해서 종래의 스테레오 수정 알고리즘(conventional stereo rectification algorithm)을 이용하여 휘어져 있다.

카메라 기준 프레임의 한 점 P가 영상점(image point) P1 및 P2에서, 점 P, 카메라 C1 및 C2의 두 개의 광심(optical center), 그리고 영상점 P1 및 P2를 포함하는 등극면(epipolar plane)에 의해, 영상면 I1 및 I2에 투영되어 있다. 점 P의 위치는, 베이스라인 거리 "b" 및 초점 거리 "f", 그리고 각각의 영상면 중심점(다시 말해서, y1 축과 x 축의 교점 및 y2 축과 x 축의 교점)으로부터 영상점 P1 및 P2의 거리로부터 산출된 차이 "d"에 대한 알려진 값을 이용하여 카메라 기준 프레임에서 결정될 수 있다.

디스플레이 뷰와 카메라 뷰(다시 말해서, 카메라의 시야)가 동일하면, 왼쪽 영상면(I1)은 스테레오 디스플레이(45)의 왼쪽 접안 렌즈(46)에 표시되고 오른쪽 영상면(I2)은 스테레오 디스플레이(45)의 오른쪽 접안 렌즈(47)에 표시된다. 도 5에 도시되어 있는 바와 같이, 이 경우에 있어서 왼쪽 접안 렌즈(46)에 대한 디스플레이 뷰는, 디스플레이 뷰 1062-L로서 상기 도면에 표시되어 있는 것과 같이 왼쪽 카메라(C1)로부터 발산하여 왼쪽 영상면(I1)을 통과하는 왼쪽 카메라(C1)의 프르스텀(frustum:현재 보이는 화면 영역)이다. 상기 프르스텀을 나타내기 위해서 관찰 영역 1082-L 또한 도 5에 도시되어 있는데, 관찰 영역 1082-L는 왼쪽 영상면(I1)보다 왼쪽 카메라(C1)로부터 더 멀리 떨어져 있지만, 왼쪽 영상면(I1)과 평행한 상기 프르스텀의 일부분이다. 오른쪽 접안 렌즈(47)에 대한 디스플레이 뷰는 오른쪽 영상면(I2)으로부터 발산하는 유사한 프르스텀이 될 수 있다.

그러나, 도 6에서 영역 1071로 표시된 것과 같은, 카메라(37)의 시야의 일부분만 스테레오 비전 디스플레이(45)에 표시되면, 왼쪽 접안 렌즈(46)에 대한 디스플레이 뷰는, 디스플레이 뷰 1061-L로서 상기 도면에 표시되어 있는 것과 같이 왼쪽 카메라(C1)로부터 발산하는 작은 프르스텀이다. 이러한 작은 디스플레이 뷰는, 예를 들면, 오퍼레이터가 당시에 스테레오 비전 디스플레이(45)에 표시되고 있는 영상에 대해 "줌인(zoom-in)"하도록 스테레오 비전 디스플레이(45)에 명령을 내릴 때 생길 수 있다. 또한, 프로세서(43)는, 스테레오 비전 디스플레이(45)에 해당 입력 장치(41, 42)와 함께 자신의 영상이 보여지고 있는 공구를 제어하는데 있어서 직관적인 관련성(intuitive connection)을 제공하기 위해서 디스플레이 뷰를 오른쪽 또는 왼쪽으로 이동시키거나, 디스플레이 뷰를 위쪽 또는 아래쪽으로 이동시키거나, 또는 디스플레이 뷰를 회전시키는 것에 의해서 디스플레이 뷰를 추가적으로 조절할 수 있다. 도 5와 도 6에는 왼쪽 카메라 뷰(I1)만 도시되어 있지만, 3-D 디스플레이를 위해서는, 작도를 단순화하기 위해서 도 5와 도 6에는 도시되어 있지 않지만, 도 4와 관련하여 기술되어 있는 것과 같이 대응하는 오른쪽 카메라 뷰(I2)도 필요하다는 것을 알아야 한다. 본 명세서에 사용되어 있는 것과 같은 입체 영상 시스템에 대한 상세한 내용은, 예를 들면, 본 명세서에 참고로 포함되어 있는, 발명의 명칭이 "원격로봇 시스템용 입체 영상 시스템 및 방법(Stereo Imaging System and Method for Use in Telerobotic Systems)" 인 미국 특허 제6,720,988호에서 볼 수 있다.

다시 도 3을 참고하면, 블록 1037에서, 상기 방법은 기구의 작업 단부의 자세(이것은 블록 1035에서 결정되었음)가 적어도 부분적으로 디스플레이 뷰(이것은 블록 1036에서 결정되었음)에 있는지 여부를 결정한다. 블록 1037 에서의 결정이 NO이면, 상기 방법은 도 2에 도시된 블록 1024로 되돌아 간다. 한편, 블록 1037 에서의 결정이 YES이면, 상기 방법은 도 2에 도시된 블록 1029로 진행한다. 블록 1037에서 기구의 작업 단부의 운동학적으로 결정된 자세를 단지 이용하는 것에 대한 개선 사항으로서, 당시에 스테레오 비전 디스플레이(45)의 왼쪽 접안 렌즈와 오른쪽 접안 렌즈(46, 47)에 표시되어 있는 왼쪽 영상과 오른쪽 영상에서 작업 단부를 식별하기 위한 템플릿(template)으로서 작업 단부의 컴퓨터 모델이 이용될 수도 있다. 이 경우에 영상 매칭(image matching)은, 프로세서(43)가 불필요한 처리를 실행하지 않도록 하기 위해서 기구의 작업 단부의 운동학적으로 결정된 자세가 디스플레이 뷰로부터 한계 거리(threshold distance)에 도달하고 나서야 실행될 수 있다.

상기 기구를 삽입하는 동안, 최소 삽입 거리와 최대 삽입 거리를 명시하는 것에 의해서 상기 기구에 대한 "목표 위치(target location)"를 명시하는 것이 바람직하다. 한 가지 예로서, 도 8a는 단일 구멍 의료용 로봇 시스템(3000)의 엔트리 가이드(200)의 원위 단부로부터 뻗어 나온 관절연결식 공구 기구(231, 241) 및 관절연결식 카메라 기구(211)의 개략도를 나타내고 있다. 이 개략도에는, 대상물(500)과 카메라(211)의 시야(FOV)(2110)도 도시되어 있다. 설명을 용이하게 하기 위해, 카메라(211)의 시야(FOV)(2110)가 도 2의 블록 1028의 목적을 위한 디스플레이 뷰로 여겨질 수도 있다.

도 8b에는, 관절연결식 공구 기구(241)가 자신의 삽입 축(점선)을 따라서 삽입되고 있는 것이 도시되어 있다. 상기 기구(241)의 작업 단부가 카메라(211)의 시야(FOV)(2110)로 들어갈 것으로 예상되는 최소 삽입 지점을 나타내는 최소 삽입 거리(2111)가 명시되어 있다. 최대 삽입 지점(안전 여유(safety margin)를 가지는 상태)을 나타내는 최대 삽입 거리(2112)도 명시되어 있으며, 상기 최대 삽입 지점을 넘어서면 상기 기구(241)의 작업 단부가 대상물(500)과 부딪칠 수 있다. 상기 기구(241)가 여러가지 이유로 카메라(211)의 시야(FOV)(2110)로 들어가지 않고서 최대 삽입 거리(2112)에 도달하는 경우, 안전을 위해서, 상기 기구(241)를 제위치에 고정시킴으로써 보조자에 의해 상기 기구(241)가 더 이상 삽입되는 것이 방지된다.

도 8c에서는, 관절연결식 공구 기구(241)가 자신의 삽입 축(점선)을 따라서 삽입되고 있지만, 카메라(211)(및 아마도 엔트리 가이드(200)와 함께)는 오퍼레이터에 의해 원래의 위치로부터 뒤로 이동되고 있는 것이 도시되어 있다. 이 경우에, 오퍼레이터는 삽입이 진행되는 동안 상기 기구(241)의 제어를 보다 빨리 차지할 수 있다. 카메라(211)의 시야(FOV)(2110)가 이동함에 따라 최소 삽입 거리(2113)와 최대 삽입 거리(2114)도 조정된다. 특히, 상기 최소 삽입 거리(2113)는, 상기 기구(241)의 작업 단부가 카메라(211)의 시야(FOV)(2110)로 들어갈 것으로 예상되는 최소 삽입 지점을 여전히 나타내도록 조정된다. 그러나, 상기 최대 삽입 거리(2114)는 이제 카메라(211)의 시야(FOV)(2110)가 상기 기구(241)의 삽입면과 만나는 곳의 근처(또는 경계)에 있는 삽입 거리를 나타낸다. 이 경우에, 대상물(500)이 카메라의 시야(FOV)(2110)를 훨씬 지나서 있기 때문에 상기 최대 삽입 거리(2114)는 대상물(500)보다 앞에 있다는 것을 주의해야 한다. 대상물(500)이 카메라(211)의 시야(FOV)(2110) 내에 있으면, 상기 최대 삽입 거리가 도 8b와 관련하여 기술되어 있는 것과 같이 대상물(500)에 대한 거리에 기초할 수 있다.

상기 기구(241)가 삽입되고 있고 상기 기구가 스테레오 비전 디스플레이(45)의 화면에 들어오기 전에 최대 삽입 거리가 도달되는 경우, 안전을 위해서, 상기 기구(241)가 제위치에 고정되는 것에 부가하여, 바람직하게는, 상기 기구(241)가 디스플레이 영역 외측에 있고 제위치에 고정되어 있다는 것을 오퍼레이터에게 알리기 위해 스테레오 비전 디스플레이(45)에 경고 메세지가 제공된다. 예를 들면, 상기 기구의 매니퓰레이터 상의 LED의 발광에 의해 보조자에게 경고를 할 수도 있다. 대체 형태로서 또는 이러한 시각적인 경고에 부가하여, 오퍼레이터 및/또는 보조자가 들을 수 있도록 하기 위해, 청각적인 경고가 제공될 수도 있다. 이러한 경고에 부가하여, 공구 위치 및 식별 표시가 스테레오 비전 디스플레이(45)의 상기 디스플레이 영역 둘레에 뻗어 있는 경계 영역에 표시될 수 있기 때문에, 오퍼레이터는 상기 기구(241)가 얼마나 멀리 있는지 그리고 현재 어떤 방향에 있는지를 대략 안다. 상기와 같은 공구 위치 및 식별 표시에 대한 상세한 내용은, 예를 들면, 본 명세서에 참고로 포함되어 있는, 발명의 명칭이 "컴퓨터 디스플레이 스크린의 경계 구역에 표시된 공구 위치 및 식별 표시(Tool Position and Identification Indicator Displayed in a Boundary Area of a Computer Display Screen)" 인 미국 특허출원 공개공보 제2008/0004603 Al호에서 볼 수 있다. 상기 기구(241)의 대략적인 위치에 대한 이러한 지식으로, 오퍼레이터는, 도 2와 관련하여 기술된 상기 방법에 따라 상기 기구(241)의 제어가 오퍼레이터로 전환되는, 상기 기구(241)의 작업 단부가 스테레오 비전 디스플레이(45)의 화면 내에 있을 때까지 카메라 기구(211)를 상기 기구(241)의 작업 단부쪽으로 이동시킬 수 있다.

본 발명의 다양한 실시형태가 바람직한 실시례에 대해서 기술되어 있지만, 본 발명은 첨부된 청구항의 전체 범위 내에서 완전한 보호를 받을 수 있다는 것을 알게 될 것이다.

Claims (29)

1. 로봇 시스템으로서,
   카메라;
   기구;
   입력 장치;
   상기 기구의 원위 단부의 움직임을 초래하는 제1 복수의 조인트;
   상기 제1 복수의 조인트의 상태를 감지하기 위해 상기 제1 복수의 조인트에 결합된 제1 복수의 센서; 및
   상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 즉시 상기 기구의 제어를 상기 입력 장치로 전환시키도록 구성된 프로세서;
   를 포함하고 있고,
   상기 프로세서는, 세계 기준 프레임에서 상기 기구의 자세와 상기 카메라의 자세를 결정하는 것, 상기 기구의 자세를 상기 카메라의 기준 프레임으로 변환시키는 것, 그리고 상기 기구의 상기 원위 단부가 상기 카메라의 시야 영역 내에 있는지 여부를 결정하는 것에 의해 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하도록 구성되어 있고,
   상기 프로세서는, 세계 기준 프레임에서 상기 기구의 자세에 대한 운동학적으로 도출된 추정값을 생성하기 위해서 상기 제1 복수의 센서로부터의 정보를 수신하고 이 정보를 하나 이상의 정방향 운동학 방정식에 적용함으로써 세계 기준 프레임에서 상기 기구의 자세를 결정하도록 구성되어 있는 것을 특징으로 하는 로봇 시스템.
2. 로봇 시스템으로서,
   카메라;
   기구를 조작하는 기구 매니퓰레이터;
   입력 장치; 및
   상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 즉시 상기 기구의 제어를 상기 입력 장치로 전환시키도록 구성된 프로세서;
   를 포함하고 있고,
   상기 기구 매니퓰레이터는 수동으로 움직일 수 있고 원격로봇식으로 작동되도록 되어 있고, 상기 프로세서는 제1 오퍼레이터가 상기 기구 매니퓰레이터를 수동 제어하여야 한다는 지시를 수신하고 상기 지시에 대응하여 수동 제어를 허용하도록 구성되어 있고, 상기 프로세서는, 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 즉시 상기 기구 매니퓰레이터의 제어를 상기 제1 오퍼레이터에 의한 수동 제어로부터 상기 입력 장치와 상호작용하는 제2 오퍼레이터에 의한 원격로봇식 제어로 전환시킴으로써 상기 기구의 제어를 상기 입력 장치로 전환시키도록 구성되어 있는 것을 특징으로 하는 로봇 시스템.
3. 제1항 또는 제2항에 있어서,
   상기 프로세서가 상기 기구의 제어를 상기 입력 장치로 전환시켰을 때 감각적인 지시를 제공하는 수단;
   을 더 포함하는 것을 특징으로 하는 로봇 시스템.
4. 제1항 또는 제2항에 있어서,
   상기 입력 장치와 상호작용하는 오퍼레이터가 볼 수 있는 디스플레이 스크린;
   을 더 포함하고 있고,
   상기 카메라의 시야 영역은 상기 디스플레이 스크린에 표시되고 있는 화면과 일치하는 것을 특징으로 하는 로봇 시스템.
5. 제1항에 있어서,
   상기 기구를 조작하는 기구 매니퓰레이터;
   를 더 포함하고 있고,
   상기 기구는 적어도 하나의 손목 조인트를 가지고 있고 상기 기구 매니퓰레이터는 상기 기구를 조작하는 복수의 조인트를 가지고 있고, 상기 제1 복수의 조인트는 상기 적어도 하나의 손목 조인트 및 상기 기구 매니퓰레이터의 복수의 조인트를 포함하는 것을 특징으로 하는 로봇 시스템.
6. 제1항에 있어서,
   상기 기구를 조작하는 기구 매니퓰레이터; 및
   엔트리 가이드;
   를 더 포함하고 있고,
   상기 기구는 복수의 기구 조인트를 가진 관절연결식 공구 기구이고 상기 기구 매니퓰레이터는 적어도 하나의 매니퓰레이터 조인트를 가지고 있고, 상기 제1 복수의 조인트는 상기 복수의 기구 조인트 및 상기 적어도 하나의 매니퓰레이터 조인트를 포함하고,
   상기 카메라는 관절연결식 카메라 기구이고;
   상기 관절연결식 카메라 기구와 상기 관절연결식 공구 기구의 원위 단부는 상기 엔트리 가이드의 원위 단부로부터 신장될 수 있는 것을 특징으로 하는 로봇 시스템.
7. 제1항 또는 제2항에 있어서, 상기 프로세서는, 상기 카메라에 의해 포착된 영상 영역에서 상기 기구의 원위 단부를 확인함으로써 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하도록 구성되어 있고, 상기 영상 영역은 상기 카메라의 시야 영역과 일치하는 것을 특징으로 하는 로봇 시스템.
8. 제1항 또는 제2항에 있어서, 상기 프로세서는, 상기 기구가 최대 삽입 거리에 도달하였으면 상기 기구의 더 이상의 삽입을 방지하도록 구성되어 있는 것을 특징으로 하는 로봇 시스템.
9. 제1항 또는 제2항에 있어서, 상기 프로세서는, 상기 기구가 상기 카메라의 시야 영역에 진입하지 않고서 상기 기구의 삽입이 최대 삽입 거리에 도달하였으면 상기 입력 장치의 오퍼레이터에게 경고를 하도록 구성되어 있는 것을 특징으로 하는 로봇 시스템.
10. 카메라, 입력 장치 및 기구를 포함하는 로봇 시스템을 작동시키는 방법으로서,
    상기 로봇 시스템의 프로세서가, 제1 오퍼레이터가 상기 기구의 움직임을 수동 제어하여야 한다는 지시를 수신하고 상기 지시에 대응하여 수동 제어를 허용하는 것; 및
    상기 프로세서가, 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 즉시 상기 기구의 제어를 상기 입력 장치로 자동적으로 전환시키는 것;
    을 포함하고 있고,
    상기 입력 장치는 제2 오퍼레이터에 의해 작동되고, 상기 프로세서가 상기 기구의 제어를 상기 입력 장치로 전환시키는 것은 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 즉시 상기 기구의 제어를 상기 제1 오퍼레이터에 의한 수동 제어로부터 상기 입력 장치를 작동시키는 상기 제2 오퍼레이터에 의한 원격로봇식 제어로 전환시키는 것을 포함하는 것을 특징으로 하는 방법.
11. 제10항에 있어서, 상기 기구의 제어를 상기 입력 장치로 전환시키는 것은,
    상기 프로세서가, 상기 로봇 시스템이 메모리에 저장된 프로그램된 명령에 기초하여 상기 기구를 제어하는 프로그램 컨트롤 모드로부터 상기 로봇 시스템이 상기 입력 장치의 오퍼레이터 조작에 대응하는 오퍼레이터 컨트롤 모드로 상기 기구의 제어를 전환시키는 것을 포함하는 것을 특징으로 하는 방법.
12. 제10항에 있어서, 상기 카메라의 시야 영역은 상기 입력 장치와 상호작용하는 오퍼레이터가 볼 수 있는 디스플레이 스크린에 표시되고 있는 화면과 일치하는 것을 특징으로 하는 방법.
13. 제10항에 있어서,
    상기 프로세서가 세계 기준 프레임에서 상기 기구의 자세와 상기 카메라의 자세를 결정하는 것, 상기 프로세서가 상기 기구의 자세를 상기 카메라의 기준 프레임으로 변환시키는 것, 그리고 상기 프로세서가, 상기 기구의 원위 단부가 상기 카메라의 시야 영역 내에 있는지 여부를 결정하는 것에 의해, 상기 프로세서가, 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 것; 또는
    상기 프로세서가 상기 카메라에 의해 포착된 영상 영역에서 상기 기구의 원위 단부를 확인함으로써, 상기 프로세서가, 상기 기구가 상기 카메라의 시야 영역에 진입한 것을 결정하는 것;
    을 더 포함하고 있고,
    상기 영상 영역은 상기 카메라의 시야 영역과 일치하는 것을 특징으로 하는 방법.
14. 제10항에 있어서,
    상기 기구가 상기 카메라의 시야 영역에 진입하지 않고서 상기 기구의 삽입이 최대 삽입 거리에 도달하였으면 상기 프로세서가 상기 입력 장치의 오퍼레이터에게 경고가 발해지도록 하는 것;
    을 더 포함하는 것을 특징으로 하는 방법.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제

Images