KR20190099280A - 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템 - Google Patents

Abstract

본 발명에 관한 수술 지원 장치는, 체강에 삽입되며 또한 기계적으로 구동되는 제1 수술 도구의 자세를, 체강에 삽입되는 제2 수술 도구를 사용하여 제어하는 수술 지원 장치이며, 처치를 위해 제2 수술 도구를 사용하는 제1 모드와 제1 수술 도구를 제어하기 위해 제2 수술 도구를 사용하는 제2 모드를 전환하는 전환 수단과, 제2 수술 도구의 샤프트 체강으로의 삽입 각도와 삽입 심도를 계측하는 계측 수단과, 제1 수술 도구의 자세를 제어하기 위해, 제1 수술 도구의 자세를 특정하는 점이며 시술자에 의한 제어 대상인 피제어점의 목표 위치를, 계측 수단에 의한 계측 결과에 기초하여 결정하는 연산 수단을 갖는다. 여기서 연산 수단은, 제2 모드의 개시 시점으로부터의, 계측된 삽입 각도 및 삽입 심도의 변화량에 따라서, 피제어점의 목표 위치를 결정한다.

Description

수술 지원 장치, 그 제어 방법, 프로그램 및 수술 지원 시스템

본 발명은, 수술 지원 장치, 그 제어 방법, 프로그램 및 수술 지원 시스템에 관한 것이다.

복벽에 소직경의 복수의 구멍을 개구하고, 시술자가 손에 드는 수술 도구나 내시경 등의 의료 기구를 소직경의 구멍의 각각으로부터 체강 내에 삽입함으로써 수술을 행하는 복강경 수술이 알려져 있다. 일반적으로 복강경 수술에서는, 초음파 메스나 겸자 등 복수의 수술 도구를 조작하여 수술을 행하는 시술자를, 복강경을 조작하는 스코피스트나 겸자에 의해 장기를 견인하거나 하는 조수 등이 보조함으로써 행해지기 때문에, 복부를 절개하는 개복 수술과 비교하여 번잡해지는 경우가 있다. 이 때문에, 스코피스트 등에 의한 지원 대신에 로봇 암에 의해 시술자를 지원하는 기술이 제안되어 있다.

특허문헌 1은, 처치구에 설치한 가동 코일과, 스코프를 구비하는 수직 다관절형 6자유도 로봇측에 설치한 고정 발신기를 사용하여 수술 도구의 자세를 계측하고, 복강경의 축심 상을 수술 도구의 선단 위치가 지나도록 복강경의 자세를 제어하는 기술을 제안하고 있다. 또한, 특허문헌 2는, 트로카에 경사 센서 등의 관성 센서와 삽입량 센서를 마련하여 수술 도구의 자세를 계측하고, 수술 도구의 선단 위치를 추종하도록 복강경의 자세를 제어하는 기술을 제안하고 있다.

일본 특허 공개 제2003-127076호 공보 일본 특허 공개 제2007-301378호 공보

그러나, 특허문헌 1에서 제안된 기술에서는, 6자유도의 자세를 취득할 필요가 있기 때문에 고가이며, 각 자유도에 대한 계측 오차에 의해 로봇 암의 제어에 크게 영향을 주는 경우가 있다. 또한, 특허문헌 2에서 제안된 기술과 같이, 조작되는 수술 도구의 이동을 관성 센서에 의해 계측하는 경우, 실제로는 드리프트 에러라 불리는 계측 오차가 축적되어, 계측 결과가 실제의 위치로부터 이격되어 가는 문제가 있다. 즉, 수술 도구에 대한 계측 결과에 계측 오차가 축적되면, 로봇 암의 동작이 부자연스러워져 버린다.

또한, 어느 기술도, 시술자의 의도적인 조작 대상은 어디까지나 처치를 위한 주된 수술 도구이며, 복강경 등의 부수적인 수술 도구는 주된 수술 도구의 선단 위치의 이동에 수반하여 제어되는 것이다. 즉, 시술자의 의도적인 조작 대상을 부수적인 수술 도구로 하여, 그 자세를 주된 수술 도구에 의해 직감적으로 조작하는 것은 고려되어 있지 않다. 주된 수술 도구의 용도가, 처치의 용도로부터, 부수적인 수술 도구를 직접 조작하는 용도로 전환되어, 시술자가 부수적인 수술 도구의 자세를 원하는 대로 조작할 수 있으면, 로봇 암에 의한 시술자에 대한 지원 효과를 보다 높일 수 있다.

본 발명은, 상술한 과제를 감안하여 이루어진 것이다. 즉, 기계적으로 제어되는 수술 도구의 자세를, 처치를 위한 수술 도구를 사용하여 직감적으로 또한 계측 오차의 영향을 억제하면서 제어하는 것이 가능한 수술 지원 장치, 그 제어 방법, 프로그램 및 수술 지원 시스템을 제공하는 것을 목적으로 한다.

이들 과제를 해결하기 위해, 예를 들어 본 발명의 수술 지원 장치는 이하의 구성을 구비한다. 즉, 체강에 삽입되며 또한 기계적으로 구동되는 제1 수술 도구의 자세를, 체강에 삽입되는 제2 수술 도구를 사용하여 제어하는 수술 지원 장치이며, 처치를 위해 제2 수술 도구를 사용하는 제1 모드와 제1 수술 도구를 제어하기 위해 제2 수술 도구를 사용하는 제2 모드를 전환하는 전환 수단과, 제2 수술 도구의 샤프트의 체강으로의 삽입 각도와 삽입 심도를 계측하는 계측 수단과, 제1 수술 도구의 자세를 제어하기 위해, 제1 수술 도구의 자세를 특정하는 점이며 시술자에 의한 제어 대상인 피제어점의 목표 위치를, 계측 수단에 의한 계측 결과에 기초하여 결정하는 연산 수단을 갖고, 연산 수단은, 제2 모드의 개시 시점으로부터의, 계측된 삽입 각도 및 삽입 심도의 변화량에 따라서, 피제어점의 목표 위치를 결정하는 것을 특징으로 한다.

본 발명에 따르면, 기계적으로 제어되는 수술 도구의 자세를, 처치를 위한 수술 도구를 사용하여 직감적으로 또한 계측 오차의 영향을 억제하면서 제어하는 것이 가능해진다.

본 발명의 그 밖의 특징 및 이점은, 첨부 도면을 참조로 한 이하의 설명에 의해 명백하게 될 것이다. 또한, 첨부 도면에 있어서는, 동일하거나 혹은 마찬가지의 구성에는, 동일한 참조 번호를 붙인다.

첨부 도면은 명세서에 포함되어, 그 일부를 구성하며, 본 발명의 실시 형태를 나타내고, 그 기술과 함께 본 발명의 원리를 설명하기 위해 사용된다.
도 1은 본 실시 형태에 관한 수술 지원 시스템의 구성예를 도시하는 도면.
도 2는 본 실시 형태에 관한, 로봇의 좌표계와 관성 센서의 좌표계 사이의 관계를 구하기 위한 캘리브레이션의 방법을 설명하는 도면.
도 3은 본 실시 형태에 관한, 로봇 의료 기구의 피제어점에 대한 목표 위치를 결정하는 처리를 설명하는 도면.
도 4는 본 실시 형태에 관한, 로봇 의료 기구의 피제어점에 대한 목표 자세를 결정하는 처리를 설명하는 도면.
도 5는 본 실시 형태에 관한, 막대 형상의 로봇 의료 기구의 제어에 대하여 설명하는 도면.
도 6은 본 실시 형태에 관한, 복수의 자유도를 갖는 로봇 의료 기구의 자세의 제어에 대하여 설명하는 도면.
도 7은 본 실시 형태에 관한, 광축의 방향을 변경 가능한 로봇 의료 기구의 자세의 제어에 대하여 설명하는 도면.
도 8은 본 실시 형태에 관한, 그 밖의 기구를 갖는 로봇 의료 기구의 자세의 제어에 대하여 설명하는 도면.
도 9는 본 실시 형태에 관한, 수지 의료 기구를 사용한 로봇 의료 기구의 조작에 관한 일련의 동작을 설명하는 흐름도.
도 10은 촬상 디바이스를 갖는 로봇 의료 기구의 조작에 대하여 설명하는 도면.
도 11은 본 실시 형태에 관한, 촬상 디바이스를 갖는 로봇 의료 기구의 제어에 대하여 설명하는 도면.

이하, 본 발명의 예시적인 실시 형태에 대하여, 도면을 참조하여 상세하게 설명한다. 또한, 이하의 설명에 있어서, 간단히 수술 도구의 자세를 계측 또는 제어하는 것으로서 설명한 경우, 수술 도구의 특정 개소의 위치를 계측 또는 수술 도구의 특정 개소를 다른 위치로 제어하는 것을 포함하는 경우가 있다.

(수술 지원 시스템의 구성)

도 1은 본 실시 형태에 관한 수술 지원 시스템(1)의 기능 구성예를 도시하는 도면이다. 또한, 도 1에 도시한 기능 블록의 하나 이상은, ASIC나 프로그래머블 로직 어레이(PLA) 등의 하드웨어에 의해 실현되어도 되고, CPU나 MPU 등의 프로그래머블 프로세서가 소프트웨어를 실행함으로써 실현되어도 된다. 또한, 소프트웨어와 하드웨어의 조합에 의해 실현되어도 된다. 따라서, 이하의 설명에 있어서, 상이한 기능 블록이 동작 주체로서 기재되어 있는 경우라도, 동일한 하드웨어를 주체로 하여 실현될 수 있다.

본 실시 형태에 관한 수술 지원 시스템(1)은, 수술 지원 장치(2)와, 수술 도구나 엔드 이펙터의 자세를 제어하는 의료 기구 구동부(11)를 포함한다. 또한, 수술 지원 장치(2)는, 예를 들어 시술자가 갖는 수술 도구의 자세를 계측하는 위치 자세 계측 장치(22)와, 제어 상태를 전환하기 위한 모드 전환부(3)와, 좌표 변환, 제어 대상의 위치 등의 연산이나 의료 기구 구동부(11)를 제어하는 제어부(4)와, 표시부(7), 및 불휘발성 메모리(8)를 포함한다. 또한, 도 1에서는, 수술대(6) 상에 누운 환자의 체강 내에 외투관을 통해 수술 도구나 엔드 이펙터가 삽입되어 있는 모습을 도시하고 있다.

본 실시 형태에 관한 수술 지원 시스템(1)은, 시술자 및 환자의 근방에 설치되어, 시술자에 의한 수술 도구의 조작과 협조하도록 의료 기구 구동부(11)를 제어함으로써 시술자에 의한 수술을 지원한다. 시술자는, 손에 들고 조작하는(수지) 의료 기구(21)를 조작하여, 처치(예를 들어 전기 메스로 장기의 일부를 절개함)와, 로봇 의료 기구(12)나 엔드 이펙터의 자세의 제어(종래 조수가 겸자에 의해 장기를 견인함)를 전환하여, 교대로 행할 수 있다.

이 때문에, 본 실시 형태에 관한 로봇 의료 기구(12)나 엔드 이펙터의 자세의 제어는, 상술한 항상 수술 도구의 선단 위치를 계측하여 그 선단 위치 부근을 복강경 등에 추종시키는 제어와는 달리, 절개 등의 처치를 위해 수지 의료 기구(21)를 조작하는 사이에 행해진다. 따라서, 로봇 의료 기구(12)나 엔드 이펙터의 자세를 제어하기 위해 행하는 수지 의료 기구(21)의 자세의 계측은, 비교적 단시간에 종료되게 된다.

의료 기구 구동부(11)는, 로봇 의료 기구(12)의 이동이나 엔드 이펙터(13)의 자세를 제어하는 구동부(예를 들어 로봇 암)를 포함한다. 예를 들어, 로봇 의료 기구(12)의 복벽(5)에 대한 삽입 각도, 로봇 의료 기구(12)의 샤프트의 장축 방향으로의 이동(삽입 심도), 및 엔드 이펙터(13)의 구동을 제어 가능하게 구성된다. 구동부의 기구는, 예를 들어 R 가이드를 사용한 기구, 평행 링크를 사용한 기구, 또는 수직 다관절 암에 의한 기구 등이어도 되지만, 엔드 이펙터(13)의 자세를 능동적으로 제어하는 것이 가능하면 그 형상은 임의여도 된다. 구동부에는 서보 모터 등의 위치 결정용 액추에이터가 복수 포함되어 있고, 액추에이터에 포함되는 인코더로부터 기구의 관절각 등의 현재 위치 정보를 취득 가능하다. 의료 기구 구동부(11)는, 수술 지원 장치(2)와, LAN 등의 통신로 혹은 버스를 통해 접속되어, 수술 지원 장치(2)의 제어부(4)와 데이터의 수송신을 행한다. 의료 기구 구동부(11)는, 수술 지원 장치(2)의 제어부(4)로 관절각 등의 현재 위치 정보를 출력할 수 있고, 또한, 제어부(4)로부터 출력된 제어 정보에 기초하여, 로봇 의료 기구(12)의 이동이나 엔드 이펙터(13)의 자세를 제어할 수 있다. 또한, 이후의 설명에 있어서 간단히 「로봇」이라 하는 경우에는, 의료 기구 구동부(11), 로봇 의료 기구(12), 엔드 이펙터(13) 모두를 가리키는 것으로 한다.

로봇 의료 기구(12)는, 복벽(5)에 개구한 소직경의 구멍에 삽입된 외투관(14)을 통과하여, 그 일부가 체강 내에 삽입된다. 예를 들어, 로봇 의료 기구(12)는, 체강 내에 삽입하여 사용되는 겸자, 섭자, 전기 메스, 흡인관, 초음파 응고 절개 장치, 지혈 장치, 라디오파 소작 장치, 내시경, 흉강경, 복강경 등을 포함하고, 그 형상은 직선형이어도 굴곡 관절을 갖고 있어도 된다.

수지 의료 기구(21)는, 시술자가 실제로 손으로 움직여 통상의 처치를 행하는 의료 기구이며, 복벽(5)에 개구한 소직경의 구멍에 삽입된 외투관(23)을 통해 체강 내에 삽입된다. 수지 의료 기구(21)에는, 위치 자세 계측 장치(22)가 설치되고, 후술하는 센서에 의해 수지 의료 기구(21)의 자세를 계측한다. 이 센서는 일반적인 6자유도의 절대 위치 자세를 계측 가능한 센서여도 되지만, 본 실시 형태에서는, 어떤 시각, 위치로부터의 상대적인 위치 자세밖에 계측할 수 없는 센서를 사용하는 예를 설명한다.

위치 자세 계측 장치(22)는, 3자유도의 자세를 계측 가능한 관성 센서와, 체강 내로의 삽입 심도를 계측 가능한 거리 센서의 조합으로 구성된다. 관성 센서로서는, 예를 들어 가속도 센서, 경사 센서, 자이로 센서, 지자기 센서 등의 일반적인 센서 및 그것들의 조합을 이용할 수 있다. 또한, 거리 센서로서는, 수지 의료 기구(21)의 삽입에 의해 회전하는 롤러를 사용한 인코더, 광이나 자기를 사용한 거리계 등을 사용할 수 있다.

모드 전환부(3)는, 수술 지원 시스템의 조작 모드를 적절하게 전환하기 위한 조작 부재를 포함하고, 예를 들어 손잡이측 스위치, 풋 스위치 등에 의해 구성된다. 조작 모드는, 처치를 위해 수지 의료 기구(21)를 조작하여 실제로 수술을 행하는 모드(간단히 처치 모드라고도 함)와, 로봇 의료 기구(12)나 엔드 이펙터를 조작하기 위해 수지 의료 기구(21)를 사용하는 모드(간단히 로봇 조작 모드라고도 함)를 포함한다. 또한, 로봇 조작 모드는, 후술하는 캘리브레이션을 행하기 위한 캘리브레이션 모드와, 수지 의료 기구(21)를 사용하여 로봇 의료 기구(12) 등의 소정 개소의 위치를 제어하기 위한 위치 제어 모드를 더 포함한다. 시술자가 모드 전환부(3)를 통해 조작 모드를 전환하면, 제어부(4)는 모드 전환부(3)로부터의 신호에 따라서 시스템의 조작 모드를 전환하고, 현재의 조작 모드를 도시하지 않은 RAM에 기록한다. 또한, 모드 전환부(3)를 통해 소정의 음성, 소정의 제스처의 정보를 취득하고, 제어부(4)가 입력된 정보에 대응하는 조작 모드로 전환하도록 해도 된다.

제어부(4)는, CPU 또는 MPU 등의 중앙 연산 장치, ROM 및 RAM을 포함하고, ROM 혹은 불휘발성 메모리(8) 등의 기록 매체에 기억된 프로그램을 실행하여, 수술 지원 장치(2)의 각 블록의 동작을 제어한다. 또한, 제어부(4)는, 의료 기구 구동부(11)로부터 관절각 등의 현재 위치 정보(혹은 이들에 기초하여 얻어지는 관절각 등의 사이의 거리 정보 등)를 취득한다. 또한, 로봇 의료 기구(12)의 이동이나 엔드 이펙터(13)의 자세를 제어하기 위한 제어 정보를 의료 기구 구동부(11)로 송신한다.

표시부(7)는, 예를 들어 액정 디스플레이, 유기 EL 디스플레이 등의 표시 디바이스를 포함하고, 복벽에 삽입된 도시하지 않은 복강경으로 촬영된 체강 내의 화상 또는 영상을 표시한다. 또한, 표시부(7)는, (로봇이나 수지 의료 기구(21)의 자세를 나타내는 수치 등을 포함하는) 시스템 내부의 상태 표시나, 본 시스템을 조작하기 위한 조작 화면 등을 표시한다.

불휘발성 메모리(8)는, 반도체 메모리나 자기 디스크 등으로 구성되는 기록 매체를 포함하고, 제어부(4)가 실행하는 프로그램이나 동작용 상수 등을 기억한다.

(수지 의료 기구(21)의 자세를 계측할 때의 문제점)

수지 의료 기구(21)를 사용하여 로봇 의료 기구(12)를 조작하기 위해, 수지 의료 기구(21)의 자세를 계측할 필요가 있다. 본 실시 형태에서는, 당해 자세를 구하기 위해, 복벽(5)에 있어서의 회전 중심을 원점으로 한, 관성 센서의 기동 시의 자세를 기준으로 하는 좌표계를 사용한다. 그러나, 이와 같은 자세의 계측 방법에는, 이하의 세 문제가 있다.

첫째, 관성 센서의 좌표계와 로봇이 갖는 좌표계가 상이하기 때문에, 수지 의료 기구(21)의 자세를 계측하였다고 해도 로봇 의료 기구(12)나 엔드 이펙터(13)를 시술자가 의도하는 방향으로 이동시킬 수 없다.

둘째, 관성 센서는 중력축 주위의 회전각의 계측값에 드리프트 에러를 포함한다는 문제가 있다. 관성 센서는 자이로 센서와 가속도 센서를 조합하여 자세를 산출하는 것이 일반적이지만, 중력축 주위의 회전각에 있어서는, 자이로 센서만의 값밖에 사용할 수 없다. 이 때문에, 각속도를 적분한 값을 회전각으로서 사용하게 된다. 각속도의 계측 결과에는 크든 작든 오차가 존재하기 때문에, 그 값을 적분 한 경우에는 시간 경과와 함께 계측 오차가 증대된다. 이 계측 오차를 드리프트 에러라 한다. 드리프트 에러가 발생하면, 처음에 규정한 좌표계가 마치 회전한 듯한 상태로 되어, 수지 의료 기구의 실제의 자세와 계측값이 크게 차이가 나게 된다. 또한, 자이로 센서를 사용하지 않고 가속도 센서만을 사용하는 경우라도, 가속도를 적분한 값을 위치로서 사용하기 때문에, 계측 결과는 마찬가지로 드리프트 에러를 포함한다.

셋째, 삽입 심도를 계측하기 위한 거리 센서의 기준점을, 복벽의 회전 중심에 맞추는 것이 곤란하다는 문제가 있다. 통상, 위치 자세 계측 장치(22)에 포함되는 거리 센서는, 외투관(23)이나 수지 의료 기구(21) 상의 소정 위치에 마련되기 때문에, 이 위치를 기준으로 하는 거리의 계측밖에 행할 수 없다. 이 때문에, 거리 센서의 기준점은, 복벽(5)에 있어서의 수지 의료 기구(21)의 회전 중심과는 상이한 위치에 있다. 그러나, 복벽(5)에 있어서의 회전 중심은, 복벽 내부에 있고, 또한 복벽의 두께 등에 따라서도 변화되기 때문에, 외투관(23)으로부터 일정 거리로 결정할 수 없다. 즉, 수지 의료 기구(21)의 회전 중심과 거리 센서의 기준점을 상호 변환할 수 없으면, 수지 의료 기구(21)의 원점을 로봇 좌표계 상에서 정확하게 구할 수 없어, 부자연스러운 조작이 되어 버린다.

(수지 의료 기구(21)를 사용한 로봇 의료 기구의 조작에 관한 일련의 동작)

다음에, 도 9를 참조하여, 수지 의료 기구(21)를 사용한 로봇 의료 기구(12)의 조작에 관한 일련의 동작을 설명한다. 각 스텝의 보다 상세한 설명에 대해서는 별도로 후술하지만, 이 동작에 의해 상술한 문제점을 해소함과 함께, 시술자가 수지 의료 기구(21)를 사용하여 보다 직감적으로 로봇 의료 기구(12)나 엔드 이펙터(13)를 조작하는 것이 가능해진다. 또한, 본 동작에서는, 제어부(4)가 불휘발성 메모리(8)에 기록되어 있는 프로그램을 도시하지 않은 RAM에 전개, 실행함으로써 실현된다. 또한, 본 처리는, 예를 들어 시술자가 모드 전환부(3)를 조작하여, 조작 모드를 캘리브레이션 모드로 전환하였을 때 개시된다.

S1에서는, 제어부(4)는, 가상적인 회전 중심으로서 사용하는 제어 기준점을 결정한다. 본 실시 형태에서는, 제어 기준점의 위치를, 수지 의료 기구(21)의 회전 중심의 위치와 동일한 위치로 설정한다. 이 때문에, 제어부(4)는, 후에 상세하게 설명하는 캘리브레이션에 의한 계측 결과에 기초하여 관성 센서의 좌표계에 있어서의 수지 의료 기구(21)의 회전 중심의 위치(즉 제어 기준점의 위치)를 결정한다.

S2에서는, 제어부(4)는, 관성 센서의 좌표계를 로봇의 좌표계로 변환한다. 보다 구체적으로는, S1의 캘리브레이션에 의해 특정된 적어도 두 위치에 대한 관성 센서의 좌표계의 위치와 로봇의 좌표계에 있어서의 위치의 관계로부터 좌표계 사이의 변환 함수를 결정한다.

S3에서는, 제어부(4)는, 위치 제어 모드로의 전환 지시를 받았는지를 판정한다. 예를 들어, 시술자가 S2의 처리 완료 후에 모드 전환부(3)를 통해 조작 모드를 위치 제어 모드로 설정하면, 제어부(4)는, 조작 모드를 위치 제어 모드로 전환하라는 지시를 받는다. 제어부(4)는, 조작 모드의 전환 지시를 받은 경우, S4로 처리를 진행시킨다. 한편, 조작 모드의 전환 지시를 받지 않은 경우, 처리를 다시 S3으로 되돌린다(필요에 따라서 본 일련의 동작을 종료시켜도 된다).

S4에서는, 제어부(4)는, 조작 모드가 위치 제어 모드로 전환된 시각에 있어서의, 제어 기준점으로부터 피제어점을 향하는 기준 벡터를 계산한다. 피제어점은, 시술자가 로봇 의료 기구(12)나 엔드 이펙터(13)를 조작할 때의 제어 대상이 되는 점을 가리킨다. 제어부는, 산출한 기준 벡터의 정보를 예를 들어 RAM 등에 유지한다. 이 처리에서는, 모드가 전환된 타이밍에 규정되는, 제어 기준점으로부터 피제어점으로 신장되는 가상적인 샤프트를 결정하여 유지하는 것을 의미한다.

S5에서는, 제어부(4)는, 기준 벡터를 계산한 시각(즉 위치 제어 모드로 전환된 시각)으로부터의, 수지 의료 기구(21)의 상대적인 이동량을 구한다. 또한 S6에서는, 제어부(4)는, S5에서 구한 상대 이동량에 기초하여 기준 벡터를 움직임으로써, 피제어점이 있어야 할 위치를 나타내는 목표 위치를 결정한다. 바꾸어 말하면, S4에서 구한 가상적인 샤프트의 선단의 목표 위치를, 시술자가 수지 의료 기구(21)를 움직인 상대 이동량에 따라서 결정하는 것을 의미한다. 그 후, 제어부(4)는, 로봇 암을 제어하여 엔드 이펙터(13)를 당해 목표 위치로 이동시키고, 본 일련의 동작을 종료한다.

이와 같이, 상술한 처리에 의하면, 수지 의료 기구(21)에 대한 상대 이동량을 사용하기 때문에, 드리프트 에러에 의한 영향을 억제할 수 있다. 또한, 제어 기준점으로부터 본 피제어점의 위치를, 수지 의료 기구(21)에 대하여 행한 이동량에 따라 변화시키기 때문에, 시술자에게는, 마치 가상적인 막대의 선단에서 피제어점을 직접 조작하고 있는 듯한 직감적인 조작감을 부여할 수 있다. 이후에는, 도 9를 참조하여 설명한 스텝에 대하여, 보다 상세한 설명을 보충한다.

<S1 : 제어 기준점의 결정>

먼저, S1에 있어서 상술한, 가상적인 회전 중심으로서 사용하는 제어 기준점을 결정하는 동작에 대하여 설명한다. 수지 의료 기구(21)에 설치되는 위치 자세 계측 장치(22)는, 외투관(23)과 수지 의료 기구(21)의 선단의 상대 거리를 계측하는 거리 센서와, 3축의 자세를 계측 가능한 적어도 하나의 관성 센서를 포함한다. 이 거리 센서와 관성 센서의 조합에서는, 복벽(5)의 회전 중심과 거리 센서의 계측 원점의 오프셋이 불분명하고, 또한, 중력축 주위의 회전에 대해서는 드리프트 에러를 갖는다. 단, 드리프트 에러는, 통상은 수초 내지 수분 정도의 짧은 시간이라면 무시할 수 있을 정도로 작기 때문에, 계측값의 드리프트는 고려하지 않아도 된다. 즉, 본 실시 형태에 있어서의 수지 의료 기구(21)를 사용한 엔드 이펙터의 조작은, 현실적으로 수분 정도에 종료되고 수지 의료 기구(21)를 사용한 실제의 수술로 전환되기 때문에, 이 동안에 축적되는 드리프트 에러는 무시할 수 있을 정도로 작다. 설령 수지 의료 기구(21)를 사용한 엔드 이펙터의 조작이 장시간 필요한 경우가 있더라도, 일단 수지 의료 기구(21)를 사용한 실제의 수술로 조작을 전환했다가 다시 엔드 이펙터의 조작으로 전환할 수 있다. 이 때문에, 각 조작은 드리프트 에러를 무시할 수 있을 정도의 시간 내에 조작을 행할 수 있다.

캘리브레이션은, 로봇 의료 기구(12)와 시술자가 갖는 수지 의료 기구(21)가 각각 외투관(14) 및 외투관(23)을 통과하여 체강 내에 삽입된 상태에서 행해진다. 구체적으로, 시술자는, 엔드 이펙터(13)를, 수지 의료 기구(21)의 선단이 접촉 가능한 위치까지 이동시킨다. 엔드 이펙터(13)의 이동은, 시술자가 수동으로(예를 들어 조그 동작 등을 움직여) 행하고, 목적 위치에 도달하면 정지시킨다. 이때, 제어부(4)는 의료 기구 구동부(11)로부터 각 관절에 구비되는 센서 정보(현재 위치 정보)를 취득하고, 로봇의 좌표계에 있어서의 엔드 이펙터(13)의 자세를, 공지의 순운동학을 풂으로써 구한다. 또한, 제어부(4)는, 위치 자세 계측 장치(22)의 정보로부터, 외투관(23)과 수지 의료 기구(21)의 선단의 상대 거리, 및 수지 의료 기구의 자세를 관성 센서의 좌표계에 있어서 구할 수 있다. 이 관성 센서의 좌표계는 전술한 드리프트 에러에 의해 장기적으로는 회전해 버리지만, 수초 내지 수분의 단위이면 회전하지 않은 것으로 간주할 수 있다.

다음에, 도 2에 도시한 바와 같이, 로봇의 좌표계에 있어서 기지인, 적어도 2점과, 수지 의료 기구(21)의 선단을 접촉시킨다. 제어부(4)는, 접촉하였을 때의 거리 센서와 관성 센서로부터 출력된 계측값을 유지해 둔다. 또한, 로봇의 좌표계에 있어서의 2점에 수지 의료 기구(21)를 접촉시키기 위해, 시술자는, 별도로 체강 내에 삽입된 도시하지 않은 복강경으로부터 얻어지는 영상을 표시부(7)에 표시시켜, 표시된 영상을 보면서 조작을 행할 수 있다.

또한, 제어부(4)는, 로봇의 순운동학을 계산하고, 접촉시킨 2점의 각각의 위치를 로봇 좌표계에 있어서 계산한다. 접촉시키는 2점은, 예를 들어 엔드 이펙터(13)의 선단과 뿌리측 위치로 한다. 단, 기계적으로 기지의 위치이면 임의의 위치여도 된다. 또한, 1점째를 접촉시키고 나서 로봇을 상이한 위치로 이동시켜 2점째로 해도 되고, 둘 이상의 로봇 암이 존재하면, 각각의 엔드 이펙터 상의 점을 각 점으로 해도 된다. 단, 접촉시키는 2점이 중력축 상에 있는 경우에는 중력축 주위의 회전을 구할 수 없기 때문에, 당해 접촉시키는 2점을 연결하는 직선과 중력축이 각도를 갖도록 2점을 설정한다. 바람직하게는, 중력축에 대하여 수직인 평면(지면에 평행인 평면) 상에, 접촉시키는 2점을 취한다. 예를 들어, 제어부(4)는, 접촉시키는 2점에 있어서의 중력축 상의 위치의 차분을 계산하고, 차분값(예를 들어, -3, ‥ -1, 0, +1, ‥, +3 등)을 표시부(7)에 표시한다. 이와 같이 하면, 로봇을 이동시키는 유저가, 접촉시키는 2점을 중력축과 수직인 평면 상으로 조절하기 쉬워진다.

또한, 제어부(4)는, 거리 센서의 값을, 복벽의 회전 중심을 기준으로 하는 삽입 심도로 변환한다. 또한, 접촉시킨 2점이 로봇 좌표계에 있어서 기지이기 때문에, 제어부(4)는, 이 2점간의 거리 d를,

로서 취득할 수 있다. 여기에서 p₁, p₂는 수지 의료 기구(21)와 엔드 이펙터(13) 등을 접촉시킨 2점의, 로봇의 좌표계에 있어서의 위치이다.

한편, 제어부(4)는, 관성 센서의 정보에 의해, 엔드 이펙터(13)의 2점에 접촉하였을 때의 벡터를 취득하고, 그 사이의 각 α를 내적에 의해 구한다. 또한, 거리 센서의 정보에 의해, 외투관(23)을 기준으로 한 거리를 계측한다. 접촉시킨 각 점에서의 외투관(23)과의 상대 거리를 L₁, L₂라 하고, 거리 센서의 기준점과 회전 중심의 거리를 L_off라 하면, 각각의 길이에는 이하의 관계가 있다.

여기서, L₁, L₂는 반드시 외투관(23)으로부터 수지 의료 기구(21)의 선단까지의 거리를 나타내고 있을 필요는 없고, 수지 의료 기구(21)의 다른 위치로부터의 거리를, 부호를 고려하여 사용해도 된다. 이것을 L_off에 대하여 풀면, 기하학적인 조건으로부터 해는 하나로 정해지고, 이하와 같이 구할 수 있다.

<S2 : 관성 센서의 좌표계로부터 로봇의 좌표계로의 변환>

다음에, 관성 센서의 좌표계를 로봇의 좌표계로 변환하는 스텝에 대하여 설명을 보충한다. 제어부(4)는, 회전 중심을 원점으로 하는 관성 센서의 좌표계에 있어서의, 접촉시킨 2점의 위치를 구하고, 이들을 q₁, q₂라 한다. 이들 점과 로봇 좌표계에 있어서의 동 2점 p₁, p₂가 대응하기 때문에, 회전 행렬 R과 병진 벡터 t를 사용하여 하기의 평가 함수 H를 작성할 수 있다.

이 평가 함수를 최소화하는 회전 행렬 R과 병진 벡터 t를 구하면 관성 센서 좌표계가 로봇 좌표계로 변환되게 된다. 또한, 회전 행렬 R과 병진 벡터 t는 합계 6개의 변수가 포함되어 있고, 상이한 2점에서 접촉시킨 조건을 사용하면 여섯 방정식을 작성할 수 있다. 이 때문에, 적어도 2점에 있어서 로봇과 수지 의료 기구(21)를 접촉시키면 해를 수렴시킬 수 있다. 물론, 둘 이상의 점을 사용하여 평가 함수를 최적화해도 된다.

<S4 : 제어 기준점으로부터 피제어점을 향하는 기준 벡터의 산출>

다음에, 도 3을 참조하여, 제어 기준점으로부터 피제어점을 향하는 기준 벡터를 산출하는 동작을 보다 상세하게 설명한다. 먼저, 제어부(4)는, 로봇 좌표계에 있어서 규정 가능한 임의의 점으로서 피제어점을 취득한다. 피제어점은, 로봇 의료 기구(12)의 선단, 엔드 이펙터(13)의 뿌리측이나 선단 등이어도 되고, 피제어점은 로봇이 위치 결정 가능하면, 공간상에 규정해도 된다. 여기에서는, 수지 의료 기구(21)에 의해 조작하는 엔드 이펙터(13)의 뿌리측을 피제어점으로 하는 예에 대하여 설명한다. 제어부(4)는, 의료 기구 구동부(11)로부터 취득한 현재 위치 정보로부터 피제어점의 위치를 취득한다. 또한, 수지 의료 기구(21)의 회전 중심을 제어 기준점으로서 설정한다.

시술자가 조작 모드를 위치 제어 모드로 전환한 순간에 있어서의, 피제어점의 위치를 p_c라 한다. 또한, 이미 결정되어 있는 제어 기준점의 위치를 p_t라 한다. 여기서, 제어부(4)는, 제어 기준점 p_t로부터 의료 기구의 피제어점 p_c를 향하는 벡터 v₀(즉 기준 벡터)을 이하의 식에 따라서 계산한다.

제어부(4)는, 이 계산을, 모드 전환부(3)에 의해 위치 제어 모드로 전환된 순간만 행하고, 당해 위치 제어 모드가 해제될 때까지 기준 벡터 v₀을 상수로서 유지한다. 여기서, 기준 벡터 v₀을 극좌표로 표시하면, 이하와 같이 된다.

<S5 : 수지 의료 기구의 상대 이동량의 산출>

다음에, 시술자가 모드 전환부(3)에 의해 위치 제어 모드로 전환한 순간 t_k의 수지 의료 기구(21)의 센서 계측값을 (l'_k, φ'_k, θ'_k)라 한다. 이 시점으로부터 수지 의료 기구(21)를 어떤 위치로 이동시켰을 때 t_i와, 각각의 변화된 값은 (l'_k+i, φ'_{k +i}, θ'_{k +i})로 나타낼 수 있다. 그리고, 제어부(4)는, 상술한 수지 의료 기구(21)의 상대 이동량으로서, 계측값의 변화량은 이하와 같이 산출한다.

또한, 얻어진 상대 이동량(Δl'_i, Δφ'_i, Δθ'_i)은, 로봇을 위치 제어 모드로 설정하고 있는 동안의 수초 내지 수분이라는 짧은 시간이기 때문에, Δθ'_i는 드리프트 에러를 고려하지 않아도 된다.

<S6 : 피제어점의 목표 위치의 결정>

또한, 제어부(4)는, 이들 센서에 있어서의 계측값의 변화량(상대 이동량)과 기준 벡터를 사용하여, 제어 기준점으로부터 목표 위치에 대한 벡터 v_i를 산출한다.

이에 의해, 로봇 좌표계에 있어서의 목표 위치를 나타내는 벡터 p_r을 이하와 같이 구할 수 있다.

제어부(4)는, 그 후, 주어진 목표 위치에 대하여, 공지의 로봇 암의 제어 방법을 사용하여 엔드 이펙터(13)의 피제어점을 당해 목표 위치로 이동시킨다. 여기에 표시되는 변수에는 드리프트 에러의 영향을 받는 것이 없다. 이 때문에, 시술자는, 결과로서 좌표계의 회전을 의식하지 않고 직감적으로 로봇을 조작하는 것이 가능하다.

또한, 도 9의 설명에 있어서 상술한 바와 같이, 본 실시 형태의 처리에 의해, 시술자는 피제어점을 직접 조작하는 듯한 직감적인 조작을 행하는 것이 가능해진다. 상술한 예에서는, 수지 의료 기구(21)의 원점을 제어 기준점 p_t로 하고 있기 때문에, 시술자에게 있어서는, 마치 회전 중심으로부터 피제어점으로 신장되는 가상적인 샤프트가 존재하고, 그것을 손에 들고 피제어점을 조작하고 있는 것처럼 인식된다.

이상 설명한 바와 같이, 본 실시 형태에서는, 로봇 의료 기구(12)의 조작을 개시하는 기준 시각(위치 제어 모드의 개시 시점)으로부터의 수지 의료 기구(21)의 상대 이동량에 기초하여, 로봇 의료 기구(12) 등에 있어서의 피제어점의 목표 위치를 결정하도록 하였다. 이와 같이 함으로써, 관성 센서의 좌표계에 있어서의 드리프트 에러의 영향을 억제하고, 또한 시술자가 수지 의료 기구를 사용하여 로봇 암 상의 원하는 점의 위치를 직감적으로 제어할 수 있게 된다. 바꾸어 말하면, 기계적으로 제어되는 수술 도구의 자세를, 처치를 위한 수술 도구를 사용하여 직감적으로 또한 계측 오차의 영향을 억제하면서 제어하는 것이 가능해진다.

또한, 제어 기준점을 구하는 처리나 캘리브레이션을 위한 처리는, 채용하는 로봇 의료 기구의 구성이나 필요로 하는 용도에 따라 간략화할 수 있다. 예를 들어, 로봇 좌표계의 임의의 1축은 중력 방향을 향하고 있는 것으로 한다. 이와 같은 상황에서는, 관성 센서의 좌표계와 로봇 좌표계의 변환은, 병진과 중력축 주위의 회전만 구하면 되어, 해석 해를 사용하여 계산하는 것이 가능해진다. 또한, 로봇 좌표계의 임의의 1축이 중력축과 일치하고 있지 않아도, 로봇에 가속도 센서를 설치함으로써, 적어도 1축을 중력축과 평행한 좌표계로 변환하는 것이 가능해진다. 즉, 좌표를 변환한 후에 상기 간략화한 계산을 행해도 된다.

거리 센서의 기준점과 실제의 회전 중심을 맞추기 위한 방법도 몇 가지 생각된다. 예를 들어, 외투관(23)을 복벽(5)에 삽입하는 깊이를 항상 일정하게 할 수 있도록 하기 위해, 외투관(23)의 소정 위치에 표시를 하거나, 일정 이상 삽입되지 않도록 외투관(23)에 스토퍼를 부착하거나 해도 된다. 외투관(23)을 복벽(5)에 삽입하는 깊이가 일정하게 되면, 거리 센서의 원점을 회전 중심으로 오프셋하는 것이 가능해진다.

또한, 로봇의 점의 위치를 계측하기 위해, 로봇 좌표계 상의 임의의 점의 위치를 계측 가능한 계측 장치를 사용해도 된다. 이와 같은 계측 장치로서는, 기계적인 암 선단의 위치를 계측하는 장치, 광학적으로 위치를 계측하는 장치, 자기적으로 거리를 계측하는 장치 등이 생각된다. 이들 계측 장치는, 통상, 로봇 좌표계에 미리 통합 가능하기 때문에, 로봇 좌표계 상의 임의의 위치를 계측하는 것이 가능해진다. 또한, 이와 같은 장치를 사용하여, 수지 의료 기구(21)의 회전 중심 위치를 구하면, 얻어진 수지 의료 기구(21)의 좌표계를 로봇 좌표계에 통합하는 것이 가능해진다.

또한, 상술한 캘리브레이션의 수순을 밟지 않고, 미리 정한 제어 기준점 중에서 소정의 제어 기준점을 선택하도록 해도 된다. 이 경우, 수지 의료 기구(21)의 원점이 존재하는 장소를 정의한 템플릿을 준비하고, 시술자는 행하는 수술에 가장 가까운 배치를 선택하기만 하면 된다. 또한, 로봇 좌표계에 통합할 수 있는 경우, 3차원 공간상의 임의의 점을 지정해도 된다. 이와 같이, 제어 기준점은 반드시 수지 의료 기구의 회전 중심에 존재할 필요는 없고, 로봇 좌표계 상의 점이면, 용도에 따라서 선택 혹은 계산에 의해 결정하는 것이 가능하다.

(엔드 이펙터의 자세 제어)

지금까지의 설명에서는, 엔드 이펙터(13)의 뿌리측 위치를 제어하는 예에 대하여 설명하였다. 그러나, 엔드 이펙터는, 뿌리측을 기준으로 한 위치의 제어에 더하여, 뿌리측으로부터 선단쪽의 부분의 자세도 고려할 수 있다. 예를 들어, 그 선단이 항상 소정의 점을 향하는, 로봇 좌표계에 있어서의 소정의 점에 대하여 자세가 고정되도록 제어해도 된다. 또한, 단순히 관절이 고정된 상태에서 피제어점의 위치만을 이동하도록 제어해도 된다.

또한, 상술한 일련의 동작을, 엔드 이펙터(13)의 자세 제어에도 응용하는 예를 설명한다. 엔드 이펙터(13)의 자세를 제어하기 위해, 모드 전환부(3)는, 엔드 이펙터(13)의 위치를 조작하기 위한 위치 제어 모드에 더하여, 자세를 조작하기 위한 자세 제어 모드를 포함한다.

자세 제어를 행할 때 직감적으로 조작하는 것이 가능한 제어 기준점과 피제어점의 조합에는, 예를 들어 수지 의료 기구(21)의 회전 중심과 엔드 이펙터(13)의 선단의 조합이 있고, 이하의 설명에서는 이 조합을 예로 들어 설명한다. 그러나, 당해 조합은, 로봇 좌표계에서 규정 가능한 점의 조합이면, 임의이다.

자세 제어 모드에서는, 엔드 이펙터(13)의 자세만을 변경 가능하게 하기 위해, (위치의 제어에 사용한) 엔드 이펙터의 다른 피제어점(예를 들어 근원의 위치)은 그 위치에 고정된다. 고정되는 점(고정점)은 반드시 피제어점일 필요는 없지만, 엔드 이펙터(13)가 복수의 피제어점을 갖는 경우에는, 복수의 피제어점 중 하나를 현재의 제어 대상으로 하여 제어 대상을 순차적으로 변경하고, 현재의 제어 대상이 아닌 피제어점을 고정점으로 해도 된다. 어느 곳을 고정점으로 할지는 로봇의 구성이나 사용 방법에 따라 상이해도 되고, 예를 들어 막대 형상의 샤프트의 선단에 굴곡 관절을 갖는 의료 기구를 상정한 경우, 굴곡 관절의 중심을 고정점으로 하고, 거기로부터 선단쪽의 자세만을 제어한다.

도 4를 참조하여, 자세 제어 모드에서의 제어에 대하여 설명한다. 자세 제어 모드 시에도, 기본적인 제어의 처리는 위치 제어 모드에서의 처리와 공통이다. 먼저 상술한 S1 내지 S2가 실행 완료되었다고 가정하고, 제어부(4)는, S3 대신에 자세 제어 모드로의 전환 통지를 받은 경우, S4에 있어서, 모드가 전환된 순간에 있어서의 회전 중심(제어 기준점)으로부터 피제어점을 향하는 기준 벡터 v₀을 계산한다. 다음에, S5에 있어서, 관성 센서 등으로부터 얻어진 정보를 사용하여 수지 의료 기구(21)의 상대 이동량을 구하고, S5에 있어서, 로봇의 목표 위치 p_r을 결정한다.

자세 제어 모드 시는, 고정점에 의해 엔드 이펙터의 뿌리측 등이 고정되어 있기 때문에, 피제어점을 목표 위치로 가져가는 제어에는 물리적인 제한이 있는 경우가 있다. 그래서, 고정점 p_f로부터 목표 위치 p_r을 향하는 벡터를 계산하고, 그것을 목표 자세 v_r로서 로봇에 입력한다. 이 v_r은 로봇 좌표계 상에 있어서의 목표 자세를 나타내는 것이다. 로봇은 엔드 이펙터의 자세를 자유롭게 제어할 수 있는 것이기 때문에, 결과로서 엔드 이펙터의 자세를, 수지 의료 기구(21)에 의해 직감적으로, 또한 드리프트 에러의 영향을 억제하여 제어할 수 있다.

(로봇 의료 기구의 자세 제어의 적용예)

로봇 의료 기구(12)의 자세 제어, 즉, 피제어점, 고정점 및 수지 의료 기구(21)의 회전 중심(제어 기준점)을 사용한 제어는, 다양한 조작에 응용 가능하다.

예를 들어, 도 5에 도시한 바와 같이, 로봇 의료 기구(12)로서 막대 형상의 의료 기구를 상정하고, 로봇이 자유롭게 그 자세를 변경할 수 있는 경우를 생각한다. 이 의료 기구는 외투관(14)을 통해 복강 내에 삽입되어 있기 때문에, 로봇측에도 복벽(5)에 있어서의 회전 중심이 존재한다. 상술한 고정점을 로봇측 회전 중심 위치로 설정하고, 수지 의료 기구(21)의 제어 기준점을 가상적으로 그 고정점으로 이동하고, 피제어점으로서 막대 형상의 의료 기구의 선단을 선택한다. 그렇게 하면, 시술자는 마치 로봇측 의료 기구를 자신의 손에 들고 있는 것처럼 조작하는 것이 가능해진다. 또한, 이 경우, 고정점은 회전 중심으로서의 역할을 하고, 직동 방향의 자유도는 허용한다.

다른 예로서, 도 6에 도시한, 복수의 자유도를 갖는 로봇 의료 기구(12)를 상정할 수 있다. 이 의료 기구는 액추에이터에 의해 임의로 형상을 변경할 수 있고, 로봇 좌표계에 있어서 그 의료 기구의 임의의 점은 제어 가능한 것으로 한다. 이 경우, 고정점을 선단과, 선단으로부터 이격된 다른 한 점으로 설정하고, 피제어점으로서는 그것들 고정점 사이에 있는 점을 선택한다. 제어 기준점은, 수지 의료 기구(21)의 실제의 회전 중심 위치로 해도 된다. 이 예에서는, 장해물 등의 존재에 의해, 이동하는 것이 불가능한 점은 고정하면서도, 의료 기구의 일부분의 자세를 변경하는 것이 가능해진다. 피제어점이 물리적으로 입력값에 추종할 수 없는 경우에는, 전술한 자세 제어 모드의 예를 응용하여, 자세 벡터만을 변경해도 된다. 또한, 로봇 의료 기구(12)에 복수의 피제어점을 갖게 하고, 복수의 피제어점으로부터 하나의 피제어점을 자세 제어의 대상으로 하고, 다른 피제어점을 고정점으로 해도 된다. 이 경우, 제어 대상이 되는 피제어점을 토글 조작 등에 의해, 피제어점과 고정점을 순서대로 전환하면서, 자세 제어를 행한다. 도 6의 예에서는, 피제어점과 고정점 2를 전환한다. 피제어점을 순서대로 전환할 때는, 자세 제어 모드의 개시 시간을 리셋하여 재설정하도록 해도 된다. 이와 같이 하면, 드리프트 에러의 영향을 저감할 수 있다.

상술한 피제어점, 고정점 및 제어 기준점은, 물리적으로 실제로 존재하는 점일 필요는 없고, 목적에 따라 가상적인 위치로 이동해도 된다. 또한, 그것들이 각각 둘 이상 존재해도 된다. 피제어점은, 예를 들어 광축 상의 점이어도 된다. 예를 들어, 도 7에 도시한 바와 같이, 광축의 방향을 변화 가능한 의료 기구를 로봇 의료 기구(12)로서 상정한다. 이 경우, 고정점은 광축이 구부러지는 기점으로 하고, 피제어점은 고정점으로부터 어떤 거리 r만큼 이격된 광축 상의 점을 선택한다. 이와 같은 구성에 의해, 로봇 의료 기구(12)에 설치된 광학 기기에 있어서의 광축의 방향을 엔드 이펙터에 대한 제어와 마찬가지로 제어하는 것이 가능해진다.

(다른 조작 부재를 조합한 로봇 의료 기구의 조작)

또한, 다른 조작 부재를 더 조합함으로써, 관절 등을 갖는 다른 형태의 엔드 이펙터를 직감적으로 조작할 수 있다. 예를 들어, 로봇 의료 기구(12)로서, 도 8에 도시한 바와 같은, 선단에 회전과 개폐하는 조의 기구를 갖는 겸자형 의료 기구를 상정한다. 조의 기구를 갖는 의료 기구를 조작하는 경우, 조의 개폐를 위한 전용 입력 장치를 마련한다. 예를 들어, 조(jaw)의 기구를 개폐하기 위한 스위치나 다이얼 등을, 수지 의료 기구(21)에 설치하도록 하면 된다. 그 대신에, 풋 스위치나 음성으로 개폐를 조작할 수 있도록 해도 된다.

선단의 회전에 관해서도, 마찬가지로 스위치나 다이얼 등의 전용 입력 장치를 마련해도 되지만, 수지 의료 기구의 자세 정보로부터 제어하는 것도 가능하다. 제어부(4)는, 시술자가 조작 모드를 로봇 조작 모드(위치 제어, 자세 제어는 불문함)로 전환한 타이밍에, 수지 의료 기구(21)의 샤프트 주위의 회전각 및 엔드 이펙터(13)의 선단의 회전각 각각을 0°로 한다. 그리고, 제어부(4)는, 이 상태로부터 수지 의료 기구(21)를 샤프트 주위로 회전시켰을 때의 상대 각도를 관성 센서에 의해 계측하고, 그 계측값을 엔드 이펙터(13)의 선단의 회전각으로서 입력한다. 이에 의해, 지금까지 설명한 제어 방법에 더하여 엔드 이펙터의 선단 회전을 제어하는 것이 가능하다. 또한, 이와 같이 제어하면 회전각은 드리프트 에러의 영향을 받지 않는다.

또한, 상술한 실시 형태에서는, 위치 제어 모드 및 자세 제어 모드를 각각 제어하는 경우에 대하여 설명하였지만, 이들 제어 모드를 병행하여 실행해도 된다. 예를 들어, 위치 제어 모드, 자세 제어 모드 중 어느 쪽인가를 수지 의료 기구(21)의 삽입 각도 및 삽입 심도와는 상이한 입력에 의해 조작하도록 해도 된다. 예를 들어, 위치 제어 모드는 상술한 수지 의료 기구(21)의 삽입 각도 및 삽입 심도에 의해 제어하고, 동시에, 수지 의료 기구에 설치한 스위치 등의 조작 부재에 의해 엔드 이펙터(13)의 자세를 변경한다. 이와 같이 하면, 엔드 이펙터의 위치 제어를 수지 의료 기구(21)의 자세에 의해 조작하고, 엔드 이펙터의 자세 제어를 손잡이측 스위치로부터 행하게 되어, 엔드 이펙터의 위치 제어와 자세 제어를 동시에 행할 수 있다는 이점이 있다. 또한, 조작 대상을 교체하여, 엔드 이펙터의 위치 제어를 손잡이측 스위치 등으로 행하도록 해도 된다.

(로봇 암의 파라미터 설정에 대한 적용)

상술한 제어는, 로봇 의료 기구(12)를 조작하기 위해 사용하는 것 뿐만 아니라, 의료 기구 구동부(11)(로봇 암)의 각종 파라미터를 변경하기 위한 입력 장치로서 사용할 수도 있다. 이 경우, 모드 전환부(3)는, 파라미터 변경 모드를 추가로 설정 가능하고, 제어부(4)는, 의료 기구 구동부(11) 혹은 불휘발성 메모리(8)로부터 파라미터를 취득하고, 설정되는 파라미터를 표시부(7)에 표시한다. 모드 전환부(3)를 통해 파라미터 변경 모드로 설정된 경우, 의료 기구 구동부(11)는, 그 시점의 자세로 고정하고, 그 대신에, 의료 기구 구동부(11)에 설정되는 제어 파라미터를 변경 가능하게 한다. 변경 가능한 파라미터에는, 입력량에 대한 동작량(모션 스케일링)의 배율, 속도, 힘, 가동 범위의 제한 등의, 조작에 관계되는 모든 파라미터가 포함된다. 예를 들어, 파지력을 변경하는 경우의 일례를 든다. 파라미터 변경 모드가 설정된 경우, 수지 의료 기구(21)의 자세는, 일반적인 볼륨 등의 입력 장치와 같이 취급할 수 있게 된다. 제어부(4)는, 예를 들어 수지 의료 기구(21)가 샤프트 주위로 우회전된 경우에는 파지력을 증가시키고, 역회전된 경우에는 파지력을 감소시킨다. 제어부(4)는, 조작 대상의 파라미터가 변경되는 상태를 표시부(7)에 표시하기 때문에, 시술자(또는 조작자)는 현재값을 파악할 수 있다. 표시 방법은 수치, 그래프, 음량, 음정, 진동의 강약, 광의 명암, 색 등 중 어느 것이어도 된다. 또한, 자세 정보로부터 연산 가능한 물리량이면, 그것을 사용하여 파라미터 변경을 행할 수 있다. 예를 들어, 삽입량, 기울기, 이동 속도, 회전 속도, 충격을 부여하는 입력, 진동을 부여하는 입력, 수지 의료 기구(21)의 선단으로 그리는 특정한 도형 등, 다양한 입력 방법이 생각된다.

(촬상 가능한 로봇 의료 기구의 직감적 조작)

로봇 의료 기구로서 상정되는 의료 기구에는, 예를 들어 내시경과 같이, 의료 기구의 샤프트의 선단 부근에 광학 부품(예를 들어 렌즈나 광 파이버)을 설치하고, 당해 광학 부품으로부터 입사한 피사체광을 촬상하여 화상 신호를 출력하는 경우가 있다. 이와 같은 의료 기구는, 의료 기구의 샤프트의 중심축과 광학 부품의 광축이 일치하는 것뿐만 아니라, 사시경이나, 선단이 굴곡하는 내시경과 같이, 로봇 의료 기구(12)의 샤프트의 방향과 광축의 방향이 상이한 것도 많다. 또한, 이하의 설명에 있어서의 광학 부품은, 로봇 의료 기구(12)의 경통의 외부로부터의 광을 경통 내에 입사시키는 위치에 있는 광학 부품(즉 대물측 부분)을 가리키는 것으로 한다.

이와 같은 내시경을, 도 5에 있어서 설명한 고정점과 피제어점을 사용한 제어에 의해, 시술자가 마치 로봇 의료 기구(12)를 자신이 쥐고 있는 것처럼 조작하는 경우에 대하여 생각한다. 즉, 로봇 의료 기구(12)의 복벽(5)에 있어서의 회전 중심을 고정점으로 설정함과 함께, 수지 의료 기구(21)의 제어 기준점을 가상적으로 이 고정점의 위치로 하여, 로봇 의료 기구(12)의 샤프트 선단에 있는 피제어점(광학 부품의 설치 위치)을 제어한다. 이때, 로봇 의료 기구(12)의 샤프트 선단에 설치된 광학 부품은, 그 광축의 방향이 샤프트의 중심축에 대하여 소정의 각도를 갖고 고정되어 있다.

시술자가 로봇 의료 기구(12)를 조작하는 상황을 도 10을 참조하여 설명한다. 도 10은 로봇 의료 기구(12)의 샤프트의 중심축에 대하여 광축이 기운 상태의 광학 부품을 사용하여, 복벽 내의 물체를 피사체로서 촬영하는 모습을 도시하고 있다. 이 도면에서는, 광학 부품의 광축이 물체를 향하고 있고, 로봇 의료 기구(12)의 샤프트의 중심축 방향으로는 물체는 존재하지 않는다. 이와 같은 상황에 있어서, 예를 들어 시술자가 수지 의료 기구(21)를 조작하여, 로봇 의료 기구(12) 상의 가상적인 파지 위치(101)를 위치(102)로 (슬라이드시키도록) 이동시킨 경우, 광학 부품을 통해 촬영되는 내시경 영상은, 줌 아웃하도록 내시경 영상(103)으로부터 영상(104)으로 변화된다. 따라서, 시술자에 의한 조작의 방향과 내시경 영상이 변화되는 방향에 큰 어긋남이 발생하고 있고, 그 어긋남이 큰 경우에는 조작에 위화감을 발생시키는 경우가 있다.

그래서, 시술자에 의한 수지 수술 도구에 대한 조작 방향과 영상이 변화되는 방향의 어긋남을 저감하기 위해, 시술자가, 광축을 공유하는 가상적인 막대를 잡고 광축의 방향을 조작하고 있는 것처럼 로봇 의료 기구(12)를 제어할 수 있도록 한다. 즉, 시술자가 복벽의 회전 중심을 기점으로 수지 의료 기구(21)를 슬라이드시키도록 조작한 경우에는, 내시경 영상이 그 조작 방향에 맞추어 패닝하도록 로봇 의료 기구(12)를 제어한다.

구체적으로는, 광학 부품의 자세를 규정하는 카메라 좌표계와 로봇 좌표계를 캘리브레이션에 의해 통합한 후, 광학 부품의 위치(즉 피제어점)를 지나, 광학 부품의 광축 방향과 대략 동일해지는 가상적인 막대의 방향을 결정한다. 그리고, 결정한 가상적인 막대의 축 상에 고정점을 설정하고, 당해 고정점을 기점으로 하여 피제어점의 위치를 시술자의 조작에 따라서 제어한다. 또한, 가상적인 막대의 축 상에 설정하는 고정점은 제어 기준점이기도 하다.

캘리브레이션은, 먼저, 촬영 대상의 물체를 포함하는 내시경 영상을 표시부(7)에 표시시킨다. 이때, 물체의 특정 위치(예를 들어 물체의 중심)가 화면 중심이 되도록 로봇 의료 기구(12)의 자세를 정한다. 그리고, 제어부(4)는, 이 상태에서 로봇 좌표계에 있어서의 광학 부품의 위치(내시경 선단의 위치)를 기록한다. 다음에, 촬영되는 물체의 크기가 변화(즉 줌 인·줌 아웃한 상태)되도록, 수동으로 로봇 의료 기구(12)의 자세를 변화시키고, 그 상태에 있어서의 광학 부품의 위치를 기록한다. 이때, 상기 물체의 특정 위치는 대략 화면 중심이 되도록 한다. 여기서, 대략 화면 중심으로 하는 것은, 광축의 방향이 로봇 의료 기구(12)의 샤프트의 중심축에 대하여 고정되어 있기 때문에, 엄밀하게는 물체의 특정 위치가 화면 중심이 되지 않는 경우가 있기 때문이다. 그러나, 기록한 두 위치의 거리가 짧은 경우, 도 10의 로봇 의료 기구(12)의 선단 위치에 나타낸 바와 같이, 기록한 두 위치를 지나는 직선은 광학 부품의 광축의 방향과 거의 동일하다고 근사시킬 수 있다. 따라서, 당해 직선을, 광축을 공유하는 가상적인 막대로서 결정할 수 있다. 일반적으로는, 화면의 수평 방향은 지면에 대하여 병행으로 하기 때문에, 광축 주위의 자세는 결정된다. 또한 카메라 좌표계의 원점은 내시경의 선단에 거의 일치하기 때문에, 로봇 좌표계로부터 본 카메라 좌표계의 위치 자세가 구해지게 된다.

또한, 내시경 영상을 사용하여 행하는 캘리브레이션은, 카메라 좌표계와 로봇 좌표계가 통합되지 않은 로봇 의료 기구(12)를 사용하는 경우에 필요하지만, 미리 이들 좌표계 사이의 변환 행렬 등이 구해지는 상황이면, 다른 방법으로 좌표계를 통일해도 된다. 또한, 선단이 굴곡되는 자유도를 갖는 내시경의 경우, 선단의 굴곡이 변화되면, 카메라 좌표계와 로봇 좌표계의 대응 관계가 변화된다. 이와 같은 경우라도, 상기 캘리브레이션을, 굴곡각을 변경할 때마다 행하면, 이 방법을 적용 가능하다. 또한, 선단의 굴곡각을 구할 수 있는 센서를 사용하여 카메라 좌표계와 로봇 좌표계를 통합하는 것도 가능하다.

다음에, 구한 카메라 좌표계의 위치 자세를 제어하기 위해, 피제어점을 광학 부품의 위치(카메라 좌표계의 원점)로 설정한다. 이것은 전술한 바와 같이 예를 들어 내시경의 선단 위치이다. 고정점은, 도 11에 도시한 바와 같이, 가상적인 막대 상에 설정하고, 카메라 좌표계의 원점과 내시경의 복벽에 있어서의 회전 중심의 거리(L)만큼 오프셋한 위치로 한다. 또한, 수지 의료 기구의 제어 기준점의 위치를, 구한 고정점의 위치로 설정한다. 이와 같은 피제어점, 고정점의 설정을 함으로써, 광학 부품의 광축이 수술 도구의 샤프트에 대하여 어떤 방향을 향하고 있어도, 광학 부품의 광축과 공통되는 방향의 가상적인 막대를 직접 쥐고 움직이고 있는 듯한 직감적인 조작이 가능해진다. 또한, 피제어점과 고정점의 설정은, 기본적으로는 위치 제어 모드 혹은 자세 제어 모드로 이행한 시점에서 행하면 된다. 또한, 상술한 예에서는, 로봇 의료 기구(12)가 그 샤프트의 선단에 광학 부품만을 구비하는 예를 설명하였지만, 당해 광학 부품이 촬상 소자와 일체화된 구성이어도 된다. 또한, 피제어점 및 고정점의 위치는 반드시 상술한 위치일 필요는 없고, 당해 두 점의 거리를 억지로 멀어지게 하거나 접근시키거나 하여, 가상적인 막대의 변동 폭의 크기를 변경하도록 해도 된다.

또한, 상술한 실시 형태에서는, 드리프트 에러가 발생하는 위치 자세 계측 장치(22)를 사용하여 엔드 이펙터의 자세를 직감적으로 조작하는 예에 대하여 설명하였지만, 당해 조작은, 절대 위치를 취득 가능한 위치 자세 계측 장치(22)를 사용해도 실현 가능하다.

또한, 상술한 실시 형태는, 상술한 시스템 또는 장치의 컴퓨터에 있어서의 프로세서가 네트워크를 통해 취득한 프로그램을 판독하여 실행함으로써도 실현 가능하다.

본 발명은 상기 실시 형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위로부터 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 공표하기 위해, 이하의 청구항을 첨부한다.

본원은, 2017년 1월 13일에 제출된 일본 특허 출원 제2017-004566호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용 모두를, 여기에 원용한다.

Claims (15)

1. 체강에 삽입되며 또한 기계적으로 구동되는 제1 수술 도구의 자세를, 상기 체강에 삽입되는 제2 수술 도구를 사용하여 제어하는 수술 지원 장치이며,
   처치를 위해 상기 제2 수술 도구를 사용하는 제1 모드와 상기 제1 수술 도구를 제어하기 위해 상기 제2 수술 도구를 사용하는 제2 모드를 전환하는 전환 수단과,
   상기 제2 수술 도구의 샤프트의 상기 체강으로의 삽입 각도와 삽입 심도를 계측하는 계측 수단과,
   상기 제1 수술 도구의 자세를 제어하기 위해, 상기 제1 수술 도구의 자세를 특정하는 점이며 시술자에 의한 제어 대상인 피제어점의 목표 위치를, 상기 계측 수단에 의한 계측 결과에 기초하여 결정하는 연산 수단을 갖고,
   상기 연산 수단은, 상기 제2 모드의 개시 시점으로부터의, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 상기 피제어점의 목표 위치를 결정하는 것을 특징으로 하는 수술 지원 장치.
2. 제1항에 있어서,
   상기 연산 수단은, 상기 제1 수술 도구가, 상기 피제어점과, 위치가 변화되지 않도록 고정되는 고정점을 갖는 경우, 상기 고정점의 위치를 고정한 후에, 상기 제2 모드의 개시 시점으로부터의, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 상기 피제어점의 목표 위치를 결정하는 것을 특징으로 하는 수술 지원 장치.
3. 제1항에 있어서,
   상기 연산 수단은, 상기 제1 수술 도구가, 상이한 상기 피제어점인 제1 피제어점과 제2 피제어점을 갖는 경우, 상기 제1 피제어점의 위치를 고정한 후에, 상기 제2 모드의 개시 시점으로부터의, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 상기 제2 피제어점의 목표 위치를 결정하는 것을 특징으로 하는 수술 지원 장치.
4. 제3항에 있어서,
   상기 연산 수단은, 제어 대상이 상기 제2 피제어점으로부터 상기 제1 피제어점으로 변경된 경우, 상기 제2 모드의 개시 시점을 새롭게 설정하는 것을 특징으로 하는 수술 지원 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 연산 수단은, 고정의 소정 위치에 마련한 제어 기준점으로부터 상기 피제어점까지의 방향 및 거리를 기준으로 하여, 상기 제2 모드의 개시 시점으로부터의, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량만큼, 상기 제어 기준점으로부터의 상기 방향 및 거리를 변화시켜 상기 피제어점의 목표 위치를 결정하는 것을 특징으로 하는 수술 지원 장치.
6. 제5항에 있어서,
   상기 연산 수단은, 상기 제어 기준점을 상기 제2 수술 도구의 회전 중심과 동일한 위치에 마련하는 것을 특징으로 하는 수술 지원 장치.
7. 제5항에 있어서,
   상기 연산 수단은, 상기 제어 기준점을 상기 제1 수술 도구의 회전 중심과 동일한 위치에 마련하는 것을 특징으로 하는 수술 지원 장치.
8. 제5항에 있어서,
   상기 제1 수술 도구는, 경통과, 상기 경통의 외부로부터의 광을 상기 경통 내에 입사시키는 위치에 있는 광학 부품을 구비하고,
   상기 연산 수단은, 상기 광학 부품의 광축과 대략 동일하게 되는 직선 상에 상기 제어 기준점을 마련하는 것을 특징으로 하는 수술 지원 장치.
9. 제8항에 있어서,
   상기 연산 수단은, 상기 체강 내의 소정의 피사체가 상기 광학 부품을 통해 상이한 크기로 촬영되도록 한 상기 제1 수술 도구의 복수의 자세에 기초하여, 상기 광학 부품의 광축과 대략 동일하게 되는 직선을 구하는 것을 특징으로 하는 수술 지원 장치.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제1 수술 도구의 자세를 규정하기 위한 좌표계에 있어서의, 적어도 두 점의 거리를 취득하는 거리 취득 수단을 더 갖고,
    상기 연산 수단은, 또한, 상기 제2 수술 도구의 선단을 상기 두 점의 위치로 한 경우의 상기 삽입 각도 및 상기 삽입 심도의 변화량과 상기 거리를 적어도 사용하여, 상기 제1 수술 도구의 자세를 규정하기 위한 좌표계와 상기 제2 수술 도구의 자세를 규정하기 위한 좌표계의 관계를 특정하는 것을 특징으로 하는 것을 특징으로 하는 수술 지원 장치.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 제1 수술 도구를 기계적으로 구동하기 위해 설정되는 하나 이상의 파라미터를 취득하는 파라미터 취득 수단을 더 갖고,
    상기 연산 수단은, 또한, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 취득한 상기 파라미터의 값을 변화시키는 것을 특징으로 하는 수술 지원 장치.
12. 체강에 삽입되며 또한 기계적으로 구동되는 제1 수술 도구의 자세를, 상기 체강에 삽입되는 제2 수술 도구를 사용하여 제어하는 수술 지원 장치이며,
    상기 제1 수술 도구의 자세를 특정하는 점이며 시술자에 의한 제어 대상인 피제어점의 위치를 취득하는 취득 수단과,
    상기 제2 수술 도구의 샤프트의 상기 체강으로의 삽입 각도와 삽입 심도를 계측하는 계측 수단과,
    상기 제1 수술 도구의 자세를 제어하기 위해, 상기 계측 수단에 의한 계측 결과에 기초하여, 상기 피제어점의 목표 위치를 결정하는 연산 수단을 갖고,
    상기 연산 수단은, 상기 제2 수술 도구를 사용하여 상기 제1 수술 도구의 제어가 개시되는 기준 시각으로부터의 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 상기 피제어점의 목표 위치를 결정하는 것을 특징으로 하는 수술 지원 장치.
13. 체강에 삽입되며 또한 기계적으로 구동되는 제1 수술 도구의 자세를, 상기 체강에 삽입되는 제2 수술 도구를 사용하여 제어하는 수술 지원 장치의 제어 방법이며,
    전환 수단이, 처치를 위해 상기 제2 수술 도구를 사용하는 제1 모드와 상기 제1 수술 도구를 제어하기 위해 상기 제2 수술 도구를 사용하는 제2 모드를 전환하는 전환 공정과,
    계측 수단이, 상기 제2 수술 도구의 샤프트의 상기 체강으로의 삽입 각도와 삽입 심도를 계측하는 계측 공정과,
    연산 수단이, 상기 제1 수술 도구의 자세를 제어하기 위해, 상기 제1 수술 도구의 자세를 특정하는 점이며 시술자에 의한 제어 대상인 피제어점의 목표 위치를, 상기 계측 수단에 의한 계측 결과에 기초하여 결정하는 연산 공정을 갖고,
    상기 연산 공정에서는, 상기 제2 모드의 개시 시점으로부터의, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 상기 피제어점의 목표 위치를 결정하는 것을 특징으로 하는 수술 지원 장치의 제어 방법.
14. 컴퓨터를, 제1항 내지 제12항 중 어느 한 항에 기재된 수술 지원 장치의 각 수단으로서 기능시키기 위한 프로그램.
15. 수술 지원 장치와 의료 기구 구동 장치를 포함하는 수술 지원 시스템이며,
    상기 수술 지원 장치는, 체강에 삽입되며 또한 기계적으로 구동되는 제1 수술 도구의 자세를, 상기 체강에 삽입되는 제2 수술 도구를 사용하여 제어하는 상기 수술 지원 장치이며,
    처치를 위해 상기 제2 수술 도구를 사용하는 제1 모드와 상기 제1 수술 도구를 제어하기 위해 상기 제2 수술 도구를 사용하는 제2 모드를 전환하는 전환 수단과,
    상기 제2 수술 도구의 샤프트의 상기 체강으로의 삽입 각도와 삽입 심도를 계측하는 계측 수단과,
    상기 제1 수술 도구의 자세를 제어하기 위해, 상기 제1 수술 도구의 자세를 특정하는 점이며 시술자에 의한 제어 대상인 피제어점의 목표 위치를, 상기 계측 수단에 의한 계측 결과에 기초하여 결정하는 연산 수단을 갖고,
    상기 연산 수단은, 상기 제2 모드의 개시 시점으로부터의, 계측된 상기 삽입 각도 및 상기 삽입 심도의 변화량에 따라서, 상기 피제어점의 목표 위치를 결정하고,
    상기 의료 기구 구동 장치는,
    상기 제1 수술 도구의 상기 피제어점의 위치가, 상기 수술 지원 장치의 상기 연산 수단에 의해 결정된 상기 피제어점의 목표 위치가 되도록 상기 제1 수술 도구 자세를 제어하는 구동 수단을 갖는 것을 특징으로 하는 수술 지원 시스템.

Images