KR101715026B1

KR101715026B1 - 수술 로봇 시스템 및 그 동작 제한 방법

Info

Publication number: KR101715026B1
Application number: KR1020160108847A
Authority: KR
Inventors: 최승욱; 이민규
Original assignee: (주)미래컴퍼니
Priority date: 2016-08-26
Filing date: 2016-08-26
Publication date: 2017-03-13
Also published as: KR20160105963A

Abstract

수술 로봇 시스템 및 그 동작 제한 방법이 개시된다. 제어 대상 물체의 조작이 제한되는 구역에 대한 제한구역 설정 정보를 입력받아 제한구역 좌표 정보를 생성하여 저장하는 제한구역 설정부와, 제어 대상 물체의 조작을 위한 조작정보를 입력받는 암 조작부와, 조작정보에 따른 제어 대상 물체의 변위 정보를 참조하여 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되었는지 여부를 판단하는 조작 판단부를 포함하는 수술용 로봇에 의하여, 로봇 암 및/또는 인스트루먼트에 대한 오조작을 근본적으로 방지함으로써 수술중인 환자의 안전을 도모할 수 있는 효과가 있다.

Description

수술 로봇 시스템 및 그 동작 제한 방법{Surgical robot system and motion restriction control method thereof}

본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 시스템 및 그 동작 제한 방법에 관한 것이다.

수술 로봇은 의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.

수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.

즉, 수술 로봇 시스템에는 복수의 수술용 인스트루먼트가 장착되며, 수술 로봇 시스템에 대한 수술자의 조작에 따라 각 인스트루먼트가 수술에 필요한 동작을 하게 된다. 수술 과정에서 수술자가 조작하고 있는 인스트루먼트는 수술자의 조작에 의해 제어되지만, 수술자가 조작하고 있지 않은 인스트루먼트, 특히 사용자 조작 화면에 보이지 않는(즉, 가시외(可視外) 영역에 위치하는) 인스트루먼트의 경우, 수술자의 의도와 다른 조작에 의해 불필요한 동작이 수행될 가능성이 있다.

이처럼, 수술자가 의도하지 않은 방식으로 인스트루먼트가 조작됨으로써, 로봇 본체나 인접한 인스트루먼트에 충돌하는 경우가 있을 수 있으며, 수술 중인 환자의 혈관이나 조직 등에 손상이나 상해를 입힐 가능성도 배제할 수 없다.

본 발명은 정상적인 수술이 이루어지도록 수술자가 의도하는 방식으로만 인스트루먼트가 제어되도록 하는 수술 로봇 시스템 및 그 동작 제한 방법을 제공하기 위한 것이다.

또한 본 발명은 로봇 암 및/또는 인스트루먼트에 대한 오조작을 근본적으로 방지함으로써 수술중인 환자의 안전을 도모할 수 있는 수술 로봇 시스템 및 그 동작 제한 방법을 제공하기 위한 것이다.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 수술용 로봇으로서, 제어 대상 물체의 조작이 제한되는 구역에 대한 제한구역 설정 정보를 입력받아 제한구역 좌표 정보를 생성하여 저장하는 제한구역 설정부와, 제어 대상 물체의 조작을 위한 조작정보를 입력받는 암 조작부와, 조작정보에 따른 제어 대상 물체의 변위 정보를 참조하여 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되었는지 여부를 판단하는 조작 판단부를 포함하되, 여기서 제어 대상 물체는 로봇 암, 인스트루먼트 및 내시경 중 하나 이상인 것을 특징으로 하는 수술용 로봇이 제공된다.

제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되는 경우, 제어 대상 물체가 조작 제한되도록 제어하고, 이에 상응하도록 반응정보가 출력되도록 제어하는 제어부가 더 포함될 수 있다. 여기서, 반응정보는 촉각정보, 시각정보 및 청각정보 중 하나 이상일 수 있다.

제어부는, 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되는 경우 제어 대상 물체가 조작 제한되도록 할지 여부를 결정한 후, 제어 대상 물체가 조작 제한되도록 결정한 경우에만 제어 대상 물체가 조작 제한되도록 제어할 수 있다.

또한, 제한구역 설정무시 명령을 입력받기 위한 입력부가 더 포함되는 경우, 제어부는 제한구역 설정무시 명령이 입력되면, 제어 대상 물체의 조작이 허용되도록 처리할 수도 있다.

제한구역 좌표 정보는 영상 이미지가 표시되는 터치 감응 스크린을 이용하여 입력된 폐곡선에 상응하는 좌표 범위 정보일 수도 있다.

영상 이미지는 내시경에 의해 획득된 영상 이미지, CT 영상 이미지, MRI 영상 이미지 및 인체 모델링 영상 이미지 중 하나 이상일 수 있다.

제한구역 좌표 정보는 내시경에 의해 획득된 영상 이미지에 표시되지 않는 영역의 좌표 범위 정보일 수도 있다.

내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.

제한구역 좌표 정보는 암 조작부의 조작 정보에 의해 제어 대상 물체가 조작된 위치들 중 제한구역 설정정보로서 지정받은 위치들에 의해 형성되는 도형의 좌표 범위 정보일 수도 있다.

제어 대상 물체는 3차원 공간상에서 조작되고, 지정받은 위치들은 각각 3차원 공간상에서 도형의 외곽선 또는 외곽면을 형성하도록 지정된 포인트일 수 있다.

수술용 로봇은, 암 조작부의 조작에 의해 각 제어 대상 물체의 조작 허용 여부에 대한 조작 설정 정보를 생성하여 저장하는 암 조작 설정부를 더 포함할 수도 있다. 여기서, 조작 판단부는 임의의 조작 대상 물체에 대한 조작정보가 유효한 조작정보인지 여부를 더 판단할 수 있다.

본 발명의 다른 측면에 따르면, 수술용 로봇의 동작 제한 방법으로서, 제어 대상 물체의 조작이 제한되는 구역에 대한 제한구역 설정 정보를 입력받아 제한구역 좌표 정보를 생성하여 저장하는 단계와, 제어 대상 물체의 조작을 위한 조작정보를 입력받는 단계와, 조작정보에 따른 제어 대상 물체의 변위 정보를 참조하여 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되었는지 여부를 판단하는 단계와, 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되는 경우 제어 대상 물체가 조작 제한되도록 제어하는 단계를 포함하되, 제어 대상 물체는 로봇 암, 인스트루먼트 및 내시경 중 하나 이상인 것을 특징으로 하는 수술용 로봇의 동작 제한 방법이 제공된다.

제어하는 단계는, 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되는 경우 제어 대상 물체가 조작 제한되도록 할지 여부를 결정하는 단계와, 제어 대상 물체가 조작 제한되도록 결정한 경우 제어 대상 물체가 조작 제한되도록 제어하는 단계를 포함할 수 있다.

결정하는 단계는, 제한구역 설정무시 명령이 입력되었는지 여부를 판단하여 제어 대상 물체가 조작 제한되도록 할지 여부를 결정할 수 있다.

제어하는 단계는, 제어 대상 물체의 외부면이 제한구역 좌표 정보에 접촉되는 경우 반응정보가 출력되도록 제어하는 단계를 포함할 수 있다.

수술용 로봇의 동작 제한 방법은, 암 조작부의 조작에 의해 각 제어 대상 물체의 조작 허용 여부에 대한 조작 설정 정보를 생성하여 저장하는 단계와, 임의의 조작 대상 물체에 대한 조작정보가 유효한 조작정보인지 여부를 판단하는 단계를 더 포함할 수도 있다.

만일 조작정보가 유효하지 않은 조작정보인 경우, 반응정보가 출력되도록 제어하는 단계가 더 포함될 수도 있다.

본 발명의 또 다른 측면에 따르면, 수술용 로봇으로서, 내시경에 의해 획득되어 제공되는 영상 이미지를 디스플레이하는 표시부와, 제어 대상 물체의 조작을 위한 조작정보를 입력받는 암 조작부와, 제어 대상 물체가 이동된 위치들 중 포인트 지정 명령이 입력된 복수의 위치들을 외곽선에 포함하는 영역에 상응하는 영역 이미지가 영상 이미지에 오버레이되어 디스플레이되도록 제어하는 제어부를 포함하되, 제어 대상 물체는 로봇 암, 인스트루먼트 및 내시경 중 하나 이상인 것을 특징으로 하는 수술용 로봇이 제공된다.

영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 분할 명령의 입력에 의해, 영역 이미지는 둘 이상의 개별 영역들로 분할될 수 있다.

영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 접기 명령의 입력에 의해, 경계선을 기준으로 하나 이상의 개별 영역이 다른 하나 이상의 개별 영역쪽으로 회전 이동되어 중첩되도록 영역 이미지가 디스플레이될 수 있다.

복원 명령의 입력에 의해 경계선을 기준으로 회전 이동되어 중첩 표시된 개별 영역이 원위치로 복귀된 영역 이미지가 디스플레이될 수 있다.

영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 삭제 명령의 입력에 의해, 하나 이상의 개별 영역이 삭제 처리될 수 있다.

영역 이미지의 외곽선 및 외곽면은 점들의 연속으로 인식되고, 어느 하나의 점에 대한 포인트 지정 및 이동 명령에 의해, 영역 이미지는 변형 처리될 수 있다.

영역 이미지에 상응하도록 추출된 좌표 범위가 제한구역 또는 허용구역으로 설정될 수 있다.

영역 이미지에 상응하도록 추출된 좌표 범위가 제한구역으로 설정된 경우, 조작정보에 따른 제어 대상 물체의 변위 정보를 참조하여 제어 대상 물체의 외부면이 좌표 범위에 접촉되었는지 여부를 판단하는 조작 판단부가 더 포함될 수 있다.

제어부는 제어 대상 물체의 외부면이 좌표 범위에 접촉된 경우, 제어 대상 물체가 조작 제한되도록 제어하고, 이에 상응하도록 반응정보가 출력되도록 제어할 수 있다.

암 조작부의 조작에 의해 각 제어 대상 물체의 조작 허용 여부에 대한 조작 설정 정보를 생성하여 저장하는 암 조작 설정부가 더 포함될 수 있고, 조작 판단부는 임의의 제어 대상 물체에 대한 조작정보가 유효한 조작정보인지 여부를 더 판단할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 로봇의 영역 설정 방법으로서, 내시경에 의해 획득되어 제공되는 영상 이미지를 디스플레이하는 단계와, 제어 대상 물체의 조작을 위한 조작정보를 입력받는 단계와, 제어 대상 물체가 이동된 위치들 중 포인트 지정 명령이 입력된 복수의 위치들을 외곽선에 포함하는 영역에 상응하는 영역 이미지가 영상 이미지에 오버레이되어 디스플레이되도록 제어하는 단계를 포함하되, 제어 대상 물체는 로봇 암, 인스트루먼트 및 내시경 중 하나 이상이고, 영역 이미지에 상응하도록 추출된 좌표 범위가 제한구역 또는 허용구역으로 설정되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 수술용 로봇으로서, 내시경에 의해 획득되어 제공되는 영상 이미지를 디스플레이하는 표시부와, 인체 모델링 정보 및 이에 상응하는 모델링 데이터를 저장하는 저장부와, 획득된 하나 이상의 장기에 대한 장기 선택 정보에 상응하는 모델링 데이터를 추출하고, 모델링 데이터에 상응하는 영역 이미지가 영상 이미지에 오버레이되어 디스플레이되도록 제어하는 제어부를 포함하되, 모델링 데이터는 장기의 색상, 형상, 크기 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 수술용 로봇이 제공된다.

인체 모델링 정보 및 모델링 데이터는 CT 영상, MRI 영상 중 하나 이상인 참조 영상을 이용하여 생성될 수 있다.

장기 선택 정보는 모델링 데이터 중 영상 이미지에 대한 영상 인식에 의해 인식된 장기의 형상 및 색상 중 하나 이상에 상응하는 장기로 선택 지정될 수 있다.

로봇 암, 인스트루먼트 및 내시경 중 하나 이상을 포함하는 제어 대상 물체의 조작을 위한 조작정보를 입력받는 암 조작부가 더 포함되는 경우, 조작정보에 의해 장기의 위치 변동, 모양 변화 중 하나 이상이 발생되면, 장기의 외곽선에 상응하도록 영역 이미지가 변형 처리될 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 로봇의 영역 설정 방법으로서, 인체 모델링 정보 및 이에 상응하는 모델링 데이터를 저장하는 단계와, 내시경에 의해 획득되어 제공되는 영상 이미지를 디스플레이하는 단계와, 획득된 하나 이상의 장기에 대한 장기 선택 정보에 상응하는 모델링 데이터를 추출하고, 모델링 데이터에 상응하는 영역 이미지가 영상 이미지에 오버레이되어 디스플레이되도록 제어하는 단계를 포함하되, 모델링 데이터는 장기의 색상, 형상, 크기 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법이 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 정상적인 수술이 이루어지도록 수술자가 의도하는 방식으로만 인스트루먼트가 제어되도록 하는 효과가 있다.

또한 로봇 암 및/또는 인스트루먼트에 대한 오조작이 근본적으로 방지됨으로써 수술중인 환자의 안전을 도모할 수 있는 효과도 있다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.
도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도.
도 4a 내지 도 4l는 본 발명의 실시예들에 따른 영역 지정 방법을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 제한구역 설정 방법을 나타낸 순서도.
도 6 및 도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 동작 제한 방법을 나타낸 순서도.
도 8은 본 발명의 일 실시예에 따른 동작 제한 방법을 설명하기 위한 화면 표시의 예시도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재될 수 있는 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명의 다양한 실시예들을 설명함에 있어, 각 실시예가 독립적으로 해석되거나 실시되어야 하는 것은 아니며, 각 실시예에서 설명되는 특징 요소 및/또는 기술적 사상들이 개별적으로 설명되는 다른 실시예에 조합되어 해석되거나 실시될 수 있는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.

도 1 및 도 2를 참조하면, 복강경 수술용 로봇 시스템은 수술대에 누워있는 환자에게 실제적으로 수술을 행하는 슬레이브 로봇(2)과, 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함한다. 도 1에는 마스터 로봇(1)과 슬레이브 로봇(2)이 분리되어 구현된 경우가 예시되었으나, 마스터 로봇(1)과 슬레이브 로봇(2)은 물리적으로 독립된 별도의 장치로 반드시 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.

마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. 도시된 복강경(5)은 수술용 내시경의 일 실시예이며, 수술 유형에 따라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등 중 하나 이상으로 대체될 수도 있다.

마스터 인터페이스(4)의 마스터 조종기는 수술자가 양손에 각각 파지하여 조작할 수 있도록 구현된다. 마스터 조종기는 도 1 및 2에 예시된 바와 같이 두 개의 핸들(10) 또는 그 이상의 수량의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3) 및/또는 인스트루먼트(도시되지 않음)가 제어된다. 수술자의 핸들(10) 조작에 의해 예를 들어 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다. 마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한없이 적용될 수 있다.

예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)을 포함하여 구성될 수 있다. 수술자는 메인 핸들만으로 슬레이브 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.

마스터 인터페이스(4)의 모니터부(6)에는 복강경(5)에 의해 입력되는 영상이 화상 이미지로 표시될 수 있다. 물론, 복강경(5)에 의해 입력되는 영상이 표시되는 방식은 모니터부(6)를 통해 표시하는 방식 외에도 다양할 수 있으나, 이는 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략한다.

모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 세 개의 모니터를 포함하는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.

모니터부(6)는 환자에 대한 하나 이상의 생체 정보를 더 출력할 수도 있다. 이 경우, 모니터부(6)의 하나 이상의 모니터를 통해 환자의 상태를 나타내는 지표, 예를 들면, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보가 하나 이상 출력될 수 있으며, 각 정보는 영역별로 나뉘어져 출력될 수도 있다. 이러한 생체 정보를 마스터 로봇(1)으로 제공하기 위해, 슬레이브 로봇(2)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈, 심전도 측정 모듈 등 중 하나 이상을 포함하는 생체 정보 측정 유닛을 포함할 수 있다. 각 모듈에 의해 측정된 생체 정보는 아날로그 신호 또는 디지털 신호의 형태로 슬레이브 로봇(2)에서 마스터 로봇(1)으로 전송될 수도 있으며, 마스터 로봇(1)은 수신된 생체 정보를 모니터부(6)를 통해 디스플레이할 수 있다.

슬레이브 로봇(2)과 마스터 로봇(1)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작신호, 복강경(5)을 통해 입력된 복강경 영상 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 복강경(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 ‘독립적으로’ 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.

슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 모니터부(6) 등을 통해 화상 이미지로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.

도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4a 내지 도 4l은 본 발명의 실시예들에 따른 영역 지정 방법을 나타낸 도면이다. 마스터 로봇(1)과 슬레이브 로봇(2)이 일체형으로 구현될 수도 있음은 앞서 설명한 바와 같다.

도 3을 참조하면, 마스터 로봇(1)은 영상 입력부(310), 화면 표시부(320), 암 조작 설정부(330), 저장부(340), 제한구역 설정부(350), 암 조작부(360), 조작 판단부(370), 반응정보 처리부(380) 및 제어부(390)를 포함할 수 있다. 도시되지는 않았으나, 마스터 로봇(1)은 수술자가 제어 명령을 입력하기 위한 입력부, 반응정보를 청각 정보(예를 들어, 경고 음향, 경고 음성 메시지 등)로서 출력하기 위한 스피커부, 반응정보를 시각 정보로 출력하기 위한 LED부 등 중 하나 이상을 더 포함할 수도 있다.

슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함할 수 있다. 또한, 본 명세서에서 명시적으로 한정하지 않는 한 로봇 암(3)은 인스트루먼트를 포함하는 개념으로 해석될 수 있다. 도시되지는 않았으나, 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)의 위치 정보를 제공하는 위치 정보 제공 유닛, 환자에 대한 생체 정보를 측정하여 제공하기 위한 생체 정보 측정 유닛 등을 더 포함할 수 있다. 위치 정보 제공 유닛은 예를 들어 로봇 암(3)이나 복강경(5)이 기본 위치에서 어느 각도로 어느 정도 움직였는지에 대한 정보(예를 들어, 로봇 암 등의 구동 모터의 회전각 등)를 마스터 로봇(1)으로 제공하도록 구성될 수 있다.

영상 입력부(310)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.

화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 또한, 화면 표시부(320)는 반응정보를 시각 정보(예를 들어, 화면 점멸 등)로서 출력하거나, 슬레이브 로봇(2)으로부터 생체 정보가 입력되는 경우 이에 상응하는 정보를 더 출력할 수도 있다. 화면 표시부(320)는 예를 들어, 모니터부(6) 등의 형태로 구현될 수 있다.

암 조작 설정부(330)는 수술자 또는 설정자로부터 암 조작 설정을 입력받아 이에 상응하도록 로봇 암(3) 및/또는 인스트루먼트가 수술자의 조작명령에 따라 조작되도록 할 것인지 여부에 대한 조작 설정정보를 생성한다. 암 조작 설정은 예를 들어, 복강경(5)에 의해 획득된 영상 이미지에서 보여지지 않는 가시외(可視外) 영역에 위치하는 로봇 암 및/또는 인스트루먼트가 조작되도록 할 것인지 여부에 대한 설정일 수 있다.

수술자가 암 조작 설정을 수행하는 방법은 다양할 수 있다. 이중 몇가지 실시예만 제시하면 아래와 같다.

제1 실시예로서, 수술자가 복강경(5)을 통해 입력된 화상 이미지를 참조하여 화면상에 보여지는 로봇 암 및/또는 인스트루먼트에 대해서만 그 식별정보를 이용하여 조작 가능으로 설정하고, 그 이외의 로봇 암 및 인스트루먼트는 조작 불능으로 설정할 수 있다.

제2 실시예로서, 마스터 로봇(1)이 슬레이브 로봇(2)으로부터 각 로봇 암 및/또는 인스트루먼트의 위치 정보와 복강경(5)의 위치 및 영상 입력 각도를 수신한 후, 복강경(5)이 어느 좌표 범위의 화상 이미지를 입력받고 있는지 연산한 후, 해당 좌표 범위 이내에 일부 또는 전체가 포함되도록 위치하는 로봇 암 및 인스트루먼트만 조작 가능하도록 설정할 수 있다. 복강경(5)에 의해 획득되는 화상 이미지로 표시되는 수술 부위의 좌표 범위를 연산하기 위해 복강경(5)에는 수술 부위의 표면까지의 거리를 센싱하기 위한 거리 감지 센서가 더 구비될 수도 있다. 물론, 수술 도중 사용할 로봇 암이나 인스트루먼트의 교체를 위해 그 좌표 범위 이외의 로봇 암 등도 조작되도록 설정될 수 있음은 당연하다.

저장부(340)에는 암 조작 설정부(330)에 의해 생성된 로봇 암(3) 및/또는 인스트루먼트에 조작 설정정보, 제한구역 설정부(350)에 의해 설정된 제한구역 좌표 정보가 저정된다. 또한, 수술자에 의해 반응정보 처리 방식이 지정된다면 반응정보 처리 유형에 대한 정보(예를 들어, 촉각 정보 출력 방식, 청각 정보 출력 방식, 시각 정보 출력 방식 등 중 하나 이상)가 더 저장될 수도 있다.

제어부(390)는 수술자에 의해 임의의 로봇 암(3)이나 인스트루먼트에 대한 조작정보가 입력되었을 때, 수술자의 암 조작부(360)를 이용한 조작이 지정된 제한구역에 해당되는 경우 반응정보 처리 유형에 대한 정보를 참조하여 반응정보 처리부(380)가 상응하는 처리를 수행하도록 제어할 수 있다. 제어부(390)는 이하에서 설명되는 조작 판단부(370)를 포함할 수도 있다.

제한구역 설정부(350)는 수술시 오조작 등의 원인에 의해 수술중인 환자의 신체 부위(예를 들어, 혈관, 장기 등)가 손상됨을 방지하기 위해, 로봇 암(3)이나 인스트루먼트가 접근하거나 조작될 수 없는 제한구역에 대한 좌표 정보를 생성하여 저장한다. 여기서, 제한구역은 수술 이전이나 수술 도중에 수술자에 의해 지정되거나 변경 지정될 수 있다.

수술자가 제한구역을 지정하고 이에 상응하는 제한구역 좌표 정보가 생성되도록 하는 방법은 다양할 수 있다. 본 명세서에서는 수술자 등이 임의의 영역을 지정하는 등의 방법으로 제한구역을 설정하는 방법을 중심으로 설명하지만, 수술자 등이 지정하는 영역만이 허용구역으로 설정되고 그 이외의 영역은 제한구역으로 설정되는 방법도 적용될 수 있음은 당연하다.

수술자가 제한구역을 지정하는 다양한 실시예들 중 몇가지 실시예만 제시하면 아래와 같다. 하기와 같이 설정된 영역은 복강경(5)에 의해 획득된 화상 이미지 위에 오버레이되어 표시될 수 있다.

제1 실시예로서, 수술자가 제한된 장기(예를 들어, 간 등)에 대한 수술을 진행하고자 하는 경우, 모니터부(6)에 표시되는 메뉴 항목을 이용하여 해당 장기를 선택하면, 마스터 로봇(1)은 복강경(5)에 의해 획득된 영상 이미지를 해석(예를 들어, 영상 이미지에 포함된 수술 부위의 색상 분석 등의 방식으로 선택된 장기의 존재 여부와 존재시 그 좌표 영역의 해석 등)함으로써 영역 좌표 정보(예를 들어, 제한구역 좌표 정보 또는 허용구역 좌표 정보)를 생성할 수 있다.

제2 실시예로서, 복강경(5)에 의해 획득되어 표시되는 화상 이미지에 상응하는 좌표 범위에 대해서만 허용구역으로 설정하고, 그 이외의 모든 영역은 제한구역으로 설정할 수도 있을 것이다. 이때, 허용구역에 일부 또는 전체가 위치하는 로봇 암(3)이나 인스트루먼트만이 수술자의 암 조작 등에 의해 조작될 것이다.

제3 실시예로서, 마스터 조종기 및 이의 조작에 따라 움직이는 제어 대상 물체(예를 들어, 로봇암, 인스트루먼트 및 내시경 중 하나 이상)를 이용하여 설정된 영역(즉, 제한구역 또는 허용구역)에 해당되는 3차원 좌표값이 설정되도록 할 수 있다. 이하 해당 영역이 제한구역으로 설정되는 경우에 대해 관련 도면을 참조하여 구체적으로 설명한다.

예를 들어, 도 4a에 도시된 바와 같이 인스트루먼트 끝단을 3차원 마우스 커서로 인식하여 수술자가 복강경(5)에 의해 획득된 화상 이미지를 보면서 공간상에 점을 찍는(즉, 포인트 지정) 조작을 수행하면 찍힌 점들이 연결되어 제한구역으로 설정되도록 할 수 있다.

즉, 수술자는 복강경(5)에 의해 획득되어 표시되는 화상 이미지(화상 이미지 내에는 S1, S2 및 S3와 같이 장기, 혈관 등이 포함됨) 상에서 S1을 영역 내에 포함하도록 하는 영역을 설정하기 위해, 인스트루먼트 끝단이 제1 꼭지점에 위치되도록 한 후 포인트 지정 명령을 입력한 후 제2 꼭지점으로 이동하여 포인트 지정 명령을 추가적으로 입력한다. 이와 같은 꼭지점 입력 동작을 반복하여 설정하고자 하는 영역이 획정되도록 한 후 영역 구획 명령을 입력하면 앞서 포인트 지정 명령에 의해 설정된 꼭지점들이 연결되는 영역이 설정된다. 각 꼭지점들은 직선으로 연결될 수도 있으나, 곡선 형태로 연결될 수도 있으며, 해당 영역은 평면 영역(예를 들어, 삼각형, 원 등) 또는 입체 영역(예를 들어, 다면체 형상 등)으로 설정될 수도 있다. 전술한 포인트 지정 명령, 영역 구획 명령 등은 마스터 인터페이스(4)에 구비된 마스터 조종기 등을 이용하여 입력될 수 있다.

이러한 제한 구역 설정 방식은 도 4b에 도시된 바와 같이, 3차원 공간상에 꼭지점을 지정하여 입체적으로 제한 구역을 설정하는 방식으로 확장될 수도 있다.

전술한 방법에 의해, 3차원 공간상에 꼭지점 등을 지정하는 방식으로 입체적인 제한 구역의 설정이 가능할 뿐 아니라, 벽을 만드는 것과 같은 평면적인 제한 구역의 설정도 가능할 수 있다.

또한, 수술자에 의해 설정된 영역은 해당 영역의 외곽선 중 한 점에 인스트루먼트 끝단을 위치시킨 후 해당 점을 영역 외부로 이동하거나 내부로 이동하는 등의 방식에 의해 변형될 수도 있다. 여기서, 지정된 꼭지점들에 의해 형성되는 해당 영역의 외곽선 및 외곽면들은 점들의 연결인 것으로 미리 해석되어 저장될 수 있다.

즉, 수술자가 해당 영역이 S1뿐 아니라 S2를 더 포함하도록 하기 위해, 도 4c에 도시된 바와 같이, 인스트루먼트 끝단을 꼭지점 P4에 위치시킨 후 포인트 이동을 수행한다. 또한, 인스트루먼트 끝단을 꼭지점 P3과 P4를 연결하는 선분상에 위치시킨 후 포인트 이동을 수행한다. 이와 같은 포인트 이동들에 의해 S2가 해당 영역에 포함되도록 설정된 영역을 확장할 수 있다.

전술한 설정된 영역의 변형은 평면상에서만 이루어지도록 제한되지 않으며, 도 4d에 도시된 바와 같이, 입체 영역이 설정된 경우에도 동일하게 수행될 수 있음은 당연하다. 또한 도 4에는 꼭지점을 이용한 포인트 이동 방식으로 영역이 변형되는 경우가 예시되었으나, 3차원 공간상에서 면, 모서리 등의 잡아끄는 방식으로 영역 변형이 가능함은 당연하다.

또한, 수술자에 의해 설정된 영역은 복수의 영역으로 구획되어 개별 영역들로 분리될 수도 있다. 즉, 도 4e 및 도 4f에 도시된 바와 같이, 수술자는 S1과 S2를 포함하도록 설정된 영역을 S1만을 포함하는 제1 개별 영역과 S2만을 포함하는 제2 개별 영역으로 분리할 수도 있다. 이를 위해, 수술자는 분리를 원하는 지점에 둘 이상의 포인트(예를 들어, Q1 및 Q2)를 지정한 후, 분할 명령을 입력함으로써, 해당 영역이 둘 이상의 개별 영역들로 분리되도록 할 수 있다.

또한, 수술자에 의해 설정된 영역이 복수의 영역으로 구획된 후 불필요한 영역이 제거될 수도 있다. 즉, 도 4g 및 도 4h에 도시된 바와 같이, 수술자는 S1과 S2를 포함하도록 설정된 영역이 S2만을 포함하는 영역으로 축소되도록 할 수도 있다. 이를 위해, 수술자는 제거를 원하는 경계 지점에 둘 이상의 포인트(예를 들어, Q1 및 Q2)를 지정하고, 인스트루먼트 끝단이 분리된 영역들 중 제거를 원하는 영역에 위치되도록 한 후, 삭제 명령을 입력함으로써, 분리된 해당 영역이 삭제되도록 할 수 있다.

또한, 수술자에 의해 설정된 영역은 복수의 영역으로 구획하는 경계 지점을 중심으로 접혀지거나 원위치로 복원되도록 조작될 수도 있다. 즉, 도 4i 및 도 4j에 도시된 바와 같이, 수술자는 S1과 S2를 포함하도록 설정된 영역을 S1만을 포함하는 제1 개별 영역과 S2만을 포함하는 제2 개별 영역으로 분리한 후, 각 개별 영역이 제한구역 또는 허용구역으로 기능하도록 접기 조작을 수행할 수 있다. 참고로, 도 4i는 평면적으로 설정된 영역을 평면적으로 접거나 복원함으로써 제한 구역을 평면적으로 변형하는 경우가 가정되어 있고, 도 4j는 평면적으로 설정된 영역을 접어 입체적인 제한 구역으로 변형하는 경우가 가정되어 있다.

도 4i를 참조하면, 수술자는 경계 지점으로 기능하도록 둘 이상의 포인트(예를 들어, Q1 및 Q2)를 지정하고 접기 명령을 입력하면, 인스트루먼트 끝단이 위치한 지점을 포함하는 개별 영역이 경계 지점을 중심으로 회전되어 접기 동작이 수행된다. 이로써, 해당 영역이 제한구역으로 설정된 경우라면 S2는 제한구역에서 해제된 상태에서 인스트루먼트 조작이 가능해지게 된다. 이후, 복원 명령에 의해 접혀진 영역들이 원상태로 복원되면 S2 역시 제한구역으로 재설정된다.

마찬가지로 도 4j에 도시된 바와 같이, 수술자는 경계 지점으로 기능하는 복수의 포인트(예를 들어, Q1-Q2 및 Q3-Q4)를 지정하고 접기 명령을 입력하면, 일 방향(예를 들어 인스트루먼트 끝단의 위치에 상응하는 방향)으로 회전 및 접기 명령이 실행되어 입체 도형의 형상으로 제한 구역이 설정되어질 수 있다. 물론, 경계 지점을 중심으로 어느 위치의 개별 영역이 어느 각도만큼 회전될 것인지에 대해서는 미리 설정될 수 있을 것이다. 이외에도, 평면적으로 도시된 영역 이미지를 접기 명령에 의해 입체 도형화하는 방식은 다양할 수 있을 것이다.

상술한 영역 설정 및 변형 등의 방법은 수술자가 인스트루먼트를 이용하여 영역 설정을 선행하는 방법 이외에도, 템플릿으로 미리 지정된 임의의 도형(예를 들어, 원, 삼각형, 사각형, 구, 육면체, 사면체 등 중 하나 이상)이나 장기의 형상이 공간상에 도시되도록 한 후, 3차원 마우스(또는 인스트루먼트 끝단)를 이용하여 변형, 분리 등이 가능함은 당연하다. 예를 들어, 도 4k에 도시된 바와 같이, 심장 영역을 제한 구역으로 설정하고자 하는 경우, 심장에 해당되는 템플릿을 선택하여 도시되도록 한 후 스케일을 지정하거나 외곽선이나 외곽면을 잡아끄는 등의 방법으로 해당 템플릿을 수술환자의 특성에 맞게 변형하여 적용할 수 있다. 이 경우, 수술자의 제어 대상 물체 조작에 의해 변형되는 실제 장기의 변화(예를 들어, 위치 이동, 모양 변화 등)를 추적하여 설정된 제한 구역이 상응하도록 변형되도록 제어될 수도 있다. 이를 위해, 예를 들어 실제 장기의 영상 이미지에 대해 외곽선 검출 등의 영상 해석 기법이 적용될 수 있다.

제4 실시예로서, 터치 감응 입력 장치로 구현된 모니터를 통해 표시되는 수술 환자에 대한 참조 영상(예를 들어 복강경(5)에 의해 획득된 영상 이미지, 환자의 MRI 영상 등)이나 일반화되어 생성되는 인체 모델링 영상에서, 수술자가 손가락으로 폐곡선의 도형 형태로 일정 범위를 도시하면 해당 영역이 제한구역으로 설정되도록 할 수 있다. 이때, 수술자가 도시한 해당 범위의 좌표는 임의의 기준점(예를 들어, 특징적 장기의 위치, 복강경(5)의 위치 등)을 중심으로 수술 환자의 신체 내부의 장기나 혈관의 위치에 대응되도록 좌표 정보가 매핑 처리되며, 이러한 좌표 정보 매핑은 통상의 영상 해석에 의한 위치 인식 방법에 의해 처리될 수 있으므로 이에 대한 설명은 생략한다.

제5 실시예로서, 수술 환자에 대한 참조 영상(예를 들어, CT 영상, MRI 영상 등)을 이용하여 생성한 인체 모델링 영상이나 일반적인 인체에 대해 생성된 인체 모델링 영상의 각 장기나 혈관 등에 관한 모델링 데이터를 이용하여 해당 영역을 자동 설정하도록 할 수도 있다.

도 4l을 참조하면, 단계 450에서 수술 환자에 대한 참조 영상(예를 들어, CT 영상, MRI 영상 등)을 이용하여 인체 모델링 영상이 생성되고, 단계 455에서 인체 모델링 영상에 상응하는 모델링 데이터(예를 들어, 각 장기 및 혈관의 색상, 형상, 크기 등)가 생성되고 저장된다. 일반적인 인체에 대해 생성된 인체 모델링 영상 및 모델링 데이터가 이용되는 경우 단계 450 및 단계 455는 생략될 수도 있다.

단계 460에서 장기 선택 정보가 획득된다. 장기 선택 정보는 예를 들어 복강경(5)에 의해 획득되어 표시되는 화상 이미지 내의 장기나 혈관이 무엇인지 여부를 영상 해석 기법(예를 들어, 픽셀별 색상 분석, 장기의 외곽선 해석 등)을 이용하여 해석한 후 미리 저장된 모델링 데이터에 대비하여 자동 인식되도록 할 수도 있다. 물론, 수술자가 드롭다운 메뉴로 구성된 장기 리스트 또는 모니터부(6)를 통해 표시되는 인체 모델링 영상에서 임의의 장기를 선택하는 방법 등이 이용될 수도 있다.

단계 465에서 모델링 데이터를 참조하여 상응하는 영역을 구획하고 수술자가 인식할 수 있도록 영역 이미지(도 4a 내지 도 4k 참조)로서 디스플레이한다. 마스터 로봇(1)은 수술환자의 키, 눕혀진 형태 및 인체 내에서의 장기의 일반적인 위치 등을 고려하여 장기 선택 정보에 상응하는 장기의 위치를 인식한 후, 모델링 데이터에 의해 규정된 형상의 영역이 설정되어 모니터부(6) 또는/및 복강경(5)에 의해 획득된 화상 이미지 내에 오버레이되어 표시되도록 처리한다. 예를 들어, 장기 선택 정보로서 심장이 선택된 경우, 심장의 형태에 상응하는 영역 이미지를 디스플레이하기 위해 모델링 데이터가 저장부(340) 등으로부터 추출되고, 추출된 모델링 데이터에 상응하는 영역 이미지가 실제 장기를 나타내는 영상 이미지 위에 오버레이되어 표시되도록 처리될 수 있다.

단계 470에서 수술자는 영상 이미지 위에 오버레이되어 표시되는 영역 이미지가 실제 장기의 영역에 부합하는지 여부를 확인한 후 부합하지 않는 경우 오버레이되어 표시되는 영역 이미지를 변형(도 4d 내지 도 4k 참조) 처리한다. 단계 470의 영역 이미지 변형은 전술한 바와 같이 수술자에 의해 처리될 수도 있지만, 복강경(5)에 의해 획득되어 표시되는 영상 이미지 내에 해당 장기가 존재하고 있다면 영상 해석 기법을 이용하여 해당 장기의 형상(크기 등을 포함함)을 해석한 후 영역 이미지가 해당 장기의 형상에 부합되도록 자동 변형 처리할 수도 있음은 당연하다.

이외에도 제한구역을 사전에 설정하여 이용하는 방법 등도 적용될 수 있다. 예를 들어 CT, MRI 영상 등을 재구성하여 얻은 3차원 영상을 이용하는 방법으로서, 미리 사전에 3차원 영상에서 제한구역을 설정한 후에 이를 복강경(5)에 의해 획득된 화상 이미지(예를 들어, 실제 내시경 영상)와 정합하여 이용할 수도 있다. 물론, 3차원 영상과 실시간 화상 이미지에 대한 정합은 생략하고, 필요한 몇 개의 포인트만 매칭시키는 방법도 적용될 수 있을 것이다.

암 조작부(360)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능 등을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들(10)의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 상이한 형상으로 형성될 수도 있으며, 수술도구의 조작을 용이하도록 하기 위해 수술자의 손가락을 삽입 고정할 수 있도록 하는 손가락 삽입관 또는 삽입 고리가 더 형성될 수도 있다. 또한, 영상을 입력받기 위한 복강경(5)이 특정 위치에 고정되지 않고, 그 위치 및/또는 영상 입력 각도가 수술자의 조정에 의해 이동되거나 변경될 수 있다면 클러치 버튼(14) 등은 복강경(5)의 위치 및/또는 영상 입력 각도의 조정을 위해 기능하도록 설정될 수도 있다.

조작 판단부(370)는 수술자의 암 조작부(360) 조작에 의한 조작정보가 저장부(340)에 저장된 조작 설정정보 및 제한구역 좌표 정보 중 하나 이상을 참조하여 유효한 조작정보인지를 판단한다.

예를 들어, 조작 판단부(370)는 조작 설정정보를 참조하여 암 조작부(360) 조작에 따른 조작정보가 조작 불능으로 설정된 로봇 암인 경우 해당 조작정보가 유효하지 않은 것으로 판단할 수 있다.

또한, 조작 판단부(370)는 제한구역 좌표 정보를 참조하여 암 조작부(360) 조작에 따른 조작정보가 로봇 암(3)이 제한구역에 접촉되도록 하는 것인 경우 유효하지 않은 것으로 판단할 수 있다. 이를 위해, 조작 판단부(370)는 위치 정보 제공 유닛으로부터 수신되는 예를 들어 로봇 암(3)이나 인스트루먼트가 기본 위치에서 어느 각도로 어느 거리만큼 움직였는지에 대한 변위 정보(예를 들어, 로봇 암 등의 구동 모터의 회전각 등)를 참조할 수 있다.

반응정보 처리부(380)는 조작 판단부(370)에 의해 수술자의 조작정보가 유효하지 않은 조작 정보인 것으로 판단된 경우 수술자 또는/및 설정자에 의해 지정된 반응정보의 처리를 수행한다. 반응정보의 처리는 핸들(10)에 포스 피드백(force feedback)을 가하여 수술자가 인지하도록 하는 촉각정보 출력, LED 점멸이나 복강경(5)에 의해 획득된 영상 이미지에 상응하여 경고 메시지 출력 등의 시각 정보 출력, 경고음향의 출력 등의 청각 정보 출력 등 중 하나 이상의 방식으로 처리될 수 있다.

제어부(390)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(390)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 제한구역 설정 방법을 나타낸 순서도이다.

이하에서 설명되는 본 실시예에서는 암 조작 설정정보의 생성 및 저장과 제한구역 설정정보의 생성 및 저장이 순차적인 단계로서 예시되었으나, 각 단계의 순서는 변경되거나 동시에 수행될 수도 있음은 당연하다.

도 5를 참조하면, 단계 510에서 마스터 로봇(1)은 수술자 또는 설정자로부터 가시외 영역에 위치하는 로봇 암(3) 및/또는 인스트루먼트가 조작되도록 할 것인지 여부에 대한 암 조작 설정을 입력받는다.

단계 520에서 마스터 로봇(1)은 입력된 암 조작 설정에 상응하는 암 조작 설정정보를 생성하여 저장한다.

단계 530에서 마스터 로봇(1)은 수술자 또는 설정자로부터 가시 영역 및 가시외 영역에 위치하는 로봇 암(3) 및/또는 인스트루먼트가 동작되는 과정에서 진입하지 않도록 제한되는 구역 지정을 위한 제한구역 설정을 입력받는다.

단계 540에서 마스터 로봇(1)은 입력된 제한구역 설정에 상응하는 제한구역 설정정보를 생성하여 저장한다.

이와 같이, 수술자 또는/및 설정자는 미리 획득된 영상 정보(예를 들어, CT, MRI 등과 같은 환자 영상, 일반화되도록 모델링된 가상 영상 등 중 하나 이상) 또는/및 드롭다운 메뉴의 클릭에 의해 표시되는 장기 항목 등을 이용하여 수술 이전 또는 수술 과정에서 제한구역을 설정할 수 있다. 제한구역으로 설정된 영역에 대해서는 사용자의 조작에도 불구하고 로봇 암(3) 또는/및 인스트루먼트가 동작하지 않도록 제한되고, 제한구역으로의 접근이나 접촉이 반응정보로서 수술자에게 피드백됨으로써, 수술 과정에서 손상되어서는 안 되는 중요한 부위에 대하여 오동작으로 인한 의료사고의 발생이 방지될 수 있다. 반응정보는 촉각정보 형태, 시각정보 형태 및 청각정보 형태 등 중 하나 이상으로 수술자에게 출력될 수 있다.

예를 들어, 수술 과정에서 수술자가 복강경(5)에 의해 획득되어 보여지는 영상 이미지에서 터치스크린이나 마우스 장치 등의 외부 입력장치를 이용하여 특정 영역을 지정하면, 그 지정된 영역이 제한구역으로 설정되도록 할 수 있다.

또는, 미리 촬영된 CT, MRI 등의 환자 영상 정보 또는 해당 환자 영상 정보로부터 재구성한 영상을 수술자가 보는 화면에 표시하고, 수술자는 화면에 표시된 영상에서 특정 영역을 지정하면 그 지정된 영역이 제한구역으로 설정되도록 할 수도 있다.

이 경우, 전술한 바와 같이, 지정된 특정 영역의 좌표범위를 영상 해석 등의 방식으로 인식하는 과정이 수행될 수 있다.

이와 같이 제한구역을 지정할 때, 수술자는 해당 영상이 표시되는 화면을 참조하여 지정할 수도 있고, 촬영한 영상에서 미리 지정되도록 할 수도 있으며, 이 외에도 다양한 방법으로 제한구역이 지정되도록 할 수 있다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 동작 제한 방법을 나타낸 순서도이고, 도 8은 본 발명의 일 실시예에 따른 동작 제한 방법을 설명하기 위한 화면 표시의 예시도이다.

도 6을 참조하면, 단계 610에서 마스터 로봇(1)은 수술자로부터 암 조작부(360)의 조작에 따른 암 조작정보를 입력받는다.

마스터 로봇(1)은 단계 520에서 입력된 암 조작정보가 가시외 영역에 위치하는 로봇 암(3) 또는/및 인스트루먼트에 대한 조작인지 여부를 판단한다. 예를 들어, 수술자의 오조작에 의해서, 또는 가시 영역 내에 위치하는 로봇 암(3)을 가시외 영역에 위치하는 로봇 암(3)으로 대체하여 조작하고자 하는 경우 등에서 가시외 영역에 위치하는 로봇 암(3) 조작이 명령될 수 있을 것이다. 전술한 바와 같이, 본 명세서에서 명시적으로 한정하지 않는 한 로봇 암(3)은 인스트루먼트를 포함하는 개념으로 해석될 수 있다.

단계 620의 판단 결과로, 가시외 영역(즉, 가시 영역)에 위치하는 로봇 암(3) 등에 대한 조작 명령이 아닌 경우에는 단계 630으로 진행하여, 마스터 로봇(1)은 암 조작명령을 생성하여 출력한다. 단계 630의 수행 이후 도 7에 도시된 단계 710이 후속된다. 도 8을 참조할 때, 가시 영역에 위치하는 로봇 암 또는 인스트루먼트는 830a 및 830b라 할 수 있고, 가시외 영역에 위치하는 로봇 암 또는 인스트루먼트는 850이라 할 수 있다.

그러나 단계 620의 판단 결과로, 가시외 영역에 위치하는 로봇 암(3) 등에 대한 조작 명령인 경우에는 단계 640으로 진행하여, 마스터 로봇(1)은 가시외 영역에 위치하는 로봇 암(3) 등에 대한 조작이 허용되도록 하는 조작 설정정보가 저장되었는지 여부를 판단한다.

단계 640의 판단 결과로, 가시외 영역에 위치하는 로봇 암(3) 등에 대한 조작이 허용되도록 하는 조작 설정정보가 저장되었다면 단계 630으로 진행하여 마스터 로봇(1)은 암 조작명령을 생성하여 출력한다. 이 경우, 암 조작명령에 의해 가시 영역이나 가시외 영역에 위치하는 로봇 암(3) 등이 동일한 방식으로 이동이나 조작되도록 할 수도 있으나, 가시외 영역에 위치하는 로봇 암(3) 등의 이동이나 조작시 가시 영역에 위치하는 로봇 암(3) 등의 이동이나 조작 속도보다 느리게 처리되도록 하는 암 조작명령이 생성될 수도 있다.

그러나 단계 640의 판단 결과로, 가시외 영역에 위치하는 로봇 암(3) 등에 대한 조작이 허용되지 않도록 하는 조작 설정정보가 저장되었다면 단계 650으로 진행하여 마스터 로봇(1)은 반응정보의 출력 처리를 수행하여 수술자가 이를 인식하도록 한다.

도 7을 참조하면, 단계 710에서 마스터 로봇(1)은 슬레이브 로봇(2)으로부터 암 조작상태 정보를 수신한다. 암 조작상태 정보는 예를 들어 로봇 암(3)이나 인스트루먼트가 기본 위치에서 어느 각도로 어느 정도 움직였는지에 대한 정보(예를 들어, 로봇 암 등의 구동 모터의 회전각 등)를 포함할 수 있으며, 해당 정보는 위치 정보 제공 유닛으로부터 제공될 수 있다.

단계 720에서 마스터 로봇(1)은 암 조작상태 정보를 참조하여 로봇 암(3)이나 인스트루먼트가 미리 설정된 제한구역에 접촉되었는지 여부를 판단한다.

전술한 바와 같이, 제한구역은 수술자가 해당 영상이 표시되는 화면을 참조하여 지정할 수도 있고, 촬영한 영상에서 미리 지정되도록 할 수도 있으며, 이 외에도 다양한 방법에 의해 설정되도록 할 수 있다.

상술한 과정에 의해 설정된 제한구역은 복강경(5) 등에 의해 획득된 실제 영상에 증강현실(augmented reality) 기법을 적용하여 빗금 처리 방식(도 8의 840 참조), 특정 색깔의 라인 처리 방식, 불투명 처리 방식 등 중 하나 이상으로 다양하게 처리할 수 있다. 이로써, 수술자는 지속적으로 해당 영역이 제한구역임을 알려줄 수 있다. 이러한 제한구역 표시 방식은 표시 화면의 이동 또는 확대 등의 경우에도 연동되어 처리되도록 할 수 있음은 당연하다.

단계 720의 판단 결과로, 로봇 암(3)이나 인스트루먼트가 제한구역에 접촉되지 않았다면 단계 610으로 다시 진행한다.

그러나 단계 720의 판단 결과로, 로봇 암(3)이나 인스트루먼트가 제한구역에 접촉되었다면, 단계 730으로 진행하여 마스터 로봇(1)은 로봇 암의 동작제한 제어를 수행하고, 또한 반응정보 출력 처리를 수행하여 이를 수술자가 인식하도록 한다.

제한구역에서의 로봇 암(3)의 동작 제한 제어는, 예를 들어 설정된 제한 구역이 마치 가상의 벽인 것처럼 인식되도록 할 수 있다. 즉, 로봇 수술 과정에서 인스트루먼트의 끝단 또는 중간 샤프트 일부 등이 제한 영역으로 진입하려고 할 때에, 가상의 벽에 걸려 인스트루먼트가 동작되지 않는 것처럼 인스트루먼트의 동작을 제한하고 이를 반응정보의 출력을 통해 수술자가 인식할 수 있도록 한다.

물론, 제한 구역에 접촉된 경우 반드시 인스트루먼트가 동작되지 않도록 제한되어야 하는 것은 아니며, 수술자의 선택에 의해 동작 여부가 결정되도록 할 수도 있다. 예를 들어, 수술자의 의도와 무관하게 제한 구역으로 설정된 영역(예를 들어, 혈관 등)에서 출혈이 발생된 경우, 인스트루먼트의 동작이 가능하도록 설정된다면 신속한 지혈이 가능할 수 있기 때문이다. 여기서, 제한 구역에 접촉된 경우, 제한구역에서 인스트루먼트 등이 조작될 수 있도록 하기 위한 제한구역 설정무시 명령은 예를 들어 수술자가 미리 설정된 임의의 버튼이나 페달(pedal) 등을 조작함으로써 입력될 수 있을 것이다.

또한, 제한구역은 반드시 현재 화면에 표시된 영역(즉, 가시 영역(810)) 내에서만 설정되어야 하는 것은 아니며, 도 8에 예시된 바와 같이 화면에 표시되지 않는 영역(즉, 가시외 영역(820))에서도 제한구역(840)이 지정 및 설정될 수 있음은 당연하다. 즉, 제한구역(840)이 가시외 영역(820)에 설정된 경우에도, 인스트루먼트가 해당 제한구역에 접촉된다면 수술 환자의 안전에 심각한 위험이 초래될 수 있으므로, 이를 방지하게 위해 인스트루먼트의 움직임이 제한되도록 제어할 수 있다.

인스트루먼트의 동작을 제한하는 제어방법은, 예를 들어 인스트루먼트가 동작하지 않도록 로킹(locking)하는 방법이 사용될 수 있으며, 더 나아가 로킹되는 인스트루먼트를 조작하는 사용자의 조작 핸들에 반력이 피드백되도록 함으로써, 인스트루먼트의 동작이 제한됨을 사용자에게 알려줄 수 있다. 이외에도 반응정보가 출력되는 방식이 다양할 수 있음은 앞서 설명한 바와 같다.

상술한 수술 로봇 시스템의 동작 제한 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 마스터 로봇 2: 슬레이브 로봇
3: 로봇 암 4: 마스터 인터페이스
5: 복강경 6: 모니터부
10: 핸들 310: 영상 입력부
320: 화면 표시부 330: 암 조작 설정부
340: 저장부 350: 제한구역 설정부
360: 암 조작부 370: 조작 판단부
380: 반응정보 처리부 390: 제어부

Claims

표시부, 암 조작부 및 제어부를 포함하는 수술용 로봇에서 수행되는 영역 설정 방법으로서,
상기 표시부에서, 내시경에 의해 획득되어 제공되는 영상 이미지를 디스플레이하는 단계;
상기 암 조작부에서, 제어 대상 물체의 조작을 위한 조작정보를 입력받는 단계; 및
상기 제어부에서, 상기 제어 대상 물체가 이동된 위치들 중 포인트 지정 명령이 입력된 복수의 위치들을 외곽선에 포함하는 영역에 상응하는 영역 이미지가 상기 영상 이미지에 오버레이되어 디스플레이되도록 제어하는 단계를 포함하되,
상기 제어 대상 물체는 로봇 암, 인스트루먼트 및 상기 내시경 중 하나 이상이고, 상기 영역 이미지에 상응하도록 추출된 좌표 범위가 제한구역 또는 허용구역으로 설정되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제1항에 있어서,
상기 영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 분할 명령의 입력에 의해, 상기 영역 이미지는 둘 이상의 개별 영역들로 분할되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제1항에 있어서,
상기 영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 접기 명령의 입력에 의해, 상기 경계선을 기준으로 하나 이상의 개별 영역이 다른 하나 이상의 개별 영역쪽으로 회전 이동되어 중첩되도록 영역 이미지가 디스플레이되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제3항에 있어서,
복원 명령의 입력에 의해 상기 경계선을 기준으로 회전 이동되어 중첩 표시된 개별 영역이 원위치로 복귀된 영역 이미지가 디스플레이되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제1항에 있어서,
상기 영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 삭제 명령의 입력에 의해, 하나 이상의 개별 영역이 삭제 처리되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제1항에 있어서,
상기 수술용 로봇은 조작 판단부를 더 포함하고,
상기 조작 판단부에서 수행되는,
상기 영역 이미지에 상응하도록 추출된 좌표 범위가 제한구역으로 설정된 경우, 상기 조작정보에 따른 상기 제어 대상 물체의 변위 정보를 참조하여 상기 제어 대상 물체의 외부면이 상기 좌표 범위에 접촉되었는지 여부를 판단하는 단계를 더 포함하는 수술용 로봇의 영역 설정 방법.
제6항에 있어서,
상기 제어하는 단계에서,
상기 제어 대상 물체의 외부면이 상기 좌표 범위에 접촉된 경우, 상기 제어 대상 물체가 조작 제한되도록 제어되고, 이에 상응하도록 반응정보가 출력되도록 제어되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제7항에 있어서,
상기 수술용 로봇은 암 조작 설정부를 더 포함하고,
상기 암 조작 설정부에서 수행되는, 각 제어 대상 물체의 조작 허용 여부에 대한 조작 설정 정보를 생성하여 저장하는 단계; 및
상기 조작 판단부에서 수행되는, 임의의 제어 대상 물체에 대한 상기 조작정보가 유효한 조작정보인지 여부를 판단하는 단계를 더 포함하는 수술용 로봇의 영역 설정 방법.
제1항에 있어서,
상기 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
저장부, 표시부 및 제어부를 포함하는 수술용 로봇에서 수행되는 영역 설정 방법으로서,
상기 저장부에서, 인체 모델링 정보 및 이에 상응하는 모델링 데이터를 저장하는 단계;
상기 표시부에서, 내시경에 의해 획득되어 제공되는 영상 이미지를 디스플레이하는 단계; 및
상기 제어부에서, 획득된 하나 이상의 장기에 대한 장기 선택 정보에 상응하는 모델링 데이터를 추출하고, 상기 모델링 데이터에 상응하는 영역 이미지가 상기 영상 이미지에 오버레이되어 디스플레이되도록 제어하는 단계를 포함하되,
상기 모델링 데이터는 장기의 색상, 형상, 크기 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제10항에 있어서,
상기 인체 모델링 정보 및 상기 모델링 데이터는 CT 영상, MRI 영상 중 하나 이상인 참조 영상을 이용하여 생성되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제11항에 있어서,
상기 장기 선택 정보는 상기 모델링 데이터 중 상기 영상 이미지에 대한 영상 인식에 의해 인식된 장기의 형상 및 색상 중 하나 이상에 상응하는 장기로 선택 지정되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제12항에 있어서,
상기 영역 이미지는 상기 영상 이미지에 대한 에지 검출에 의해 인식된 장기의 외곽선에 상응하는 외곽선을 가지도록 변형 처리되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제13항에 있어서,
상기 수술용 로봇은 암 조작부를 더 포함하고,
상기 암 조작부에서 수행되는, 로봇 암, 인스트루먼트 및 내시경 중 하나 이상을 포함하는 제어 대상 물체의 조작을 위한 조작정보를 입력받는 단계를 더 포함하되,
상기 조작정보에 의해 상기 장기의 위치 변동, 모양 변화 중 하나 이상이 발생되면, 상기 장기의 외곽선에 상응하도록 상기 영역 이미지가 변형 처리되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제10항에 있어서,
상기 영역 이미지의 외곽선은 점들의 연속으로 인식되고, 어느 하나의 점에 대한 포인트 지정 및 이동 명령에 의해, 상기 영역 이미지는 변형 처리되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제10항에 있어서,
상기 영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 분할 명령의 입력에 의해, 상기 영역 이미지는 둘 이상의 개별 영역들로 분할되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제10항에 있어서,
상기 영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 접기 명령의 입력에 의해, 상기 경계선을 기준으로 하나 이상의 개별 영역이 다른 하나 이상의 개별 영역쪽으로 회전 이동되어 중첩되도록 영역 이미지가 디스플레이되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제17항에 있어서,
복원 명령의 입력에 의해 상기 경계선을 기준으로 회전 이동되어 중첩 표시된 개별 영역이 원위치로 복귀된 영역 이미지가 디스플레이되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
제10항에 있어서,
상기 영역 이미지를 분할하도록 연결되는 경계선을 규정하는 둘 이상의 위치들에 대한 포인트 지정 명령 및 삭제 명령의 입력에 의해, 하나 이상의 개별 영역이 삭제 처리되는 것을 특징으로 하는 수술용 로봇의 영역 설정 방법.
삭제