KR20120102453A

KR20120102453A - 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체

Info

Publication number: KR20120102453A
Application number: KR1020110020628A
Authority: KR
Inventors: 최재순; 최승욱; 김희찬; 박준우; 이민규; 이정찬; 배장표
Original assignee: 주식회사 이턴
Priority date: 2011-03-08
Filing date: 2011-03-08
Publication date: 2012-09-18
Also published as: KR101801279B1

Abstract

수술자의 수술 작업에 대한 방해를 최소화하면서도, 수술 중 수술자의 의도하지 않은 오동작으로 인한 사고나 위해를 미리 방지하기 위하여, 본 발명은 다자유도를 가지며 구동하는 로봇 암을 포함하는 슬레이브 로봇과, 상기 로봇 암을 조작하기 위한 제어 신호를 생성하는 사용자 조작부; 및 상기 사용자 조작부의 조작에 대해, 상기 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 반력 제어부;를 포함하는 마스터 로봇을 포함하는 수술 로봇 시스템을 제공한다.

Description

수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체{Surgical robot system, control method thereof, and recording medium thereof}

본 발명은 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체에 관한 것으로, 상세하게는 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나 또는 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부의 조작에 대해 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체에 관한 것이다.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

현재 전 세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다. 최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전하고 있다. 더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 이른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다.

한편, 수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종 레버(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나 또는 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부의 조작에 대해 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체를 제공하는 것을 목적으로 한다.

본 발명은 다자유도를 가지며 구동하는 로봇 암을 포함하는 슬레이브 로봇과, 상기 로봇 암을 조작하기 위한 제어 신호를 생성하는 사용자 조작부; 및 상기 사용자 조작부의 조작에 대해, 상기 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 반력 제어부;를 포함하는 마스터 로봇을 포함하는 수술 로봇 시스템을 제공한다.

본 발명에 있어서, 상기 반력 제어부는, 상기 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 상기 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 상기 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 상기 사용자 조작부의 조작에 대해 상기 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행할 수 있다.

여기서, 상기 소정의 영역은 시술중인 수술 부위 전체일 수 있다.

여기서, 상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 실제의 중력 방향, 수술 부위의 영상을 디스플레이하는 디스플레이 부재에 표시된 화면 상에서의 중력 방향, 또는 임의 설정된 가상의 중력 방향으로의 추가 반력을 가하는 고중력 모드를 수행할 수 있다.

여기서, 상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 상기 로봇 암의 진행 방향의 반대 방향으로의 추가 반력을 가하는 고마찰력 모드를 수행할 수 있다.

여기서, 상기 반력 제어부는, 상기 로봇 암의 가속 동작에는 상기 사용자 조작부에 가해지는 반력을 소정의 기준값 보다 크게 부여하고, 상기 로봇 암의 감속 동작에는 상기 사용자 조작부에 가해지는 반력을 소정의 기준값과 같거나 기준값 보다 작게 부여하는 고마찰력 모드를 수행할 수 있다.

본 발명에 있어서, 상기 슬레이브 로봇은 수술 부위를 조영하는 수술용 내시경을 더 포함할 수 있다.

여기서, 상기 소정의 영역은 상기 수술용 내시경으로부터 촬영된 수술 부위의 영상으로부터 산출된 조직 및 장기가 위치하는 하나 이상의 영역 중 적어도 일부를 포함할 수 있다.

여기서, 상기 마스터 로봇은 상기 수술용 내시경을 통해 촬영되는 영상을 디스플레이하는 디스플레이 부재를 더 포함하고, 상기 소정의 영역은 상기 디스플레이 부재 상에서 사용자 입력에 의해 선택된 임의의 영역일 수 있다.

여기서, 상기 반력 제어부는, 상기 산출 또는 선택된 소정의 영역 내에서 상기 로봇 암이 동작하거나, 상기 선택된 소정의 영역에 대해 상기 로봇 암이 인입, 인출 또는 접근할 때, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어할 수 있다.

여기서, 상기 반력 제어부는, 상기 영역이 다수 개의 영역들을 포함할 경우, 상기 사용자 조작부의 조작에 대해 상기 다수 개의 영역별로 서로 상이한 추가 반력을 가하도록 제어할 수 있다.

본 발명에 있어서, 상기 반력 제어부는, 상기 로봇 암의 첨부의 위치 및 속도의 일정시간 동안의 경로(trajectory)로부터 추출된 상기 로봇 암의 작업 영역으로부터 상기 로봇 암이 일정 간격 이상 이격되면, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어할 수 있다.

본 발명에 있어서, 상기 반력 제어부는, 상기 로봇 암의 가속도가 소정의 기준 값 이상일 경우, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어할 수 있다.

본 발명에 있어서, 상기 디스플레이 부재는 입체 디스플레이 장치를 포함할 수 있다.

다른 측면에 따른 본 발명은, 마스터 로봇 및 슬레이브 로봇을 포함하는 수술 로봇 시스템의 제어 방법에 있어서, 상기 슬레이브 로봇의 수술용 내시경을 통해 촬영되는 영상이 상기 마스터 로봇의 디스플레이 부재 상에 디스플레이되는 단계; 상기 슬레이브 로봇의 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 상기 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 상기 로봇 암이 기 설정된 소정의 동작을 수행하는지 여부를 판단하는 단계; 및 상기 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 상기 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 상기 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 상기 사용자 조작부의 조작에 대해, 상기 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 단계;를 포함하는 수술 로봇 시스템의 제어 방법을 제공한다.

본 발명에 있어서, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는, 상기 사용자 조작부의 조작에 대해 실제의 중력 방향, 수술 부위의 영상을 디스플레이하는 디스플레이 부재에 표시된 화면 상에서의 중력 방향, 또는 임의 설정된 가상의 중력 방향으로의 추가 반력을 가하는 고중력 모드일 수 있다.

본 발명에 있어서, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는, 상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 상기 로봇 암의 진행 방향의 반대 방향으로의 추가 반력을 가하는 고마찰력 모드일 수 있다.

본 발명에 있어서, 상기 소정의 영역은 상기 수술용 내시경으로부터 촬영된 수술 부위의 영상으로부터 산출된 조직 및 장기가 위치하는 하나 이상의 영역 중 적어도 일부를 포함할 수 있다.

본 발명에 있어서, 상기 소정의 영역은 상기 디스플레이 부재 상에서 사용자 입력에 의해 선택된 하나 이상의 임의의 영역일 수 있다.

여기서, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는, 상기 산출 또는 선택된 소정의 영역 내에서 상기 로봇 암이 동작하거나, 상기 선택된 소정의 영역에 대해 상기 로봇 암이 인입, 인출 또는 접근할 때, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어할 수 있다.

여기서, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는, 상기 영역이 다수 개의 영역들을 포함할 경우, 상기 사용자 조작부의 조작에 대해 상기 다수 개의 영역별로 서로 상이한 추가 반력을 가하도록 제어할 수 있다.

본 발명에 있어서, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는, 상기 로봇 암의 첨부의 위치 및 속도의 일정시간 동안의 경로(trajectory)로부터 추출된 상기 로봇 암의 작업 영역으로부터 상기 로봇 암이 일정 간격 이상 이격되면, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어할 수 있다.

본 발명에 있어서, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는, 상기 로봇 암의 가속도가 소정의 기준 값 이상일 경우, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어할 수 있다.

또 다른 측면에 관한 본 발명은 상기 중 어느 하나에 기재된 수술 로봇 시스템의 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체를 제공한다.

이와 같은 본 발명에 의해서, 수술자의 수술 작업에 대한 방해를 최소화하면서도, 수술 중 수술자의 의도하지 않은 오동작으로 인한 사고나 위해를 미리 방지하는 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 전체 구조를 나타낸 평면도이다.
도 2는 도 1의 수술 로봇 시스템의 마스터 로봇을 나타낸 사시도이다.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이다.
도 4는 복강경에서 촬영된 영상이 디스플레이 부재를 통해 출력되는 화면 표시 형태를 나타내는 도면이다.
도 5는 도 4의 디스플레이 부재에 조직 및 장기 영역이 중첩되어 디스플레이되는 화면 표시 형태를 나타내는 도면이다.
도 6은 도 4의 디스플레이 부재에 사용자 선택 영역이 중첩되어 디스플레이되는 화면 표시 형태를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법을 개략적으로 나타내는 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

여기서, 본 발명은 수술용 내시경(예를 들어, 복강경, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있는 기술적 사상이지만, 본 발명의 실시예를 설명함에 있어 설명의 편의를 위해 복강경이 이용되는 경우를 예로 들어 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 전체 구조를 나타낸 평면도이고, 도 2는 도 1의 수술 로봇 시스템의 마스터 로봇을 나타낸 사시도이다.

도 1 및 도 2를 참조하면, 수술 로봇 시스템(1)은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(200)과, 상기 슬레이브 로봇(200)을 수술자가 원격 조종하도록 하는 마스터 로봇(100)을 포함한다. 마스터 로봇(100)과 슬레이브 로봇(200)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있다.

마스터 로봇(100)은 조작 레버(110) 및 디스플레이 부재(120)를 포함하고, 슬레이브 로봇(200)은 로봇 암(210) 및 복강경(220)을 포함한다.

상세히, 마스터 로봇(100)은 수술자가 양손에 각각 파지하여 조작할 수 있도록 조작 레버(110)를 구비한다. 조작 레버(110)는 도 1 및 도 2에 예시된 바와 같이 두 개 또는 그 이상의 수량의 핸들로 구현될 수 있으며, 수술자의 핸들 조작에 따른 조작 신호가 슬레이브 로봇(200)으로 유선 또는 무선 통신망을 통해 전송되어 로봇 암(210)이 제어된다. 즉, 수술자의 핸들 조작에 의해 로봇 암(210)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.

예를 들어, 수술자는 핸들 형태의 조작 레버를 이용하여 슬레이브 로봇 암(210)이나 복강경(220) 등을 조작할 수 있다. 이와 같은 조작 레버는 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 슬레이브 로봇 암(210)이나 복강경(220) 등의 동작을 조작하는 마스터 핸들과, 전체 시스템의 기능을 조작하기 위해 마스터 로봇(100)에 부가된 조이스틱, 키패드, 트랙볼, 터치스크린과 같은 각종 입력도구와 같이, 슬레이브 로봇(200)의 로봇 암(210) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 형태로 구비될 수 있다. 여기서, 조작 레버(110)는 핸들의 형상으로 제한되지 않으며, 유선 또는 무선 통신망과 같은 네트워크를 통해 로봇 암(210)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.

마스터 로봇(100)의 디스플레이 부재(120)에는 복강경(220)을 통해 촬영되는 영상이 화상 이미지로 표시된다. 또한 디스플레이 부재(120)는 터치스크린 기능을 구비하여, 복강경(220)을 통해 촬영되는 영상에서 반력 제어가 필요한 소정의 영역을 선택하는 기능을 제공할 수도 있다. 나아가, 디스플레이 부재(120)는 입체 디스플레이 장치로 구비되어, 관찰자가 3차원의 생동감과 현실감을 느낄 수 있게 할 수도 있다.

여기서, 디스플레이 부재(120)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 도 2에는 디스플레이 부재(120)가 세 개의 모니터를 포함하는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.

한편, 슬레이브 로봇(200)은 하나 이상의 로봇 암(210)을 포함할 수 있다. 일반적으로 로봇 암은 인간의 팔 및/또는 손목과 유사한 기능을 가지고 있으며 손목 부위에 소정의 도구를 부착시킬 수 있는 장치를 의미한다. 본 명세서에서 로봇 암(210)이란 상박, 하박, 손목, 팔꿈치 등의 구성 요소 및 상기 손목 부위에 결합되는 수술용 인스트루먼트 등을 모두 포괄하는 개념으로 정의할 수 있다. 이와 같은 슬레이브 로봇(200)의 로봇 암(210)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(210)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(210)의 구성이 이에 제한되지는 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 여기서, 수술자가 조작 레버(110)를 조작함에 의해 로봇 암(210)이 상응하는 방향으로 회전, 이동하는 등의 실제 제어 과정에 대한 구체적인 설명은 생략한다.

슬레이브 로봇(200)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 디스플레이 부재(120)를 통해 화상 이미지로 표시되도록 하기 위한 복강경(220)은 독립된 슬레이브 로봇(200)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.

도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이다.

도 3을 참조하면, 마스터 로봇(100)은 영상 입력부(130), 화면 표시부(140), 사용자 조작부(150), 조작신호 생성부(160), 반력 제어부(170) 및 제어부(180)를 포함한다. 슬레이브 로봇(200)은 로봇 암(210) 및 복강경(220)을 포함한다.

여기서, 본 발명의 일 실시예에 따른 수술 로봇 시스템(1)은 작업 중인 슬레이브 로봇(200)의 로봇 암(210)의 동작을 기 설정된 범위 내로 제한하기 위해, 사용자 조작부에 대해 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가함으로써, 수술 중의 안전성을 향상시키는 것을 일 특징으로 한다.

상세히, 마스터-슬레이브 구조의 수술 로봇 시스템에서, 작업 중인 슬레이브 로봇의 움직임 중 의도되지 아니한 움직임으로써 조직 및 장기 손상 등을 초래할 수 있는 오동작은 크게 두 가지 원인에 의해 발생한다. 첫 번째 원인은 제어 및 통신 등 시스템 자체 내의 오류로 인한 것이고, 두 번째 원인은 마스터 로봇을 통해 슬레이브 로봇을 조종하고 있는 수술자의 부주의한 혹은 미처 인식하지 못한 오동작이 그대로 슬레이브 로봇의 동작으로 전달됨으로 인한 것이다. 전자의 경우 시스템 자체의 안전성 강화를 위한 기술적 고려(예를 들어, 제어 시스템의 이중화, 통신오류 자동보정 체제, 전자기적 잡음에 대한 방지 대책 구현 등)에 의해 개선될 수 있을 것이다. 이에 반해, 후자의 경우는 시술자의 동작 중에 실제 시술자가 의도한 수술작업 동작과 시술자의 부주의로 인한 의도되지 않은 동작이 혼재되어 있기 때문에, 의도된 실제 수술 작업에 대한 지장을 최소화하는 가운데 오작동을 예방하기 위한 기제의 구현이 요청되었다.

이와 같이 시술자의 의도하지 않은 동작을 예방하기 위해, 가상 고정벽 (Virtual Fixture) 개념 및 원격현시(telepresence)를 위한 포스 피드백(force feedback) 개념이 제안되었다.

먼저, 가상 고정벽이란 실제 존재하지 않으나 가상적으로 제한 영역 혹은 제한 경로를 설정하고, 로봇 암의 움직임이 설정된 영역이나 경로를 벗어나지 않도록, 제한하거나 가상의 반력을 주어 움직임을 방해하는 것이다. 예를 들어, 경계면에 가상의 벽(즉, virtual fixture)을 설정하고 그 경도(stiffness)(다시 말하면, 반력에 대한 가중치)를 임의로 주어, 로봇 암이 절대로 가상의 벽을 넘을 수 없게 하거나, 또는 로봇 암이 어느 정도 벽을 밀고 들어갈 수 있게 하되 실제보다 큰 힘을 주어야만 로봇 암을 조작할 수 있게 하는 등의 방식으로 로봇 암의 제어가 가능하게 한다. 이를 제어 원리의 면에서 살펴보면, 로봇 암에 부여되는 속도 명령에 가중치를 주는 것으로, 가중치가 1 혹은 단위행렬(identity matrix) 이면 일반적 제어에서와 같이 지정된 속도 명령을 로봇이 무조건 따르게 되며, 이 가중치 행렬을 여하히 조작하면 공간상의 특정 방향으로의 움직임에 대해 임의의 제한 조건을 주는 효과가 되어 가상 고정벽 효과를 얻는 것이다.

한편, 마스터-슬레이브 구조 혹은 원격조종(teleoperation, telemanipulation) 구조의 로봇 시스템에서, 원격지의 슬레이브 로봇이 느끼는 반력을 마스터 로봇 측에서도 그대로 느끼게 해 주는 것, 혹은 보다 넓은 의미로 원격지 환경을 마스터 로봇 측에서 그대로 감각하게 해 주는 것을 총칭하여 원격현시(telepresence)라고 칭한다. 일반적으로 이와 같은 원격현시 제어에서 주된 목적은 '투명성 (transparency)'을 최대화하는 것, 즉 사용자가 원격지 느낌에 가장 가깝게 느끼게 하는 것을 목표로 한다. 수술 로봇의 경우에서는, 슬레이브 로봇이 작업 중 조직 혹은 주변 장기 등과 부딪히며 받게 되는 반력을 마스터 로봇 측에 최대한 투명하게 전달하는 것을 목표로 원격현시 기술이 구현된다.

이와 같은 원격현시 기술을 구현하기 위해 소위 포스 피드백 제어(force-feedback control)의 개념이 적용될 수 있다. 포스 피드백 제어(force-feedback control)의 기본 개념은, 슬레이브 로봇의 로봇 암의 첨부에서 센서 등으로 감지된 반력 값과 로봇 암의 첨부의 현재 위치 값을 마스터 로봇 측에 피드백하고, 마스터 로봇 측에서는 그 자체의 기구학적 구조를 감안하여 사용자가 상호작용하는 가장 말단에서 느끼게 되는 반력감이 슬레이브 로봇으로부터 피드백된 값과 최대한 유사하도록 제어하는 것이다. 일반적으로는 로컬에 로봇과 대상체가 함께 있을 때의 일반적 피드백 제어 구조를 확장하여, 로컬의 시스템과 원격지의 외부 환경이 서로 연결되어 피드백 제어구조가 되도록 하는, 소위 쌍방향 제어(bilateral control) 구조로 개념을 정의한다. 여기서, 반력 값을 측정하기 위한 센서는 슬레이브 로봇의 로봇 암의 첨부에 설치될 수도 있고, 또는 설치의 용이를 위해 로봇 암의 첨부로부터 일정 정도 이격된 위치에 설치되어 직접 또는 간접의 방법으로 반력 값을 측정할 수도 있을 것이다.

그런데, 이와 같이 시술자의 의도하지 않은 동작을 예방하기 위한 가상 고정벽 개념 및 포스 피드백 개념은 일정 부분 한계를 가진다.

상세히, 가상 고정벽 개념은 로봇의 동작 유도에 주안한 것으로, 특정 영역에의 침범 방지(보호 목적) 혹은 특정 영역으로부터의 이탈 방지(유도 목적)를 주목적으로 한다. 그러나, 로봇 수술에 있어서는 절대 침범 제한 영역 또는 이탈 방지 영역 등 고정된 제한 영역을 설정할 필요성도 있으나, 수술 작업이 이루어지고 있는 영역과 로봇 암의 동작 경로 상에서 안전한 작업을 수행하기 위해, 사용자가 수술 작업 중에 임의로 동작 제한 영역, 동작 제한 범위 또는 제한되어야 할 동작 등을 설정할 수 있도록 해야할 필요성이 존재한다.

또한, 포스 피드백 기술은 투명한 원격현시감을 목적으로 하고, 이에 수반되어야할 제어의 안정성, 수렴성 보장 등에 대한 기술을 포함하고 있다. 그러나, 수술 로봇에서는 이러한 투명한 포스 피드백은 물론, 상기한 안전 기제 목적과 관련한 다양한 실제 수술 부위의 공간 환경 정보에 기반하되, 안전 동작을 위한 가상 장치나 환경 요소가 부가된 증강현실 형태의 가상 환경과의 상호작용을 위한 반력제어를 포함하는 포스 피드백기술로 확장될 필요가 있다.

즉, 사용자에 의해 임의 설정된 공간상 제한 영역의 구현이나, 슬레이브 로봇의 로봇 암에서 검출하는 반력에 대한 투명한 피드백에서 더욱 확장시켜, 수술 작업 중의 상황과 필요에 적응적이고 효율적으로 대응할 수 있도록, 내시경 영상으로부터 3차원 공간 정보를 인식하여 이와 연동시킨 증강현실 공간과의 상호작용이라는 포괄적 개념에서의 접근이 필요하다.

이를 위해, 본 발명의 일 실시예에 따른 수술 로봇 시스템(1)은 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 것을 일 특징으로 한다. 여기서, 소정의 반력이란 로봇 암에서 감지된 실제의 반력이 아니라, 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 반력을 의미하며, 이와 같이 일정 정도 변형 또는 증강된 반력이 사용자에게 주어짐으로써, 사용자의 주의를 환기하여 수술 중 안전성을 향상시키는 것이다.

다시 도 3을 참조하여 마스터 로봇(100)의 각 구성 요소를 상세히 설명한다.

영상 입력부(130)는 슬레이브 로봇(200)의 복강경(220)에 구비된 카메라를 통해 촬영된 영상을 유선 또는 무선 통신망을 통해 수신한다.

화면 표시부(140)는 영상 입력부(130)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 또한, 화면 표시부(140)는 슬레이브 로봇(200)으로부터 피시술자의 생체 정보가 입력되는 경우, 이에 상응하는 정보를 더 출력할 수 있다. 또한, 화면 표시부(140)는 수술 부위에 대한 환자의 관련 이미지 데이터(예를 들어, 엑스-레이(X-Ray) 영상, 컴퓨터단층촬영(CT) 영상, 자기공명영상촬영(MRI) 영상 및 상기 컴퓨터단층촬영(CT) 영상 데이터에 기반하여 재구성된 3차원 영상 자료 또는 수치화된 모델 등)를 더 출력할 수도 있다. 여기서, 화면 표시부(140)는 디스플레이 부재(도 2의 120 참조) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(140)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(180), 반력 제어부(170) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.

여기서, 화면 표시부(140)(즉, 도 2의 디스플레이 부재(120))는 입체 디스플레이 장치로 구비될 수도 있다. 상세히, 입체 디스플레이 장치는 스테레오스코픽(stereoscopic) 기술을 적용하여 2차원 영상에 깊이(depth) 정보를 부가하고, 이 깊이 정보를 이용하여 관찰자가 3차원의 생동감과 현실감을 느낄 수 있게 하는 화상표시장치를 지칭한다. 여기서, 본 발명의 일 실시예에 따른 수술 로봇 시스템(1)은 화면 표시부로 입체 디스플레이 장치를 구비하여 사용자에게 보다 실제적인 가상환경을 제공할 수 있다.

사용자 조작부(150)는 슬레이브 로봇(200)의 로봇 암(210)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 사용자 조작부(150)는 도 2에 예시된 바와 같이 핸들 형상의 조작 부재(도 2의 110 참조) 형태로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 상이한 형상으로 형성될 수도 있으며, 수술도구의 조작을 용이하도록 하기 위해 수술자의 손가락을 삽입 고정할 수 있도록 하는 손가락 삽입관 또는 삽입 고리가 더 형성될 수도 있다.

또한, 사용자 조작부(150)는 반력 제어부(170) 및 이와 연결된 제어부(180)의 제어 하에, 사용자로부터 입력되는 조작에 대해 소정의 반력을 제공할 수 있다. 예를 들어, 사용자가 사용자 조작부(150)를 파지한 상태에서 사용자 조작부(150)를 일정 방향으로 밀 경우, 사용자 조작부(150)는 상기 사용자가 미는 방향의 반대 방향으로 일정한 크기의 반력을 제공할 수 있다. 결과적으로 사용자는 사용자 조작부(150)를 조작하기 위하여 평소보다 더 큰 힘을 가하여야 하며, 이를 통해 사용자의 오작동 가능성에 대한 주의를 환기시킬 수 있는 것이다.

또는 사용자 조작부(150)는 반력 제어부(170) 및 이와 연결된 제어부(180)의 제어 하에, 사용자로부터 입력되는 조작에 대한 소정의 알람(alarm) 메시지를 발산할 수도 있다. 예를 들어, 사용자가 사용자 조작부(150)를 파지한 상태에서 사용자 조작부(150)를 조작하여 로봇 암(210)이 소정의 침범 제한 영역 내로 침입하게 될 경우, 사용자 조작부(150)는 소정의 알람(alarm) 메시지를 발산할 수 있으며, 이를 통해 사용자의 오작동 가능성에 대한 주의를 환기시킬 수 있는 것이다.

조작신호 생성부(160)는 로봇 암(210) 및/또는 복강경(220)의 위치 이동 또는 수술 동작에 대한 조작을 위해 수술자가 사용자 조작부(150)를 조작하는 경우, 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(200)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.

반력 제어부(170)는 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작하거나, 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부(150)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행한다. 반력 제어부(170)의 구체적인 기능, 다양한 세부 구성 등은 이후 관련 도면을 참조하여 상세히 설명한다.

제어부(180)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(180)는 영상 입력부(130)를 통해 입력되는 영상이 화면 표시부(140)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(180)는 영상 입력부(130)에서 입력되는 영상을 반력 제어부(170)에 전달하고, 반력 제어부(170)에서 생성된 동작 구현 신호를 실행하는 역할을 수행할 수도 있다.

이하에서는 반력 제어부(170)의 구성 및 기능에 대하여 더욱 상세히 설명하도록 한다. 상술한 바와 같이, 반력 제어부(170)는 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작하거나, 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부(150)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행한다.

먼저, 반력 제어부(170)는 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작할 경우, 사용자 조작부(150)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행한다. 여기서 포스 피드백(force feedback) 기능이란, 로봇 암(210) 단부나 또는 이로부터 일정 정도 이격된 위치에 구비된 촉각센서(미도시)로부터 수신된 신호 등에 따라 조작 레버(도 2의 110 참조)와 같은 사용자 조작부(150)의 조작에 대해 반력이 가해지도록 함으로써, 의사가 손으로 시술할 때의 느낌을 재현하도록 하는 기능을 의미한다. 즉, 기구를 조작하는 측에 그 조작 결과를 힘의 정보로 되돌려 보내는 기능이나 그 기능을 이용한 시스템을 의미하며, 이와 같은 포스 피드백(force feedback) 기능을 이용하여 마치 의사가 직접 손으로 시술하는 것과 같은 느낌이 재현되도록 할 수 있다.

여기서, 기 설정된 소정의 영역은 수술 부위 전체일 수 있다. 즉, 반력 제어부(170)는 로봇 암(210)의 모든 동작에 대해서 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 제어할 수 있는 것이다. 이와 같이 기 설정된 소정의 영역이 수술 부위 전체일 경우, 사용자는 고중력 모드 또는 고마찰력 모드를 설정할 수 있다.

이중 고중력 모드란, 수술도구가 실제보다 무겁게 느껴지게 하여 수술자가 보다 주의 깊게 동작을 취하도록 하는 기능을 의미한다. 이때, 사용자 조작부에 가해지는 추가 반력은 중력 방향에 한하고, 반력의 크기는 수술도구의 중량과 자세에 따른다.

여기서, 고중력 모드에서의 중력 방향은 실제의 중력 방향(일반적으로, 디스플레이 부재(120)의 수직 하방)일 수 있다. 또는, 고중력 모드에서의 중력 방향은 디스플레이 부재(120)에 표시된 화면 상에서의 중력 방향일 수도 있다. 상세히, 실제 중력 방향과 디스플레이 부재를 통해 사용자가 인지하는 중력 방향이 서로 상이할 수도 있다. 예를 들어, 사용자가 수술 부위의 영상을 촬영하는 복강경(220)을 회전시키면, 디스플레이 부재(120)에 표시되는 화면도 회전할 것이며, 따라서 실제의 중력 방향과 디스플레이 부재(120) 상에 표시되는 화면 상에서의 중력 방향이 서로 달라질 수 있다. 이 경우, 디스플레이 부재(120)에 소정의 중력 방향 표시 마크를 표시해두고, 디스플레이 부재(120)에 표시되는 화면이 회전함에 따라 중력 방향 표시 마크 함께 회전하도록 하며, 이 중력 방향 표시 마크 방향으로 추가 반력이 주어지도록 사용자 조작부(150)를 제어할 수도 있다. 또한, 사용자가 고중력 모드에서의 추가 반력의 방향을 실제의 중력 방향이 아닌 다른 방향(예를 들면, 중력의 반대 방향)으로 임의로 설정하고자 할 수도 있을 것이다. 따라서, 본 명세서에서 고중력 모드에서의 중력 방향은 실제의 중력 방향과, 디스플레이 부재(120)에 표시된 화면 상에서의 중력 방향과, 사용자가 임의로 설정한 가상의 중력 방향을 모두 포함하는 것으로 정의할 수 있을 것이다.

한편, 고마찰력 모드란, 마치 얕은 수중 공간에 있거나 부드러운 진흙 속에 있는 물체를 다루는 듯한 느낌을 주는 기능을 의미한다. 즉, 수술자가 보다 힘을 많이 들여 주의 깊게 동작을 수행하도록 하는 모드이며, 사용자 조작부에 가해지는 추가 반력은 동작의 진행 방향에 대해 3차원 상에서의 반력이 되며, 이때 반력의 크기는 임의의 비례 인자 또는 임의의 함수로 지정할 수 있다. 여기서 마찰력은 속도에 비례하는 관성력과는 구별되어야하는 개념으로, 감속은 쉽게 하고 가속만 어렵게 하여, 정지동작은 민첩하나 적극적 조작을 가하기 위한 가속운동만 제한을 가하는 개념이다. 다시 말하면, 고마찰력 모드란 로봇 암(210)의 가속 동작에는 사용자 조작부(150)에 가해지는 반력을 기준값 보다 크게 부여하고, 로봇 암(210)의 감속 동작에는 사용자 조작부(150)에 가해지는 반력을 기준값과 같거나 기준값 보다 작게 부여하는 기능을 의미한다.

한편, 기 설정된 소정의 영역은 마스터 로봇에서 자동으로 인식하거나 또는 사용자에 의해 지정된 특정 영역일 수 있다.

먼저, 제어부(180)는 복강경(220)으로부터 촬영된 수술 부위의 영상으로부터 자동으로 각종 조직 및 장기의 위치와 경계를 산출함으로써, 작동영역이 자동으로 지정되도록 할 수도 있다.

다시 말하면, 복강경에서 촬영된 영상이 디스플레이 부재를 통해 출력되는 화면 표시 형태를 나타내는 도면인 도 5에 도시된 바와 같이, 슬레이브 로봇(200)의 복강경(220)에 구비된 카메라를 통해 촬영된 영상은 마스터 로봇(100)의 영상 입력부(130)를 통해 디스플레이 부재(120)에 출력된다. 이때, 도 6에 굵은 실선(HL)으로 표시된 바와 같이, 마스터 로봇(100)의 제어부(180)는 상기 영상을 이미지 프로세싱하여 자동으로 각종 조직 및 장기의 위치와 경계를 산출하여, 이를 디스플레이 부재(120)에 디스플레이할 수 있다.

이때, 제어부(180)는 산출된 모든 조직 및 장기 영역에 대해 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다.

또는 제어부(180)는 도 6과 같이 디스플레이 부재 상에 산출된 모든 조직 및 장기 영역이 표시된 상태에서, 사용자가 상기 디스플레이 부재 상에 표시된 조직 및 장기 영역 중 실제보다 큰 반력을 가하고 싶은 조직 및 장기만을 터치 등의 방법으로 선택하여, 상기 선택된 조직 및 장기 영역에 대해서만 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다.

또는 도 7에 도시된 바와 같이, 디스플레이 부재 상에 사용자가 임의로 구, 입방체, 실린더와 같은 3차원 입체 도형 모양(DL)을 그려서, 상기 그려진 도형 내부의 영역에 대해서만 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다.

한편, 마스터 로봇에서 자동으로 인식하거나 또는 사용자에 의해 지정된 소정의 영역에 대하여 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 제어할 경우, 사용자는 고중력 모드, 고마찰력 모드 또는 배수 강화 모드를 설정할 수 있다. 여기서, 고중력 모드 및 고마찰력 모드는 상기에서 설명한 바와 동일한 모드이다.

그리고, 배수 강화 모드란 슬레이브 로봇에서 측정 혹은 추정된 반력을 일정 배수로 증가시킨 값을 마스터 로봇에 피드백시키는 모드이다. 즉, 작업이 없는 공간을 이동할 때에는 동작에 제한이 없고(즉, 사용자 조작부에 추가적인 반력을 가하지 않고), 상대 물체와 상호 작용이 있는 경우(예를 들어, 로봇 암이 특정 조직 또는 장기 등에 접촉하였을 경우)에만 실제보다 조작에 힘을 많이 요하게 하여, 수술자의 주의를 환기시키는 모드이다. 나아가, 이와 같은 배수 강화 모드에서도 특정 영역 혹은 특정 조직 부위나 장기에 대해 반력의 가중치를 다르게 지정하여, 주의 깊은 조작을 요하는 영역 또는 부위에 대해서만 효과를 강조하도록 할 수도 있다.

한편, 반력 제어부(170)는 로봇 암(210)이 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부(150)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행한다. 이를 동작 제한 모드라 정의한다.

상세히, 동작 제한 모드는 로봇 암(210)의 동작의 경로에 따라 로봇 암(210)의 동작을 제한하는 모드이다. 상술한 바와 같이 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작할 경우에는, 로봇 암(210)이 작업하는 공간을 기준으로 반력을 계산해 내는 것이나, 이 모드에서는 로봇 암(210)의 동작 자체의 경로로부터 추출한 정보에 기반하여 로봇 암(210)에 제한 반력을 가하는 것이다. 즉, 제어부(180)는 사용자의 조종에 따라 움직이고 있는 로봇 암(210)의 첨부의 위치 및 속도의 최근 일정시간(대략 수십 밀리 초에서 수 초 정도 사이) 동안의 경로(trajectory), 다시 말하면 로봇 암(210)의 첨부의 변화 과정 추이를 관찰한다. 그리고, 이로부터 현재 주된 작업이 이루어지고 있는 영역을 파악한 후, 이 작업 영역으로부터 멀어질 때는 그 멀어지는 정도에 따라 임의의 배가된 반력을 주거나, 또는 동작이 급하게 가속될 때는 임의로 가속을 제한하는 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다. 이와 같은 본 발명에 의해서, 수술자가 디스플레이 부재(120) 상에 표시되는 영역에 집중하고, 속도 면에서 급가감속이 없는, 효율적이고 안정된 작업 동작을 취하도록 유도해 주는 것이다.

이와 같은 본 발명에 의해서, 수술자의 수술 작업에 대한 방해를 최소화하면서도, 수술 중 수술자의 의도하지 않은 오동작으로 인한 사고나 위해를 미리 방지하는 효과를 얻을 수 있다. 나아가, 본 발명의 동작 제한 모드를 사용하여, 수술자의 수술 동작을 보다 효율적인 형태로 개선하는 훈련의 효과를 얻을 수도 있을 것이다.

이하에서는 관련 도면을 참조하여, 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법에 대해 설명한다. 도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법을 개략적으로 나타내는 흐름도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 수술 로봇 시스템의 제어 방법은 슬레이브 로봇(200)의 복강경(220)을 통해 촬영되는 영상이 마스터 로봇(100)의 디스플레이 부재(120) 상에 디스플레이되는 단계(S110 단계), 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작하거나, 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 로봇 암이 기 설정된 소정의 동작을 수행하는지 여부를 판단하는 단계(S120 단계) 및 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작하거나 또는 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부(110)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 단계(S130 단계)를 포함한다.

먼저, 슬레이브 로봇(200)의 복강경(220)을 통해 촬영되는 영상이 마스터 로봇(100)의 디스플레이 부재(120) 상에 디스플레이(S110 단계)된다. 이와 같이 복강경(220)에서 촬영된 영상이 디스플레이 부재(120)를 통해 출력되는 화면 표시 형태가 도 4에 도시되어 있다.

다음으로, 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작하거나, 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 로봇 암이 기 설정된 소정의 동작을 수행하는지 여부를 판단(S120 단계)한다. 상기 판단 결과, 로봇 암(210)이 기 설정된 소정의 영역 내에서 동작하거나, 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부(110)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행(S130 단계)한다.

여기서, 기 설정된 소정의 영역은 수술 부위 전체일 수도 있고, 또는 기 설정된 소정의 영역은 마스터 로봇에서 자동으로 인식하거나 또는 사용자에 의해 지정된 특정 영역일 수도 있다.

기 설정된 소정의 영역은 수술 부위 전체일 경우, 반력 제어부(170)는 로봇 암(210)의 모든 동작에 대해서 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 제어할 수 있는 것이다. 이와 같이 기 설정된 소정의 영역이 수술 부위 전체일 경우, 사용자는 고중력 모드 또는 고마찰력 모드를 설정할 수 있다. 여기서, 고중력 모드 및 고마찰력 모드는 위에서 상세히 설명하였으므로, 여기서는 그 상세한 설명은 생략하도록 한다.

한편, 기 설정된 소정의 영역은 마스터 로봇에서 자동으로 인식하거나 또는 사용자에 의해 지정된 특정 영역일 경우, 반력 제어부(170)는 로봇 암(210)이 상기 특정 영역 내에서 수행하는 동작에 대해서만 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 제어할 수 있는 것이다. 이와 같이 기 설정된 소정의 영역이 마스터 로봇에서 자동으로 인식하거나 또는 사용자에 의해 지정된 특정 영역일 경우, 사용자는 고중력 모드, 고마찰력 모드 또는 배수 강화 모드를 설정할 수 있다. 여기서, 고중력 모드, 고마찰력 모드 및 배수 강화 모드는 위에서 상세히 설명하였으므로, 여기서는 그 상세한 설명은 생략하도록 한다.

이때, 제어부(180)는 복강경(220)으로부터 촬영된 수술 부위의 영상으로부터 자동으로 각종 조직 및 장기의 위치와 경계를 산출하고, 산출된 모든 조직 및 장기 영역에 대해 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다. 또는 디스플레이 부재 상에 산출된 모든 조직 및 장기 영역이 표시된 상태에서, 사용자가 상기 디스플레이 부재 상에 표시된 조직 및 장기 영역 중 실제보다 큰 반력을 가하고 싶은 조직 및 장기만을 터치 등의 방법으로 선택하여, 상기 선택된 조직 및 장기 영역에 대해서만 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다. 또는 디스플레이 부재 상에 사용자가 임의로 구, 입방체, 실린더와 같은 3차원 입체 도형 모양을 그려서, 상기 그려진 도형 내부의 영역에 대해서만 사용자 조작부(150)의 조작에 소정의 반력을 가하도록 반력 제어부(170)를 제어할 수도 있다.

한편, 반력 제어부(170)는 로봇 암(210)이 기 설정된 소정의 동작을 수행할 경우, 사용자 조작부(150)의 조작에 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행할 수도 있다. 이를 동작 제한 모드라 정의하며, 이와 같은 동작 제한 모드는 위에서 상세히 설명하였으므로, 여기서는 그 상세한 설명은 생략하도록 한다.

마지막으로, 사용자 조작부(110)로부터 종료 신호가 수신되었는지 여부를 판단(S140 단계)하여, 사용자 조작부(110)로부터 종료 신호가 수신되지 않았을 경우에는 상기 S110 ~ S130 단계를 다시 수행한다.

본 명세서에서는 본 발명을 한정된 실시예를 중심으로 설명하였으나, 본 발명의 범위 내에서 다양한 실시예가 가능하다. 또한 설명되지는 않았으나, 균등한 수단도 또한 본 발명에 그대로 결합되는 것이라 할 것이다. 따라서 본 발명의 진정한 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

1: 수술 로봇 시스템 100: 마스터 로봇
110: 조작 레버 120: 디스플레이 부재
200: 슬레이브 로봇 210: 로봇 암
220: 복강경

Claims

다자유도를 가지며 구동하는 로봇 암을 포함하는 슬레이브 로봇과,
상기 로봇 암을 조작하기 위한 제어 신호를 생성하는 사용자 조작부; 및
상기 사용자 조작부의 조작에 대해, 상기 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 반력 제어부;를 포함하는 마스터 로봇을 포함하는 수술 로봇 시스템.
제 1 항에 있어서,
상기 반력 제어부는, 상기 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 상기 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 상기 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 상기 사용자 조작부의 조작에 대해 상기 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 것을 특징으로 하는 수술 로봇 시스템.
제 2 항에 있어서,
상기 소정의 영역은 시술중인 수술 부위 전체인 것을 특징으로 하는 수술 로봇 시스템.
제 3 항에 있어서,
상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 실제의 중력 방향, 수술 부위의 영상을 디스플레이하는 디스플레이 부재에 표시된 화면 상에서의 중력 방향, 또는 임의 설정된 가상의 중력 방향으로의 추가 반력을 가하는 고중력 모드를 수행하는 것을 특징으로 하는 수술 로봇 시스템.
제 3 항에 있어서,
상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 상기 로봇 암의 진행 방향의 반대 방향으로의 추가 반력을 가하는 고마찰력 모드를 수행하는 것을 특징으로 하는 수술 로봇 시스템.
제 3 항에 있어서,
상기 반력 제어부는, 상기 로봇 암의 가속 동작에는 상기 사용자 조작부에 가해지는 반력을 소정의 기준값 보다 크게 부여하고, 상기 로봇 암의 감속 동작에는 상기 사용자 조작부에 가해지는 반력을 소정의 기준값과 같거나 기준값 보다 작게 부여하는 고마찰력 모드를 수행하는 것을 특징으로 하는 수술 로봇 시스템.
제 2 항에 있어서,
상기 슬레이브 로봇은 수술 부위를 조영하는 수술용 내시경을 더 포함하는 것을 특징으로 하는 수술 로봇 시스템.
제 7 항에 있어서,
상기 소정의 영역은 상기 수술용 내시경으로부터 촬영된 수술 부위의 영상으로부터 산출된 조직 및 장기가 위치하는 하나 이상의 영역 중 적어도 일부를 포함하는 것을 특징으로 하는 수술 로봇 시스템.
제 7 항에 있어서,
상기 마스터 로봇은 상기 수술용 내시경을 통해 촬영되는 영상을 디스플레이하는 디스플레이 부재를 더 포함하고,
상기 소정의 영역은 상기 디스플레이 부재 상에서 사용자 입력에 의해 선택된 임의의 영역인 것을 특징으로 하는 수술 로봇 시스템.
제 8 항 또는 제 9 항 중 어느 한 항에 있어서,
상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 실제의 중력 방향, 수술 부위의 영상을 디스플레이하는 디스플레이 부재에 표시된 화면 상에서의 중력 방향, 또는 임의 설정된 가상의 중력 방향으로의 추가 반력을 가하는 고중력 모드를 수행하는 것을 특징으로 하는 수술 로봇 시스템.
제 8 항 또는 제 9 항 중 어느 한 항에 있어서,
상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 상기 로봇 암의 진행 방향의 반대 방향으로의 추가 반력을 가하는 고마찰력 모드를 수행하는 것을 특징으로 하는 수술 로봇 시스템.
제 8 항 또는 제 9 항 중 어느 한 항에 있어서,
상기 반력 제어부는, 상기 산출 또는 선택된 소정의 영역 내에서 상기 로봇 암이 동작하거나, 상기 선택된 소정의 영역에 대해 상기 로봇 암이 인입, 인출 또는 접근할 때, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템.
제 8 항 또는 제 9 항 중 어느 한 항에 있어서,
상기 반력 제어부는, 상기 영역이 다수 개의 영역들을 포함할 경우, 상기 사용자 조작부의 조작에 대해 상기 다수 개의 영역별로 서로 상이한 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템.
제 2 항에 있어서,
상기 반력 제어부는, 상기 로봇 암의 첨부의 위치 및 속도의 일정시간 동안의 경로(trajectory)로부터 추출된 상기 로봇 암의 작업 영역으로부터 상기 로봇 암이 일정 간격 이상 이격되면, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템.
제 2 항에 있어서,
상기 반력 제어부는, 상기 로봇 암의 가속도가 소정의 기준 값 이상일 경우, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템.
제 9 항에 있어서,
상기 디스플레이 부재는 입체 디스플레이 장치를 포함하는 것을 특징으로 하는 수술 로봇 시스템.
마스터 로봇 및 슬레이브 로봇을 포함하는 수술 로봇 시스템의 제어 방법에 있어서,
상기 슬레이브 로봇의 수술용 내시경을 통해 촬영되는 영상이 상기 마스터 로봇의 디스플레이 부재 상에 디스플레이되는 단계;
상기 슬레이브 로봇의 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 상기 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 상기 로봇 암이 기 설정된 소정의 동작을 수행하는지 여부를 판단하는 단계; 및
상기 로봇 암이 기 설정된 소정의 영역 내에서 동작하거나, 상기 로봇 암이 기 설정된 소정의 영역에 대해 인입, 인출 또는 접근하거나, 또는 상기 로봇 암이 기 설정된 소정의 동작을 수행할 경우, 상기 사용자 조작부의 조작에 대해, 상기 로봇 암에서 감지된 반력을 일정 정도 변형 또는 증강시킨 소정의 반력을 가하는 포스 피드백(force feedback) 기능을 수행하는 단계;를 포함하는 수술 로봇 시스템의 제어 방법.
제 17 항에 있어서,
상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는,
상기 사용자 조작부의 조작에 대해 실제의 중력 방향, 수술 부위의 영상을 디스플레이하는 디스플레이 부재에 표시된 화면 상에서의 중력 방향, 또는 임의 설정된 가상의 중력 방향으로의 추가 반력을 가하는 고중력 모드인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 17 항에 있어서,
상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는,
상기 반력 제어부는 상기 사용자 조작부의 조작에 대해 상기 로봇 암의 진행 방향의 반대 방향으로의 추가 반력을 가하는 고마찰력 모드인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 17 항에 있어서,
상기 소정의 영역은 상기 수술용 내시경으로부터 촬영된 수술 부위의 영상으로부터 산출된 조직 및 장기가 위치하는 하나 이상의 영역 중 적어도 일부를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 17 항에 있어서,
상기 소정의 영역은 상기 디스플레이 부재 상에서 사용자 입력에 의해 선택된 하나 이상의 임의의 영역인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 20 항 또는 제 21 항 중 어느 한 항에 있어서,
상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는,
상기 산출 또는 선택된 소정의 영역 내에서 상기 로봇 암이 동작하거나, 상기 선택된 소정의 영역에 대해 상기 로봇 암이 인입, 인출 또는 접근할 때, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 20 항 또는 제 21 항 중 어느 한 항에 있어서,
상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는,
상기 영역이 다수 개의 영역들을 포함할 경우, 상기 사용자 조작부의 조작에 대해 상기 다수 개의 영역별로 서로 상이한 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 17 항에 있어서,
상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는,
상기 로봇 암의 첨부의 위치 및 속도의 일정시간 동안의 경로(trajectory)로부터 추출된 상기 로봇 암의 작업 영역으로부터 상기 로봇 암이 일정 간격 이상 이격되면, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 17 항에 있어서,
상기 사용자 조작부의 조작에 대해 소정의 반력을 가하는 단계는,
상기 로봇 암의 가속도가 소정의 기준 값 이상일 경우, 상기 사용자 조작부의 조작에 대해 소정의 추가 반력을 가하도록 제어하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제 17 항 내지 제 25 항 중 어느 하나에 기재된 수술 로봇 시스템의 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.