KR101598774B1

KR101598774B1 - 수술용 영상 처리 장치 및 그 방법

Info

Publication number: KR101598774B1
Application number: KR1020090094124A
Authority: KR
Inventors: 최승욱; 이민규; 원종석
Original assignee: (주)미래컴퍼니
Priority date: 2009-10-01
Filing date: 2009-10-01
Publication date: 2016-03-02
Also published as: KR20110036453A

Abstract

수술용 영상 처리 장치 및 그 방법이 개시된다. 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 영상 입력부와, 상기 수술용 내시경이 촬영하는 수술 대상을 수술하는 수술 도구에 관한 모델링 영상을 저장하는 영상 저장부와, 상기 내시경 영상과 상기 모델링 영상을 서로 정합하여 출력 영상을 생성하는 영상 정합부와, 상기 내시경 영상과 상기 모델링 영상을 포함하는 출력 영상을 출력하는 화면 표시부를 포함하는 수술용 영상 처리 장치는 수술시 실제 영상과 모델링 영상을 같이 제공함으로써 원활한 수술을 가능하도록 한다.

수술, 복강경, 영상 처리, 모델링.

Description

수술용 영상 처리 장치 및 그 방법{Apparatus and Method for processing surgical image}

본 발명은 의료 기기에 관한 것으로, 특히 수술용 영상 처리 장치 및 그 방법에 관한 것이다.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보는 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.

수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다. 마스터 로봇과 슬레이브 로봇은 통신망을 통해 결합되어 네트워크 통신을 하게 된다.

현재 복강경 수술 시 복강경에 의해 촬영된 수술 영상이 수술자에게 출력되어 수술자가 이를 보며 수술하고 있으나 직접 개복하여 수행하는 수술보다는 실제감이 다소 떨어지는 문제점이 있다. 또한, 복강경에 의해 촬영된 수술 영상은 수술 도구의 일부 형상만을 포함하고 있으므로, 수술자는 이들이 서로 충돌하거나 중첩되는 경우 조작이 어렵거나 시야가 가려서 원활히 수술을 진행하지 못하는 경우가 발생할 수 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은 수술시 실제 영상과 모델링 영상을 같이 제공함으로써 원활한 수술을 가능하게 하는 수술용 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.

또한, 본 발명은 수술자가 수술 부위만 보면서 수술하던 종래 방식에서 벗어나서 수술 부위뿐만 아니라 인접 부위 및 환자의 외부 환경에 대한 영상을 참조하여 수술할 수 있도록 하는 수술용 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.

또한, 본 발명은 수술 도구들의 충돌을 미리 감지하여 경고할 수 있으므로, 수술자는 미리 충돌 상태를 인지하고 이를 회피함으로써 수술을 원활히 수행할 수 있는 수술용 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.

또한, 본 발명은 모니터에 표시될 영상의 종류를 수술자가 편의대로 선택할 수 있는 인터페이스를 구현함으로써 수술자가 수술 영상을 보다 편리하게 이용할 수 있는 수술용 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 영상 입력부와, 수술용 내시경이 촬영하는 수술 대상을 수술하는 수술 도구에 관한 모델링 영상을 저장하는 영상 저장부와, 내시경 영상과 모델링 영상을 서로 정합하여 출력 영상을 생성하는 영상 정합부와, 내시경 영상과 모델링 영상을 포함하는 출력 영상을 출력하는 화면 표시부를 포함하는 수술용 영상 처리 장치가 제공된다.

여기서, 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상이 될 수 있다.

또한, 영상 정합부는 내시경 영상에 포함되는 실제 수술 도구 영상과 모델링 영상에 포함되는 모델링 수술 도구 영상을 서로 정합하여 출력 영상을 생성할 수 있다.

여기서, 영상 정합부는, 내시경 영상 및 하나 이상의 로봇 암에 결합된 실제 수술 도구의 위치 좌표정보 중 하나 이상을 이용하여 특성값을 연산하는 특성값 연산부와, 특성값 연산부에서 연산된 특성값에 상응하는 모델링 영상을 구현하는 모델링 영상 구현부를 더 포함할 수 있다.

또한, 본 실시예는 모델링 수술 도구 영상으로부터 모델링 수술 도구 영상과 실제 수술 도구 영상의 중첩 영역을 제거하는 중첩 영상 처리부를 더 포함할 수 있다.

여기서, 모델링 영상에 출력되는 모델링 수술 도구 영상의 위치는 수술 도구 의 조작정보를 이용하여 설정될 수 있으며, 화면 표시부는, 내시경 영상을 출력 영상의 임의의 영역에 출력하며, 모델링 영상을 출력 영상의 주변 영역에 출력할 수 있다.

또한, 모델링 영상은 수술 개시 시점 전 특정 시점에 촬영한 수술 도구에 관한 영상이 될 수 있으며, 본 실시예는 수술시 수술 대상 외부를 촬영하여 카메라 영상을 생성하는 카메라를 더 포함할 수 있다.

여기서, 영상 정합부는 내시경 영상, 모델링 영상, 카메라 영상 및 이들의 조합 영상을 서로 정합하여 출력 영상을 생성할 수 있으며, 내시경 영상, 모델링 영상 및 카메라 영상 중 어느 하나 이상은 3D 영상이 될 수 있다.

또한, 본 실시예는 내시경 영상, 모델링 영상 및 카메라 영상 중 어느 둘 이상의 조합을 선택하는 모드 선택부를 더 포함할 수 있고, 모델링 영상에 포함되는 모델링 수술 도구 영상이 서로 충돌하는지 감지하는 충돌 감지부를 더 포함할 수 있으며, 이 경우 충돌 감지부가 모델링 수술 도구 영상의 상호 충돌을 감지하여 충돌 감지 신호를 생성하는 경우 경고 정보를 출력하는 경고 정보 출력부를 더 포함할 수 있다.

또한, 충돌 감지부는 모델링 수술 도구 영상의 상호 충돌을 감지하는 경우 포스 피드백(force feedback) 처리 및 수술 도구가 장착되는 로봇 암을 제어하는 암 조작부의 조작 제한 중 어느 하나 이상의 처리를 수행할 수 있다.

또한, 수술용 영상 처리 장치는, 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)에 포함될 수 있고, 모델링 영상은 수술 대상에 대한 CT, MR, PET, SPECT, US 중 어느 하나 이상의 영상 장비로부터 획득한 영상을 모델링한 영상을 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 수술용 영상 처리 장치가 수술 시 영상을 처리하는 방법에 있어서, 수술 대상을 수술하는 수술 도구에 관해 모델링 영상을 생성하여 저장하는 단계, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 단계, 내시경 영상과 모델링 영상을 서로 정합하여 출력 영상을 생성하는 단계 및 내시경 영상과 모델링 영상을 포함하는 출력 영상을 출력하는 단계를 포함하는 수술용 영상 처리 방법이 제공된다.

여기서, 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상이 될 수 있으며, 출력 영상 생성 단계는, 내시경 영상에 포함되는 실제 수술 도구 영상과 모델링 영상에 포함되는 모델링 수술 도구 영상을 서로 정합하여 출력 영상을 생성할 수 있다.

또한, 출력 영상 생성 단계는, 내시경 영상 및 하나 이상의 로봇 암에 결합된 실제 수술 도구의 위치 좌표정보 중 하나 이상을 이용하여 특성값을 연산하는 단계, 특성값 연산부에서 연산된 특성값에 상응하는 모델링 영상을 구현하는 단계를 더 포함할 수 있다.

여기서, 출력 영상 생성 단계는, 모델링 수술 도구 영상으로부터 모델링 수술 도구 영상과 실제 수술 도구 영상의 중첩 영역을 제거하는 단계를 더 포함할 수 있으며, 또한, 출력 영상 생성 단계는, 수술 도구의 조작정보를 이용하여 모델링 영상에 출력되는 모델링 수술 도구 영상의 위치를 설정할 수 있다.

여기서, 출력 영상 출력 단계는, 내시경 영상을 출력 영상의 임의의 영역에 출력하며, 모델링 영상을 출력 영상의 주변 영역에 출력할 수 있다.

또한, 모델링 영상 생성 및 저장 단계는, 수술 개시 시점 전 특정 시점에 촬영한 수술 도구에 관한 영상으로부터 모델링 영상을 생성할 수 있다.

또한, 본 실시예는 수술시 카메라가 수술 대상 외부를 촬영하여 카메라 영상을 생성하는 단계를 더 포함할 수 있으며, 이 경우 출력 영상 생성 단계는, 내시경 영상, 모델링 영상, 카메라 영상 및 이들의 조합 영상을 서로 정합하여 출력 영상을 생성할 수 있다.

여기서, 내시경 영상, 모델링 영상 및 카메라 영상 중 어느 하나 이상은 3D 영상이 될 수 있다.

또한, 본 실시예는 내시경 영상, 모델링 영상 및 카메라 영상 중 어느 둘 이상의 조합을 선택하는 단계를 더 포함할 수 있으며, 모델링 영상에 포함되는 모델링 수술 도구 영상이 서로 충돌하는지 감지하는 단계를 더 포함할 수 있고, 이 경우 충돌 감지 단계는, 모델링 수술 도구 영상의 상호 충돌을 감지하여 충돌 감지 신호를 생성하는 경우 경고 정보를 출력하는 단계를 더 포함할 수 있다.

또한, 충돌 감지 단계는, 모델링 수술 도구 영상의 상호 충돌을 감지하는 경우 포스 피드백(force feedback) 처리 및 수술 도구가 장착되는 로봇 암을 제어하는 암 조작부의 조작 제한 중 어느 하나 이상의 처리를 수행하는 단계를 더 포함할 수 있다.

또한, 모델링 영상 생성 및 저장 단계는, 수술 대상에 대한 CT, MR, PET, SPECT, US 중 어느 하나 이상의 영상 장비로부터 획득한 영상을 모델링하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 상술한 수술용 영상 처리 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체가 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 따른 수술용 영상 처리 장치 및 그 방법은 수술시 실제 영상과 모델링 영상을 같이 제공함으로써 원활한 수술을 가능하게 하는 효과가 있다.

또한, 본 발명에 따른 수술용 영상 처리 장치 및 그 방법은 수술자가 수술 부위만 보면서 수술하던 종래 방식에서 벗어나서 수술 부위뿐만 아니라 인접 부위 및 환자의 외부 환경에 대한 영상을 참조하여 수술할 수 있도록 하는 효과가 있다.

또한, 본 발명에 따른 수술용 영상 처리 장치 및 그 방법은 수술 도구들의 충돌을 미리 감지하여 경고할 수 있으므로, 수술자는 미리 충돌 상태를 인지하고 이를 회피함으로써 수술을 원활히 수행할 수 있는 효과가 있다.

또한, 본 발명에 따른 수술용 영상 처리 장치 및 그 방법은 모니터에 표시될 영상의 종류를 수술자가 편의대로 선택할 수 있는 인터페이스를 구현함으로써 수술 자가 수술 영상을 보다 편리하게 이용할 수 있는 효과가 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.

본 실시예는 수술시 내시경을 이용하여 실제 촬영한 내시경 영상과 미리 수술 도구에 대해 생성하여 저장한 모델링 영상을 각각 또는 서로 정합하거나 그 크기를 조절하는 등 영상을 수정하여 수술자가 관찰가능한 모니터에 출력할 수 있는 특징이 있다. 또한, 본 실시예는 수술대에 누워있는 수술 대상(환자)을 카메라로 촬영하여 생성한 카메라 영상을 내시경 영상 및/또는 모델링 영상과 조합하여 출력함으로써 수술자가 수술 부위만 보면서 수술하던 종래 방식에서 벗어나서 수술 부위뿐만 아니라 인접 부위 및 환자의 외부 환경에 대한 영상을 참조하여 수술할 수 있도록 하는 특징이 있다.

본 실시예에 따른 내시경은 복강경뿐만 아니라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등과 같이 수술시 촬영 도구로 사용되는 다양한 종류의 도구가 될 수 있다. 또한, 본 실시예에 따른 수술용 영상 처리 장치 는 반드시 도시된 바와 같은 수술용 로봇 시스템에 한정되어 구현되지 않으며, 수술시 내시경 영상을 출력하며 수술 도구를 이용하여 수술하는 시스템이라면 적용가능하다. 이하에서는 수술용 로봇 시스템에 본 실시예에 따른 수술용 영상 처리 장치가 적용된 경우를 중심으로 설명한다.

도 1 및 도 2를 참조하면, 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함하여 구성된다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.

마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 인스트루먼트(5)를 포함한다. 인스트루먼트(5)는 복강경 등과 같은 내시경, 환부에 직접 조작을 가하는 수술용 인스트루먼트 등과 같은 수술 도구이다. 마스터 인터페이스(4)는 후술할 바와 같은 영상 선택을 위한 버튼을 더 포함할 수 있다. 영상 선택 버튼은 클러치 버튼 또는 페달(도시되지 않음) 등의 형태로 구현될 수 있으며, 영상 선택 버튼의 구현 형태는 이에 제한되지 않으며 예를 들어 모니터부(6)를 통해 표시되는 기능메뉴 또는 모드선택 메뉴 등으로 구현될 수도 있다.

마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 도 1 및 2에 예시된 바와 같이 두 개 의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3) 및/또는 인스트루먼트(5)의 위치 이동, 회전, 절단 작업 등이 수행될 수 있다.

예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)로 구성될 수 있다. 하나의 핸들만으로 슬레이브 로봇 암(3)이나 인스트루먼트(5) 등을 조작할 수도 있고, 서브 핸들을 추가하여 동시에 복수의 수술 장비를 실시간으로 조작할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.

마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한없이 적용될 수 있다.

마스터 인터페이스(4)의 모니터부(6)에는 인스트루먼트(5)에 의해 입력되는 내시경 영상, 카메라 영상 및 모델링 영상이 화상 이미지로 표시된다. 또한, 모니터부(6)에 표시되는 정보는 선택된 영상의 종류에 의해 다양할 수 있을 것이다.

모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 세 개의 모니터를 포함하는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.

슬레이브 로봇(2)과 마스터 로봇(1)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작신호, 인스트루먼트(5)를 통해 입력된 내시경 영상 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 인스트루먼트(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.

슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술 도구, 수술 도구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술 도구를 회전시키는 피치 구동부, 수술 도구를 길이 방향으로 이동시키는 이송 구동부와, 수술 도구를 회전시키는 회전 구동부, 수술 도구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술 도 구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 모니터부(6)를 통해 화상 이미지로 표시되도록 하기 위한 인스트루먼트(5)는 독립된 슬레이브 로봇(2)으로 구현될 수도 있으며, 마스터 로봇(1)도 슬레이브 로봇(2)과 일체화되어 구현될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 수술용 로봇의 구성을 개략적으로 나타낸 블록 구성도이다. 도 3을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 영상 정합부(350), 영상 저장부(360), 제어부(370)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 복강경(8)을 포함하는 슬레이브 로봇(2)이 도시된다.

본 실시예에 따른 수술용 영상 처리 장치는 영상 입력부(310), 화면 표시부(320), 영상 정합부(350), 영상 저장부(360)를 포함하는 모듈로 구현될 수 있으며, 물론, 이러한 모듈은 조작신호 생성부(340), 영상 정합부(350), 제어부(370)를 포함할 수도 있다.

영상 입력부(310)는 슬레이브 로봇(2)의 복강경(8)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다. 복강경(8)도 본 실시예에 따른 수술 도구의 한 종류가 될 수 있으며, 그 개수는 하나 이상이 될 수 있다.

화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 화면 표시부(320)는 내시경 영상을 크기 그대로 또는 줌인(Zoom In)/줌아웃(Zoom Out)하여 출력하거나 또는 내시경 영상과 모델링 영상을 서로 정합하거나 각각 별도의 영상으로 출력할 수 있다.

또한, 화면 표시부(320)는 내시경 영상과 전체 수술 상황을 비추는 영상, 예를 들면, 후술할 바와 같이 수술 대상의 외부를 카메라가 촬영하여 생성하는 카메라 영상을 동시 및/또는 서로 정합하여 출력하여 수술시 상황 파악을 용이하게 할 수도 있다. 또한, 화면 표시부(320)는 출력 영상의 일부분 또는 별도의 화면에 생성된 창(window)에 전체 영상(내시경 영상, 모델링 영상 및 카메라 영상 등)에 대한 축소된 영상을 출력하고, 수술자가 상술한 마스터 조종기를 이용하여 출력된 축소된 영상 중 특정 지점을 선택하거나 회전시키는 경우 출력 영상 전체가 이동 또는 회전하는 기능, 이른바, 캐드 프로그램의 조감뷰(bird's eye view) 기능을 수행할 수도 있다. 상술한 바와 같은 화면 표시부(320)에 출력되는 영상의 줌인/줌아웃, 이동, 회전 등과 같은 기능은 마스터 조종기의 조작에 상응하여 제어부(370)에서 제어할 수 있다.

화면 표시부(320)는 모니터부(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(320)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(360), 영상 정합부(350) 또는 별도의 영상 처리부(도시되지 않음)에 의해 수행될 수 있다. 또한, 이와 달리 화면 표시부(320)는 모니터부(6)에 영상 을 출력하기 위한 단자가 될 수도 있으며, 이 경우 본 실시예는 모니터부(6)와 같이 디스플레이를 포함하지 않으며, 화면 표시부(320)는 모니터부(6)에 영상 신호를 전달하는 소정의 수단(하드웨어 또는 소프트웨어)이 될 수 있다.

암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들(10)의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 다른 형상으로 형성될 수도 있으며, 수술 도구의 조작을 용이하도록 하기 위해 수술자의 손가락을 삽입 고정할 수 있도록 하는 손가락 삽입관 또는 삽입 고리가 더 형성될 수도 있다.

조작신호 생성부(340)는 로봇 암(3) 및/또는 복강경(8)의 위치 이동 또는 수술을 위한 조작을 위해 수술자가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.

영상 정합부(350)는 영상 입력부(310)를 통해 수신된 내시경 영상과 영상 저장부(360)에 저장된 수술 도구에 대한 모델링 영상을 서로 정합하여 출력 영상을 생성하고 이를 화면 표시부(320)에 출력한다. 내시경 영상은 내시경을 이용하여 환자의 몸속 내부를 촬영한 영상으로서 제한된 영역만을 촬영하여 획득된 영상이므로, 수술 도구의 일부 모습에 대한 영상을 포함한다.

모델링 영상은 전체 수술 도구에 대한 형상을 2D 또는 3D 영상으로 구현하여 생성한 영상이다. 모델링 영상은 수술 개시 시점 전 특정 시점, 예를 들면, 초기 설정 상태에 촬영한 수술 도구에 관한 영상이 될 수 있다. 모델링 영상은 수술 도구를 컴퓨터 시뮬레이션 기법에 의해 생성된 영상이므로 영상 정합부(350)는 실제 내시경 영상에 도시된 수술 도구와 모델링 영상을 정합하여 출력할 수 있다. 실제 물체를 모델링하여 영상을 획득하는 기술은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다. 또한, 영상 정합부(350)의 구체적인 기능, 다양한 세부 구성 등은 이후 관련 도면을 참조하여 상세히 설명한다.

제어부(360)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(360)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(360)는 암 조작부(330)의 조작에 따른 조작 정보가 입력되면 이에 상응하여 모델링 영상이 화면 표시부(320)를 통해 출력되도록 영상 정합부(350)를 제어한다.

내시경 영상에 포함되는 실제 수술 도구는 복강경(8)에 의해 입력되어 마스터 로봇(1)으로 전송된 영상에 포함된 수술 도구로서 환자의 신체에 직접적인 수술 행위를 가하는 수술 도구이다. 이에 비해, 모델링 영상에 포함되는 모델링 수술 도구는 수술 도구 전체에 대해 미리 수학적으로 모델링되어 2D 또는 3D 영상으로 영상 저장부(360)에 저장된다. 내시경 영상의 수술 도구 및 모델링 영상의 모델링 수술 도구는 수술자가 암 조작부(330)를 조작함에 따라 마스터 로봇(1)이 인식하는 조작 정보(즉, 수술 도구의 이동, 회전 등에 관한 정보)에 의해 제어될 수 있다. 실제 수술 도구 및 모델링 수술 도구는 그 위치 및 조작 형상이 조작 정보에 의해 결정될 수 있다.

조작신호 생성부(340)는 수술자의 암 조작부(340) 조작에 따른 조작 정보를 이용하여 조작신호를 생성하고, 생성한 조작신호를 슬레이브 로봇(2)으로 전송하여 결과적으로 실제 수술 도구가 조작 정보에 상응하도록 조작되도록 한다. 아울러, 조작신호에 의해 조작된 실제 수술 도구의 위치 및 조작 형상은 복강경(8)에 의해 입력된 영상에 의해 수술자의 확인이 가능하다.

또한, 모델링 영상은 수술 도구뿐만 아니라 환자의 장기(臟器)에 대해서도 모델링하여 재구성한 영상을 포함할 수 있다. 즉, 모델링 영상은 CT(Computer Tomography, 컴퓨터단층촬영검사), MR(Magnetic Resonance, 자기공명), PET(Positron Emission Tomography, 양전자방출단층촬영술), SPECT(Single Photon Emission Computed Tomography, 단광자방출단층검사), US(Ultrasonography, 초음파촬영술) 등의 영상 장비로부터 획득한 영상을 참조하여 재구성한 환자의 장기 표면의 2D 또는 3D 영상을 포함할 수 있으며, 이 경우 실제 내시경 영상과 컴퓨터적 모델링 영상을 정합하면 보다 수술자에게 수술 부위를 포함한 전체 영상을 제공할 수 있는 효과가 있다.

도 4는 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 블록 구성도이다. 도 4를 참조하면, 영상 정합부(350)는 특성값 연산부(351), 모델링 영상 구현부(353), 중첩 영상 처리부(355)를 포함할 수 있다.

특성값 연산부(351)는 슬레이브 로봇(2)의 복강경(8)에 의해 입력되어 제공되는 영상 및/또는 로봇 암(3)에 결합된 실제 수술 도구의 위치에 대한 좌표정보 등을 이용하여 특성값을 연산한다. 실제 수술 도구의 위치는 슬레이브 로봇(2)의 로봇 암(3)의 위치값을 참조하여 인식할 수 있으며, 해당 위치에 대한 정보는 슬레이브 로봇(2)으로부터 마스터 로봇(1)으로 제공될 수도 있다.

특성값 연산부(351)는 예를 들어 복강경(8)에 의한 영상 등을 이용하여 복강경(8)의 화각(FOV, Field of View), 확대율, 관점(예를 들어, 보는 방향), 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등의 특성값을 연산할 수 있다. 복강경(8)에 의한 영상을 이용하여 특성값을 연산하는 경우, 해당 영상에 포함된 피사체의 외곽선 추출, 형상 인식, 기울어진 각도 등을 인식하기 위한 영상 인식 기술이 이용될 수도 있다. 또한, 실제 수술 도구의 종류 등은 로봇 암(3)에 해당 수술 도구를 결합하는 과정 등에서 미리 입력될 수도 있다.

모델링 영상 구현부(353)는 특성값 연산부(351)에서 연산된 특성값에 상응하는 모델링 영상을 구현한다. 모델링 영상과 관련된 데이터는 영상 저장부(360)로부터 추출될 수 있다. 즉, 모델링 영상 구현부(353)는 복강경(8)의 특성값(화각(FOV, Field of View), 확대율, 관점, 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등)에 상응하는 수술 도구 등에 대한 모델링 영상 데이터를 추출하여 내시경 영상의 수술 도구 등과 정합되도록 모델링 영상을 구현한다.

모델링 영상 구현부(353)가 특성값 연산부(351)에서 연산된 특성값에 상응하여 영상을 추출하는 방법은 다양하게 구현될 수 있다. 예를 들면, 모델링 영상 구현부(353)는 복강경(8)의 특성값을 직접 이용하여 이에 상응하는 모델링 영상을 추출할 수 있다. 즉, 모델링 영상 구현부(353)는 상술한 복강경(8)의 화각, 확대율 등의 데이터를 참조하여 이에 상응하는 2D 또는 3D 모델링 수술 도구 영상을 추출하고 이를 내시경 영상과 정합하도록 할 수 있다. 여기서, 화각, 확대율과 같은 특성값은 최초 설정값에 따른 기준 영상과의 비교를 통해서 산출되거나 순차적으로 생성되는 복강경(8)의 영상을 서로 비교 분석하여 연산될 수 있다.

또한, 다른 실시예에 따르면, 모델링 영상 구현부(353)는 복강경(8) 및 로봇 암(3)에 대한 위치 및 조작 형상을 결정하는 조작 정보를 이용하여 모델링 영상을 추출할 수 있다. 즉, 상술한 바와 같이 내시경 영상의 수술 도구는 수술자가 암 조작부(330)를 조작함에 따라 마스터 로봇(1)이 인식하는 조작 정보에 의해 제어될 수 있으므로, 내시경 영상의 특성값에 상응하는 모델링 수술 도구의 위치 및 조작 형상은 조작 정보에 의해 결정될 수 있다.

이러한 조작 정보는 시간적 순서에 따라 별도의 데이터베이스에 저장될 수 있으며, 모델링 영상 구현부(353)는 이러한 데이터베이스를 참조하여 실제 수술 도구의 특성값을 인식할 수 있으며, 이에 상응하여 모델링 영상에 대한 정보를 추출할 수 있다. 즉, 모델링 영상에 출력되는 수술 도구의 위치는 수술 도구의 위치 변경 신호의 누적 데이터를 이용하여 설정될 수 있다. 예를 들면, 수술용 인스트루먼트에 대한 조작 정보가 시계방향으로 90도 회전 및 연장방향으로 1cm 이동이라는 정보를 포함하고 있으면, 모델링 영상 구현부(353)는 이러한 조작 정보에 상응하여 모델링 영상에 포함되는 수술용 인스트루먼트의 영상을 변환하여 추출할 수 있다.

여기서, 수술용 인스트루먼트는 액추에이터가 구비된 수술용 로봇 암의 선단부에 장착되고, 액추에이터로부터 구동력을 전달받아 구동부(미도시)에 구비되는 구동휠(미도시)이 작동하며, 구동휠과 연결되고 수술 환자의 체내로 삽입되는 조작자(150)가 소정의 작동을 함으로써, 수술을 하게 된다. 구동휠은 원판형으로 형성되며, 액추에이터에 클러칭되어 구동력을 전달받을 수 있다. 또한, 구동휠의 개수는 제어 대상의 개수에 상응하여 결정될 수 있으며, 이러한 구동휠에 대한 기술은 수술용 인스트루먼트와 관련된 기술자에게 자명한 사항이므로 자세한 설명은 생략한다.

중첩 영상 처리부(355)는 실제 촬영된 내시경 영상과 모델링 영상이 중첩되지 않기 위해 모델링 영상의 일부 영상을 출력한다. 즉, 내시경 영상이 수술 도구의 일부 형상을 포함하고 모델링 영상 구현부(353)가 이에 상응하는 모델링 수술 도구를 출력하는 경우 중첩 영상 처리부(355)는 내시경 영상의 실제 수술 도구 영상과 모델링 수술 도구 영상의 중첩 영역을 확인하고, 모델링 수술 도구 영상에서 중첩 부분을 삭제함으로써 두 영상이 서로 매칭될 수 있도록 한다. 중첩 영상 처리부(355)는 모델링 수술 도구 영상과 실제 수술 도구 영상의 중첩 영역을 모델링 수술 도구 영상으로부터 제거함으로써 중첩 영역을 처리할 수 있다.

예를 들면, 실제 수술 도구의 전체 길이가 20cm이고, 특성값(화각(FOV, Field of View), 확대율, 관점, 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등)을 고려할 때 내시경 영상의 실제 수술 도구 영상의 길이가 3cm인 경우 중첩 영상 처리부(355)는 특성값을 이용하여 내시경 영상에 출력되지 않은 모델링 수술 도구 영상을 모델링 영상에 포함하여 출력하도록 한다.

도 5는 본 발명의 일 실시예에 따른 수술용 영상 처리 방법의 흐름도이다.

단계 S510에서, 수술 대상 및/또는 수술 도구에 관해 미리 모델링 영상을 생성하여 저장한다. 모델링 영상은 컴퓨터 시뮬레이션에 의해 모델링될 수 있으며, 본 실시예는 별도의 모델링 영상 생성 장치를 이용하여 모델링 영상을 생성할 수도 있다.

단계 S520에서, 내시경을 이용하여 환자의 환부에 인접한 내시경 영상을 생성한다. 내시경 영상은 환자의 장기 및 수술 도구 등을 촬영한 영상이며, 이들에 대한 일부 영상을 포함한다.

단계 S530에서, 특성값 연산부(351)는 내시경 영상의 특성값을 연산한다. 상술한 바와 같이 특성값 연산부(351)는 슬레이브 로봇(2)의 복강경(8)에 의해 입력되어 제공되는 영상 및/또는 로봇 암(3)에 결합된 실제 수술 도구의 위치에 대한 좌표정보 등을 이용하여 특성값을 연산하며, 특성값은 복강경(8)의 화각(FOV, Field of View), 확대율, 관점(예를 들어, 보는 방향), 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등이 될 수 있다.

단계 S540에서, 영상 정합부(350)는 내시경 영상에 상응하여 모델링 영상을 추출하고, 중첩 영역을 처리하여 두 영상을 서로 정합하여 출력한다.

도 6은 본 발명의 일 실시예에 따른 수술용 영상 처리 방법에 따른 출력 영상의 예시도이다. 도 6을 참조하면, 모델링 영상(610), 제1 모델링 수술 도구(612), 제2 모델링 수술 도구(614), 내시경 영상(620), 실제 수술 도구(622)가 도시된다.

내시경 영상(620)은 모델링 영상(610)의 가운데 영역에 위치하고 모델링 영 상(610)은 내시경 영상(620)의 주변 영역에 출력되어 있지만, 내시경 영상(620)은 그 위치에 특별히 한정되지 않고, 예를 들면, 화면 표시부(320) 중 우상측, 좌상측, 우하측, 좌하측 등 다양한 위치에 출력될 수 있다. 내시경 영상(620)은 화면 표시부(320)의 전체 화면으로 출력되거나 도시된 바와 같이 화면에서 이격된 효과를 가질 수 있도록 줌아웃된 영상으로 작게 출력될 수 있다. 후자의 경우 모델링 영상(610)은 내시경 영상(620)과 정합되어 같이 출력될 수 있다.

제1 모델링 수술 도구(612)는 내시경 영상(620)에 출력되지 않는 영상이지만 실제 수술 부위에 인접하여 위치하는 수술 도구이다. 제2 모델링 수술 도구(614)는 내시경 영상(620)에 포함된 실제 수술 도구(622)가 연장되어 도시된 모델링 영상이다. 실제 수술 도구(622)와 제2 모델링 수술 도구(614)는 서로 매칭되고 서로 중첩되어 보이지 않기 위해서 상술한 바와 같이 특성값을 이용하여 도시될 수 있다.

또한, 이러한 영상은 줌인, 줌아웃, 회전, 리프레쉬, 초점 이동 등의 기능을 통해 수술자의 편의에 맞게 출력될 수 있다. 예를 들면, 내시경 영상(620)의 전체 크기가 작아지는 경우 전체 화면 표시부(320)에 출력되는 크기는 정해져 있으므로, 제1 모델링 수술 도구(612) 및 제2 모델링 수술 도구(614)의 크기 및 노출 영상을 결정하여 출력할 수 있다. 또한, 내시경 영상(620)과 모델링 영상(610)은 3D로 구현되어 수술자가 영상을 소정의 방향으로 회전시키는 경우 그 회전 방향에 상응하여 모델링 영상을 변환하여 출력할 수도 있다.

제1 모델링 수술 도구(612)와 제2 모델링 수술 도구(614)는 일단에 환부를 조작할 수 있는 조작부를 구비한 수술용 인스트루먼트인 경우를 도시하였으나, 본 발명은 이에 한정되지 않으며, 예를 들면, 제1 모델링 수술 도구(612) 및/또는 제2 모델링 수술 도구(614)는 복강경과 같은 수술 도구가 될 수도 있다.

도 7은 본 발명의 다른 실시예에 따른 수술용 로봇의 블록 구성도이다. 도 7을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 영상 정합부(350), 영상 저장부(360), 제어부(370)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 카메라(7), 복강경(8)을 포함하는 슬레이브 로봇(2)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 환자를 외부에서 촬영한 카메라 영상을 상술한 내시경 영상 및 모델링 영상과 조합하여 출력함으로써 환자 내부의 영상 뿐만 아니라 환자 외부의 영상까지 수술자에게 제공함으로써 수술을 더욱 효과적으로 수행할 수 있도록 하는 특징이 있다.

카메라(7)는 환자의 외부, 예를 들면, 수술실 천장, 수술대의 일측 등에 구비되어 수술 현장을 촬영하고 영상을 생성한다. 영상 입력부(310)는 카메라(7)에 의해 생성된 카메라 영상을 입력 받아 화면 표시부(320)에 표시되도록 한다.

영상 정합부(350)는 상술한 바와 같이 내시경 영상, 모델링 영상 및 카메라 영상 중 둘 이상의 영상을 서로 정합하여 화면 표시부(320)에 표시한다. 따라서 본 실시예에 따라 서로 같이 출력되는 영상은 다양한 조합 영상이 될 수 있으며, 예를 들면, 내시경 영상과 모델링 영상의 조합, 내시경 영상과 카메라 영상의 조합, 모델링 영상과 카메라 영상의 조합 등이 될 수 있다.

도 8은 본 발명의 다른 실시예에 따른 수술용 영상 처리 장치의 블록 구성도 이다. 도 8을 참조하면, 영상 정합부(350), 특성값 연산부(351), 모델링 영상 구현부(353), 중첩 영상 처리부(355), 충돌 감지부(357), 경고 정보 출력부(359)가 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 상술한 수술 도구들의 충돌 위험이 있는 경우 이를 감지하여 수술자에게 경고할 수 있는 특징이 있다. 즉, 수술 도구들은 내시경 영상 내에서뿐만 아니라 그 외부에서도 서로 충돌할 수 있으며, 본 실시예는 이러한 수술 도구들의 충돌을 미리 감지하여 경고할 수 있으므로, 수술자는 미리 충돌 상태를 인지하고 이를 회피함으로써 수술을 원활히 수행할 수 있는 장점이 있다.

충돌 감지부(357)는 모델링 영상에 포함되는 모델링 수술 도구 영상이 서로 충돌하는지 감지한다. 수술용 인스트루먼트 및 복강경(8) 등과 같은 수술 도구는 상술한 조작 정보에 상응하여 그 위치 및 조작 형상이 결정되므로, 수술자가 암 조작부(330)를 조작하는 경우 충돌 감지부(357)는 조작 정보를 분석하여 수술 도구가 서로 충돌하는지 판단하고 만약, 조작 정보에 의해 수술 도구가 충돌하는 위치로 조작되는 경우 충돌 감지 신호를 생성한다.

경고 정보 출력부(359)는 충돌 감지부(357)로부터 충돌 감지 신호를 수신하여 소정의 경고 정보를 출력할 수 있다. 경고 정보는 소리 정보, 색상 정보, 떨림 정보 등과 같이 수술자가 인식가능한 정보가 될 수 있으며, 예를 들면, 소정의 스피커에서 송출하는 경보음, 화면 표시부(320) 상에 출력되는 텍스트, 아이콘, 테두리 색상, 바탕 색상 변화 정보, 암 조작부(330)의 떨림 신호 등이 될 수 있다. 실제 수술 도구가 충돌하는 경우 발생하는 마찰음이 미리 저장된 후 해당 충돌 감지 시 상기 마찰음을 경고음으로 송출할 수도 있다.

또한, 충돌 감지부(357)가 수술 도구들의 접촉이 있는 것으로 판단하면, 예를 들어, 암 조작부(330)가 더 이상 조작되지 않도록 처리하거나 암 조작부(330)를 통해 포스 피드백(force feedback)이 발생되도록 처리할 수 있다. 포스 피드백을 위해 충돌이 발생하는 방향으로 가상벽(virtual wall)을 형성하고, 수술자가 마스터 조종기를 조작 시 수술 도구들이 서로의 가상벽에 접근하면 이를 감지하여 수술 도구들이 가상벽을 따라 이동하거나 이와 다른 방향으로 이동하도록 제어함으로써, 서로간의 실제적인 충돌을 회피할 수 있다. 포스 피드백을 처리하기 위한 별도의 구성요소가 마스터 로봇(1)의 구성요소로서 포함될 수 있다.

도 9는 본 발명의 다른 실시예에 따른 수술용 영상 처리 방법의 흐름도이다.

단계 S510에서, 수술 대상 및/또는 수술 도구에 관해 미리 모델링 영상을 생성하여 저장하고, 단계 S520에서, 내시경을 이용하여 환자의 환부에 인접한 내시경 영상을 생성한다.

단계 S530에서, 특성값 연산부(351)는 내시경 영상의 특성값을 연산하고, 단계 S540에서, 영상 정합부(350)는 내시경 영상에 상응하여 모델링 영상을 추출하고, 중첩 영역을 처리하여 두 영상을 서로 정합하여 출력한다.

단계 S550에서 충돌 감지부(357)는 수술 도구가 충돌 위치에 있는지 조작 정보를 분석하여 감지한 후 충돌 위치에 존재하는 경우 단계 S560에서, 경고 정보 출력부(359)는 상술한 바와 같이 소리 정보, 색상 정보, 떨림 정보 등과 같은 경고 정보를 출력한다.

여기서는 내시경 영상에 상응하여 모델링 영상을 추출 및 정합한 후 수술 도구들의 충돌 여부를 판단하는 순서로 본 실시예가 설명되었으나, 본 발명은 이에 한정되지 않는다. 예를 들면, 수술 도구들의 충돌 여부를 판단하는 단계는 상술한 조작 정보가 생성되는 경우마다 바로 수행될 수 있으며, 내시경 영상을 생성하는 경우마다 바로 수행될 수도 있다.

도 10은 본 발명의 다른 실시예에 따른 수술용 영상 처리 방법에 따른 출력 영상의 구성도이다. 도 10을 참조하면, 제1 로봇 암(121), 제2 로봇 암(122), 제1 수술 도구(202), 제2 수술 도구(204), 제1 구동부(231), 제2 구동부(232), 모델링 영상(610), 제1 모델링 수술 도구(612), 제2 모델링 수술 도구(614), 내시경 영상(620), 실제 수술 도구(622), 카메라 영상(630)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

카메라 영상(630)은 상술한 바와 같이 환자의 외부 환경에 설치된 카메라(7)가 촬영하여 생성한 영상이다. 카메라 영상(630)은 수술대, 환자의 모습 등에 대한 영상을 포함할 수도 있다. 제1 구동부(231)와 제2 구동부(232)는 각각 제1 수술 도구(202), 제2 수술 도구(204)를 구동하기 위한 구동 수단이며, 이에 대한 기술은 본 발명의 요지와 다소 거리감이 있어서 이에 대한 자세한 설명은 생략한다.

도 10을 참조하면, 내시경 영상(620), 모델링 영상(610) 및 카메라 영상(630)이 화면 표시부(320)의 특정 위치를 점유하며 출력된다. 제1 모델링 수술 도구(612)와 제1 수술 도구(202), 제2 모델링 수술 도구(614)와 제2 수술 도구(204)는 상술한 바와 같이 특성값이 연산되어 정합되어 출력된다. 또한, 다른 실 시예에 따르면, 카메라 영상(630)은 전체가 모델링 영상(610)에 의해 대체될 수도 있다. 즉, 모델링 영상(610)은 제1 로봇 암(121), 제2 로봇 암(122), 제1 수술 도구(202), 제2 수술 도구(204), 제1 구동부(231), 제2 구동부(232)와 같은 전체 수술 시스템에 대해 모델링하여 구현된 영상이 될 수 있으며, 이는 내시경 영상(620)과 조합 및/또는 정합되어 출력될 수 있다.

도 11은 본 발명의 또 다른 실시예에 따른 수술용 로봇의 블록 구성도이다. 도 11을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 영상 정합부(350), 영상 저장부(360), 제어부(370), 영상 선택부(380)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 카메라(7), 복강경(8)을 포함하는 슬레이브 로봇(2)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 화면 표시부(320)에 표시될 영상의 종류를 수술자가 편의대로 선택할 수 있는 인터페이스를 구현함으로써 수술자가 수술 영상을 보다 편리하게 이용할 수 있는 특징이 있다. 즉, 본 실시예는 수술자의 선택에 의해 상술한 바와 같은 내시경 영상, 모델링 영상 및 카메라 영상 중 어느 하나 이상의 영상을 출력하도록 할 수 있다.

영상 선택부(380)는 상술한 내시경 영상, 모델링 영상 및 카메라 영상 중에서 서로 정합되어 출력될 영상을 선택할 수 있는 수단이다. 영상 선택부(380)는 상술한 바와 같이 클러치 버튼 또는 페달(도시되지 않음) 등의 형태로 구현되는 영상 선택 버튼이 될 수 있으며, 또한, 모니터부(6)를 통해 표시되는 기능메뉴 또는 모드선택 메뉴 등으로 구현될 수도 있다.

또한, 영상 선택부(380)는 상술한 내시경 영상, 모델링 영상 및 카메라 영상들에 대해서 줌인, 줌아웃, 회전, 리프레쉬, 수평 이동, 2D/3D 변환, 특정 영상 숨기기/표시하기, 관점 변화 등의 기능을 포함할 수도 있다. 즉, 영상 선택부(380)는 수술자에 의해 출력되는 영상을 다양한 각도에서 표현하기 위해 마련되는 인터페이스가 될 수 있다.

도 12는 본 발명의 또 다른 실시예에 따른 수술용 영상 처리 방법의 흐름도이다.

단계 S525에서, 화면 표시부(320), 영상 정합부(350), 제어부(370) 중 어느 하나는 영상 선택부(380)로부터 출력될 영상 선택 신호를 수신하여 내시경 영상, 모델링 영상 및 카메라 영상 중 출력될 영상을 선택한다.

단계 S530에서, 특성값 연산부(351)는 내시경 영상의 특성값을 연산하고, 단계 S545에서, 영상 정합부(350)는 선택된 영상에 상응하여 중첩 영역을 처리하여 두 영상을 서로 정합하여 출력한다.

그 외 본 발명의 실시예에 따른 수술용 영상 처리 장치에 대한 구체적인 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 및 엑추에이터, 배터리, 카메라, 센서 등 부품 표준화 기술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 자명한 사항이므로 생략하기로 한다.

본 발명에 따른 수술용 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합한 형태로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

상기한 바에서, 본 발명의 실시예에 따른 수술용 영상 처리 장치는 수술 도구 및 로봇 수술 시스템의 구성을 일 실시예에 따라 기술하였으나, 반드시 이에 한정될 필요는 없고, 본 발명이 로봇 수술이 아닌 수술용 영상 처리 시스템에 적용되거나 기타 다양한 수술 도구를 모델링하고 출력하더라도 전체적인 작용 및 효과에는 차이가 없다면 이러한 다른 구성은 본 발명의 권리범위에 포함될 수 있으며, 해 당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.

도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.

도 3은 본 발명의 일 실시예에 따른 수술용 로봇의 블록 구성도.

도 4는 본 발명의 일 실시예에 따른 수술용 영상 처리 장치의 블록 구성도.

도 5는 본 발명의 일 실시예에 따른 수술용 영상 처리 방법의 흐름도.

도 6은 본 발명의 일 실시예에 따른 수술용 영상 처리 방법에 따른 출력 영상의 구성도.

도 7은 본 발명의 다른 실시예에 따른 수술용 로봇의 블록 구성도.

도 8은 본 발명의 다른 실시예에 따른 수술용 영상 처리 장치의 블록 구성도.

도 9는 본 발명의 다른 실시예에 따른 수술용 영상 처리 방법의 흐름도.

도 10은 본 발명의 다른 실시예에 따른 수술용 영상 처리 방법에 따른 출력 영상의 구성도.

도 11은 본 발명의 또 다른 실시예에 따른 수술용 로봇의 블록 구성도.

도 12는 본 발명의 또 다른 실시예에 따른 수술용 영상 처리 방법의 흐름도.

<도면의 주요부분에 대한 부호의 설명>

1 : 마스터 로봇 2 : 슬레이브 로봇

3 : 로봇 암 4 : 마스터 인터페이스

5 : 인스트루먼트 6 : 모니터부

7 : 카메라 8 : 복강경

10 : 핸들 121 : 제1 로봇 암

122 : 제2 로봇 암 202 : 제1 수술 도구

204 : 제2 수술 도구 231 : 제1 구동부

232 : 제2 구동부 310 : 영상 입력부

320 : 화면 표시부 330 : 암 조작부

340 : 조작신호 생성부 350 : 영상 정합부

351 : 특성값 연산부 353 : 모델링 영상 구현부

355 : 중첩 영상 처리부 357 : 충돌 감지부

359 : 경고 정보 출력부 360 : 영상 저장부

370 : 제어부 380 : 영상 선택부

610 : 모델링 영상 612 : 제1 모델링 수술 도구

614 : 제2 모델링 수술 도구 620 : 내시경 영상

622 : 실제 수술 도구 630 : 카메라 영상

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
수술용 영상 처리 장치가 수술 시 영상을 처리하는 방법에 있어서,

수술 대상을 수술하는 수술 도구에 관해 모델링 영상을 생성하여 저장하는 단계;

수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 단계;

상기 내시경 영상과 상기 모델링 영상을 서로 정합하여 출력 영상을 생성하는 단계; 및

상기 내시경 영상과 상기 모델링 영상을 포함하는 출력 영상을 출력하는 단계를 포함하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 출력 영상 생성 단계는,

상기 내시경 영상에 포함되는 실제 수술 도구 영상과 상기 모델링 영상에 포함되는 모델링 수술 도구 영상을 서로 정합하여 상기 출력 영상을 생성하는 것을 특징으로 하는 수술용 영상 처리 방법.
제20항에 있어서,

상기 출력 영상 생성 단계는,

상기 내시경 영상 및 하나 이상의 로봇 암에 결합된 실제 수술 도구의 위치 좌표정보 중 하나 이상을 이용하여 특성값을 연산하는 단계;

상기 특성값 연산부에서 연산된 특성값에 상응하는 모델링 영상을 구현하는 단계를 더 포함하는 수술용 영상 처리 방법.
제20항에 있어서,

상기 출력 영상 생성 단계는,

상기 모델링 수술 도구 영상으로부터 상기 모델링 수술 도구 영상과 상기 실 제 수술 도구 영상의 중첩 영역을 제거하는 단계를 더 포함하는 수술용 영상 처리 방법.
제20항에 있어서,

상기 출력 영상 생성 단계는,

상기 수술 도구의 조작정보를 이용하여 상기 모델링 영상에 출력되는 상기 모델링 수술 도구 영상의 위치를 설정하는 것을 특징으로 하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 출력 영상 출력 단계는,

상기 내시경 영상을 출력 영상의 임의의 영역에 출력하며, 상기 모델링 영상을 상기 출력 영상의 주변 영역에 출력하는 것을 특징으로 하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 모델링 영상 생성 및 저장 단계는,

상기 수술 개시 시점 전 특정 시점에 촬영한 상기 수술 도구에 관한 영상으로부터 상기 모델링 영상을 생성하는 것을 특징으로 하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 수술시 카메라가 상기 수술 대상 외부를 촬영하여 카메라 영상을 생성하는 단계를 더 포함하는 수술용 영상 처리 방법.
제26항에 있어서,

상기 출력 영상 생성 단계는,

상기 내시경 영상, 상기 모델링 영상, 상기 카메라 영상 및 이들의 조합 영상을 서로 정합하여 상기 출력 영상을 생성하는 것을 특징으로 하는 수술용 영상 처리 방법.
제26항에 있어서,

상기 내시경 영상, 상기 모델링 영상 및 상기 카메라 영상 중 어느 하나 이상은 3D 영상인 것을 특징으로 하는 수술용 영상 처리 방법.
제26항에 있어서,

상기 내시경 영상, 상기 모델링 영상 및 상기 카메라 영상 중 어느 둘 이상의 조합을 선택하는 단계를 더 포함하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 모델링 영상에 포함되는 모델링 수술 도구 영상이 서로 충돌하는지 감지하는 단계를 더 포함하는 수술용 영상 처리 방법.
제30항에 있어서,

상기 충돌 감지 단계는,

상기 모델링 수술 도구 영상의 상호 충돌을 감지하여 충돌 감지 신호를 생성하는 경우 경고 정보를 출력하는 단계를 더 포함하는 수술용 영상 처리 방법.
제30항에 있어서,

상기 충돌 감지 단계는,

상기 모델링 수술 도구 영상의 상호 충돌을 감지하는 경우 포스 피드 백(force feedback) 처리 및 상기 수술 도구가 장착되는 로봇 암을 제어하는 암 조작부의 조작 제한 중 어느 하나 이상의 처리를 수행하는 단계를 더 포함하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 수술용 영상 처리 장치는,

로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)에 포함되는 것을 특징으로 하는 수술용 영상 처리 방법.
제18항에 있어서,

상기 모델링 영상 생성 및 저장 단계는,

상기 수술 대상에 대한 CT, MR, PET, SPECT, US 중 어느 하나 이상의 영상 장비로부터 획득한 영상을 모델링하는 단계를 더 포함하는 수술용 영상 처리 방법.
제18항 내지 제34항 중 어느 하나에 기재된 수술용 영상 처리 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적 으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.