KR20190080703A

KR20190080703A - 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램

Info

Publication number: KR20190080703A
Application number: KR1020180055116A
Authority: KR
Inventors: 이종혁; 김호승
Original assignee: (주)휴톰
Priority date: 2017-12-28
Filing date: 2018-05-14
Publication date: 2019-07-08
Also published as: KR101880246B1; WO2019132169A1; KR20190080702A; KR102298412B1; KR20190088375A

Abstract

본 발명은 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램에 관한 것이다.
본 발명의 일실시예에 따른 수술도구의 최적진입위치 산출방법은, 컴퓨터가 제1시뮬레이션 데이터를 획득하되, 상기 제1시뮬레이션 데이터는 가상신체모델 내에서 각 수술도구의 말단부만을 표현한 상태에서 사용자 또는 컴퓨터의 가상수술 수행에 따라 획득되는 것인, 제1시뮬레이션 데이터 획득단계; 상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 단계; 환자의 신체외형데이터 및 신체내부데이터를 획득하는 단계; 및 상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 단계;를 포함하되, 상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이고, 상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고, 상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터이다.

Description

수술도구의 최적진입위치 산출시스템, 방법 및 프로그램 {SYSTEM, METHOD AND PROGRAM FOR CALCULATING THE OPTIMUM ENTERING POSITION OF SURGICAL EQUIPMENT}

본 발명은 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램에 관한 것으로, 보다 자세하게는 수술 시에 의료진이 특정한 수술도구를 이용하여 수술을 수행하기에 적합한 진입위치를 산출하는 시스템, 방법 및 프로그램에 관한 것이다.

최근에는 가상현실을 의료수술 시뮬레이션 분야에 적용하고자 하는 연구가 활발히 진행되고 있다.

의료수술은 개복수술(open surgery), 복강경 수술 및 로봇 수수를 포함하는 최소침습수술(MIS: Minimally Invasive Surgery), 방사선수술(radio surgery) 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데 복강경 수술과 로봇 수술이 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸속에 삽입하여 비디오 모니터를 통해서 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 또한, 로봇수술은 수술로봇을 이용하여 최소 침습수술을 수행하는 것이다. 나아가 방사선 수술은 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다.

기존에 복강경 수술 또는 로봇 수술을 수행하는 경우, 진입위치에 해당하는 키홀(Keyhole)을 일반적인 위치에 설정한 후 수술을 수행하였다. 환자의 신체조건(예를 들어, 신체 내부의 장기 배치 특성과 신체표면 외형), 수술도구의 길이 또는 자유도 등을 반영하지 않고 일반적인 위치로 수술도구를 진입하여서 신체 내부에서 수술동작이 제대로 수행되지 못하는 문제가 발생하는 경우가 있다.

본 발명은 복강경 수술 또는 로봇 수술 시에 확인하는 화면 상에 표시되는 수술도구의 말단부만을 가상신체모델 내에 구현한 후 수행한 수술시뮬레이션 결과를 바탕으로, 의료진의 환자 수술부위에 대한 수술동작을 수행하기에 최적화된 하나 이상의 진입위치를 산출하여 의료진의 실제 수술 시 효율성과 편의성을 향상시키는, 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램을 제공하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일실시예에 따른 수술도구의 최적진입위치 산출방법은, 컴퓨터가 제1시뮬레이션 데이터를 획득하되, 상기 제1시뮬레이션 데이터는 가상신체모델 내에서 각 수술도구의 말단부만을 표현한 상태에서 사용자 또는 컴퓨터의 가상수술 수행에 따라 획득되는 것인, 제1시뮬레이션 데이터 획득단계; 상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 단계; 환자의 신체외형데이터 및 신체내부데이터를 획득하는 단계; 및 상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 단계;를 포함하되, 상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이고, 상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고, 상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터이다.

또한, 다른 일실시예로, 상기 제1시뮬레이션 데이터를 수행하기에 최적화된 특정한 수술로봇 종류 또는 특정한 수술로봇에 포함된 수술도구 종류를 결정하는 단계;를 더 포함한다.

또한, 다른 실시예로, 상기 제1시뮬레이션 데이터에 포함된 상기 말단부에 상기 수술도구의 관절부를 결합한 가이드영상을 생성하는 단계;를 더 포함한다.

또한, 다른 실시예로, 상기 최적진입위치로 특정한 수술도구를 삽입하여 가상수술을 수행한 제2시뮬레이션 데이터를 획득하는 단계; 및 상기 제2시뮬레이션 데이터를 실제수술 시의 가이드영상으로 제공하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 상기 최적진입위치 산출단계는, 사용자에 의해 특정한 수술로봇 또는 특정한 수술도구 조합이 선택되는 경우, 상기 수술로봇 또는 상기 수술도구 조합에 포함된 각 수술도구의 길이 또는 관절자유도를 반영하여 상기 최적진입위치를 산출하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 신체내부데이터 또는 상기 신체외형데이터는, 환자에 대한 의료영상데이터을 기복형성알고리즘에 적용하여 생성된 상기 가상신체모델에서 획득되는 것이다.

또한, 다른 일실시예로, 상기 움직임데이터 획득단계는, 상기 제1시뮬레이션 데이터에서 각 말단부의 동작수행범위 및 회전각도범위를 상기 움직임데이터로 획득하되, 상기 동작수행범위는 상기 제1시뮬레이션 데이터에서 말단부가 위치한 가상신체모델 내부 지점의 집합이고, 상기 회전각도범위는 상기 동작수행범위 내의 각 지점에서 상기 말단부가 회전하는 각도의 최대범위이다.

또한, 다른 일실시예로, 상기 최적진입위치 산출단계는, 환자의 전체 신체표면범위에서 수술도구의 말단부가 상기 동작수행범위 전체에 도달하지 못하는 영역 또는 특정한 동작수행범위 내의 특정지점에 도달한 상기 수술도구의 말단부가 상기 회전각도범위 전체를 움직이지 못하는 영역을 제외하여, 각 수술도구의 진입가능범위를 추출하는 것을 특징으로 한다.

또한, 다른 일실시예로, 컴퓨터가 진입위치 투영데이터를 생성하는 단계;를 더 포함하고, 상기 진입위치 투영데이터는 상기 최적진입위치를 환자 신체표면에 표시되는 식별표지를 포함한다.

또한, 다른 일실시예로, 상기 진입위치 투영데이터 생성단계는, 컴퓨터가 수술시 수술대의 상단 또는 로봇수술 암에 설치된 프로젝터를 통해 격자 무늬를 투사하는 단계; 컴퓨터가 상기 수술대의 상단 또는 상기 로봇수술 암에 설치된 카메라를 통해 환자 신체 표면 상에 표시된 격자무늬 형태를 촬영하는 단계; 및 컴퓨터가 상기 격자무늬 형태를 기반으로 환자 복부의 3D 입체를 인식하고, 상기 최적진입위치에 대응하는 지점을 산출하여 진입위치 투영데이터를 생성하는 단계;를 포함하고, 상기 진입위치 투영데이터는 상기 컴퓨터의 제어에 따라 상기 프로젝터에 의해 환자 신체표면에 영사되는 것이다.

본 발명의 다른 일실시예에 따른 수술도구의 최적진입위치 산출프로그램은, 하드웨어와 결합되어 상기 언급된 수술자세에 부합하는 가상신체모델 생성방법을 실행하며, 매체에 저장된다.

본 발명의 또 다른 일실시예에 따른 수술도구의 최적진입위치 산출시스템은, 제1시뮬레이션 데이터를 획득하는, 상기 제1시뮬레이션 데이터를 가상신체모델 내에서 각각의 수술도구의 말단부만을 표현한 상태에서 사용자의 조작에 따른 가상수술에 의해 획득되는 것인, 제1시뮬레이션 데이터 획득부; 상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 움직임데이터 획득부; 환자의 신체외형데이터 및 신체내부데이터를 획득하는 신체데이터 획득부; 및 상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 진입위치 산출부;를 포함하되, 상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이고, 상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고, 상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터이다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

첫째, 의료진이 수술도구의 진입위치와 수술도구의 관절부의 장기 걸림을 고려하지 않고 수행한 수술시뮬레이션 결과를 반영하여 수술도구의 최적진입 위치를 결정하므로, 의료진이 가장 편한 수술동작을 수행할 수 있도록 한다.

둘째, 일반적인 수술도구 진입위치를 이용하지 않고 환자 신체조건에 최적화된 최적진입위치를 이용함에 따라, 의료진은 환자의 장기 배치 특성이나 수술도구의 길이 등에 의해 실제 수술과정에서 특정한 동작 수행에 제한이 발생하는 것을 방지할 수 있다.

셋째, 수술에서 이용되는 모든 수술도구를 특정한 개수의 수술도구 진입위치를 이용하여 수술을 수행하는 경우, 모든 수술도구에 최적화된 여러 개의 수술도구 진입위치를 결정할 수 있다. 또한, 특정한 개수의 최적진입위치 중에서 각 수술도구가 진입하여야 하는 진입위치를 정확하게 설정하여 줄 수 있다.

넷째, 복수의 수술로봇 또는 특정한 수술로봇 내의 동일한 액션(Action)을 수행하는 복수의 수술도구를 이용할 수 있는 경우, 환자 신체조건 및 의료진의 수술동작에 가장 적합한 수술로봇 또는 수술도구를 제안하여 주어서, 의료진이 효율적이고 빠른 수술을 수행할 수 있도록 한다.

다섯째, 수술로봇이 자체적으로 수술을 수행하는 경우, 각 수술도구의 최적진입위치 산출을 통해 최적화된 수술이 수행되도록 할 수 있다.

도 1 내지 도 4는 본 발명의 실시예들에 따른 수술도구의 최적진입위치 산출방법의 순서도이다.
도 5는 본 발명의 일실시예에 따른 수술도구의 최적진입위치 산출시스템의 내부구성도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 '가상신체모델'은 신체를 촬영한 의료영상데이터를 기반으로 생성된 신체모델을 의미한다.

본 명세서에서 '의료영상데이터'는 의료영상촬영장치에 의해 획득되는 모든 영상데이터를 포함한다. 즉, '의료영상데이터'는 일정한 에너지를 제공하면 인체 내의 밀도와 성질에 따라 입사, 반사, 또는 투과되는 특징을 이용하여 인체 내부에 대해 획득되는 영상을 모두 포함한다. 예를 들어, '의료영상데이터'는 컴퓨터단층촬영(Computed Tomography; CT) 영상, 자기공명영상(Magnetic Resonance Imaging), 양전자 방출 단층 촬영 (Positron Emission Tomography; PET) 영상, 초음파(Ultrasound) 영상 등을 포함한다.

본 명세서에서 '컴퓨터'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 도면을 참조하여, 본 발명의 실시예들에 따른 수술도구 최적진입위치 산출시스템, 방법 및 프로그램에 대해 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 수술도구의 최적진입위치 산출방법의 순서도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 수술도구의 최적진입위치 산출방법은, 컴퓨터가 제1시뮬레이션 데이터를 획득하는 단계(S200; 제1시뮬레이션 데이터 획득단계); 상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 단계(S400); 환자의 신체외형데이터 및 신체내부데이터를 획득하는 단계(S600); 및 상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 단계(S800);를 포함한다.

컴퓨터가 제1시뮬레이션 데이터를 획득한다(S200; 제1시뮬레이션 데이터 획득단계). 상기 제1시뮬레이션 데이터는 가상신체모델 내에서 각 수술도구의 말단부만을 표현한 상태에서 사용자 또는 컴퓨터의 가상수술 수행에 따라 획득되는 것이다. 상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이다.

가상신체모델에 대한 가상수술은 의료진에 의해 수행될 수도 있고, 컴퓨터에 의해 자체적으로 수행될 수도 있다. 사용자인 의료진에 의해 수행되는 경우, 컴퓨터는 사용자에 의해 컨트롤러 조작을 입력받는다. 또한, 컴퓨터가 자체적으로 가상수술을 수행하는 경우, 컴퓨터가 기존 수술데이터를 학습한 결과를 기반으로 특정한 환자에 대한 가상수술을 수행한다.

수술도구는 로봇수술 또는 복강경 수술 시의 화면을 통해 사용자에게 보이는 부분(즉, 영상장치에 의해 촬영되는 영상 내에서 보이는 부분)인 말단부와 외부로부터 말단부에 연결되는 관절부를 포함할 수 있다. 컴퓨터는 수술도구의 구성 중에서 가상신체모델 내부의 공간에 변화를 생성(예를 들어, 신체 내 장기 또는 조직에 물리적 또는 화학적 변화를 일으키거나 가상신체모델 내부 공간에 클립, 거즈, 식염수 등의 외부객체를 제공)하는 말단부만을 가상신체모델 내부에 구현하여 사용자가 가상수술을 수행하도록 한다. 즉, 사용자는 수술도구의 환자신체표면 상의 진입위치 또는 수술도구의 관절부와 장기 간의 충돌여부를 고려하지 않는 상태에서 가상공간 내에 제공된 말단부로 가상수술을 수행한다.

컴퓨터는 말단부만 구현된 상태에서 수행된 가상수술데이터 자체 또는 가상수술데이터에서 추출된 데이터를 제1시뮬레이션데이터로 획득한다. 일실시예로, 상기 컴퓨터가 클라이언트장치인 경우, 컴퓨터 내에서 가상수술이 직접 수행되므로, 상기 제1시뮬레이션데이터는 가상수술을 수행함에 따른 영상데이터, 각 시점에 사용자에 의해 입력된 조작입력데이터 등을 포함할 수 있다.

다른 일실시예로, 상기 컴퓨터가 서버장치인 경우, 컴퓨터는 클라이언트에서 특정한 환자의 가상신체모델에 대해 가상수술이 수행됨에 따라 획득된 가상수술데이터 자체 또는 가상수술데이터에서 추출 또는 가공된 데이터를 수신한다. 예를 들어, 서버장치는 클라이언트장치로부터 가상수술이 수행된 3차원영상데이터와 사용자로부터 입력된 조작입력데이터 등의 전부 또는 일부를 수신할 수 있다.

또한, 예를 들어, 서버장치는 가상수술데이터를 기반으로 생성된 코드데이터를 수신할 수 있다. 상기 코드데이터는 각 수술과정을 계층적으로 나누어서 생성한 정보를 포함하고, 각 수술도구의 움직임에 대한 정보를 포함한다. 구체적으로, 클라이언트장치는 수술이 수행되는 신체장기, 신체조직(신체장치의 하위개념) 및 가상신체모델 내부 공간의 변화 생성여부(예를 들어, 신체조직의 물리적 변화 또는 특정한 신체조직에 대한 외부객체의 투입/제거 등)를 기반으로 가상수술데이터를 임상적으로 분할하여 생성된 계층적 정보를 이용하여 코드화(Coding)하고, 수술도구의 움직임에 대한 데이터를 코드화(Coding)한 후 결합하여 코드데이터를 생성한다. 서버장치는 미리 획득된 환자의 가상신체모델에 클라이언트장치로부터 코드데이터를 제1시뮬레이션데이터로 수신한다.

또한, 일실시예로, 로봇수술을 시뮬레이션하는 경우, 사용자는 실제 수술로봇의 조작부와 동일한 형태로 제작된 컨트롤러를 이용하여 말단부에 대한 조작입력을 수행한다. 사용자가 가상수술을 수행하는 과정에 특정한 위치의 수술도구를 변경하면, 컴퓨터는 변경요청에 따라 A도구의 말단부를 B도구의 말단부로 변경하여 표시한다.

컴퓨터가 상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득한다(S400). 컴퓨터는 제1시뮬레이션 데이터를 기반으로 가상신체모델 내에서 각 수술도구의 말단부의 움직임을 누적한다. 수술도구가 변경되는 경우, 컴퓨터는 수술도구 변경시점을 기준으로 구별하여 각 수술도구별로 움직임을 누적한다.

수술도구의 말단부에 대한 움직임 원본데이터를 획득하는 방식의 일실시예로, 컴퓨터는 3차원의 가상수술데이터에서 영상인식을 통해 각 수술도구의 말단부의 움직임 원본데이터를 획득한다. 또한, 다른 일실시예로, 컴퓨터는 수술로봇의 마스터(즉, 컨트롤러)에 입력한 입력조작을 통해 수술도구 말단부의 움직임 원본데이터를 획득한다.

또한, 컴퓨터는 최적진입위치 산출을 용이하게 하도록 제1시뮬레이션 데이터 또는 움직임 원본데이터를 분석하여 움직임 분석데이터를 산출할 수 있다. 일실시예로, 상기 움직임데이터 획득단계(S400)에서, 컴퓨터는 제1시뮬레이션 데이터에서 각 말단부의 동작수행범위 및 회전각도범위를 움직임 분석데이터로 획득한다. 상기 동작수행범위는 상기 제1시뮬레이션 데이터에서 말단부가 위치한 가상신체모델 내부 지점의 집합이고, 상기 회전각도범위는 상기 동작수행범위 내의 각 지점에서 상기 말단부가 회전하는 각도의 최대범위이다. 컴퓨터는 동작수행범위 내의 각 지점에서 수술도구가 회전 가능한 모든 축방향에 대한 각도 최대범위를 획득한다.

컴퓨터가 환자의 신체외형데이터 및 신체내부데이터를 획득한다(S600). 상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고, 상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터이다. 컴퓨터는 통해 환자의 장기 특성을 반영하여 수술도구 삽입 및 수술동작 수행 시에 장기에 영향을 미치지 않는 진입위치 산출에 신체내부데이터를 이용한다. 또한, 컴퓨터는 신체표면 상의 정확한 위치를 결정하기 위해 신체 표면 형상에 해당하는 신체외형데이터 이용한다.

컴퓨터는 다양한 방식으로 신체외형데이터 및 신체내부데이터를 획득할 수 있다. 일실시예로, 상기 신체내부데이터 또는 상기 신체외형데이터는 환자에 대한 의료영상데이터을 기복형성알고리즘에 적용하여 생성된 상기 가상신체모델에서 획득될 수 있다. 상기 기복형성알고리즘은 정상상태의 3차원 모델링데이터를 기복상태의 3차원 모델링데이터로 생성하는 알고리즘이다.

일반적인 개복수술 시와 달리, 복강경 수술이나 로봇 수술을 수행하는 경우, 신체 내부에 수술도구가 움직이는 공간을 형성하기 위해 신체 내부에 기체(즉, 기복제 이산화탄소)를 주입하여 환자 신체를 기복 상태로 형성한다. 즉, 환자가 복강경 수술이나 로봇 수술의 대상인 경우, 의료진이 실제 수술 시와 동일한 가상신체모델을 통해 최적진입위치를 산출하기 위해서는 기복상태로 모델링하는 과정이 필요하다. 컴퓨터는 기복형성알고리즘을 적용하여 기복상태로 형성된 가상신체모델에서 환자신체표면 정보를 추출하여 신체외형데이터를 획득하고, 신체 내부의 장기 배치 정보를 추출하여 신체내부데이터를 획득한다.

기복상태에 구현된 가상신체모델을 생성하기 위해, 컴퓨터는 의료영상데이터로 3차원 모델링데이터를 생성하고, 상기 3차원 모델링데이터에 기복형성알고리즘을 적용하여 가상신체모델을 생성한다.

구체적으로, 먼저, 컴퓨터가 의료영상데이터로 3차원 모델링데이터를 생성한다. 즉, 컴퓨터는 의료영상데이터를 3차원 렌더링(Rendering)하여 3차원 모델링데이터를 생성한다. 예를 들어, 특정한 환자에 대해 수술자세와 동일한 촬영자세를 적용하여, 특정한 하운스필드 유닛(Hounsfield Unit; HU)값으로 획득된 CT영상데이터를 이용하는 경우, 각 CT 영상프레임 상의 색상(즉, 그레이 스케일)을 기반으로 각 지점의 밀도를 산출하여 환자 신체의 3차원 모델링데이터를 생성한다. 그 후, 컴퓨터가 상기 3차원 모델링데이터에 기복형성알고리즘을 적용하여 가상신체모델을 생성한다. 가상신체모델을 생성하는 컴퓨터는 자체적으로 학습데이터(예를 들어, 후술되는 신체변형데이터)를 학습하여 기복형성알고리즘을 생성할 수도 있고, 외부서버에서 학습하여 생성된 후 기복형성알고리즘을 수신할 수도 있다.

컴퓨터는 상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출한다(S800). 컴퓨터는 다양한 방식으로 수술도구의 최적진입위치를 산출한다.

일실시예로, 상기 최적진입위치 산출단계(S800)에서, 컴퓨터는 환자의 전체 신체표면범위에서 상기 동작수행범위 및 상기 회전각도범위를 기반으로 각 수술도구의 진입가능범위를 추출한다. 예를 들어, 컴퓨터는 환자의 전체 신체표면범위에서 수술도구의 말단부가 ⅰ)상기 동작수행범위 전체에 도달하지 못하는 영역 또는 ⅱ)특정한 동작수행범위 내의 특정지점에 도달한 상기 수술도구의 말단부가 상기 회전각도범위 전체를 움직이지 못하는 영역을 제외하여, 각 수술도구의 진입가능범위를 추출한다.

구체적으로, 컴퓨터는 전체 신체표면범위를 진입가능범위로 초기 설정한다. 그 후, 컴퓨터가 각 말단부에 관절부(예를 들어, 사용자에 의해 선택된 수술로봇 내 특정한 수술도구의 관절부)를 결합하여 환자의 가상신체모델에 대해 가상수술을 순차적으로 수행하면서 진입가능범위를 축소하는 과정을 수행한다. 예를 들어, A도구, B도구 및 C도구를 이용하는 경우, 컴퓨터는 A도구의 동작수행범위 전체에 말단부가 도달할 수 없는 영역(즉, 수술도구의 길이 제한에 의해 말단부가 동작수행범위 중에서 도달하지 못하는 지점이 발생하는 신체표면영역)을 진입가능범위에서 제외한다. 또한, 컴퓨터는 A도구가 진입하여 동작수행범위에 도달하는 과정에 가상신체모델 내의 신체장기 또는 조직과 충돌하는 신체표면영역을 진입가능범위에서 제외한다. 또한, 컴퓨터는 진입가능범위 내의 각 신체표면지점에서 수술도구가 진입한 후 동작수행범위 내의 특정한 위치에서 요구되는 회전각도를 구현하지 못하면, 해당 신체표면지점을 진입가능범위에서 제외한다. 이를 통해, 컴퓨터는 A도구에 대한 진입가능범위를 산출한다. 컴퓨터는 각각의 수술도구(예를 들어, B도구 및 C도구)에 대해 각각 진입가능범위 산출 과정을 개별적으로 수행한다.

또한, 다른 일실시예로, 하나의 최적진입위치로 여러 개의 수술도구가 진입하여야 하는 경우, 컴퓨터는 각 수술도구에 대한 최적진입범위를 추출한 후, 복수의 최적진입범위가 중첩되는 범위를 최적진입위치로 선정 가능한 범위로 결정한다. 예를 들어, 수술 수행 과정에 A도구가 D도구로 변경되는 경우, 컴퓨터는 A도구에 대한 진입가능범위와 D도구에 대한 진입가능범위의 중첩되는 영역을 최적진입위치 후보영역으로 산출한다. 수술도구가 진입될 수 있는 위치는 특정개수(예를 들어, 3개)로 제한되므로, A도구에서 D도구로 변경되었을 때 동일한 진입위치를 사용할 수 밖에 없으므로, 컴퓨터는 A도구의 진입가능범위와 D도구의 진입가능범위를 모두 만족하는 위치를 최종 최적진입위치로 결정한다.

또한, 다른 일실시예로, 동일한 수술도구가 가상신체모델 내에서 여러 번 사용되는 경우, 수술도구의 동작수행범위가 넓은 경우에 하나의 수술도구 진입위치에서 모든 동작수행범위에 도달하기 어려울 수 있으므로, 컴퓨터는 해당 수술도구가 사용되는 동작수행범위를 신체표면 상의 복수의 진입위치에서 도달 가능한 여러 개의 그룹으로 분할한다. 예를 들어, 신체표면에 3개의 진입위치를 생성하여 복강경수술 또는 로봇수술을 수행하는 경우, 컴퓨터는 3개 이하의 그룹으로 동작수행범위를 분할한다. 이 때, 컴퓨터는 다른 수술도구에 의해 선정된 복수의 진입가능범위로부터 도달 가능 여부를 바탕으로 동작수행범위를 분할한다. 또한, 넓은 동작수행범위를 가지는 특정한 수술도구(즉, 제1수술도구)가 다른 수술도구(즉, 제2수술도구)와 동시에 사용되고 다른 수술도구(즉, 제2수술도구)가 필수적으로 진입하여야 하는 최적진입위치가 결정되는 경우, 컴퓨터는 제2수술도구와 함께 사용될 때의 제1수술도구의 동작수행범위를 제1수술도구가 제2수술도구의 최적진입위치(즉, 제2수술도구가 진입되는 키홀)를 통해서 접근할 수 없는 범위로 설정할 수 있다. 또한, 컴퓨터는, 다른 수술도구의 변경에도 불구하고 제1수술도구가 연속적으로 사용되는 경우, 컴퓨터는 사용자의 수술 시 편의성 및 수술 시 소요시간을 고려하여 동일한 진입위치로 진입하여 동작이 수행되어야 하는 그룹으로 설정할 수 있다.

또한, 다른 일실시예로, 하나 이상의 수술도구의 진입위치를 산출하는 과정에서, 컴퓨터는 카메라 진입범위와 어시스트(Assist)도구 진입범위를 환자 신체표면의 진입가능범위에서 제외할 수 있다. 예를 들어, 카메라는 이동을 통해 환자 복부 내부를 전체적으로 촬영하기 위해 배꼽 주변 영역을 통해 진입한다. 이를 위해, 컴퓨터는 배꼽 주변 영역을 초기설정된 진입가능범위에서 제외한 후 진입가능범위를 축소하는 과정을 수행할 수 있다.

일실시예로, 컴퓨터는 몬테카를로 방법(Monte Carlo Method)을 이용하여 복수의 수술도구 사용 시의 하나 이상의 최적진입위치를 산출하는 과정을 수행할 수 있다.

또한, 도 2에서와 같이, 다른 일실시예로, 상기 제1시뮬레이션 데이터를 수행하기에 최적화된 특정한 수술로봇 종류 또는 특정한 수술로봇에 포함된 수술도구 종류를 결정하는 단계(S1000);를 더 포함한다.

수술로봇마다 말단부 또는 관절부의 움직임 특성이 상이할 수 있으며, 각 회사의 수술로봇마다 보유한 수술도구 종류에 차이가 있을 수 있으므로, 컴퓨터는 제1시뮬레이션 데이터에 따른 수술도구 움직임을 구현하기 최적인 특정한 수술로봇을 결정할 수 있다. 또한, 하나의 수술로봇에 동일한 말단부 액션을 수행하는 여러가지 수술도구를 포함할 수 있으므로, 컴퓨터는 특정한 수술로봇 내의 여러가지 수술도구 중에서 제1시뮬레이션 데이터에 따라 수술을 수행하기에 최적의 수술도구를 결정할 수 있다.

이를 위해, 최적의 수술도구 또는 수술로봇을 산출하는 방식의 일실시예로, 컴퓨터는 특정한 수술도구의 움직임데이터를 구현할 수 있는 하나 이상의 수술로봇에 포함된 복수의 수술도구를 추출한 후 각 수술도구에 대한 진입위치범위를 추출하고, 수술동작 수행에 용이한 진입위치를 가지는 수술도구 또는 해당 수술도구를 포함하는 수술로봇을 선택한다.

또한, 도 3에서와 같이, 다른 실시예로, 상기 제1시뮬레이션 데이터에 포함된 상기 말단부에 상기 수술도구의 관절부를 결합한 가이드영상을 생성하는 단계(S1200);를 더 포함한다. 상기 가이드영상은 실제 수술을 수행하는 과정에 의료진이 동시에 보면서 참고하는 영상이다. 즉, 상기 가이드영상은 특정한 환자에 대한 실제 수술 조건을 동일하게 적용하여 가상신체모델에 대해 수행된 리허셜 영상일 수 있다. 컴퓨터는 말단부 만으로 가상신체모델 내에서 수행된 영상에 각 수술도구에 상응하는 관절부를 결합하여 수술도구 자체에 대한 영상을 생성하고, 이를 가이드영상으로 적용한다. 컴퓨터가 최적진입위치를 산출하는 과정에서 관절부와 장기의 충돌 문제를 분석하였으므로, 관절부가 결합된 가이드영상은 수술도구와 장기의 충돌 없는 실제 수술과 같은 영상으로 구현될 수 있다.

또한, 도 4에서와 같이, 다른 실시예로, 상기 최적진입위치로 특정한 수술도구를 삽입하여 가상수술을 수행한 제2시뮬레이션 데이터를 획득하는 단계(S1300); 및 상기 제2시뮬레이션 데이터를 실제수술 시의 가이드영상으로 제공하는 단계(S1400);를 더 포함한다. 상기 제2시뮬레이션 데이터는 제1시뮬레이션 데이터를 기반으로 산출된 최적진입위치로 수술도구를 진입하면서 사용자 또는 컴퓨터에 의해 재수행된 가상수술에 대한 데이터이다. 컴퓨터는 제2시뮬레이션 데이터를 획득하기 위한 가상수술을 수행함에 따라 수술도구를 진입하는 과정 등이 모두 포함된 실제수술과 동일한 시뮬레이션 데이터를 생성할 수 있다. 이에 따라, 컴퓨터는 제2시뮬레이션 데이터를 기반으로 하는 영상을 가이드영상으로 적용한다.

또한, 다른 일실시예로, 컴퓨터가 진입위치 투영데이터를 생성하는 단계;를 더 포함한다. 상기 진입위치 투영데이터는 최적진입위치를 환자신체표면에 표시하기 위해 생성되는 데이터이다. 가상신체모델을 통해 실제 환자 신체의 최적진입위치를 산출하더라도 환자의 신체표면에 정확하게 표시하지 못하면 최적진입위치로 수술도구가 진입하지 못함에 따라 사용자(즉, 의료진)가 시뮬레이션을 수행한 가이드영상에 적용된 조건과 실제 수술 시의 조건이 일치하지 않게 되는 문제가 발생할 수 있다. 즉, 가이드영상이 최적화된 수술과정을 정확하게 안내하지 못하는 문제가 발생할 수 있다.

일실시예로, 컴퓨터는 3D 프로젝션 방식을 이용하여 환자 복부에 최적의 위치(영역)을 투사되는 데이터를 생성한다. 구체적으로, 3D 프로젝션 방식을 통해 환자 신체표면에 최적진입위치에 대응하는 식별표지를 표시하기 위해, 컴퓨터는 수술시 수술대의 상단(혹은 로봇수술 암)에 설치된 프로젝터를 통해 여러 간격의 격자 무늬(그리드)를 투사한다. 그 후, 컴퓨터는 수술대의 상단(혹은 로봇수술 암)에 설치된 카메라를 통해 환자 신체에 표현(즉, 환자 신체표면 형상에 의해 변형)된 격자무늬 형태를 촬영한다. 그 후, 컴퓨터는 환자 복부의 3D 입체를 인식하고, 최적진입위치에 대응하는 지점을 산출하여 진입위치 투영데이터를 생성한다. 그 후, 컴퓨터는 환자 신체표면으로 진입위치 투영데이터를 영사하도록 프로젝터를 제어한다. 사용자(즉, 의료진)는 상기 진입위치 투영데이터에 의해 표시된 식별표지에 키홀을 형성하기 위한 트로카를 삽입하여 가상수술을 통해 산출된 정확한 최적진입위치에 수술도구를 삽입할 수 있다.

도 5는 본 발명의 일실시예에 따른 수술도구의 최적진입위치 산출시스템의 내부 구성도이다.

도 5를 참조하면, 본 발명의 또 다른 일실시예에 따른 수술도구의 최적진입위치 산출시스템(10)은, 제1시뮬레이션 데이터 획득부(100); 움직임데이터 획득부(200); 신체데이터 획득부(300); 진입위치 산출부(400); 및 수술도구 결정부(500);의 전부 또는 일부를 포함한다. 각 구성과 관련하여 기 설명된 상세한 설명은 생략한다.

상기 제1시뮬레이션 데이터 획득부(100)는 제1시뮬레이션 데이터를 획득하는 역할을 수행한다. 상기 제1시뮬레이션 데이터를 가상신체모델 내에서 각각의 수술도구의 말단부만을 표현한 상태에서 사용자의 조작 또는 컴퓨터에 따른 가상수술에 의해 획득되는 것이다. 상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이다.

상기 움직임데이터 획득부(200)는 상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 역할을 수행한다.

상기 신체데이터 획득부(300)는 환자의 신체외형데이터 및 신체내부데이터를 획득하는 역할을 수행한다. 상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고, 상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터이다.

상기 진입위치 산출부(400)는 상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 역할을 수행한다.

상기 수술도구 결정부(500)는 특정한 최적진입위치를 통해 사용자 또는 컴퓨터가 수행한 가상수술동작을 수행하기에 적절한 수술로봇 종류 또는 수술도구 종류를 산출하는 역할을 수행한다.

이상에서 전술한 본 발명의 일 실시예에 따른 수술도구의 최적진입위치 산출방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

컴퓨터가 제1시뮬레이션 데이터를 획득하되, 상기 제1시뮬레이션 데이터는 가상신체모델 내에서 각 수술도구의 말단부만을 표현한 상태에서 사용자의 가상수술 수행에 따라 획득되는 것인, 제1시뮬레이션 데이터 획득단계;
상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 단계;
환자의 신체외형데이터 및 신체내부데이터를 획득하는 단계; 및
상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 단계;를 포함하되,
상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이고,
상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고,
상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터인, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
상기 제1시뮬레이션 데이터를 수행하기에 최적화된 특정한 수술로봇 종류 또는 특정한 수술로봇에 포함된 수술도구 종류를 결정하는 단계;를 더 포함하는, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
상기 제1시뮬레이션 데이터에 포함된 상기 말단부에 상기 수술도구의 관절부를 결합한 가이드영상을 생성하는 단계;를 더 포함하는, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
상기 최적진입위치로 특정한 수술도구를 삽입하여 가상수술을 수행한 제2시뮬레이션 데이터를 획득하는 단계; 및
상기 제2시뮬레이션 데이터를 실제수술 시의 가이드영상으로 제공하는 단계;를 더 포함하는, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
상기 최적진입위치 산출단계는,
사용자에 의해 특정한 수술로봇 또는 특정한 수술도구 조합이 선택되는 경우,
상기 수술로봇 또는 상기 수술도구 조합에 포함된 각 수술도구의 길이 또는 관절자유도를 반영하여 상기 최적진입위치를 산출하는 것을 특징으로 하는, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
상기 신체내부데이터 또는 상기 신체외형데이터는,
환자에 대한 의료영상데이터을 기복형성알고리즘에 적용하여 생성된 상기 가상신체모델에서 획득되는 것인, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
상기 움직임데이터 획득단계는,
상기 제1시뮬레이션 데이터에서 각 말단부의 동작수행범위 및 회전각도범위를 상기 움직임데이터로 획득하되,
상기 동작수행범위는 상기 제1시뮬레이션 데이터에서 말단부가 위치한 가상신체모델 내부 지점의 집합이고,
상기 회전각도범위는 상기 동작수행범위 내의 각 지점에서 상기 말단부가 회전하는 각도의 최대범위인, 수술도구의 최적진입위치 산출방법.
제7항에 있어서,
상기 최적진입위치 산출단계는,
환자의 전체 신체표면범위에서 수술도구의 말단부가 상기 동작수행범위 전체에 도달하지 못하는 영역 또는 특정한 동작수행범위 내의 특정지점에 도달한 상기 수술도구의 말단부가 상기 회전각도범위 전체를 움직이지 못하는 영역을 제외하여, 각 수술도구의 진입가능범위를 추출하는 것을 특징으로 하는, 수술도구의 최적진입위치 산출방법.
제1항에 있어서,
컴퓨터가 진입위치 투영데이터를 생성하는 단계;를 더 포함하고,
상기 진입위치 투영데이터는 상기 최적진입위치를 환자 신체표면에 표시되는 식별표지를 포함하는, 수술도구의 최적진입위치 산출방법.
제9항에 있어서,
상기 진입위치 투영데이터 생성단계는,
컴퓨터가 수술시 수술대의 상단 또는 로봇수술 암에 설치된 프로젝터를 통해 격자 무늬를 투사하는 단계;
컴퓨터가 상기 수술대의 상단 또는 상기 로봇수술 암에 설치된 카메라를 통해 환자 신체 표면 상에 표시된 격자무늬 형태를 촬영하는 단계; 및
컴퓨터가 상기 격자무늬 형태를 기반으로 환자 복부의 3D 입체를 인식하고, 상기 최적진입위치에 대응하는 지점을 산출하여 진입위치 투영데이터를 생성하는 단계;를 포함하고,
상기 진입위치 투영데이터는 상기 컴퓨터의 제어에 따라 상기 프로젝터에 의해 환자 신체표면에 영사되는 것인, 수술도구의 최적진입위치 산출방법.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 수술도구의 최적진입위치 산출프로그램.
제1시뮬레이션 데이터를 획득하는, 상기 제1시뮬레이션 데이터를 가상신체모델 내에서 각각의 수술도구의 말단부만을 표현한 상태에서 사용자의 조작에 따른 가상수술에 의해 획득되는 것인, 제1시뮬레이션 데이터 획득부;
상기 제1시뮬레이션 데이터에서 각 수술도구의 움직임데이터를 획득하는 움직임데이터 획득부;
환자의 신체외형데이터 및 신체내부데이터를 획득하는 신체데이터 획득부; 및
상기 움직임데이터, 신체내부데이터 및 신체외형데이터를 반영하여, 각 수술도구의 최적진입위치를 산출하는 진입위치 산출부;를 포함하되,
상기 가상신체모델은 환자 신체에 대한 의료영상데이터를 기반으로 생성된 3차원 모델링데이터이고,
상기 신체내부데이터는 환자 신체 전체 또는 일부의 장기 배치 상태에 대한 데이터이고,
상기 신체외형데이터는 환자 신체의 표면 형상에 대한 데이터인, 수술도구의 최적진입위치 산출시스템.