KR102457585B1 - 수술 중 혈관 네비게이션 방법 및 시스템 - Google Patents

Abstract

수술 중 혈관 내비게이션 방법 및 시스템을 개시한다.
일 실시예에 따른 수술 중 혈관 네비게이션 방법은, 대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축하는 단계; 촬영된 수술영상에서, 수술단계학습모델을 이용하여 대상체의 수술단계를 인식하는 단계; 상기 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합하는 단계; 및 상기 네비게이션 영상을 사용자에게 제공하는 단계를 포함하고, 상기 네비게이션 영상은 상기 주요혈관에서 분기된 혈관을 포함하되, 분기된 혈관은 사용자 입력에 기초하여 단계적으로 추가 또는 제거 가능할 수 있다.

Description

수술 중 혈관 네비게이션 방법 및 시스템 {METHOD AND SYSTEM FOR NAVIGATING VASCULAR DURING SURGERY}

본 발명은 수술 중 혈관 네비게이션 방법 및 시스템에 관한 것이다. 보다 상세하게는 본 건은 수술 중인 영상의 개별 단계를 학습모델을 통해 인식하고, 인식된 단계별 수술영상에 의료영상데이터(예컨대, CT영상)을 기반으로 추출된 환자의 혈관영상을 중첩한 3차원 모델링된 화면을 제공하는 제공하는 방법 및 시스템에 관한 것이다.

일반적으로 의사들이 수술에 들어가기 앞서 환자의 수술 계획을 수립할 때, 수술 부위에 대한 정보를 환자의 CT(Computed Tomographic) 또는 MRI(Magnetic Resonance Imaging) 사진 등의 2차원 의료 영상을 참고하여 수술 계획을 세운다. 이 경우, 대부분 환자의 장기 내부에 존재하는 병변의 위치나 병변의 위치에 따른 혈관과의 관계 등을 2차원 의료 영상에 매칭하기 어려우며, 수술 전에 장기 촬영 정보로 활용할 수단이 없으므로, 수술 시장기 내부 병변의 위치와 주위 혈관 분포 등을 파악하는데 많은 한계가 있다.

이러한 문제점을 해결하기 위해, CT나 MRI 사진들을 3차원 영상으로 구현하여 제공하는 기술이 연구되고 있다.

3차원의 증강 현실 영상으로 구현된 의료 영상을 이용하여 수술 계획을 세운다 하더라도, 수술 내비게이션 시스템을 사용하는 의사는 사람마다 다른 혈관의 위치를 정확하게 인식하지 못할 경우 원치 않는 출혈을 발생시키거나 장기를 손상시킬 우려가 있다.

공개특허공보 제10-2019-1988531호, 2019.09.30.

본 발명이 해결하고자 하는 과제는 수술 중인 영상의 개별 단계(Phase)를 수술단계학습모델을 통해 인식하고, 인식된 단계별 수술영상에 의료영상데이터(예컨대, CT영상)을 기반으로 추출된 환자의 혈관영상을 중첩한 3차원 모델링된 화면을 제공하는 제공하는 것이다.

또한, 환자의 의료영상 데이터에서 혈관학습모델을 이용하여 환자 특이적 3차원 해부모형을 구축하고, 특정 단계의 수술영상에서 수술자가 선택에 따라 분기되는 혈관을 추가하거나 제외할 수 있도록 할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 수술 중 혈관 네비게이션 방법은, 대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축하는 단계; 촬영된 수술영상에서, 수술단계학습모델을 이용하여 대상체의 수술단계를 인식하는 단계; 상기 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합하는 단계; 및 상기 네비게이션 영상을 사용자에게 제공하는 단계를 포함할 수 있다.

또한, 상기 네비게이션 영상에서, 상기 주요혈관에서 분기된 혈관은 사용자 입력에 기초하여 추가 또는 제거될 수 있다.

또한, 상기 주요 혈관이 정합되는 네비게이션 영상은 상기 촬영된 수술영상 또는 상기 의료영상데이터를 이용하여 3차원 모델링된 대상체 영상일 수 있다.

또한, 상기 수술단계학습모델은, 수술데이터를 이용하여 상기 대상체의 수술에 필요한 적어도 하나 이상의 단계를 레이블로 정의하고, 정의된 레이블 별로 학습영상을 입력하여 기계학습 될 수 있다.

또한, 상기 수술데이터는 로봇암의 움직임에 대한 추적 데이터 또는 수술영상 프레임에서 획득된 데이터를 포함할 수 있다.

또한, 상기 혈관학습모델은, 의료영상데이터를 기초로 정맥 및 동맥을 모델링 한 후 혈관분기점을 순차적으로 적용하여 혈관 종류를 부여할 수 있다.

또한, 상기 주요혈관을 상기 네비게이션 영상에 정합하는 단계는, 상기 수술영상 화면의 위치정보를 수집하고, 상기 수술단계 및 위치정보를 기반으로 상기 3차원 모델링된 주요혈관과 대상체를 상기 수술영상에 동조(SYNC)하는 단계를 더 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 로봇수술 시스템은, 본 발명 수술영상을 촬영하기 위한 의료영상 촬영장비; 수술 네비게이션 영상을 사용자에게 제공하기 위한 디스플레이부; 및 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하는 제어부를 포함하고, 상기 제어부에서 수행되는 연산은, 대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축하는 연산; 촬영된 수술영상에서, 수술단계학습모델을 이용하여 대상체의 수술단계를 인식하는 연산; 상기 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합하는 연산; 및 상기 네비게이션 영상을 사용자에게 제공하는 연산;을 포함할 수 있다.

또한, 상기 네비게이션 영상에서 상기 주요혈관에서 분기된 혈관은 사용자 입력에 기초하여 추가 또는 제거 가능할 수 있다.

또한, 상기 주요 혈관이 정합되는 네비게이션 영상은 상기 촬영된 수술영상 또는 대상체의 2차원 의료영상 데이터에서 모델링된 3차원 대상체 영상일 수 있다.

또한, 상기 제어부에서 수행되는 연산은, 상기 촬영된 수술영상 화면의 위치정보를 수집하고, 상기 인식된 수술단계 및 위치정보를 기반으로 상기 3차원 모델링된 주요혈관과 대상체를 상기 수술영상에 동조(SYNC)시키는 연산을 더 포함할 수 있다.

상기 본 발명의 일 실시 예에 따르면, 수술 중에 인식된 수술 단계별 영상에 3차원으로 모델링한 혈관 영상을 정합하여 사용자에게 다양한 정보를 제공할 수 있다.

또한, 기계학습을 통해 환자 특이적 3차원 해부모형을 구축하고, 특정 단계의 수술영상에서 사용자의 선택에 따라 분기되는 혈관을 추가하거나 제외할 수 있도록 함으로써 수술 진행을 원활히 하고, 사용자가 사람마다 다른 혈관의 위치를 정확하게 인식하여, 원치 않는 출혈을 발생시키거나 장기를 손상시킬 가능성을 낮출 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2은 일 실시예에 따른 수술 중 혈관 네비게이션 방법을 설명하기 위한 순서도이다.
도 3은 일 실시 예에 따른 혈관분할 방법을 설명하기 위한 도이다.
도 4는 일 실시예에 따라 혈관의 분기를 모델링 하는 일 예를 설명하기 위한 도이다.
도 5는 일 실시예에 따른 수술단계학습 모델을 설명하기 위한 순서도이다.
도 6은 일 실시예에 따른 혈관 네비게이션 영상을 정합하는 일 예를 설명하기 위한 도이다.
도 7은 일 실시예에 따른 혈관 흐름을 모델링 하는 일 예를 설명하기 위한 도이다.
도 8은 일 실시예에 따른 혈관 네비게이션 영상의 일 예를 설명하기 위한 도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography;CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.

본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.

본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다. 또한, "가상수술데이터"는 수술학습모델을 학습시키기 위한 학습데이터를 포함할 수도 있다.

본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 수술단계(phase)는 특정한 수술유형의 전체 수술에서 순차적으로 수행되는 기본단계를 의미한다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 일 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.

도 1을 참조하면, 일 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.

도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 일 실시예에 따른 로봇수술 시스템에서 생략될 수 있다.

일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.

서버(20)는 적어도 하나의 프로세서, 메모리 및 통신부를 포함하는 컴퓨팅 장치이다.

제어부(30)는 적어도 하나의 프로세서, 메모리 및 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.

영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수있다.

일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.

제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.

예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.

서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.

제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20) 로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.

일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.

이하에서는, 설명의 편의를 위하여 각 단계들이 "컴퓨터"에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.

일 실시 예에서, 의료영상 촬영장비(10)에서 촬영된 수술 영상은 다양한 기준으로 분할될 수 있다. 일 예로, 수술 영상은 영상에 포함된 객체의 종류를 기초로 하여 분할될 수 있다. 객체의 종류를 기초로 하는 분할방법은 컴퓨터가 각 객체를 인식하는 단계를 필요로 한다.

수술 영상에서 인식되는 객체는 크게 인체, 외부에서 유입된 객체 및 자체적으로 생성된 객체를 포함한다. 인체는 수술에 선행되는 의료영상 촬영(예를 들어, CT)에 의하여 촬영되는 신체부위와 촬영되지 않는 신체부위를 포함한다.

예를 들어, 의료영상 촬영에 의하여 촬영되는 신체부위는 장기, 혈관, 뼈, 힘줄 등을 포함하며, 이러한 신체부위는 의료영상에 기초하여 생성되는 3D 모델링 영상에 기초하여 인식될 수 있다.

구체적으로, 각 신체부위의 위치와 크기, 모양 등이 의료영상에 기초한 3D 분석방법에 의하여 사전에 인지된다. 컴퓨터는 실시간으로 수술영상에 대응하는 신체부위의 위치를 파악할 수 있는 알고리즘을 정의하고, 이에 기초하여 별도의 이미지 인식을 수행하지 않아도 수술영상에 포함되는 각 신체부위의 위치, 크기 및 모양 등에 대한 정보를 획득할 수 있다. 또한, 의료영상 촬영에 의하여 촬영되지 않는 신체부위는 오멘텀(omentum) 등을 포함하며, 이는 의료영상에 의하여 촬영되지 않으므로 수술 중에 실시간으로 인식하는 것이 필요하다. 예를 들어, 컴퓨터는 이미지 인식방법을 통하여 오멘텀의 위치 및 크기를 판단하고, 오멘텀 내부에 혈관이 있는 경우 혈관의 위치 또한 예측할 수 있다.

외부에서 유입된 객체는, 예를 들어 수술도구, 거즈, 클립 등을 포함한다. 이는 기 설정된 형태적 특징을 가지므로, 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.

내부에서 생성되는 객체는, 예를 들어 신체부위에서 발생하는 출혈 등을 포함한다. 이는 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.

신체부위에 포함된 장기나 오멘텀의 움직임, 그리고 객체가 내부에서 생성되는 원인은 모두 외부에서 유입된 객체의 움직임에 기인한다.

따라서, 수술 영상은 각 객체를 인식하는 것에 더하여, 각 객체의 움직임에 기초하여 여러 수술 단계(phase)로 분할될 수 있다. 일 실시 예에서, 수술 영상은 외부에서 유입된 객체의 움직임, 즉 액션에 기초하여 분할될 수 있다.

컴퓨터는 수술영상에서 인식된 각 객체의 종류를 판단하고, 각 객체의 종류에 따라 사전에 정의된 특정한 동작, 일련의 동작, 동작에 따라 발생하는 상황이나 결과 등에 기초하여, 각 객체의 움직임, 즉 액션을 인식할 수 있다.

컴퓨터는 각 액션의 종류를 인식하고, 나아가 각 액션의 원인 또한 인식할 수 있다. 컴퓨터는 인식되는 액션에 기초하여 수술영상을 분할할 수 있고, 단계적 분할을 통해 각각의 세부수술동작부터 전체 수술의 종류까지 인식할 수 있다. 예를 들면, 컴퓨터는 컨볼루션신경망네트워크(Convolutional Neural Network) 방식의 기계학습을 수행하는 수술단계학습모델을 기초로 촬영된 수술영상에서 특징정보를 추출하고, 특징정보를 기초로 수술단계별로 영상을 분할하거나 현재 어떤 수술단계에 위치하는지 인식할 수 있다.

나아가, 컴퓨터는 액션에 대한 판단으로부터 수술영상에 대응하는, 기 정의된 수술의 종류를 판단할 수 있다. 수술의 종류를 판단하는 경우, 전체 수술 프로세스에 대한 정보를 획득할 수 있다. 동일한 종류의 수술에 대하여 복수 개의 수술 프로세스가 존재하는 경우, 의사의 선택에 따라서, 또는 특정 시점까지 인식된 액션들에 기초하여 하나의 수술 프로세스를 선택할 수 있다.

컴퓨터는 획득된 수술 프로세스에 기초하여 수술단계를 인식 및 예측할 수 있다. 예를 들어, 일련의 수술 프로세스 중 특정 단계가 인식되는 경우, 이에 후속되는 단계들을 예측하거나 가능한 단계들의 후보를 추려낼 수 있다. 따라서, 오멘텀 등에 의하여 발생하는 수술영상 인식의 오류율을 크게 낮출 수 있다. 또한, 수술영상이 예측가능한 수술단계로부터 소정의 오차범위 이상 크게 벗어나는 경우, 수술오류(surgical error)상황이 발생한 것으로 인식할 수도 있다. 예를 들면, 정해진 수술 프로세스를 벗어나는 수술단계 스위칭이 빈번히 일어난다면 수술 오류 상황이 발생한 것으로 인식할 수 있다.

또한 컴퓨터는 수술단계에 대한 영상 인식에 기반하여, 각 수술단계에 대응하는 주요혈관들 및 혈액 흐름에 따라 주요혈관에 분기된 혈관들에 대한 네비게이션 정보를 추출하여 사용자에게 제공함으로써 효과적인 수술이 되도록 보조할 수 있다.

또한, 컴퓨터는 수술단계에 대한 영상 인식에 기반하여, 수술오류로 인한 출혈이 발생하였는지 판단할 수 있다.

구체적으로, 컴퓨터는 각각의 출혈의 위치, 시간, 규모를 판단을 할 수 있다. 또한, 출혈로 인해 수술이 중단되어야 하는지 여부를 판단할 수 있다. 따라서, 일 실시예에 따라 컴퓨터는 오류 상황 및 출혈 상황에 대한 데이터를 수술결과 리포트로 제공하고, 수술과정에서 불필요한 동작이나 실수를 배제하고, 수술 과정을 효율화하는 데 이용될 수 있다.

일 실시예에 따라 수술 중 혈관 네비게이션을 제공하기 위해, 컴퓨터에서 수행되는 연산은, 대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축하는 연산, 촬영된 수술영상에서, 수술단계학습모델을 이용하여 대상체의 수술단계를 인식하는 연산, 상기 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합하는 연산 및 상기 네비게이션 영상을 사용자에게 제공하는 연산을 포함할 수 있다.

또한, 컴퓨터는 네비게이션 영상을 제공함에 있어서, 사용자 입력에 기초하여 주요혈관에서 분기된 혈관을 추가 또는 제거하도록 하는 연산을 더 포함할 수 있다.

또한, 주요 혈관이 정합되는 네비게이션 영상은 상기 촬영된 수술영상 또는 대상체의 2차원 의료영상 데이터에서 모델링된 3차원 대상체 영상일 수 있다. 또한, 컴퓨터는 촬영된 수술영상 화면의 위치정보를 수집하고, 상기 인식된 수술단계 및 위치정보를 기반으로 상기 3차원 모델링된 주요혈관과 대상체를 상기 수술영상에 동조(SYNC)시키는 연산을 수행할 수 있다.

이하에서는, 도면을 참조하여 수술 중 혈관 네이게이션 방법에 대하여 보다 상세하게 설명한다.

도 2은 일 실시예에 따른 수술 중 혈관 네비게이션 방법을 설명하기 위한 순서도이다.

도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 이하에서는, 설명의 편의를 위하여 각 단계들이 "컴퓨터"에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.

단계 S200에서, 일 실시예에 따른 컴퓨터는 대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축한다.

여기서, 혈관학습모델은 임상데이터에서 획득한 사용자 특이 정보 및 2차원 의료영상데이터를 기초로 주요혈관, 주요혈관을 기준으로 분기된 혈관 및 혈관 흐름을 찾아내 모델링 하는 것일 수 있다.

혈관학습모델에 대해서는 도 3 및 도 4를 참조하여 후술한다.

다음으로 단계 S210에서, 일 실시예에 따른 컴퓨터는 촬영된 수술영상에서, 수술단계학습모델을 이용하여 대상체의 수술단계를 인식한다.

여기서, 수술단계학습모델은, 가상수술데이터를 이용하여 상기 대상체의 수술에 필요한 적어도 하나 이상의 단계를 레이블로 정의하고, 정의된 레이블 별로 학습영상을 입력하여 기계학습 된 것일 수 있다.

또한, 수술단계학습모델을 이용하여 대상체의 수술단계를 인식하는 단계는, 실제수술데이터를 기초로 상기 학습된 수술단계학습모델을 이용하여 수술단계를 인식하는 것일 수 있다.

또한, 실제수술데이터는 로봇암의 움직임에 대한 추적 데이터 또는 수술영상 프레임에서 획득된 데이터를 포함할 수 있다.

이하, 도 5를 참조하여 수술단계학습 모델을 후술한다.

단계 S220에서, 일 실시예에 따른 컴퓨터는 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합한다.

상기 주요 혈관이 정합되는 네비게이션 영상은 상기 촬영된 수술영상 또는 상기 의료영상데이터를 이용하여 3차원 모델링된 대상체 영상일 수 있다.

이하, 일 실시예에 따른 혈관 네비게이션 영상을 정합하는 일 예는 도 6을 참조하여 후술한다.

단계 S230에서, 일 실시예에 따른 컴퓨터는 정합된 네비게이션 영상을 사용자에게 제공한다. 여기서, 네비게이션 영상은 주요혈관에서 분기된 혈관을 사용자 입력에 기초하여 혈관 흐름에 따라 추가 또는 제거 가능할 수 있다.

이하, 혈관 네비게이션 영상을 사용자에게 제공하고 조작하는 방법의 일 예는 도 7 및 도 8을 참조하여 후술한다.

도 3은 일 실시 예에 따른 혈관분할 방법을 설명하기 위한 도이다.

도 3을 참조하면, 일 실시예에 따른 컴퓨터는 의료영상 데이터(CT 촬영본)을 3차원 객체로 변환하는 과정을 처 대상체(장기 및 혈관)에 대한 3D 영상 데이터(301)를 생성한다. 보다 구체적으로 의료영상 데이터를 기초로 정맥 및 동맥을 모델링 한 후 혈관 분기점을 순차적으로 혈관 종류를 부여한다.

이때 수술 단계별로 주요 혈관을 분리하기 위한 라벨링이 수행될 수 있으며, 각각 라벨링된 혈관에 대해 기계학습이 수행 될 수 있다.

위암에 대한 수술을 예로 들면, 수술 영상에 등장하는 장기와 혈관의 이름을 리스트 업하고, 리스트업된 이름을 영상에 태깅하여 각각의 학습모델이 기계학습을 수행할 수 있도록 한다. 그리고 기계 학습된 혈관학습모델을 이용하여 각 장기 및 혈관이 분할될 수 있도록 한다. 따라서, 사용자는 장기와 혈관의 이름이 라벨링된 혈관의 리스트(302)를 확인할 수 있으며, 나아가 이름이 태그된 영상(303)을 확인할 수 있다.

예를 들면, 도 4는 일 실시예에 따라 혈관의 분기를 모델링 하는 일 예를 설명하기 위한 도이다.

도 4를 참조하면, 일 실시예에 따른 컴퓨터는 혈관학습모델을 통해 3차원 영상에서 혈관을 분리한 뒤 각 혈관의 분기점(401)마다 포인트를 생성하여 혈관 이름을 라벨링 할 수 있다. 따라서 일 실시예에 따른 수술 중 혈관 네비게이션 방법에 따르면, 혈관학습모델은 분기점을 기준으로 혈관이 기계학습 되기 때문에 사용자에게 혈관 네비게이션 영상을 제공 시 분기점을 기준으로 혈관이 추가 또는 제거되도록 표시될 수 있다.

또한, 일 실시예에 따른 컴퓨터는 임상데이터에서 획득한 사용자 특이 정보 및 2차원 의료영상데이터를 기초로 주요혈관, 주요혈관을 기준으로 분기된 혈관 및 혈관 흐름을 보다 정확하게 찾아내 모델링할 수도 있다.

따라서, 이러한 기계학습을 통해 의료영상 데이터로부터 사람마다 다른 혈관의 위치를 정확하게 인식하여, 향후 수술 시 혈관 위치를 정확하게 사용자에게 안내할 수 있다.

도 5는 일 실시예에 따른 수술단계학습 모델을 설명하기 위한 순서도이다.

도 5를 참조하면, 단계 S500에서 컴퓨터는 수술 종류를 선정한다. 수술 종류는 입력된 영상에서 객체 또는 대상체를 인식하여 자동으로 선정될 수도 있으며 사용자가 직접 입력할 수도 있다.

다음으로 단계 S510에서 컴퓨터는 실제수술데이터를 이용하여 수술을 단계별 레이블로 정의한다.

각각의 수술 단계(phase)는 카메라의 움직임, 장비 들의 움직임 및 장기들을 영상들의 인식함으로써 자동으로 분할될 수도 있으며, 사용자가 정형화된 수술 프로세스에 맞는 영상을 학습영상으로 분류하여 미리 학습 시킬 수도 있다.

예를 들면, 위암을 수술하는 경우, 준비단계, 장기를 노출하는 단계, 혈관을 자르는 단계, 위의 왼쪽 아래 장기를 자르는 단계, 위의 오른쪽 아래 장기를 자르는 단계 또는 십이지장과 위의 연결부분을 자르는 단계 등 약 21개의 단계로 수술 단계를 정의할 수 있다.

다음으로 단계 S520에서 컴퓨터는 정의된 레이블에 해당하는 학습영상을 선정한다. 학습영상은 컴퓨터가 입력된 수술영상을 자동으로 분할하여 선정할 수도 있으며, 사용자가 미리 실제의 수술데이터를 기반으로 학습영상을 선정하여 입력할 수도 있다.

다음으로 단계 S530에서 컴퓨터는 선정된 학습영상들을 기초로 컨볼루션 신경망 네트워크를 이용한 기계학습을 수행할 수 있다. 예를 들면, 이렇게 정의된 수술단계 각각의 수술 영상의 프레임을 SlowFast Network 등의 액션 인지 모델을 이용하여 학습한 경우 정확도 높은 수술단계학습모델을 훈련시킬 수 있다.

이와 같이, 훈련된 수술단계학습모델은 수술 중에 수술단계를 보다 정확하게 자동으로 인식하는데 활용된다.

도 6은 일 실시예에 따른 혈관 네비게이션 영상을 정합하는 일 예를 설명하기 위한 도이다.

일 실시예에 따라 컴퓨터는 수술영상 화면의 위치정보를 수집하고, 상기 수술단계 및 위치정보를 기반으로 상기 3차원 모델링된 주요혈관과 대상체를 상기 수술영상에 동조(SYNC)시킬 수 있다.

여기서, 혈관이 정합되는 네비게이션 영상은 상기 촬영된 수술영상 또는 상기 의료영상데이터를 이용하여 3차원 모델링된 대상체의(장기 및 혈관) 영상일 수 있다.

예를 들면, 도6의 화면(602)에 도시된 영상과 같이 컴퓨터는 위암 수술영상(601)에서 인식된 수술단계의 주요혈관 및 대상체를 3차원혈관모델로부터 추출한뒤, 추출된 주요혈관과 3차원모델링된 대상체 영상을 정합하여 사용자에게 제공할 수 있다.

이때, 수술 영상의 경우 개복되는 위치에 따라서 카메라 중심 포인트가 달라질 수 있으므로, 수술도구의 위치 및 카메라의 위치를 고려하여 네비게이션 영상의 경우도 자동으로 회전되어 표시 될 수 있다.

도 7은 일 실시예에 따른 혈관 흐름을 모델링 하는 일 예를 설명하기 위한 도이다.

도 7을 참조하면, 일 실시예에 따른 3차원 혈관모델의 경우 주요혈관을 기준으로 혈관 흐름에 따라 주위혈관에 대한 네비게이션이 가능하도록 모델링 될 수 있다. 일 실시예에 따른 3차원 혈관 모델의 경우 주요혈관을 중심으로 분기되는 각각의 혈관을 라벨링하여 학습하기 때문에 의료영상데이터로부터 인식된 각각의 혈관에 대해 분기점을 기준으로 흐름 및 뎁스(depth)를 나눠 분류할 수 있기 때문이다.

따라서, 도 7에 도시된 것과 같이 컴퓨터는 선택된 주요혈관(701)을 중심으로 주위혈관에 대한 안내가 수행될 수 있도록 혈관 표시를 위한 각 단계를 뎁스(depth)별로 정의하고, 뎁스별 혈관흐름을 판단(702)한다. 그리고, 사용자 선택에 따라 뎁스별로 주변 혈관이 흐름에 따라 추가 또는 제거되어 표시되도록 할 수 있다.

또한, 도 8은 일 실시예에 따른 혈관 네비게이션 영상의 일 예를 도시한다.

도 8을 참조하면 컴퓨터는 수술영상에 동조된, 주요혈관(801)만 네비게이션 영상 화면에 표시되도록 할 수 있다.

즉, 사용자 선택에 따라 최초 정합 영상(802)에서 장기나 주변혈관을 제거(802)하거나 투명화(804)되도록 하는 사용자 인터페이스를 통해 사용자가 수술단계에서 필요로 하는 혈관네비게이션 영상을 제공할 수 있다. 또한, 단계별로 주요혈관에서 혈관의 흐름에 따라 분기된 혈관이 추가되어 표시되도록 할 수도 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부

Claims (10)

1. 장치에 의해 수행되는, 수술 중 혈관 네비게이션 방법에 있어서,
   대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축하는 단계-상기 혈관학습모델은, 분기점을 기준으로 혈관이 기계학습된 것으로, 의료영상데이터를 기초로 정맥 및 동맥을 모델링 한 후, 혈관의 분기점을 순차적으로 적용하여 혈관 종류를 부여하는 것임-;
   수술단계학습모델을 이용하여 상기 대상체의 수술 중 촬영된 수술영상으로부터 수술단계를 인식하는 단계;
   상기 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합하는 단계; 및
   상기 네비게이션 영상을 사용자에게 제공하는 단계를 포함하고,
   상기 네비게이션 영상은 상기 주요혈관에서 분기된 혈관을 포함하되, 상기 분기된 혈관은 사용자 입력에 기초하여 추가 또는 제거 가능하며,
   상기 주요혈관이 정합되는 네비게이션 영상은 상기 의료영상데이터를 이용하여 상기 대상체가 3차원 모델링된 영상 또는 상기 촬영된 수술영상이며,
   상기 네비게이션 영상에서 상기 인식된 수술단계에 대응하는 주요혈관 외의 주변장기나 주변혈관은 제거하며,
   상기 수술단계학습모델은, 수술데이터를 이용하여 해당 수술에 필요한 적어도 하나 이상의 단계별 레이블로 정의하고, 입력된 수술영상을 자동으로 분할하여 정의된 레이블 별로 학습영상을 선정하고, 선정된 학습영상들을 기초로 액션 인지 모델을 이용하여 기계학습된 것이고,
   상기 네비게이션 영상을 사용자에게 제공할 시, 수술도구의 위치 및 카메라의 위치를 고려하여 자동으로 회전되어 표시하는 것을 특징으로 하는, 수술 중 혈관 네비게이션 방법.
   
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 수술데이터는 로봇암의 움직임에 대한 추적 데이터 또는 수술영상 프레임에서 획득된 데이터를 포함하는 것인, 수술 중 혈관 네비게이션 방법.
   
5. 제 1항에 있어서,
   상기 혈관학습모델은, 의료영상데이터를 기초로 정맥 및 동맥을 모델링 한 후 혈관분기점을 순차적으로 적용하여 혈관 종류를 부여하는 것인, 수술 중 혈관 네비게이션 방법.
   
6. 제 1항에 있어서,
   상기 주요혈관을 상기 네비게이션 영상에 정합하는 단계는, 상기 수술영상 화면의 위치정보를 수집하고, 상기 수술단계 및 위치정보를 기반으로 3차원 모델링된 주요혈관과 대상체를 상기 수술영상에 동조(SYNC)시키는 단계를 포함하는, 수술 중 혈관 네비게이션 방법.
   
7. 하드웨어인 컴퓨터와 결합되어, 제1항, 제4항 내지 제6항 중 어느 한 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
   
8. 수술영상을 촬영하기 위한 의료영상 촬영장비;
   수술 네비게이션 영상을 사용자에게 제공하기 위한 디스플레이부; 및
   하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하는 제어부를 포함하고,
   상기 제어부에서 수행되는 연산은,
   대상체의 2차원 의료영상데이터에서 혈관학습모델을 이용하여 3차원 혈관모델을 구축하는 연산-상기 혈관학습모델은, 분기점을 기준으로 혈관이 기계학습된 것으로, 의료영상데이터를 기초로 정맥 및 동맥을 모델링 한 후, 혈관의 분기점을 순차적으로 적용하여 혈관 종류를 부여하는 것임-;
   수술단계학습모델을 이용하여 상기 대상체의 수술 중 촬영된 수술영상으로부터 수술단계를 인식하는 연산;
   상기 인식된 수술단계에 대응하는 주요혈관을 상기 구축된 3차원 혈관모델에서 추출하고 네비게이션 영상에 정합하는 연산; 및
   상기 네비게이션 영상을 사용자에게 제공하는 연산을 포함하고,
   상기 네비게이션 영상은 사용자 입력에 기초하여 상기 주요혈관에서 분기된 혈관을 추가 또는 제거 가능하며,
   상기 주요혈관이 정합되는 네비게이션 영상은 상기 의료영상데이터를 이용하여 상기 대상체가 3차원 모델링된 영상 또는 상기 촬영된 수술영상이며,
   상기 네비게이션 영상에서 상기 인식된 수술단계에 대응하는 주요혈관 외의 주변장기나 주변혈관은 제거하며,
   상기 수술단계학습모델은, 수술데이터를 이용하여 해당 수술에 필요한 적어도 하나 이상의 단계별 레이블로 정의하고, 입력된 수술영상을 자동으로 분할하여 정의된 레이블 별로 학습영상을 선정하고, 선정된 학습영상들을 기초로 액션 인지 모델을 이용하여 기계학습된 것이고,
   상기 네비게이션 영상을 사용자에게 제공할 시, 수술도구의 위치 및 카메라의 위치를 고려하여 자동으로 회전되어 표시하는 것을 특징으로 하는, 수술 중 혈관 네비게이션 시스템.
   
9. 삭제
10. 제 8항에 있어서,
    상기 제어부에서 수행되는 연산은,
    상기 촬영된 수술영상 화면의 위치정보를 수집하고, 상기 인식된 수술단계 및 위치정보를 기반으로 3차원 모델링된 주요혈관과 대상체를 상기 수술영상에 동조(SYNC)시키는 연산을 더 포함하는, 수술 중 혈관 네비게이션 시스템.

Images