KR20200096155A

KR20200096155A - 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램

Info

Publication number: KR20200096155A
Application number: KR1020200011504A
Authority: KR
Inventors: 이연주
Original assignee: 주식회사 아이버티
Priority date: 2019-02-01
Filing date: 2020-01-31
Publication date: 2020-08-11

Abstract

본 발명은 수술영상 분석 및 인식 시스템, 방법 및 프로그램에 관한 것이다.
본 발명의 일실시예에 따른 컴퓨터에 의한 수술 분석 방법은, 컴퓨터가 수술영상을 획득하는 단계; 컴퓨터가 하나 이상의 수술요소 인식모델에 상기 수술영상을 입력하는 단계; 컴퓨터가 각각의 수술요소 인식모델에서 산출된 수술인식결과 조합을 획득하되, 하나 이상의 수술요소 인식모델은 수술분석시스템 내의 최하위 레벨인 수술요소 인식층에 포함되는 것인, 수술인식결과 조합 획득단계; 및 컴퓨터가 상기 수술인식결과 조합을 하나 이상의 수술 분석 모델에 입력하여 하나 이상의 분석결과를 획득하되, 상기 하나 이상의 수술 분석 모델은 상기 수술요소 인식층 위의 수술 분석층에 포함되는 것으로서, 사용자의 요청에 따라 선택되는 것인, 수술 분석결과 획득단계;를 포함한다.

Description

수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램{METHOD FOR ANALYSIS AND RECOGNITION OF MEDICAL IMAGE}

본 발명은 수술영상 분석 및 인식 방법에 관한 것이다.

의료수술 또는 의료시술(즉, 의료 치료 행위)은 개복수술(open surgery), 복강경 수술 및 로봇 수술을 포함하는 최소침습수술(MIS: Minimally Invasive Surgery), 방사선 치료, 내시경 시술 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데 복강경 수술과 로봇 수술이 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸속에 삽입하여 비디오 모니터를 통해서 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 또한, 로봇수술은 수술로봇을 이용하여 최소 침습수술을 수행하는 것이다. 나아가 방사선 치료는 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다. 또한, 내시경 시술은 내시경을 소화기 등에 삽입한 후 내시경에 구비된 통로로 도구를 삽입하여 수행하는 시술을 말한다.

이러한 의료 치료행위의 경우, 실제 수행 시 영상을 획득하여 이를 기초로 수행하는 경우가 많다. 즉, 개복수술은 의료진이 직접 육안으로 환자의 장기를 보면서 수행하고, 복강경수술 또는 내시경시술은 복강경 또는 내시경을 통해 획득되는 영상을 보면서 수행된다. 따라서, 치료행위 수행 시에 획득되는 영상을 통해서 의료진에게 다양한 정보를 제공하여 주는 것이 중요하다.

또한, 의료수술 또는 의료시술 과정에서 의사를 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술 또는 시술을 보조하기 위한 정보를 제공하기 위해서는, 수술과정 또는 시술과정에서 행해지는 동작이나 다양한 수술정보를 인식하고 인식된 정보의 의미를 파악하는 것이 중요하다. 따라서, 컴퓨터가 영상으로부터 동작이나 다양한 수술정보를 인식할 수 있는 기술의 개발이 요구된다.

또한, 최근에는 수술영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.

수술영상을 분석 또는 인식하기 위해서는 수술영상 내에 포함된 여러가지 수술요소를 인식하여야 한다. 그러나 수술영상 내에 포함된 각 수술요소들은 하나의 학습모델만으로 획득되기 어렵다.

따라서, 본 발명은 병렬적으로 형성된 수술요소 인식모델을 통해, 수술영상 내에서 복수의 수술요소를 각각 인식하여 정확한 인식결과를 빠르게 얻어낼 수 있는, 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램을 제공하고자 한다.

또한, 본 발명은 수술요소 인식모델에서 산출된 여러 수술요소 인식결과를 이용하여 각각의 결과를 산출할 수 있는 복수의 수술 분석 모델을 통해, 수술 분석에 필요한 다양한 분석결과를 전부 또는 선택적으로 획득할 수 있는, 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램을 제공하고자 한다.

또한, 본 발명은 복수의 수술 분석 모델을 통한 여러 수술 분석 결과를 기반으로 의료진에게 필요한 서비스결과물을 간편하게 산출하여 주는 복수의 수술 솔루션 모델을 포함하는, 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램을 제공하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일실시예에 따른 컴퓨터에 의한 수술 분석 방법은, 컴퓨터가 수술영상을 획득하는 단계; 컴퓨터가 하나 이상의 수술요소 인식모델에 상기 수술영상을 입력하는 단계; 컴퓨터가 각각의 수술요소 인식모델에서 산출된 수술인식결과 조합을 획득하되, 하나 이상의 수술요소 인식모델은 수술분석시스템 내의 최하위 레벨인 수술요소 인식층에 포함되는 것인, 수술인식결과 조합 획득단계; 및 컴퓨터가 상기 수술인식결과 조합을 하나 이상의 수술 분석 모델에 입력하여 하나 이상의 분석결과를 획득하되, 상기 하나 이상의 수술 분석 모델은 상기 수술요소 인식층 위의 수술 분석층에 포함되는 것으로서, 사용자의 요청에 따라 선택되는 것인, 수술 분석결과 획득단계;를 포함한다.

또한, 다른 일실시예로, 상기 수술 분석층 내의 각각의 수술 분석 모델은, 분석에 필요한 데이터를 기반으로, 상기 수술요소 인식층 내의 하나 이상의 수술요소 인식모델과 연결관계가 설정된 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 수술요소 인식모델은, 상기 수술영상 내의 장기를 인식하는 장기인식모델; 상기 수술영상 내의 수술도구와 상기 수술도구의 움직임을 인식하는 수술도구 인식모델; 및 상기 수술영상 내에서 발생하는 이벤트를 인식하되, 상기 이벤트는 출혈을 포함하는 수술 중 비이상적인 상황인, 이벤트 인식모델;을 포함한다.

또한, 다른 일실시예로, 상기 수술 분석층은, 상기 수술요소 인식층에서 인식된 수술 장기 유형, 수술동작 및 수술 중 발생 이벤트를 포함하는 수술인식결과 조합을 기반으로 혈액 손실 정도를 산출하는 혈액 손실 인식모델; 및 상기 수술요소 인식층에서 인식된 수술단계 및 수술시간을 포함하는 수술인식결과 조합을 기반으로 장기 손상 정도를 산출하는 장기 손상 감지모델;을 포함하며, 상기 혈액 손실 인식모델 및 상기 장기 손상 감지모델은 수술 중 또는 수술 후에 각 수술과정에 분석결과 산출에 이용되는 것이다.

또한, 다른 일실시예로, 수술이 완료된 후 수술 결과를 분석하는 경우, 상기 수술 분석층은, 상기 수술요소 인식층에서 인식된 수술도구, 상기 수술도구로 동작이 수행되는 장기, 상기 수술도구로 수행되는 전체 수술 중의 세부수술단계, 상기 세부수술단계에서 발생한 이벤트를 기반으로, 잘못된 수술도구의 사용을 탐지하는, 수술도구 오사용 탐지모델;을 더 포함한다.

또한, 다른 일실시예로, 상기 수술 분석층은, 상기 수술요소 인식층에서 획득된 수술인식결과 조합을 기반으로 최적 수술계획을 산출하는 최적 수술계획 산출모델;을 더 포함하되, 상기 최적 수술계획 산출모델은, 실시간으로 전에 획득된 수술영상데이터를 분석함에 따라 이후에 수행되어야 하는 최적 수술계획을 산출하여 제공하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 수술 분석층은, 상기 수술요소 인식층에서 획득된 수술인식결과 조합을 기반으로 최적 수술계획을 산출하는 최적 수술계획 산출모델;을 더 포함하되, 상기 최적 수술계획 산출모델은, 수술 전에 환자의 가상신체모델에 수행된 가상수술에 대한 수술인식결과 조합을 기반으로, 실제 환자에 대한 수술계획을 산출하여 제공하는 것을 특징으로 한다.

또한, 다른 일실시예로, 컴퓨터가 하나 이상의 분석결과를 특정한 수술 솔루션 모델에 입력하여, 분석결과를 기반으로 정리된 수술산출물을 제공하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 상기 수술 솔루션 모델은, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술에 대한 평가 결과를 산출하는 수술 평가 모델; 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술에 대한 차트를 생성하는 차트 생성 모델; 및 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술의 복잡도 또는 난이도를 산출하는 수술 복잡도 산출모델;을 더 포함한다.

또한, 다른 일실시예로, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 학습함에 따라, 수술에 대한 질문에 대한 답변을 산출하는 수술 Q&A 모델;을 포함하며, 상기 수술산출물 제공단계는, 의료진의 특정 수술에 대한 질문을 입력함에 따라 답변을 산출하여 제공하는 것이다.

본 발명의 다른 일실시예에 따른 컴퓨터에 의한 수술 분석 프로그램은, 하드웨어인 컴퓨터와 결합되어, 상기 컴퓨터에 의한 수술 분석 방법을 실행시키기 위하여 매체에 저장될 수 있다.

본 발명의 또 다른 일실시예에 따른 수술영상 분석장치는, 수술영상이 입력됨에 따라 수술인식결과를 산출하는 하나 이상의 수술요소 인식모델을 포함하되, 하나 이상의 수술요소 인식모델은 수술분석시스템 내의 최하위 레벨인 수술요소 인식층에 포함되는 것인, 수술요소 인식층; 및 상기 하나 이상의 수술요소 인식모델에서 제공된 결과의 조합인 수술인식결과 조합을 기반으로 분석결과를 획득하는 하나 이상의 수술 분석 모델을 포함하되, 상기 수술요소 인식층의 상위 층으로 형성되는, 수술 분석층;을 포함한다.

또한, 다른 일실시예로, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 정리된 수술산출물을 제공하는 하나 이상의 수술 솔루션 모델을 포함하는, 수술 솔루션 제공층;을 더 포함한다.

상기와 같은 본 발명에 따르면, 수술영상 내의 개별 수술요소(수술도구, 출혈, 카메라 등)을 인식하는 개별 수술요소 인식모델에 의해, 각 수술요소를 정확하게 인식할 수 있다. 즉, 하나의 인식모델을 통해 수술영상에 포함된 여러가지 수술요소를 인식하는 방식에 비해 높은 정확도의 인식결과를 제공할 수 있다.

또한, 본 발명에 따르면, 수술요소 인식모델에 의해 산출된 수술요소 인식결과를 조합하여 수술 분석을 수행하므로, 의료진에게 정확한 수술 분석 결과를 제공할 수 있다.

또한, 본 발명에 따르면, 하나 이상의 수술분석 결과를 입력함에 따라 각각의 수술 솔루션 모델이 의료진에게 필요한 결과물을 자동으로 산출하므로, 의료진의 수술 후 업무가 간소화될 수 있다.

또한, 본 발명에 따르면, 새로운 수술요소 인식을 하여야 하는 경우, 새로운 수술 분석이 필요한 경우 또는 새로운 서비스 유형의 솔루션이 필요한 경우에, 수술 분석 시스템 내에 새로운 수술요소 인식모델, 수술 분석 모델 또는 수술 솔루션 모델을 추가하고 상위레이어 또는 하위레이어에 포함된 하나 이상의 모델과 연결관계만 형성하면 되므로, 간편하게 새로운 기능 추가를 할 수 있다.

도 1은 본 발명의 일실시예에 따른 수술 분석 장치의 레이어 구성도이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터에 의한 수술 분석 방법의 순서도이다.
도 3은 본 발명의 일실시예에 따른 수술 산출물 제공 과정을 더 포함하는 컴퓨터에 의한 수술 분석 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 '수술영상'은 수술 과정을 촬영한 영상이다. 예를 들어, 수술영상은 로봇수술을 포함하는 복강경 수술 시에 신체 내부로 삽입된 내시경에 의해 획득되는 영상을 포함한다. 또한, 수술영상은 구강 또는 항문을 통해 삽입된 내시경을 통해 수행되는 시술 영상을 포함할 수 있다.

본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다. 상기 가상신체모델은 수술 중에 가이딩 또는 네비게이션, 수술 후 분석 등에 이용될 수 있다. 또한, 상기 가상신체모델은 실제 환자 신체의 색상, 텍스쳐(Texture), 탄성 등이 반영되어 실제 환자 신체와 동일하게 구현된 것일 수 있다.

본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "실제수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 도면들을 참조하여, 본 발명의 실시예들에 따른 컴퓨터에 의한 수술 분석 방법, 프로그램 및 수술분석장치에 대한 상세한 설명을 기재한다.

도 1은 본 발명의 일실시예에 따른 수술영상 분석장치의 구성도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 수술영상 분석장치는, 수술요소 인식층(10); 및 수술 분석층(20);을 포함한다.

상기 수술요소 인식층은, 수술에 개입되는 요소, 수술에 의해 발생되는 요소를 인식하는 레이어(Layer)이다. 상기 수술에 개입되는 요소는 수술영상을 촬영하는 카메라(예를 들어, 복강경 수술 시에 이용되는 내시경), 수술도구, 장기, 혈관 등이 포함된다. 또한, 상기 수술에 의해 발생되는 요소는 수술도구의 동작, 출혈 등의 이벤트(Event) 등이 포함된다. 상기 수술요소 인식층은 수술분석시스템 내의 최하위 레벨을 형성한다.

상기 수술요소 인식층은 수술영상이 입력됨에 따라 수술인식결과를 산출하는 하나 이상의 수술요소 인식모델을 포함한다. 이하, 각각의 수술요소 인식층 내 수술요소 인식모델에 대한 상세한 설명을 기술한다.

복수의 수술요소 인식모델은 상호 간에 연결관계를 가질 수 있다. 즉, A 수술요소 인식모델이 인식결과를 산출하기 위해 B 수술요소 인식모델의 인식결과를 추가로 이용할 수 있다.

일실시예로, 상기 수술영상 내의 장기를 인식하는 장기인식모델을 포함한다. 즉, 장기인식모델은 수술영상 내의 각각의 영상프레임 내에 존재하는 하나 이상의 장기를 인식하는 역할을 수행한다. 또한, 장기인식모델은 동맥 및 정맥으로 구성된 혈관 모델을 포함할 수 있다.

상기 장기인식모델은 다양한 방식으로 수술영상 내의 장기를 인식할 수 있다. 예를 들어, 상기 장기인식모델은, 후술되는 카메라 위치 인식모델에서 획득된 카메라 위치 또는 후술되는 수술단계 인식모델에서 수술단계를 기반으로 수술동작이 수행되는 장기 또는 혈관을 산출할 수 있다.

다른 일실시예로, 상기 수술영상 내의 수술도구(Instrument)를 인식하는 수술도구 인식모델을 포함한다. 상기 수술도구 인식모델은 영상 내에 등장하는 수술도구의 유형을 인식할 수 있다. 예를 들어, 상기 수술도구 인식모델은 각 수술도구의 이미지를 학습하여 둠에 따라 각 프레임 내에 등장하는 수술도구를 인식할 수 있다. 또한, 예를 들어, 상기 수술도구 인식모델은 각 수술도구가 장기에 대해 동작을 수행하는 복수의 수술영상데이터를 학습함에 따라, 신체 내부에서 수술동작을 수행 중인 수술도구를 인식할 수 있다.

다른 일실시예로, 수술도구 동작(Instrument Action) 인식모델;을 더 포함한다. 즉, 수술도구 동작인식모델은 특정한 수술단계에서 수행되는 수술도구의 움직임이 어떠한 의미를 가지는 동작(즉, 어떤 결과를 얻기 위한 동작)인지 인식하는 역할을 수행한다.

구체적으로, 수술도구 동작 인식모델은, 동작 의미 인식이 필요한 수술영상(또는 수술영상 내의 특정구간)을 획득한 후 상기 수술영상에 포함된 복수의 영상프레임을 학습하여 기본 수술동작을 인식한다. 상기 기본 수술동작은 특정한 수술도구를 이용한 자르기, 잡기와 같은 기본적인 동작을 의미한다. 그 후, 수술도구 동작 인식모델은, 상기 인식된 수술동작을 기초로 상기 복수의 영상프레임 중 연속된 영상프레임 세트를 추출하여, 학습을 통해 상기 단위 수술동작의 의미를 도출한다. 상기 단위 수술동작은 수술과정에서 특정 장기에 대한 동작(Action)으로서 특정한 결과를 내기 위한 의미를 가지는 수술동작을 의미한다.

이를 위해, 수술도구 동작 인식모델은, 수술 중의 의미가 반영되지 않는 수술동작의 최소단위인 기본 수술동작을 인식하는 기본 수술동작 인식모듈; 및 연속된 기본 수술동작을 기반으로 단위 수술동작을 인식하는 수술의미 인식모듈;을 포함할 수 있다.

일실시예로, 상기 기본 수술동작 인식모듈은 수술도구 이미지를 학습함에 따라, 연속된 프레임에서 수술도구를 인식해내고, 수술도구의 상태 변화를 산출하여 수술도구의 기본 수술동작을 인식한다.

또한, 일실시예로, 상기 수술의미 인식모듈은 연속된 기본 수술동작과 단위 수술동작을 매칭한 학습데이터를 트레이닝함에 따라, 상기 기본 수술동작 인식모듈에 의해 인식된, 신규 수술영상 내 연속된 기본 수술동작 데이터가 입력되면 단위 수술동작을 산출한다. 또한, 이 때, 학습데이터는 연속된 기본 수술동작이 수행되는 장기 정보를 더 포함할 수 있고, 상기 장기 정보는 수술요소 인식층 내의 장기 인식 모델에 의해 산출된 결과가 이용될 수 있다.

또한, 다른 일실시예로, 최소침습 수술 시의 카메라의 위치를 인식하는 카메라 위치 인식모델을 더 포함한다. 구체적으로, 카메라가 복강경 수술에서 사용되는 내시경인 경우, 내시경이 복강 내부로 내시경이 삽입된 후에 복강 내에서 전/후진, 상/하/좌/우 이동 등이 될 수 있으므로, 카메라 위치 인식모델은 복강 내에서 카메라의 위치를 실시간으로 산출하는 역할을 수행한다.

일실시예로, 카메라 위치 인식모델은, 카메라에 의해 촬영되는 영상 내 기준객체의 하나 이상의 기준지점을 기반으로 카메라의 기준 위치를 설정하고, 영상 내의 객체의 변화를 기반으로 상대적 위치 변화를 산출하여 카메라 위치를 실시간 산출한다.

구체적으로, 실제수술영상을 이용한 카메라 위치 산출 방법은, 카메라 위치 인식모델이 신체내부로 진입하는 카메라에 의해 촬영되는 실제수술영상으로부터 기준 객체를 획득하여 상기 카메라에 대한 기준 위치를 설정하고, 상기 카메라가 이동함에 따라 상기 카메라의 위치 변화량을 산출한다. 예를 들어, 카메라 위치 인식모델은 카메라에 의해 획득되는 실시간 영상 내의 객체 변화(예를 들어, 객체의 크기 변화, 객체의 위치 변화, 영상 내에 나타나는 객체의 변화 등)을 기반으로 카메라의 위치 변화량을 산출한다. 그 후, 카메라 위치 인식모델은 상기 기준 위치에 대한 상기 카메라의 위치 변화량을 기반으로 상기 카메라의 현재 위치를 산출한다. 이 때, 실제수술영상은 스테레오스코픽 3D 영상일 수 있으며, 이에 따라 실제수술영상은 3차원적인 입체감, 즉 깊이감을 가진 영상일 수 있다. 따라서, 실제수술영상의 깊이 정보(depth map) 통해서 수술도구의 3차원 공간 상의 위치를 정확하게 파악할 수 있다.

상기 기준 객체는 영상으로부터 특징을 검출하기 용이하고, 신체내부에 고정된 위치에 존재하고, 수술 시에 움직임이 없거나 매우 적고, 형태의 변형이 일어나지 않으며, 수술도구에 의해 영향받지 않고, 의료영상데이터(예: CT, PET 등에 의해 촬영된 데이터)에 의해서도 획득이 가능해야 하는 등의 조건들 중 적어도 하나를 만족하는 장기 또는 내부 특정 부위를 이용할 수 있다. 예를 들어, 간, 복벽 등과 같이 수술 시 움직임이 매우 적은 부분, 위, 식도, 담낭 등과 같이 의료영상데이터에서도 획득이 가능한 부분을 기준 객체로 정할 수 있다.

또한, 카메라의 위치 이동이 발생하는 경우에, 기준 객체로 카메라에 의해 촬영되는 영상 내 수술도구가 기준객체로 사용될 수도 있다. 일반적으로, 로봇 수술을 수행할 때, 카메라 이동과 수술도구 이동이 동시에 발생하지 않으므로, 카메라 이동 시에는 특정 위치에 멈춰 있는 수술도구가 기준객체로 이용될 수 있다.

또한, 카메라 위치 인식모델은, 수술영상 내에 기준객체가 등장하면 기준객체의 하나 이상의 기준지점을 기반으로, 카메라의 기준위치를 재설정하는 과정을 반복할 수 있다. 즉, 카메라 이동이 빈번한 경우, 기준위치로부터 상대적 이동을 누적함에 따라 카메라 위치에 오차가 발생할 수 있으므로, 카메라 위치 인식모델은, 실시간으로 새로운 기준객체가 영상 내에 등장하면 카메라 기준위치를 재설정하는 과정을 수행할 수 있다.

또한, 카메라 위치 인식모델은, 카메라 위치를 실제 환자의 신체와 동일하게 생성된 가상신체모델 내에 누적할 수 있다. 즉, 카메라 위치 인식모델은 실제 환자 신체 내의 실제기준객체와 가상신체모델 내의 가상기준객체를 매칭한 후 카메라의 기준위치에 대한 상대적 위치 변화를 누적할 수 있다. 이를 통해, 카메라 위치 인식모델은, 수술 중에 카메라가 어떠한 경로로 이동하였는지 3차원 가상신체모델 내에 기록할 수 있다.

또한, 다른 일실시예로, 상기 카메라 위치 인식모델은, 카메라의 위치를 인식함에 따라, 카메라 위치와 상대적으로 배치된 각 수술도구의 배치위치를 산출한다. 즉, 카메라 위치 인식모델은 카메라의 특정 위치로부터 하나 이상의 수술도구의 상대적인 위치를 산출한다.

또한, 다른 일실시예로, 수술도구 위치 산출모델을 더 포함한다. 수술도구 위치 산출모델의 일실시예로, 수술 대상자의 신체내부 공간으로 삽입되는 수술도구에 부착된 센싱장치로부터 획득된 센싱정보를 기반으로 수술 대상자의 신체외부 공간에 대한 수술도구의 제1 지점 위치를 산출하고, 수술 대상자의 신체상태와 부합하게 생성된 가상신체모델을 통해, 수술도구의 제1 지점 위치를 기반으로 수술도구의 특성정보를 반영하여 수술 대상자의 신체내부 공간에 대한 수술도구의 제2 지점 위치를 산출한다. 이를 통해, 수술도구 위치 산출모델은, 가상신체모델에 대한 수술도구의 제2 지점 위치를 기초로 수술 대상자의 실제 신체내부 공간에서의 수술도구의 위치정보를 제공한다.

수술도구 위치 산출모델의 다른 일실시예로, 수술로봇 시스템의 좌표계와 가상신체모델의 좌표계를 일치시켜서, 수술로봇 시스템의 수술도구 이동 시의 움직임데이터를 수신하여 가상신체모델에 적용함에 따라 수술도구의 실시간 위치를 산출한다. 구체적으로, 수술도구 위치 산출모델은, 수술 대상자의 기준점(예를 들어, 환자 신체의 배꼽과 같은 특정 위치, 환자 신체 표면에 표시된 마커 또는 신체표면에 수술로봇 시스템에서 프로젝션된 식별표지 등)을 기반으로 수술도구를 포함하는 수술로봇의 좌표 정보를 획득하고, 수술 대상자의 신체상태와 부합하게 생성된 가상신체모델의 좌표 정보를 수술로봇의 좌표 정보와 매칭하고, 수술로봇의 좌표 정보로부터 획득된 수술도구의 위치에 대응하는 가상신체모델에서의 수술도구의 위치를 산출한다. 즉, 수술도구 위치 산출모델은 수술로봇이 실제로 움직이는 실제 환자 신체와 가상신체모델의 좌표계를 일치시킴에 따라, 수술로봇의 수술도구 이동을 가상신체모델 내에 적용하여 수술도구의 실시간 위치를 획득할 수 있다.

또한, 다른 일실시예로, 수술 단계 인식모델을 더 포함한다. 상기 수술단계 인식모델은 전체 수술 과정 중에서 현재 수술이 수행되는 과정 또는 수술영상 내의 특정 구간이 어떠한 세부수술단계에 해당하는지 산출한다. 수술 단계 인식모델은 다양한 방식으로 수술영상의 수술단계를 산출할 수 있다. 예를 들어, 수술단계 인식모델은 각 수술유형 별로 진행순서를 저장하고 있고, 환자 신체에서 카메라가 위치한 영역을 기반으로 진행순서 중의 특정한 수술단계(Phase)를 인식할 수 있다.

또한, 다른 일실시예로, 상기 수술영상 내에서 발생하는 이벤트를 인식하되, 상기 이벤트는 출혈을 포함하는 수술 중 비이상적인 상황인, 이벤트 인식모델;을 포함한다. 이벤트 인식모델(예를 들어, 출혈인식모델)은 출혈유무 인식모듈; 및 출혈량 산출모듈;를 포함할 수 있다.

상기 출혈유무 인식모듈은 딥러닝 기반의 학습을 기초로 수술영상 내 출혈 영역이 존재하는지 여부를 인식한고, 영상프레임 내에서 출혈 위치를 인식할 수 있다. 출혈유무 인식모듈은 출혈을 포함한 복수의 영상을 학습함에 따라, 신규 영상 내에 출혈영역이 포함되어 있는지 인식할 수 있다.

일 실시예로, 출혈유무 인식모듈은 특징 정보를 포함하는 특징 맵을 기초로 수술영상 내 각 픽셀을 특정값으로 변환하고, 수술영상 내 각 픽셀의 특정값을 기초로 출혈 영역을 특정할 수 있다. 수술영상 내 각 픽셀은 특징 맵을 기초로 출혈의 특징에 대응하는 영역인지에 따라(즉, 출혈의 특징에 영향을 준 정도에 따라) 소정의 가중치를 기초로 특정값으로 변환될 수 있다. 예를 들어, 출혈유무 인식모듈은 CNN을 통해 수술영상 내 출혈 영역을 인식한 학습결과를 역으로 추정하는 Grad CAM(Gradient-weighted Class Activation Mapping) 기술을 적용하여, 수술영상의 각 픽셀을 특정값으로 변환할 수 있다. 출혈유무 인식모듈은 특징 맵을 기초로 수술영상 내 출혈 영역에 해당하는 것으로 인식된 픽셀에 대해 높은 값(예컨대, 높은 가중치)을 부여하고, 출혈 영역에 해당하지 않는 것으로 인식된 픽셀에 대해 낮은 값(예컨대, 낮은 가중치)을 부여하는 방식으로 수술영상의 각 픽셀 값을 변환시킬 수 있다. 출혈유무 인식모듈은 이러한 변환된 픽셀 값을 통해 수술영상 내 출혈 영역 부분을 보다 부각시킬 수 있고, 이를 통해 출혈 영역을 세그먼테이션하여 해당 영역의 위치를 추정할 수 있다. 또한, 출혈유무 인식모듈은 Grad CAM 기술을 적용하여, 특징 맵을 기초로 수술영상 내 각 픽셀에 대해 히트 맵(heat map)을 생성하여 각 픽셀을 확률값으로 변환시킬 수 있다. 출혈유무 인식모듈은 변환된 각 픽셀의 확률값을 기초로 수술영상 내 출혈 영역을 특정할 수 있다. 예컨대, 출혈유무 인식모듈은 확률값이 큰 픽셀 영역을 출혈 영역으로 판단할 수 있다.

상기 출혈량 산출모듈은 출혈 영역의 위치를 기초로 출혈 영역에서의 출혈량을 산출하는 것을 특징으로 한다. 일 실시예로, 출혈량 산출모듈은 수술영상 내 출혈 영역의 픽셀 정보를 이용하여 출혈량을 산출할 수 있다. 예를 들어, 출혈량 산출모듈은 수술영상 내 출혈 영역에 해당하는 픽셀의 개수, 픽셀의 색상 정보(예: RGB 값) 등을 이용하여 출혈량을 산출할 수 있다.

다른 실시예로, 출혈량 산출모듈은 수술영상이 스테레오스코픽 영상인 경우, 수술영상의 깊이 맵(depth map)을 기초로 수술영상 내 출혈 영역의 깊이 정보를 획득하고, 획득된 깊이 정보를 기초로 출혈 영역에 대응하는 부피를 추정하여 출혈량을 산출할 수 있다. 수술영상이 스테레오스코픽 영상인 경우 3차원적인 입체감, 즉 깊이 정보를 가지므로, 출혈 영역에 대한 3차원 공간 상에서의 부피를 파악할 수 있다. 예를 들어, 출혈량 산출모듈은 수술영상 내 출혈 영역의 픽셀 정보(예: 픽셀의 개수, 픽셀의 위치 등)를 획득하고, 획득된 출혈 영역의 픽셀 정보에 대응하는 깊이 맵의 깊이 값을 산출할 수 있다. 출혈량 산출모듈은 산출된 깊이 값을 기초로 출혈 영역의 부피를 파악하여 출혈량을 계산할 수 있다.

또 다른 실시예로, 출혈량 산출모듈은 수술영상 내 거즈가 포함된 경우, 거즈 정보를 이용하여 출혈 영역에서의 출혈량을 산출할 수 있다. 예를 들어, 출혈량 산출모듈은 수술영상 내 거즈의 개수, 거즈의 색상 정보(예: RGB 값) 등을 이용하여 출혈 영역에서 발생한 출혈량을 산출하는데 반영할 수 있다.

또한, 다른 일실시예로, 수술시간 산출/예측모델을 더 포함한다. 수술시간 산출/예측모델은 수술 진행 중에 수행 중인 수술단계의 완료까지 예상되는 시간을 산출하는 수술시간 예측모듈; 및 수술이 완료된 후 각 단계가 수행된 시간을 산출하는 수술시간 산출모듈;을 포함할 수 있다.

예를 들어, 상기 수술시간 산출모듈은 수술이 완료된 후에 특정 수술단계(Phase)에 해당되는 시간을 추출하여, 특정 수술단계(Phase)의 전체 소요시간을 산출한다.

또한, 예를 들어, 상기 수술시간 예측모듈은, 수술 수행 중의 특정시점(예를 들어, 예측 기준시점) 이전의 특정 수술단계의 수술영상과 특정 수술단계의 특정시점까지의 소요시간을 기반으로, 예상되는 해당 수술단계의 남은 수술시간을 산출한다. 구체적으로, 상기 수술시간 예측모듈은, 특정 수술단계에 대한 수술동작을 포함하는 기설정된 수술영상을 획득하고, 상기 기설정된 수술영상 및 상기 기설정된 수술영상을 기초로 획득되는 수술소요시간을 이용하여 학습데이터를 생성하고, 상기 학습데이터를 기초로 학습을 수행하여 상기 특정 수술단계에서의 수술시간을 예측한다.

상기 수술 분석층은, 하나 이상의 수술요소 인식모델에서 획득된 수술요소를 기반으로 분석결과를 산출하는 레이어(Layer)이다. 상기 수술 분석층은 상기 수술요소 인식층의 상위 층으로 형성된다. 상기 수술 분석층은, 상기 하나 이상의 수술요소 인식모델에서 제공된 결과의 조합인 수술인식결과 조합을 기반으로 분석결과를 획득하는 하나 이상의 수술 분석 모델을 포함한다.

일실시예로, 상기 수술 분석층은, 상기 수술요소 인식층에서 인식된 수술 장기 유형, 수술동작 및 수술 중 발생 이벤트를 포함하는 수술인식결과 조합을 기반으로 혈액 손실 정도를 산출하는 혈액 손실 인식모델;를 포함한다. 이를 위해, 혈액 손실 인식모델은 수술요소 인식층에 포함된 이벤트인식모델, 장기 인식 모델, 수술동작 인식모델 중 적어도 하나와 연결되어, 수술인식결과 조합을 입력받을 수 있다. 예를 들어, 혈액 손실 인식모델은, 수술을 수행 중에 사용되는 경우, 이벤트 발생 시에 혈액 손실 수준을 산출하여 의료진에게 제공할 수 있다.

또한, 다른 일실시예로, 상기 수술 분석층은, 상기 수술요소 인식층에서 인식된 수술단계 및 수술시간을 포함하는 수술인식결과 조합을 기반으로 장기 손상 정도를 산출하는 장기 손상 감지모델;을 포함한다. 장기 손상 감지모델은 특정한 수술단계, 특정한 수술도구를 기반으로 수행된 동작, 수술시간 등을 각각의 수술요소 인식모델로부터 입력받아서 장기 손상 수준을 산출할 수 있다.

상기 혈액 손실 인식모델 및 상기 장기 손상 감지모델은 수술 중 또는 수술 후에 각 수술과정에 분석결과 산출에 이용되는 것이다.

또한, 다른 일실시예로, 상기 수술 분석층은, 상기 수술요소 인식층에서 획득된 수술인식결과 조합을 기반으로 최적 수술계획을 산출하는 최적 수술계획 산출모델;을 더 포함한다.

일실시예로, 상기 최적 수술계획 산출모델은, 실시간으로 전에 획득된 수술영상데이터를 분석함에 따라 이후에 수행되어야 하는 최적 수술계획을 산출하여 제공한다.

또한, 다른 일실시예로, 상기 최적 수술계획 산출모델은, 수술 전에 환자의 가상신체모델에 수행된 가상수술에 대한 수술인식결과 조합을 기반으로, 실제 환자에 대한 수술계획을 산출하여 제공 한다.

또한, 다른 일실시예로, 상기 최적 수술계획 산출모델은, 최소 침습 수술 시의 최적 진입 위치를 산출하는 기능을 포함할 수 있다. 구체적으로, 의료진이 가상신체모델 내에서 가상수술을 수행할 때, 가상수술시스템은 수술도구의 동작부만 생성하여 수술도구의 암 부분의 영향 없이 수술 시뮬레이션(즉, 가상수술)을 수행하도록 한다. 즉, 환자의 신체 내부 특성(예: 장기 배치, 혈관 상태 등)이나 수술도구의 특성 등에 따른 제약없이 의료진들의 수술동작 패턴에 따라 가상수술을 수행한다. 최적 수술계획 산출모델은, 가상수술을 수행한 이후에 그 결과를 바탕으로 환자의 신체 내부 특성이나 수술도구의 특성 등을 고려하여 실제수술 시 최적의 수술도구 진입 위치를 산출한다. 즉, 수술도구 동작부의 움직임이 수행 가능한 암의 진입 위치 후보 영역을 연속적으로 산출함에 따라, 교집합이 될 수 있는 영역을 추출한다.

일례로서, 수술로봇 또는 복강경 수술 시에 A도구, B도구, C도구를 이용하는 경우, 컴퓨터는 A도구의 동작부가 수술동작을 수행할 때 도달하지 못하는 영역(즉, 수술도구의 길이 제한에 의해 동작부가 수술동작 수행 시에 도달하지 못하는 지점이 발생하는 신체 표면 영역)을 진입가능범위에서 제외할 수 있다. 또한, 컴퓨터는 A도구가 진입하여 수술동작을 수행하는 과정에서 신체 장기나 조직과 충돌하는 신체 표면 영역을 진입가능범위에서 제외할 수 있다. 또한, 컴퓨터는 진입가능범위 내의 각 신체 표면 지점에서 수술도구가 진입한 후 특정한 위치에서 요구되는 수술동작을 구현하지 못하면, 해당 신체 표면 지점을 진입가능범위에서 제외할 수 있다. 이를 통해, 컴퓨터는 A도구에 대한 진입가능범위를 산출할 수 있다. 컴퓨터는 각각의 수술도구(예를 들어, B도구 및 C도구)에 대해 각각 진입가능범위 산출 과정을 개별적으로 수행하여, 각 수술도구의 최적진입위치를 산출할 수 있다. 또한, 상술한 바와 같이 컴퓨터는 수술도구의 기능을 기초로 각 기능에 대해 진입가능범위 산출 과정을 개별적으로 수행하여, 각 수술도구의 기능을 적용할 수 있는 최적진입위치를 산출할 수도 있다.

다른 예로서, 하나의 최적진입위치로 여러 개의 수술도구가 진입하여야 하는 경우, 컴퓨터는 각 수술도구에 대한 최적진입범위를 추출한 후, 복수의 최적진입범위가 중첩되는 범위를 최적진입위치로 결정할 수 있다. 예를 들어, 수술 수행 과정에서 A도구가 D도구로 변경되는 경우, 컴퓨터는 A도구에 대한 진입가능범위와 D도구에 대한 진입가능범위의 중첩되는 영역을 최적진입위치 후보영역으로 산출할 수 있다. 수술도구가 진입될 수 있는 위치는 특정 개수(예를 들어, 3개)로 제한되므로, A도구에서 D도구로 변경되었을 때 동일한 진입위치를 사용할 수밖에 없으므로, 컴퓨터는 A도구의 진입가능범위와 D도구의 진입가능범위를 모두 만족하는 위치를 최종 최적진입위치로 결정할 수 있다.

또 다른 예로서, 동일한 수술도구가 가상신체모델 내에서 여러 번 사용되는 경우, 수술도구의 수술동작을 수행하는 범위(즉, 움직임의 범위)가 넓은 경우에 하나의 수술도구 진입위치에서 모든 수술동작을 수행하기 어려울 수 있으므로, 컴퓨터는 해당 수술도구가 사용되는 범위(즉, 움직임의 범위)를 신체표면 상의 복수의 진입위치에서 도달 가능한 여러 개의 그룹으로 분할할 수 있다. 예를 들어, 신체 표면에 3개의 진입위치를 생성하여 복강경수술 또는 로봇수술을 수행하는 경우, 컴퓨터는 3개 이하의 그룹으로 수술도구의 움직임 범위를 분할한다. 이때, 컴퓨터는 다른 수술도구에 의해 선정된 복수의 진입가능범위로부터 도달 가능 여부를 바탕으로 움직임의 범위를 분할한다. 또한, 넓은 움직임 범위를 가지는 특정한 수술도구(즉, 제1수술도구)가 다른 수술도구(즉, 제2수술도구)와 동시에 사용되고 다른 수술도구(즉, 제2수술도구)가 필수적으로 진입하여야 하는 최적진입위치가 결정되는 경우, 컴퓨터는 제2수술도구와 함께 사용될 때의 제1수술도구의 움직임 범위를 제1수술도구가 제2수술도구의 최적진입위치(즉, 제2수술도구가 진입되는 키홀)를 통해서 접근할 수 없는 범위로 설정할 수 있다. 또한, 컴퓨터는, 다른 수술도구의 변경에도 불구하고 제1수술도구가 연속적으로 사용되는 경우, 컴퓨터는 사용자의 수술 시 편의성 및 수술 시 소요시간을 고려하여 동일한 진입위치로 진입하여 동작이 수행되어야 하는 그룹으로 설정할 수 있다.

의료진이 수술도구의 진입위치와 수술도구의 암 부분의 장기걸림을 고려하지 않고 수행한 수술시뮬레이션 결과를 반영하여 수술도구의 최적진입 위치를 결정하므로, 의료진이 가장 편한 수술동작을 수행할 수 있도록 한다.

또한, 다른 일실시예로, 상기 최적 수술계획 산출모델은, 의료진이 암 부분이 제거된 수술도구의 동작부만으로 가상수술을 수행한 결과를 기반으로, 수술 시에 사용하기에 적절한 수술도구 유형을 산출하여 제시할 수 있다.

또한, 일실시예로, 상기 최적 수술계획 산출모델은, 다양한 방식으로 트레이닝을 수행할 수 있다. 예를 들어, 복수의 의료진에 의해 수행된 수술영상을 획득하여 강화학습을 통해 각 수술유형에 대한 최적수술을 산출할 수 있다.

또한, 예를 들어, 상기 최적 수술계획 산출모델은, 실제 수술 데이터를 이용하지 않고, 가상으로 생성된 수술과정으로 가상수술을 수행한 후 최적화된 수술인지 평가하는 과정을 반복함에 따라 최적 수술계획을 생성할 수 있다.

구체적으로, 상기 최적 수술계획 산출모델은, 적어도 하나의 세부수술동작으로 이루어지는 수술과정에 기초하여 상기 수술과정에 대응하는 복수의 유전자를 생성하고, 복수의 유전자 각각에 대해 가상수술을 수행하여 최적화된 수술인지를 평가한다. 그 후, 상기 최적 수술계획 산출모델은 상기 평가 결과를 기반으로 복수의 유전자 중 적어도 하나의 유전자를 선택하여 유전 알고리즘을 적용하고, 유전 알고리즘을 적용하여 새로운 유전자를 생성하고, 상기 새로운 유전자에 기초하여 최적의 수술과정을 도출한다.

상기 최적 수술계획 산출모델은, 새로운 유전자(자식 유전자)에 대해 가상수술을 수행하여 적합도를 산출할 수 있다. 또한, 상기 최적 수술계획 산출모델은, 새로운 유전자(자식 유전자)의 적합도가 기설정된 조건에 부합하는지를 판단하고, 조건에 부합하는 새로운 유전자(자식 유전자)를 선택하여 교배, 돌연변이 등의 유전 알고리즘을 적용할 수 있다. 이러한 유전 알고리즘을 새로운 유전자(자식 유전자)에 적용함으로써, 또 다시 새로운 자식 유전자를 생성할 수 있다. 즉, 컴퓨터는 최적의 수술인지를 평가하기 위한 적합도 결과를 기초로, 부모 유전자들로부터 자식 유전자들을 반복적으로 생성하여, 최종적으로 생성된 자식 유전자들 중에서 최적의 수술과정을 포함하는 유전자를 획득할 수 있다. 예컨대, 자식 유전자들 중에서 가장 높은 적합도를 가지는 유전자를 선택하여, 최적화된 수술과정으로 도출할 수 있다.

상기 수술 분석층 내의 각각의 수술분석모델은 다양한 형태로 수술인식결과 조합을 입력받을 수 있다.

일실시예로, 수술 분석모델은 수술요소 인식모델에서 산출된 결과를 코드화하여 연결한 코드데이터 형태로 입력받을 수 있다. 즉, 각각의 수술분석모델은 각 시점마다 수술인식결과에 대한 코드를 연결한 코드데이터를 획득한 후, 각 모델 내 분석에 필요한 코드 부분을 추출하여 입력할 수 있다.

또한, 다른 일실시예로, 수술 분석모델은, 복수의 영상프레임 각각에 대해, 복수의 수술요소 인식모델에서 산출된 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 입력받을 수 있다. 수술인식정보는 영상프레임으로부터 인식된 수술요소 정보를 말하며, 예컨대 수술도구, 수술동작, 신체부위, 출혈여부, 수술단계, 수술시간(예컨대, 잔여수술시간, 수술소요시간 등), 및 카메라 정보(예컨대, 카메라의 위치, 각도, 방향, 이동 등) 중 적어도 하나의 수술요소를 포함할 수 있다. 예를 들어, 상기 관계표현은 행과 열이 각각의 수술요소로 나열되고, 수술요소 상호 간의 상관관계에 대한 값이 행렬값으로 적용되는 행렬 형태가 될 수도 있다. 또한, 일 예로, 수술 분석 모델은 수술영상의 각각의 프레임 또는 특정한 단위분할영상에 대해 관계표현을 산출한 후 입력받을 수 있다.

또한, 다른 일실시예로, 수술 솔루션 제공층;을 더 포함한다. 상기 수술 솔루션 제공층은, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 정리된 수술산출물을 제공하는 하나 이상의 수술 솔루션 모델을 포함한다. 즉, 수술 솔루션 제공층은 의료진이 바로 활용할 수 있는 서비스 형태인 하나 이상의 수술 솔루션 모델을 포함한다.

상기 수술 솔루션 제공층은 상기 수술 분석층의 상위 레이어로 형성되고, 상기 수술 분석층 내의 각각의 수술 분석모델에서 산출된 결과를 입력받는다.

일실시예로, 상기 수술 솔루션 모델은, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술에 대한 평가 결과를 산출하는 수술 평가 모델;을 포함한다. 예를 들어, 수술 평가 모델은, 혈액 손실 결과, 장기 손상 모델의 산출 결과, 최적 수술 프로세스와 실제 수술의 비교결과를 입력받아서 의료진이 수행한 수술에 대한 평가를 산출할 수 있다.

또한, 다른 일실시예로, 상기 수술 솔루션 모델은, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술에 대한 차트를 생성하는 차트 생성 모델을 더 포함한다. 차트 생성 모델은 수술을 수행한 과정, 수술 수행 결과 등에 대한 기록을 자동으로 생성할 수 있다. 예를 들어, 차트 생성 모델은 수술이 완료된 후 수술과정에서 획득된 수술요소를 조합하여, 각각의 수술 분석모델에 입력하고, 복수의 수술 분석모델의 분석결과를 입력받아서 차트(예를 들어, 수술기록지)를 자동 생성(작성)할 수 있다.

또한, 다른 일실시예로, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술의 복잡도 또는 난이도를 산출하는 수술 복잡도 산출모델;을 더 포함한다. 예를 들어, 수술 복잡도 산출모델을 이용함에 따라, 각 의료진이 수행한 수술의 난이도를 고려하여, 의료진의 실적 평가를 수행할 수 있다.

또한, 예를 들어, 수술 결과에 대한 평가 시에 수술 복잡도 산출모델에서 산출된 수술 복잡도를 반영할 수 있다. 즉, 수술 솔루션 제공층에서, 수술 평가 모델은 수술 복잡도 산출모델로부터 산출된 복잡도 산출결과를 제공받아서 수술 평가에 이용할 수 있다.

또한, 다른 일실시예로, 상기 수술분석층에서 획득된 하나 이상의 분석결과를 학습함에 따라, 수술에 대한 질문에 대한 답변을 산출하는 수술 Q&A 모델;을 포함한다.

본 발명의 일실시예에 따른 수술영상 분석장치가 수술요소 인식층, 수술 분석층 및 수술 솔루션 층으로 구성되는 경우에 대한 상세한 설명을 기재한다.

일 실시예로, 최하위 계층은 의료수술과정에서 의학적으로 인식되어야 하는 최소 단위인 수술요소들을 인식하는 수술요소 인식 레이어(Surgical Element Recognition Layer)일 수 있다. 중간 계층은 각 수술요소들을 통해 의학적으로 의미를 파악하고 의학적 진단을 내리기 위한 상태를 판단할 수 있도록 하는 수술 분석 레이어(Surgical Module Layer)일 수 있다. 최상위 계층은 의료수술과정 전체에서 발생할 수 있는 의학적 문제를 인지하고 각 문제에 대한 해결책을 제공할 수 있도록 하는 수술 솔루션 레이어(Surgical Solution Layer)일 수 있다.

수술요소 인식 레이어는, 의료수술과정에서 촬영된 다양한 수술영상 및 의료수술과정에서 사용되는 다양한 수술 관련 도구들을 기초로 수술요소들을 인식할 수 있다. 예를 들어, 수술요소는 수술단계(Phase), 신체부위(예컨대, 장기; Organ), 이벤트(Event), 수술시간(Time), 수술도구(Instrument), 카메라(Camera), 수술동작(Acton), 기타 요소 등을 포함할 수 있다.

일 실시예로, 수술요소 인식 레이어는, 의료수술과정에서 획득되는 수술영상을 기초로 적어도 하나의 수술요소를 인식할 수 있다. 이때, 수술영상 자체에서 인식되는 수술요소뿐만 아니라, 수술영상을 학습시킨 결과를 이용하여 수술요소를 인식할 수도 있다. 상술한 본 발명의 실시예들을 활용하면 의료수술과정에서 의학적으로 인식되어야 하는 최소 단위인 수술요소들을 효과적으로 인식할 수 있다.

수술요소 인식 레이어는 수술요소들을 개별적으로 인식할 수 있다. 예를 들어, 수술영상으로부터 장기를 인식할 경우 해당 장기만을 인식할 수 있고, 수술영상으로부터 수술도구를 인식할 경우 해당 수술도구만을 인식할 수 있다.

또한, 수술요소 인식 레이어는 하나의 수술요소를 인식하기 위해 다른 수술요소를 이용할 수도 있다. 즉, 수술요소 인식 레이어는 각 수술요소 간의 관계를 나타내는 프리미티브 레벨 관계(Primitive level Relation)를 설정하고, 이러한 프리미티브 레벨 관계를 이용하여 각 수술요소를 인식할 수 있다. 예를 들어, 프리미티브 레벨 관계는, 해당 수술요소를 인식하기 위해 필요한 추가적인 수술요소들이 나열되어 있고, 이들 수술요소 간의 관계(예컨대, 상태 변화, 위치 변화, 형태 변화, 색상 변화, 배치 관계 등)를 지정한 정보 등을 포함할 수 있다. 예를 들어, 수술영상으로부터 이벤트(예컨대, 출혈 발생 여부에 대한 이벤트)를 인식할 경우, 해당 이벤트에 대한 프리미티브 레벨 관계를 기초로 장기, 수술도구, 수술동작 등과 같은 추가적인 수술요소들을 더 인식하고, 인식된 추가적인 수술요소들을 통해서 해당 이벤트를 인식할 수 있다.

수술 분석 레이어는, 수술요소 인식 레이어를 통해 인식된 각 수술요소를 기초로 특정한 의학적 의미를 파악하거나 특정한 의학적 판단을 할 수 있다. 예를 들어, 수술 분석 레이어는, 적어도 하나의 수술요소를 이용하여, 출혈 손실 평가(Blood Loss Estimation), 신체내부 손상 검출(Anatomy Injury Detection; 예컨대 장기 손상 검출), 도구 오남용 검출(Instrument Misuse Detection), 최적 수술과정 제안(Optimal Planning Suggestion) 등과 같은 의학적 의미를 파악하거나 의학적 상태를 판단할 수 있다.

즉, 수술 분석 레이어는 의료수술과정에서 필요한 정보나 해결하고자 하는 의학적 문제(예컨대, 출혈 손실 평가, 신체내부 손상 검출, 도구 오남용 검출, 최적 수술과정 제안 등)에 따라 각각의 수술 모듈을 구성할 수 있다. 예를 들어, 수술 분석 레이어는 의료수술과정에서 수술 대상자의 출혈량 정도를 파악하기 위한 출혈 손실 평가 모듈을 구성할 수 있다. 또한, 수술 중에 특정 장기에 어느 정도 손상이 발생했는지를 판단하기 위한 신체내부 손상 검출 모듈을 구성할 수 있다. 또한, 수술 중에 수술도구가 오남용되었는지를 판단하기 위한 수술도구 오남용 검출 모듈을 구성할 수 있다. 이때, 각 수술 모듈은 하위 계층인 수술요소 인식 레이어에서 인식된 수술요소들 중에서 적어도 하나를 선택적으로 이용할 수 있다.

일 실시예로, 수술요소들 중에서 적어도 하나를 선택적으로 이용함에 있어, 각 수술 모듈은 모듈 레벨 관계(Module level Relation)를 이용할 수 있다. 모듈 레벨 관계는 해당 수술 모듈에서 인식되어야 하는 수술요소들을 결정하여 지정한 것을 의미할 수 있다. 예컨대, 모듈 레벨 관계는 수술영상으로부터 특정 의미를 파악할 수 있는 정도(예컨대, 상술한 대표 인식값; SAM)을 바탕으로 해당 수술 모듈에서 인식되어야 하는 수술요소들이 결정된 것일 수 있다.

수술 솔루션 레이어는, 수술 분석 레이어를 통해 파악된 의학적 의미나 의학적 판단을 이용하여, 최종적으로 상위 레벨의 의학적 문제를 해결할 수 있다. 예를 들어, 수술 솔루션 레이어는, 적어도 하나의 수술 모듈을 이용하여, 차트 생성(Chart Generation), 합병증 판단(Complication Estimation), 수술 성능 평가(Surgical Performance Assessment), 수술 Q&A 시스템(Surgical Bot을 이용한 Q&A System) 등과 같은 의학적 문제를 해결할 수 있다.

이때, 수술 솔루션 레이어는, 각 의학적 문제(예컨대, 차트 생성, 합병증 판단, 수술 성능 평가, 수술 Q&A 시스템 등)에 따라 각각의 솔루션 모듈이나 시스템을 구성할 수 있다. 예를 들어, 수술 솔루션 레이어는, 수술과정에서 발생한 모든 정보를 기록하거나 환자의 상태를 기록하기 위한 차트 생성 솔루션 모듈(또는, 시스템)을 구성할 수 있다. 또한, 수술과정 이후에 발생할 수 있는 합병증을 예측하기 위한 합병증 판단 솔루션 모듈(또는, 시스템)을 구성할 수 있다. 이때, 각 솔루션 모듈(또는, 시스템)은 하위 계층인 수술 분석 레이어에서 도출된 의학적 의미나 의학적 판단을 선택적으로 이용할 수 있다.

일 실시예로, 수술 분석 레이어의 수술 모듈 중에서 적어도 하나를 선택적으로 이용함에 있어, 수술 솔루션 레이어의 각 솔루션 모듈(또는, 시스템)은 솔루션 레벨 관계(Solution level Relation)를 이용할 수 있다. 솔루션 레벨 관계는 해당 솔루션 모듈에서 사용될 필요가 있는 수술 모듈을 결정하여 지정한 것을 의미할 수 있다. 예를 들어, 의료진이 환자의 합병증을 판단하기 위해서는 합병증 판단 솔루션 모듈을 사용할 수 있다. 이 경우, 합병증 판단 솔루션 모듈은 솔루션 레벨 관계를 기초로 하위 레벨로부터 출혈 손실 평가 모듈, 신체내부 손상 검출 모듈이 필요하다는 것을 파악할 수 있다. 그리고, 하위 계층의 해당 모듈로부터 필요한 정보를 수신하여 환자의 합병증을 판단하고, 판단 결과를 의료진에게 제공할 수 있다.

상술한 바와 같이, 본 발명의 실시에에 따른 의학적 해결 모델은, 의학적 문제에 따라 최하위 계층부터 최상위 계층까지 각 모듈별로 동작할 수 있도록 구성된다. 따라서, 새로운 의학적 문제가 발생하더라도 각 계층별로 새로운 모듈을 구성하거나 또는 새로운 계층을 구성함으로써 효율적으로 해결책을 제공해 줄 수 있다.

또한, 본 발명의 실시에에 따른 의학적 해결 모델은, 다양한 의료수술에 적용될 수 있으며, 특히 수술로봇을 비롯하여 복강경이나 내시경 등을 이용한 최소침습수술에 효과적으로 활용될 수 있다.

도 2는 본 발명의 일실시예에 따른 컴퓨터에 의한 수술 분석 방법의 순서도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 컴퓨터에 의한 수술 분석 방법은, 컴퓨터가 수술영상을 획득하는 단계(S200); 컴퓨터가 하나 이상의 수술요소 인식모델에 상기 수술영상을 입력하는 단계(S400); 컴퓨터가 각각의 수술요소 인식모델에서 산출된 수술인식결과 조합을 획득하는 단계(S600; 수술인식결과 조합 획득단계); 및 컴퓨터가 상기 수술인식결과 조합을 하나 이상의 수술 분석 모델에 입력하여 하나 이상의 분석결과를 획득하는 단계(S800; 수술 분석결과 획득단계);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.

컴퓨터가 수술영상을 획득한다(S200). 컴퓨터는 의료진에 수술이 수행되는 중에 실시간으로 수술영상을 획득할 수 있다. 또한, 컴퓨터는 의료진이 수술을 완료한 후에 저장된 전체 수술영상을 획득할수 있다.

예를 들어, 컴퓨터가 실시간으로 획득된 수술영상을 이용하는 경우, 컴퓨터는 의료진의 수술 중에 필요한 정보를 제공하기 위해 수술영상을 활용한다. 또한, 예를 들어, 컴퓨터가 수술 완료 후에 전체 영상을 이용하는 경우, 컴퓨터는 수술에 대한 사후적 분석을 하기 위해 수술영상을 활용한다.

컴퓨터가 하나 이상의 수술요소 인식모델에 상기 수술영상을 입력한다(S400). 즉, 컴퓨터는 수술영상에 포함된 수술요소를 인식하기 위해 하나 이상의 수술요소 인식모델에 수술영상을 입력한다.

상기 하나 이상의 수술요소 인식모델은 수술분석 시스템 내에서 최하위 층을 형성하는 수술요소 인식층에 포함된다. 또한, 수술요소 인식층이 복수의 수술요소 인식모델을 포함하는 경우, 각각의 수술요소 인식모델은 수술요소 인식층 내에 병렬적으로 구축되면서, 상호 간에 연결관계를 가질 수 있다. 즉, A 수술요소 인식모델이 수행되는 과정에서 병렬적으로 형성된 B 수술요소 인식모델 에서 산출된 수술요소(즉, 인식결과)를 입력받아 사용할 수 있다. 기설명된 각각의 수술요소 인식모델에 대한 상세한 설명은 생략한다.

컴퓨터가 각각의 수술요소 인식모델에서 산출된 수술인식결과 조합을 획득한다(S600; 수술인식결과 조합 획득단계). 즉, 컴퓨터는 각 수술요소 인식모델에서 산출된 각 수술요소 인식결과를 조합한 데이터를 생성한다.

컴퓨터가 상기 수술인식결과 조합을 하나 이상의 수술 분석 모델에 입력하여 하나 이상의 분석결과를 획득한다(S800; 수술 분석결과 획득단계). 상기 하나 이상의 수술 분석 모델은 상기 수술요소 인식층 위의 수술 분석층에 포함되는 것으로서, 사용자의 요청에 따라 선택되는 것이다. 즉, 상기 수술 분석층 내의 각각의 수술 분석 모델은 분석에 필요한 데이터를 기반으로, 상기 수술요소 인식층 내의 하나 이상의 수술요소 인식모델과 연결관계가 설정되어 있어, 분석에 필요한 수술요소 인식결과 조합이 각 수술 분석 모델에 입력될 수 있다. 기 설명된 각각의 수술 분석 모델에 대한 상세한 설명은 생략한다.

또한, 다른 일실시예로, 도 3에서와 같이, 컴퓨터가 하나 이상의 분석결과를 특정한 수술 솔루션 모델에 입력하여, 분석결과를 기반으로 정리된 수술산출물을 제공하는 단계(S1000);를 더 포함한다. 수술 솔루션 모델은 수술 솔루션 제공층에 포함되며, 상기 수술 솔루션 제공층은 상기 수술 분석층의 상위 레이어로 수술 분석 시스템 내에 생성된다. 또한, 각각의 수술 솔루션 모델은 하나 이상의 수술 분석 모델과 연결됨에 따라 하나 이상의 수술 분석결과를 입력받을 수 있다. 기 설명된 각각의 수술 솔루션 모델에 대한 상세한 설명은 생략한다.

이상에서 전술한 본 발명의 일 실시예에 따른 컴퓨터에 의한 수술 분석 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

컴퓨터가 수술영상을 획득하는 단계;
컴퓨터가 하나 이상의 수술요소 인식모델에 상기 수술영상을 입력하는 단계;
컴퓨터가 각각의 수술요소 인식모델에서 산출된 수술인식결과 조합을 획득하되, 하나 이상의 수술요소 인식모델은 수술분석시스템 내의 최하위 레벨인 수술요소 인식층에 포함되는 것인, 수술인식결과 조합 획득단계; 및
컴퓨터가 상기 수술인식결과 조합을 하나 이상의 수술 분석 모델에 입력하여 하나 이상의 분석결과를 획득하되, 상기 하나 이상의 수술 분석 모델은 상기 수술요소 인식층 위의 수술 분석층에 포함되는 것으로서, 사용자의 요청에 따라 선택되는 것인, 수술 분석결과 획득단계;를 포함하는, 컴퓨터에 의한 수술 분석 방법.
제1항에 있어서,
상기 수술 분석층 내의 각각의 수술 분석 모델은,
분석에 필요한 데이터를 기반으로, 상기 수술요소 인식층 내의 하나 이상의 수술요소 인식모델과 연결관계가 설정된 것을 특징으로 하는, 컴퓨터에 의한 수술 분석 방법.
제1항에 있어서,
상기 수술요소 인식모델은,
상기 수술영상 내의 장기를 인식하는 장기인식모델;
상기 수술영상 내의 수술도구와 상기 수술도구의 움직임을 인식하는 수술도구 인식모델; 및
상기 수술영상 내에서 발생하는 이벤트를 인식하되, 상기 이벤트는 출혈을 포함하는 수술 중 비이상적인 상황인, 이벤트 인식모델;을 포함하는, 컴퓨터에 의한 수술 분석 방법.
제1항에 있어서,
상기 수술 분석층은,
상기 수술요소 인식층에서 인식된 수술 장기 유형, 수술동작 및 수술 중 발생 이벤트를 포함하는 수술인식결과 조합을 기반으로 혈액 손실 정도를 산출하는 혈액 손실 인식모델; 및
상기 수술요소 인식층에서 인식된 수술단계 및 수술시간을 포함하는 수술인식결과 조합을 기반으로 장기 손상 정도를 산출하는 장기 손상 감지모델;을 포함하며,
상기 혈액 손실 인식모델 및 상기 장기 손상 감지모델은
수술 중 또는 수술 후에 각 수술과정에 분석결과 산출에 이용되는 것인, 컴퓨터에 의한 수술 분석 방법.
제4항에 있어서,
수술이 완료된 후 수술 결과를 분석하는 경우,
상기 수술 분석층은,
상기 수술요소 인식층에서 인식된 수술도구, 상기 수술도구로 동작이 수행되는 장기, 상기 수술도구로 수행되는 전체 수술 중의 세부수술단계, 상기 세부수술단계에서 발생한 이벤트를 기반으로, 잘못된 수술도구의 사용을 탐지하는, 수술도구 오사용 탐지모델;을 더 포함하는, 컴퓨터에 의한 수술 분석 방법.
제1항에 있어서,
상기 수술 분석층은,
상기 수술요소 인식층에서 획득된 수술인식결과 조합을 기반으로 최적 수술계획을 산출하는 최적 수술계획 산출모델;을 더 포함하되,
상기 최적 수술계획 산출모델은, 실시간으로 전에 획득된 수술영상데이터를 분석함에 따라 이후에 수행되어야 하는 최적 수술계획을 산출하여 제공하는 것을 특징으로 하는, 컴퓨터에 의한 수술 분석 방법.
제1항에 있어서,
상기 수술 분석층은,
상기 수술요소 인식층에서 획득된 수술인식결과 조합을 기반으로 최적 수술계획을 산출하는 최적 수술계획 산출모델;을 더 포함하되,
상기 최적 수술계획 산출모델은, 수술 전에 환자의 가상신체모델에 수행된 가상수술에 대한 수술인식결과 조합을 기반으로, 실제 환자에 대한 수술계획을 산출하여 제공하는 것을 특징으로 하는, 컴퓨터에 의한 수술 분석 방법.
제1항에 있어서,
컴퓨터가 하나 이상의 분석결과를 특정한 수술 솔루션 모델에 입력하여, 분석결과를 기반으로 정리된 수술산출물을 제공하는 단계;를 더 포함하는, 컴퓨터에 의한 수술 분석 방법.
제8항에 있어서,
상기 수술 솔루션 모델은,
상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술에 대한 평가 결과를 산출하는 수술 평가 모델;
상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술에 대한 차트를 생성하는 차트 생성 모델; 및
상기 수술분석층에서 획득된 하나 이상의 분석결과를 기반으로 수술의 복잡도 또는 난이도를 산출하는 수술 복잡도 산출모델;을 더 포함하는, 컴퓨터에 의한 수술 분석 방법.
제8항에 있어서,
상기 수술분석층에서 획득된 하나 이상의 분석결과를 학습함에 따라, 수술에 대한 질문에 대한 답변을 산출하는 수술 Q&A 모델;을 포함하며,
상기 수술산출물 제공단계는,
의료진의 특정 수술에 대한 질문을 입력함에 따라 답변을 산출하여 제공하는 것인, 컴퓨터에 의한 수술 분석 방법.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제10항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 컴퓨터에 의한 수술 분석 프로그램.
수술영상이 입력됨에 따라 수술인식결과를 산출하는 하나 이상의 수술요소 인식모델을 포함하되, 하나 이상의 수술요소 인식모델은 수술분석시스템 내의 최하위 레벨인 수술요소 인식층에 포함되는 것인, 수술요소 인식층; 및
상기 하나 이상의 수술요소 인식모델에서 제공된 결과의 조합인 수술인식결과 조합을 기반으로 분석결과를 획득하는 하나 이상의 수술 분석 모델을 포함하되, 상기 수술요소 인식층의 상위 층으로 형성되는, 수술 분석층;을 포함하는, 수술영상 분석장치.
제12항에 있어서,
상기 수술 분석층에서 획득된 하나 이상의 분석결과를 기반으로 정리된 수술산출물을 제공하는 하나 이상의 수술 솔루션 모델을 포함하는, 수술 솔루션 제공층;을 더 포함하는, 수술영상 분석장치.