KR20190133424A - 수술결과에 대한 피드백 제공방법 및 프로그램 - Google Patents

Abstract

컴퓨터가 실제수술 과정에서 획득된 실제수술데이터를 기반으로 분할되어 복수의 세부수술동작으로 구성된 실제수술 큐시트데이터를 획득하는 단계, 상기 실제수술에 대한 레퍼런스(reference) 큐시트데이터를 획득하는 단계 및 상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터를 비교하여 피드백을 제공하는 단계를 포함하는, 수술결과에 대한 피드백 제공방법이 개시된다.

Description

수술결과에 대한 피드백 제공방법 및 프로그램 {PROGRAM AND METHOD FOR PROVIDING FEEDBACK ABOUT RESULT OF SURGERY}

본 발명은 수술결과에 대한 피드백을 제공하는 방법 및 프로그램에 관한 것이다.

수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다.

기존에는 수술 프로세스를 최적화 하기 위한 시나리오 구상을 위해서는 사전에 촬영된 의료영상을 참고하거나 매우 숙련된 의사의 자문을 받았으나, 의료영상만으로는 불필요한 프로세스의 판단이 어려웠으며 숙련된 의사의 자문은 특정 환자에 맞는 자문을 받기에 어려운 문제점이 있었다.

따라서, 의료영상이나 숙련된 의사의 자문은 수술대상 환자에 대한 수술프로세스의 최적화를 위한 보조 용도로는 활용되기 어려운 점이 많았다.

이에, 3차원 의료영상(예를 들어, 3차원 수술도구 움직임 및 도구의 움직임으로 인해 발생하는 장기 내부의 변화에 대한 가상영상)을 이용하여 수술을 행하는데 있어서 불필요한 프로세스를 최소화하여 수술 프로세스를 최적화하고, 이에 기반한 수술보조 정보를 제공할 수 있는 방법에 대한 개발이 요구된다.

또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.

본 발명이 해결하고자 하는 과제는 수술결과에 대한 피드백 제공방법 및 프로그램에 관한 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술 과에 대한 피드백 제공방법은, 컴퓨터가 실제수술 과정에서 획득된 실제수술데이터를 기반으로 분할되어 복수의 세부수술동작으로 구성된 실제수술 큐시트데이터를 획득하는 단계, 상기 실제수술에 대한 레퍼런스(reference) 큐시트데이터를 획득하는 단계 및 상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터를 비교하여 피드백을 제공하는 단계를 포함한다.

또한, 상기 복수의 세부수술동작은, 상기 실제수술데이터에 포함된 수술부위, 수술도구의 종류, 상기 수술도구의 개수, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 실제수술데이터를 분할한 것일 수 있다.

또한, 상기 복수의 세부수술동작은, 각각 표준화된 명칭 및 표준화된 코드데이터 중 적어도 하나가 부여되는 것일 수 있다.

또한, 상기 피드백을 제공하는 단계는, 상기 복수의 세부수술동작 중 적어도 하나를 검색하기 위한 검색정보를 획득하는 단계, 상기 표준화된 명칭 또는 상기 표준화된 코드데이터에 기초하여 상기 검색정보에 대응하는 적어도 하나의 세부수술동작을 추출하는 단계 및 상기 추출된 적어도 하나의 세부수술동작에 대한 피드백을 제공하는 단계를 포함할 수 있다.

또한, 상기 레퍼런스 큐시트데이터는, 상기 실제수술에 대하여 최적화된 큐시트데이터 또는 참고용 가상수술 큐시트데이터일 수 있다.

또한, 상기 피드백을 제공하는 단계는, 상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터 각각에 포함된 복수의 세부수술동작을 비교하여, 상기 실제수술 큐시트데이터에 불필요한 세부수술동작, 누락된 세부수술동작 또는 잘못된 세부수술동작이 있는지 여부를 판단하는 단계를 포함할 수 있다.

또한, 상기 잘못된 세부수술동작이 있는지 여부를 판단하는 단계는, 상기 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 수술도구의 움직임과, 상기 실제수술 큐시트데이터에 포함된 세부수술동작에 대응하는 수술도구의 움직임을 비교하는 단계 및 상기 수술도구의 움직임을 비교한 결과에 기초하여, 상기 실제수술 큐시트데이터에 포함된 세부수술동작이 잘못되었는지 여부를 판단하는 단계를 포함할 수 있다.

또한, 상기 실제수술 큐시트데이터를 학습 큐시트데이터에 추가하는 단계 및 상기 학습 큐시트데이터를 이용하여 최적화 큐시트데이터를 획득하는 모델에 대한 강화학습을 수행하는 단계를 더 포함할 수 있다.

또한, 상기 획득된 수술정보에서 적어도 하나의 수술오류(surgical error) 상황을 탐색하는 단계 및 상기 탐색된 수술오류 상황에 대한 피드백을 제공하는 단계를 더 포함할 수 있다.

또한, 상기 실제수술 큐시트데이터를 포함하는 하나 이상의 실제수술 큐시트데이터 각각에 대응하는 예후에 대한 정보를 획득하는 단계, 상기 하나 이상의 실제수술 큐시트데이터 및 예후에 대한 정보에 기초하여 강화학습을 수행하는 단계 및 상기 강화학습 결과에 기초하여, 상기 하나 이상의 실제수술 큐시트데이터에 포함된 적어도 하나의 세부수술동작과 예후 간의 상관관계를 판단하는 단계를 더 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따라 수술결과에 대한 피드백을 제공하는 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 실제 수술과정을 레퍼런스와 비교함으로써, 수술의 과정 및 결과에 대한 피드백을 제공할 수 있는 효과가 있다.

개시된 실시 예에 따르면, 사용자가 수술영상을 일일이 다 살펴보지 않아도, 필요한 부분을 추출하여 피드백을 제공할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따라 수술 결과에 대한 피드백을 제공하는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따라 최적화 큐시트데이터를 산출하는 방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따라 피드백을 획득하는 방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.

본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.

본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "실제수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "세부수술동작"은 특정한 기준에 따라 분할된 수술동작의 최소단위를 의미한다.

본 명세서에서 "큐시트(Cue sheet) 데이터"는, 특정한 수술과정을 세부수술동작으로 분할하여 순서대로 기록한 데이터를 의미한다.

본 명세서에서 "시행 큐시트데이터"는 사용자가 시뮬레이션을 수행한 가상수술데이터를 기반으로 획득되는 큐시트데이터를 의미한다.

본 명세서에서 "훈련용 가상수술 큐시트데이터"는 시행 큐시트데이터에 포함되는 것으로서, 사용자가 수술 모의훈련(Simulation)을 수행하여 획득된 가상수술데이터를 기반으로 생성된 큐시트데이터를 의미한다.

본 명세서에서 "참고용 가상수술 큐시트데이터"는 학습용 빅데이터 구축 또는 수술프로세스 안내를 위해 특정한 의료인이 수행한 가상수술에 대한 큐시트데이터를 의미한다.

본 명세서에서 "최적화 큐시트데이터"는 수술시간 또는 수술 예후 등의 측면에서 최적화된 수술프로세스에 대한 큐시트데이터를 의미한다.

본 명세서에서 "학습 큐시트데이터"는 최적화 큐시트데이터 산출을 위한 학습에 이용되는 큐시트데이터를 의미한다.

본 명세서에서 "수술가이드 데이터"는 실제 수술 시에 가이드정보로 이용되는 데이터를 의미한다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.

도 1을 참조하면, 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.

도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.

일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.

서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.

제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.

영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수 있다.

일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.

제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.

예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.

서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.

제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.

일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.

이하에서는, 도면을 참조하여 수술 결과에 대한 피드백을 제공하는 방법에 대하여 상세하게 설명한다.

도 2는 일 실시 예에 따라 수술 결과에 대한 피드백을 제공하는 방법을 도시한 흐름도이다.

도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.

도 2를 참조하면, 본 발명의 일실시예에 따른 수술 결과에 대한 피드백 제공방법은, 컴퓨터가 실제수술 과정에서 획득된 실제수술데이터를 기반으로 분할되어 복수의 세부수술동작으로 구성된 실제수술 큐시트데이터를 획득하는 단계(S200); 상기 실제수술에 대한 레퍼런스(reference) 큐시트데이터를 획득하는 단계(S400); 및 상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터를 비교하여 피드백을 제공하는 단계(S600);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.

컴퓨터가 실제수술 과정에서 획득된 실제수술데이터를 기반으로 분할되어 복수의 세부수술동작으로 구성된 실제수술 큐시트데이터를 획득한다(S200). 상기 컴퓨터는 수술로봇에 의한 수술과정에서 촬영된 수술영상 또는 수술로봇의 제어과정에서 획득된 데이터를 바탕으로 실제수술 큐시트데이터를 생성한다.

상기 큐시트데이터를 구성하는 세부수술동작은 수술프로세스를 구성하는 최소 동작 단위이다. 세부수술동작은 여러 기준에 의해 나누어질 수 있다. 예를 들어, 세부수술동작은 수술유형(예를 들어, 복강경수술, 로봇수술), 수술이 수행되는 해부학적 신체부위, 사용되는 수술도구, 수술도구의 개수, 화면상에 수술도구가 나타나는 방향 또는 위치, 수술도구의 움직임(예를 들어, 전진/후퇴) 등을 기준으로 나누어질 수 있다.

상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 의료진의 실제수술데이터 학습을 통해 직접 설정될 수 있다. 컴퓨터는 의료진에 의해 설정된 분할기준 및 세부카테고리에 따라 지도(Supervised)학습을 수행하여 최소단위인 세부수술동작으로 실제수술데이터를 분할할 수 있다.

또한, 상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 컴퓨터의 수술영상 학습을 통해 추출될 수 있다. 예를 들어, 컴퓨터는 빅데이터로 누적된 실제수술데이터를 딥러닝 학습(즉, 비지도학습)하여 분할기준 및 각 분할기준 내 카테고리를 산출할 수 있다. 그 후, 컴퓨터는 실제수술데이터 학습을 통해 생성된 분할기준에 따라 실제수술데이터를 분할하여 큐시트데이터를 생성한다.

또한, 다른 일실시예로, 실제수술데이터는 영상 인식을 통해 각각의 분할기준에 해당하는지 여부를 파악하여 분할(Segmentation)될 수도 있다. 즉, 컴퓨터는 실제수술데이터의 영상 내 화면에서 분할기준에 해당하는 해부학적 장기 위치, 등장하는 수술도구, 각 수술도구의 개수 등을 인식하여, 세부수술동작 단위로 분할을 수행할 수 있다.

또한, 다른 일실시예로, 컴퓨터는 실제수술데이터에 포함되는 수술도구 움직임데이터를 기반으로 큐시트데이터 생성을 위한 분할과정을 수행할 수 있다. 실제수술데이터는, 사용자가 로봇수술을 수행하는 경우, 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임에 대한 정보 등의 수술로봇을 제어하는 과정에서 입력되는 다양한 정보를 포함할 수 있다. 따라서, 컴퓨터는 실제수술데이터의 각 시점에 포함된 정보를 바탕으로 분할을 수행할 수 있다.

또한, 일실시예로, 실제수술데이터는 절제, 봉합 등의 다양한 종류의 세부수술동작이 포함되고, 분할기준에 따라 분할(Segmentation)이 수행된다. 구체적으로, 위암수술을 실제로 수행한 실제수술데이터(예를 들어, 실제수술영상)를 세부수술동작으로 분할하여 큐시트데이터로 생성하는 과정을 설명하면 다음과 같다.

예를 들어, 위암수술에는 우선 종양을 포함하는 위의 일부 또는 전부를 절제하는 세부수술동작 및 임파선을 절제하는 세부수술동작이 포함된다. 이외에도 위암의 상태에 따라 다양한 절제술 및 연결술이 이용된다. 또한 각각의 세부수술동작은 세부수술동작이 취해지는 구체적인 위치와, 수술도구의 이동방향에 따라 더 세부적인 복수의 세부수술동작으로 분할될 수 있다.

예로, 위암수술의 세부동작은 우선 개복단계, 절제단계, 연결단계 및 봉합단계 등으로 분할될 수 있다.

또한, 절제된 장기를 연결하는 방법에는 명치 끝 4-5cm 이상을 절개하고 연결하는 체외문합 방법 또는 배꼽을 3cm 정도 절개하고 복강 내에서 절제 및 문합이 이루어지는 체내문합 방법 등이 포함되는데, 상술한 연결단계는 이와 같은 구체적인 연결방법에 따라 더 상세하게 분할될 수 있다.

나아가, 각각의 수술방법은 수술도구의 위치 및 움직임에 따라 더 세부적인 복수의 세부수술동작들로 분할될 수 있다.

분할된 각각의 세부수술동작들은 세부수술동작이 수행되는 위치 및 수술도구의 이동경로(pathway)에 기초하여 표준화된 명칭이 부여될 수 있다.

일 실시 예에서, 표준화된 명칭에 이용되는 용어는 다양하게 정의될 수 있다. 예를 들어 위(stomach)의 하단 오른쪽 특정부위를 다룰때 그 부위의 이름은 의료분야에서 통상적으로 사용중인 이름을 사용할 수 있고, 개시된 실시 예에 따른 시스템에서 정의된, 더 포괄적이거나 세분화된 명칭이 이용될 수 있다.

따라서, 사용자가 실제로 수술을 수행한 수술 영상은 복수의 세부수술동작이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트 형태의 정보로 정리될 수 있다.

또한, 일실시예로, 상기 큐시트데이터는 세부수술동작으로 분할하는 기준에 의해 특정한 자릿수의 코드(Code) 데이터로 생성될 수 있다. 즉, 컴퓨터는 표준화된 분할기준을 적용하고 분할기준 내의 세부카테고리를 지정함에 따라 실제수술데이터를 표준화된 세부수술동작으로 분할하고, 각 세부카테고리에 표준화된 코드값을 부여하여 각 세부수술동작을 구별할 수 있는 표준화된 코드데이터를 부여한다.

컴퓨터는 분할기준 적용순서에 따라 특정한 세부수술동작이 속하는 상위카테고리부터 차례대로 숫자 또는 문자가 부여되어 디지털(Digital)화된 코드데이터를 각 세부수술동작에 부여한다. 이를 통해, 컴퓨터는 큐시트데이터를 분할된 세부수술동작 영상이 아닌 각 세부수술동작의 표준화된 코드데이터가 나열된 형태로 생성할 수 있다. 또한, 사용자는 표준화된 코드데이터로 이루어진 큐시트데이터만을 제공함에 따라 실제 수술과정을 공유 또는 전달할 수 있다.

일 실시 예에서, 컴퓨터가 수술실에 배치된 클라이언트 단말이거나 제어부(30)에 대응하는 경우, 컴퓨터는 수술영상으로부터 표준화된 코드데이터를 획득하고, 획득된 코드데이터를 서버(20)로 전송함으로써 실제 수술과정을 공유 또는 전달할 수 있다.

일 실시 예에서, 컴퓨터가 서버(20)에 대응하는 경우, 수술영상이 서버(20)로 전송되고, 서버(20)에서 큐시트데이터 및 코드데이터를 생성할 수 있다.

또한, 일실시예로, 컴퓨터는 각각의 세부수술동작의 표준화된 코드(Code)에 표준화된 명칭을 부여할 수 있다. 이를 통해, 사용자는 전체 큐시트 내에서 원하는 세부수술동작 부분만을 선별하여 확인할 수 있다. 또한, 이 경우, 사용자는 수술 영상을 전부 보지 않아도, 각각의 세부수술동작이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트를 보는 것만으로도 수술의 진행과정을 용이하게 파악할 수 있다.

큐시트데이터는 각 세부수술동작에 대한 영상 데이터베이스를 이용하여 수술영상으로 변환될 수 있다. 상기 영상 데이터베이스는 각 코드데이터에 부합하는 영상이 저장되어 있을 수 있고, 각 코드데이터에 부합하는 영상은 상황에 따라 복수개 저장되어 있을 수 있다. 예를 들어, 특정한 코드데이터는 이전에 수행된 동작에 따라 영상 데이터베이스 내의 상이한 세부수술동작 영상이 로드될 수 있다.

또한, 컴퓨터는, 각 큐시트데이터가 특정한 가상신체모델과 매칭되어 저장됨에 따라, 가상신체모델에 큐시트데이터에 포함된 각 세부수술동작을 순차적으로 적용함에 따라 수술시뮬레이션 영상으로 재생할 수 있다.

따라서, 큐시트데이터에 대응하는 영상은 수술영상과 같은 시점(point of view)에서 재생될 수도 있고, 다른 시점으로 재구성되어 재생될 수도 있다. 또는, 영상은 3D로 모델링되어, 사용자의 조작에 따라 시점과 위치가 조절될 수 있다.

컴퓨터는 상기 실제수술에 대한 레퍼런스 큐시트데이터를 획득한다(S400).

일 실시 예에서, 레퍼런스 큐시트데이터는 컴퓨터에 의하여 생성된 최적화 큐시트데이터를 의미한다.

다른 실시 예에서, 레퍼런스 큐시트데이터는 참고용 가상수술 큐시트데이터를 의미한다.

도 3은 일 실시 예에 따라 최적화 큐시트데이터를 산출하는 방법을 도시한 흐름도이다.

컴퓨터는 하나 이상의 학습 큐시트데이터를 획득한다(S420). 상기 학습 큐시트데이터는 최적화 큐시트데이터 산출을 위해 학습되는 학습대상데이터이다. 상기 학습 큐시트데이터는 실제수술데이터를 기반으로 생성된 큐시트데이터(즉, 실제수술 큐시트데이터) 또는 참고용으로 시뮬레이션된 가상수술데이터를 기반으로 생성된 큐시트데이터(즉, 참고용 가상수술 큐시트데이터)를 포함할 수 있다. 상기 실제수술 큐시트데이터는 컴퓨터가 실제수술데이터를 분할기준에 따라 분할하여 생성된 것이다. 상기 참고용 가상수술 큐시트데이터는 사용자의 수술 훈련과정에서 획득되는 것이 아니라 학습대상데이터 구축 목적 또는 수련의들에게 참고용으로 제공하기 위한 목적으로 시뮬레이션이 수행되어 생성된 것이다.

그 후, 컴퓨터는 학습 큐시트데이터를 이용하여 강화학습(Reinforcement learning)을 수행한다(S440). 강화학습은 기계학습의 한 영역으로, 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법이다. 강화학습은 상태전이와, 상태전이에 따른 보상에 기초하여 보상을 최대화하는 방법을 학습하는 것으로 요약될 수 있다.

그 후, 컴퓨터는 강화학습 결과를 이용하여 최적화 큐시트데이터를 산출한다(S460). 상기 최적화 큐시트데이터는 강화학습 결과를 기반으로 환자의 마취시간을 줄일 수 있는 최단 수술시간, 최소 출혈량, 필수동작그룹, 필수수행순서 등을 조건으로 산출된다.

상기 필수동작그룹은 특정한 세부수술동작을 수행하기 위해 필수적으로 함께 수행되어야 하는 세부수술동작들의 그룹이다. 상기 필수수행순서는 특정한 수술을 수행하는 과정에서 반드시 순차적으로 수행되어야 하는 수술동작 순서이다. 예를 들어, 수술의 종류 또는 수술동작의 종류에 따라 순차적으로 등장하여야 하는 수술동작들 및 그 순서가 정해져 있을 수 있다.

또한, 컴퓨터는 강화학습을 통해 환자의 신체조건, 수술부위(예를 들어, 종양조직) 조건(예를 들어, 종양의 크기, 위치 등) 등에 따른 상황별 최적화 큐시트데이터를 산출한다. 이를 위해, 컴퓨터는 학습 시에 환자조건, 수술부위 조건 등을 학습 큐시트데이터와 함께 활용한다.

일 실시 예에서, 컴퓨터는 스스로 가상의 시뮬레이션 수술을 수행할 수 있다. 예를 들어, 컴퓨터는 개시된 수술 프로세스 최적화 방법에 기초하여 수술 종류 및 환자의 종류에 따른 수술 프로세스를 생성하고, 생성된 수술 프로세스에 기초하여 가상의 수술 시뮬레이션을 수행할 수 있다.

컴퓨터는 가상의 수술 시뮬레이션 결과를 평가하고, 가상의 수술 시뮬레이션 정보 및 그 결과에 대한 평가정보에 기초하여 강화학습을 수행함으로써, 최적화된 수술 프로세스를 획득할 수 있다.

최적의 수술 프로세스를 생성할 수 있도록 학습된 모델이라 할지라도, 실제 수술의 경우 환자마다 신체구조와 수술의 종류가 상이하므로 각 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성하기 어려울 수 있다.

따라서, 컴퓨터는 학습된 모델을 이용하여 환자의 신체구조 및 수술종류에 기초한 수술 프로세스를 생성하고, 가상의 수술 시뮬레이션을 수행함으로써 강화학습을 수행, 각각의 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성할 수 있다.

컴퓨터는 상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터를 비교하여 피드백을 제공한다(S600).

일 실시 예에서, 실제수술 큐시트데이터와 레퍼런스 큐시트데이터를 비교하는 작업은 수술실에 배치된 컴퓨터나 제어부(30)에서 수행될 수도 있고, 서버(20)에서 수행될 수도 있다.

서버(20)에서 비교가 수행되는 경우, 서버(20)는 레퍼런스 큐시트데이터를 획득하고, 제어부(30)로부터 획득된 수술영상 또는 큐시트데이터(코드데이터)와 비교를 수행한다.

수술실에 배치된 컴퓨터나 제어부(30)에서 비교가 수행되는 경우, 컴퓨터는 수술영상으로부터 큐시트데이터를 획득하고, 서버(20)로부터 수신되는 레퍼런스 큐시트데이터와 비교를 수행한다.

일 실시 예에서, 피드백은 웹사이트 또는 애플리케이션을 통하여 제공될 수 있다. 예를 들어, 피드백은 의사의 모바일 단말에 설치된 애플리케이션을 통하여 제공될 수 있으며, 수술이 종료되면 의사의 모바일 단말에 피드백과 관련한 알림이 제공될 수 있다.

도 4는 일 실시 예에 따라 피드백을 획득하는 방법을 도시한 흐름도이다.

일 실시 예에서, 컴퓨터는 실제수술 큐시트데이터에 포함된 세부수술동작들의 종류 및 순서를 레퍼런스 큐시트데이터에 포함된 세부수술동작들의 종류 및 순서와 비교하여, 수술결과에 대한 피드백을 제공할 수 있다(S620).

예를 들어, 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작들에 비하여, 실제수술 큐시트데이터에 포함된 세부수술동작들에 누락된 세부수술동작, 불필요한 세부수술동작, 또는 잘못된 세부수술동작이 있는지 여부를 판단하여, 그 결과에 대한 피드백을 제공할 수 있다.

예를 들어, 레퍼런스 큐시트데이터에는 포함된 필요한 세부수술동작이 실제수술 큐시트데이터에서는 누락되었을 수 있다.

또한, 레퍼런스 큐시트데이터에는 포함되지 않은 불필요한 세부수술동작이 실제수술 큐시트데이터에는 포함되었을 수 있다.

또한, 레퍼런스 큐시트데이터에 포함된 세부수술동작이 실제수술 큐시트데이터에도 포함되어 있으나, 그 구체적인 동작이 상이하거나 잘못되었을 수 있다.

이 경우 레퍼런스 큐시트데이터와 실제수술 큐시트데이터의 세부수술동작의 종류는 일치하나, 구체적으로 비교하면 그 동작이 상이할 수 있다.

따라서, 컴퓨터는 각 세부수술동작이 정확하게 수행되었는지 여부를 판단한다. 특정한 세부수술동작이 전체 수술과정에서 포함되어야 하는 것이나, 정상적으로 수행되지 않을 수 있다. 예를 들어, 특정한 위치의 조직을 집개형태의 수술도구로 잡는 동작(즉, 세부수술동작)의 경우, 최적의 깊이보다 깊게 조직을 잡거나 조직을 잡았다가 놓치기 쉬운 정도로 집개의 적은 영역으로 잡으면, 정상적이지 않은 세부수술동작으로 판단할 수 있다. 컴퓨터는 영상인식을 통해 실제수술영상 내의 조직과 수술도구를 인식하여 세부수술동작을 정확하게 인식하고, 최적화 큐시트데이터 내의 정상적인 세부수술동작과 비교하여 평가 및 피드백을 수행한다.

또한, 컴퓨터는 실제수술 큐시트데이터 자체를 분석하여, 이상상황이나 돌발상황이 발생한 기록에 대한 정보를 제공할 수 있다. 예를 들어, 특정 부위에서 출혈이 발생했던 경우, 컴퓨터는 출혈이 발생했다는 사실과, 출혈이 발생한 위치 및 출혈량에 대한 정보 중 적어도 하나를 제공할 수 있다.

나아가, 컴퓨터는 실제수술 큐시트데이터에 포함된 세부수술동작의 기록을 분석하여, 출혈이 발생한 원인을 판단하여 제공할 수 있다.

구체적으로, 컴퓨터는 완료된 실제수술 큐시트를 분석하여 수술오류(surgical error)를 탐색한다(S640). 컴퓨터는 기 설정된 규칙에 따른 수술오류(surgical error)상황이 감지되는 경우, 피드백을 제공할 수 있다.

예를 들어, 보편적인 수술오류 상황과 그에 따른 피드백 제공방법은 후술되는 바와 같다.

일 예로, 컴퓨터는 환자의 신체에 이물질이 남아 있는 경우(Foreign objects left in the patient’s body)를 감지하여 피드백을 제공할 수 있다. 개시된 실시 예에 따르면, 컴퓨터는 획득되는 수술 영상에 기초하여 수술 도구의 위치, 출혈 부위뿐 아니라, 수술 영상에 포함된 모든 객체를 인식하고, 각 객체를 분석한다. 컴퓨터는 수술 영상에 포함된 객체의 위치, 개수, 유입 시간 등을 판단한다. 따라서, 컴퓨터는 수술이 종료되었을 때 유입된 외부 물질이 수술부위로부터 제거되지 않은 것으로 판단되는 경우 경고를 발생하고, 사용자에게 확인할 것을 요청하는 피드백을 제공할 수 있다. 일 실시 예에서, 컴퓨터는 수술부위에 유입된 객체가 영상에서 확인되지 않는 경우에도, 사용자에게 확인을 요청할 수 있다. 예를 들어, 수술부위에 유입된 객체가 수술부위로부터 제거되는 것이 확인되지 않은 경우, 수술영상에 포함되어 있지 않아도 보이지 않는 곳에 남아있을 가능성이 있으므로, 사용자에게 피드백을 제공할 수 있다.

일 예로, 잘못된 환자에 대한 수술 집도(Wrong patient surgery)상황을 감지하고, 피드백을 제공할 수 있다. 개시된 실시 예에 따르면, 컴퓨터는 수술영상을 실시간으로 분석하고, 3D 모델링 영상의 장기들과 실제 장기들 간의 정합(registration)을 수행한다. 컴퓨터는 실시간으로 카메라와 수술 도구의 위치를 추적하고, 수술상황을 판단하며, 시뮬레이터가 실제 수술과정을 따라하도록 하는 정보를 획득한다. 일 실시 예에서, 환자의 실제 장기와 3D 모델링 영상의 장기들을 정합하는 과정에서 실제 장기와 3D 모델링 영상이 매칭되지 않는 경우, 잘못된 환자에 대한 수술이 집도되었을 가능성이 있으므로, 컴퓨터는 사용자에게 확인을 요청할 수 있다.

일 예로, 잘못된 수술부위(Wrong side surgery)에 대한 상황을 감지하고, 피드백을 제공할 수 있다. 개시된 실시 예에서, 컴퓨터는 수술상황을 판단하고, 리허설 결과 또는 최적의 수술방법에 따른 수술 가이드 영상을 제공하게 된다. 그 과정에서, 실제 수술의 진행과정이 리허설 또는 최적의 수술방법과 상이한 경우, 잘못된 부위에 수술을 집도하거나, 다른 종류의 수술이 집도되었을 수 있으므로, 컴퓨터는 사용자에게 확인을 요청할 수 있다.

일 예로, 신경손상(Nerve damage) 상황을 인지하고, 피드백을 제공할 수 있다. 개시된 실시 예에서, 컴퓨터는 상술한 방법과 같이 실제 수술이 리허설과 상이한 경우 피드백을 제공할 수 있으며, 환자의 장기와 수술도구의 위치관계에 따라 중요한 신경이나 신경절을 절단하거나, 수술도구가 신경에 접근하여 위험이 예측된 경우 경고를 제공할 수 있다. 또한, 컴퓨터는 이미지의 정합과, 나아가 AR또는 MR(Mixed Reality)기술을 이용하여 잘 보이지 않는 혈관, 신경, 신경절 등을 수술 영상에 중첩하여 보여줌으로써, 수술 후에도 사용자가 중요한 부분을 잘 볼 수 있도록 하여, 수술과정을 복기하는 데 도움을 줄 수 있다.

또한, 다른 일실시예로, 실제수술 큐시트데이터를 최적화 큐시트데이터의 산출에 이용되는 학습 큐시트데이터에 추가하고, 강화학습을 수행하는 단계(S660)를 더 포함한다.

일 실시 예에서, 실제수술 큐시트데이터에 최적화 큐시트데이터에 비해 더 나은 부분이 있을 수 있다. 따라서, 실제수술 큐시트데이터를 학습 큐시트데이터에 추가하고, 강화학습을 수행함으로써 더 나은 최적화 큐시트데이터를 생성할 수 있는 모델을 획득할 수 있다.

또한, 다른 일실시예로, 컴퓨터는 각각의 수술기록들에 대응하는 환자의 예후를 추적한다(S680). 컴퓨터는 각각의 수술기록과, 각 수술기록에 대응하는 예후를 학습 데이터로 활용하여 기계학습을 수행함으로써, 각각의 예후가 어떠한 수술동작들의 결합에 의하여 발생하는 것인지를 판단할 수 있다.

예를 들어, 컴퓨터는 특정 부작용이 발생한 환자들의 수술동작들을 분석함으로써, 사소한 수술동작이라도 부작용의 원인이 될 수 있는 세부수술동작, 또는 세부수술동작들의 결합을 도출해낼 수 있다.

일 실시 예에서, 컴퓨터는 강화학습을 통하여 각각의 예후를 불러오는 세부수술동작들에 대한 정보를 획득할 수 있다. 예를 들어, 컴퓨터는 수술과정에서 행해지는 동작들과, 각각의 동작들이 포함되거나 특정 순서로 수행되는 경우 발생하는 예후에 대한 학습데이터를 기반으로 하여 강화학습을 수행할 수 있다. 컴퓨터는 강화학습 결과에 기초하여, 특정 세부수술동작이나 연속적인 세부수술동작, 또는 세부수술동작들의 조합으로 인하여 어떤 예후가(즉, 어떤 부작용이) 발생할 수 있는지를 판단할 수 있다.

또한, 컴퓨터는 사용자에게 다양한 방식으로 피드백을 출력하여 제공할 수 있다. 일 실시 예에서, 컴퓨터는 문제점이 존재하는 세부수술동작들을 추출하여 피드백을 제공할 수 있다. 예를 들어, 컴퓨터는 문제점이 존재하는 세부수술동작들의 영상만을 추출하여 재생함으로써, 사용자가 문제점을 파악하는 데 도움을 줄 수 있다.

또한, 컴퓨터는 수술과정에 포함된 세부수술동작을 검색하여 제공할 수 있다. 예를 들어, 수술은 몇 시간 이상 진행되는 것이 일반적이므로, 사용자가 수술 후 전체 영상을 확인하면서 피드백을 받는 것은 어렵다. 따라서, 컴퓨터는 큐시트데이터를 제공하고, 사용자가 큐시트데이터에 포함된 하나 이상의 세부수술동작을 선택하면, 선택된 세부수술동작만을 추출하여 피드백을 제공할 수 있다. 예를 들어, 컴퓨터는 선택된 세부수술동작들의 영상만을 추출하여 재생할 수 있다.

개시된 실시 예에 따르면, 각각의 세부수술동작은 표준화된 명칭과 표준화된 코드데이터를 갖는다. 따라서, 사용자는 표준화된 명칭이나 코드데이터에 기초하여 각각의 세부수술동작을 검색할 수 있고, 큐시트데이터만 보아도 수술경과를 용이하게 판단할 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 수술결과에 대한 피드백 제공방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부

Claims (11)

1. 컴퓨터가 실제수술 과정에서 획득된 실제수술데이터를 기반으로 분할되어 복수의 세부수술동작으로 구성된 실제수술 큐시트데이터를 획득하는 단계;
   상기 실제수술에 대한 레퍼런스(reference) 큐시트데이터를 획득하는 단계; 및
   상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터를 비교하여 피드백을 제공하는 단계; 를 포함하는, 수술결과에 대한 피드백 제공방법.
2. 제1 항에 있어서,
   상기 복수의 세부수술동작은,
   상기 실제수술데이터에 포함된 수술부위, 수술도구의 종류, 상기 수술도구의 개수, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 실제수술데이터를 분할한 것인, 수술결과에 대한 피드백 제공방법.
3. 제2 항에 있어서,
   상기 복수의 세부수술동작은,
   각각 표준화된 명칭 및 표준화된 코드데이터 중 적어도 하나가 부여되는 것인, 수술결과에 대한 피드백 제공방법.
4. 제3 항에 있어서,
   상기 피드백을 제공하는 단계는,
   상기 복수의 세부수술동작 중 적어도 하나를 검색하기 위한 검색정보를 획득하는 단계;
   상기 표준화된 명칭 또는 상기 표준화된 코드데이터에 기초하여 상기 검색정보에 대응하는 적어도 하나의 세부수술동작을 추출하는 단계; 및
   상기 추출된 적어도 하나의 세부수술동작에 대한 피드백을 제공하는 단계; 를 포함하는, 수술결과에 대한 피드백 제공방법.
5. 제1 항에 있어서,
   상기 레퍼런스 큐시트데이터는,
   상기 실제수술에 대하여 최적화된 큐시트데이터 또는 참고용 가상수술 큐시트데이터인, 수술결과에 대한 피드백 제공방법.
6. 제1 항에 있어서,
   상기 피드백을 제공하는 단계는,
   상기 실제수술 큐시트데이터와 상기 레퍼런스 큐시트데이터 각각에 포함된 복수의 세부수술동작을 비교하여, 상기 실제수술 큐시트데이터에 불필요한 세부수술동작, 누락된 세부수술동작 또는 잘못된 세부수술동작이 있는지 여부를 판단하는 단계; 를 포함하는, 수술결과에 대한 피드백 제공방법.
7. 제6 항에 있어서,
   상기 잘못된 세부수술동작이 있는지 여부를 판단하는 단계는,
   상기 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 수술도구의 움직임과, 상기 실제수술 큐시트데이터에 포함된 세부수술동작에 대응하는 수술도구의 움직임을 비교하는 단계; 및
   상기 수술도구의 움직임을 비교한 결과에 기초하여, 상기 실제수술 큐시트데이터에 포함된 세부수술동작이 잘못되었는지 여부를 판단하는 단계; 를 포함하는, 수술결과에 대한 피드백 제공방법.
8. 제1 항에 있어서,
   상기 실제수술 큐시트데이터를 학습 큐시트데이터에 추가하는 단계; 및
   상기 학습 큐시트데이터를 이용하여 최적화 큐시트데이터를 획득하는 모델에 대한 강화학습을 수행하는 단계; 를 더 포함하는, 수술결과에 대한 피드백 제공방법.
9. 제1 항에 있어서,
   상기 획득된 수술정보에서 적어도 하나의 수술오류(surgical error) 상황을 탐색하는 단계; 및
   상기 탐색된 수술오류 상황에 대한 피드백을 제공하는 단계; 를 더 포함하는, 수술 결과에 대한 피드백 제공방법.
10. 제1 항에 있어서,
    상기 실제수술 큐시트데이터를 포함하는 하나 이상의 실제수술 큐시트데이터 각각에 대응하는 예후에 대한 정보를 획득하는 단계;
    상기 하나 이상의 실제수술 큐시트데이터 및 예후에 대한 정보에 기초하여 강화학습을 수행하는 단계; 및
    상기 강화학습 결과에 기초하여, 상기 하나 이상의 실제수술 큐시트데이터에 포함된 적어도 하나의 세부수술동작과 예후 간의 상관관계를 판단하는 단계; 를 더 포함하는, 수술결과에 대한 피드백 제공방법.
11. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images