KR101864411B1 - 수술보조 영상 표시방법 및 프로그램 - Google Patents

Abstract

컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 수술영상을 획득하는 단계, 상기 획득된 수술영상을 표시하는 단계, 상기 수술영상에 대응하는 수술상황을 판단하는 단계 및 상기 수술상황에 대응하는 수술보조 영상을 표시하는 단계를 포함하는, 수술보조 영상 표시방법이 개시된다.

Description

수술보조 영상 표시방법 및 프로그램 {PROGRAM AND METHOD FOR DISPLAYING SURGICAL ASSIST IMAGE}

본 발명은 수술보조 영상 표시방법 및 프로그램에 관한 것이다.

수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다.

기존에는 수술 프로세스를 최적화 하기 위한 시나리오 구상을 위해서는 사전에 촬영된 의료영상을 참고하거나 매우 숙련된 의사의 자문을 받았으나, 의료영상만으로는 불필요한 프로세스의 판단이 어려웠으며 숙련된 의사의 자문은 특정 환자에 맞는 자문을 받기에 어려운 문제점이 있었다.

따라서, 의료영상이나 숙련된 의사의 자문은 수술대상 환자에 대한 수술프로세스의 최적화를 위한 보조 용도로는 활용되기 어려운 점이 많았다.

이에, 3차원 의료영상(예를 들어, 3차원 수술도구 움직임 및 도구의 움직임으로 인해 발생하는 장기 내부의 변화에 대한 가상영상)을 이용하여 수술을 행하는데 있어서 불필요한 프로세스를 최소화하여 수술 프로세스를 최적화하고, 이에 기반한 수술보조 정보를 제공할 수 있는 방법에 대한 개발이 요구된다.

또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.

본 발명이 해결하고자 하는 과제는 수술보조 영상 표시방법 및 프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술보조 영상 표시방법은, 컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 수술영상을 획득하는 단계, 상기 획득된 수술영상을 표시하는 단계, 상기 수술영상에 대응하는 수술상황을 판단하는 단계 및 상기 수술상황에 대응하는 수술보조 영상을 표시하는 단계를 포함한다.

또한, 상기 수술상황을 판단하는 단계는, 상기 수술영상에서 상기 대상체의 신체부위 및 수술도구를 인식하는 단계 및 상기 인식된 신체부위, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 수술상황을 판단하는 단계를 포함한다.

또한, 상기 수술에 대한 레퍼런스 큐시트데이터를 획득하는 단계를 더 포함하고, 상기 수술상황을 판단하는 단계는, 상기 수술영상에 대응하는, 상기 큐시트데이터에 포함된 세부수술동작을 결정하는 단계를 포함하고, 상기 수술보조 영상을 표시하는 단계는, 상기 세부수술동작에 대응하는 3D 모델링 영상을 표시하는 단계를 포함할 수 있다.

또한, 상기 레퍼런스 큐시트데이터를 획득하는 단계는, 상기 수술상황에 따라 업데이트된 레퍼런스 큐시트데이터를 획득하는 단계를 더 포함할 수 있다.

또한, 상기 수술상황을 판단하는 단계는, 상기 수술상황에 대응하는 표준화된 코드데이터를 서버로 송신하는 단계를 더 포함하고, 상기 수술보조 영상을 표시하는 단계는, 서버로부터 상기 수술상황에 대응하는 수술보조 영상의 표준화된 코드데이터를 수신하는 단계, 상기 코드데이터에 대응하는 수술보조 영상을 획득하는 단계 및 상기 획득된 수술보조 영상을 표시하는 단계를 포함할 수 있다.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술보조 영상을 상기 수술영상에 정합시키는 단계 및 상기 정합된 영상을 표시하는 단계를 포함할 수 있다.

또한, 상기 수술보조 영상은, 사전에 상기 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상일 수 있다.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술 레퍼런스 영상에 기초하여 상기 수술영상에 포함된 수술도구의 이동방향을 안내하는 정보를 표시하는 단계를 더 포함할 수 있다.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술영상에 표시되지 않거나, 상기 수술영상에서 식별하기 어려운 상기 신체부위의 적어도 일부에 대한 정보를 표시하는 단계를 더 포함할 수 있다.

또한, 상기 수술영상에 포함된 수술도구의 위치를 판단하는 단계, 상기 수술영상 및 상기 수술보조 영상을 이용하여 상기 대상체의 신체부위의 적어도 일부와 상기 수술도구의 위치관계를 판단하는 단계 및 상기 판단된 위치관계에 대응하는 피드백을 제공하는 단계를 더 포함할 수 있다.

또한, 상기 수술영상은 로봇수술을 수행하는 영상이고, 상기 피드백을 제공하는 단계는, 상기 컴퓨터가 상기 로봇수술을 제어하는 컨트롤러에 상기 판단된 위치관계에 대응하는 햅틱(haptic) 피드백을 제공하는 단계를 포함할 수 있다.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술영상에서 적어도 하나의 수술오류(surgical error) 상황이 감지되는 경우, 상기 감지된 수술오류 상황에 대한 피드백을 표시하는 단계를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 수술보조 영상 표시방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 수술시 3D 모델링 영상을 실제수술영상에 정합하여 다양한 정보를 제공할 수 있는 효과가 있다.

또한, 개시된 실시 예에 따르면 서버와 제어부 간에 실제 영상 데이터를 전송하는 것이 아니고, 영상 데이터를 나타내는 코드만을 전송하여, 각자가 코드에 대응하는 영상을 획득한다. 따라서, 데이터 전송에 따른 시간지연을 최소화할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따라 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따라 레퍼런스 큐시트데이터를 이용하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따라 최적화 큐시트데이터를 산출하는 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따라 컴퓨터가 서버로부터 수신되는 코드데이터에 기초하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따라 컴퓨터가 다양한 종류의 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.

본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.

본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "실제수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "세부수술동작"은 특정한 기준에 따라 분할된 수술동작의 최소단위를 의미한다.

본 명세서에서 "큐시트(Cue sheet) 데이터"는, 특정한 수술과정을 세부수술동작으로 분할하여 순서대로 기록한 데이터를 의미한다.

본 명세서에서 "시행 큐시트데이터"는 사용자가 시뮬레이션을 수행한 가상수술데이터를 기반으로 획득되는 큐시트데이터를 의미한다.

본 명세서에서 "훈련용 가상수술 큐시트데이터"는 시행 큐시트데이터에 포함되는 것으로서, 사용자가 수술 모의훈련(Simulation)을 수행하여 획득된 가상수술데이터를 기반으로 생성된 큐시트데이터를 의미한다.

본 명세서에서 "참고용 가상수술 큐시트데이터"는 학습용 빅데이터 구축 또는 수술프로세스 안내를 위해 특정한 의료인이 수행한 가상수술에 대한 큐시트데이터를 의미한다.

본 명세서에서 "최적화 큐시트데이터"는 수술시간 또는 수술 예후 등의 측면에서 최적화된 수술프로세스에 대한 큐시트데이터를 의미한다.

본 명세서에서 "학습 큐시트데이터"는 최적화 큐시트데이터 산출을 위한 학습에 이용되는 큐시트데이터를 의미한다.

본 명세서에서 "수술가이드 데이터"는 실제 수술 시에 가이드정보로 이용되는 데이터를 의미한다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.

도 1을 참조하면, 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.

도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.

일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.

서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.

제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.

영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수 있다.

일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.

제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.

예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.

서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.

제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.

일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.

이하에서는, 도면을 참조하여 수술보조 영상을 표시하는 방법에 대하여 상세하게 설명한다.

도 2는 일 실시 예에 따라 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.

도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.

도 2를 참조하면, 본 발명의 일실시예에 따른 수술보조 영상 제공방법은, 컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 실제수술영상을 획득하고, 획득된 실제수술영상을 표시하는 단계(S200), 상기 실제수술영상에 대응하는 수술상황을 판단하는 단계(S400) 및 상기 수술상황에 대응하는 수술보조 영상을 표시하는 단계(S600)를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.

컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 실제수술영상을 획득하고, 획득된 실제수술영상을 표시한다(S200).

일 실시 예에서, 실제수술영상은 대상체의 신체부위의 적어도 일부, 즉 수술부위를 포함한다. 예를 들어, 실제수술영상은 대상체의 수술부위에 해당하는 장기를 포함한다. 일 실시 예에서, 실제수술영상은 적어도 하나의 수술도구를 포함한다. 수술도구는 로봇수술을 수행하기 위하여 필요한 도구, 수술로봇의 적어도 일부 및 수술에 사용되는 소모품 등을 포함한다.

일 실시 예에서, 실제수술영상은 도 1에 도시된 수술로봇(34)에 구비된 영상촬영부(36)로부터 획득된다.

컴퓨터는 실제수술영상에 대응하는 수술상황을 판단한다(S400).

일 실시 예에서, 컴퓨터는 실제수술영상에서 대상체의 신체부위 및 수술도구를 인식하고, 인식된 신체부위, 수술도구의 위치, 방향 및 움직임 중 적어도 하나에 기초하여 수술상황을 판단한다.

구체적으로, 컴퓨터는 실제수술영상에서 대상체의 신체부위 및 수술도구를 인식하고, 인식된 신체부위, 수술도구의 위치, 방향 및 움직임 중 적어도 하나에 기초하여 수술상황에 대응하는 세부수술동작을 판단한다.

세부수술동작은 수술프로세스를 구성하는 최소 동작 단위이다. 세부수술동작은 여러 기준에 의해 나누어질 수 있다. 예를 들어, 세부수술동작은 수술유형(예를 들어, 복강경수술, 로봇수술), 수술이 수행되는 해부학적 신체부위, 사용되는 수술도구, 수술도구의 개수, 화면상에 수술도구가 나타나는 방향 또는 위치, 수술도구의 움직임(예를 들어, 전진/후퇴) 등을 기준으로 나누어질 수 있다.

상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 의료진의 실제수술데이터 학습을 통해 직접 설정될 수 있다. 컴퓨터는 의료진에 의해 설정된 분할기준 및 세부카테고리에 따라 지도(Supervised)학습을 수행하여 최소단위인 세부수술동작으로 실제수술데이터를 분할하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.

또한, 상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 컴퓨터의 실제수술영상 학습을 통해 추출될 수 있다. 예를 들어, 컴퓨터는 빅데이터로 누적된 실제수술데이터를 딥러닝 학습(즉, 비지도학습)하여 분할기준 및 각 분할기준 내 카테고리를 산출할 수 있다. 그 후, 컴퓨터는 실제수술데이터 학습을 통해 생성된 분할기준에 따라 실제수술영상에 대응하는 세부수술동작을 판단한다.

또한, 다른 일실시예로, 실제수술데이터는 영상 인식을 통해 각각의 분할기준에 해당하는지 여부를 파악하여 분할(Segmentation)될 수도 있다. 즉, 컴퓨터는 실제수술데이터의 영상 내 화면에서 분할기준에 해당하는 해부학적 장기 위치, 등장하는 수술도구, 각 수술도구의 개수 등을 인식하여, 세부수술동작 단위로 분할을 수행하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.

또한, 다른 일실시예로, 컴퓨터는 실제수술데이터에 포함되는 수술도구 움직임데이터를 기반으로 큐시트데이터 생성을 위한 분할과정을 수행할 수 있다. 실제수술데이터는, 사용자가 로봇수술을 수행하는 경우, 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임에 대한 정보 등의 수술로봇을 제어하는 과정에서 입력되는 다양한 정보를 포함할 수 있다. 따라서, 컴퓨터는 실제수술데이터의 각 시점에 포함된 정보를 바탕으로 분할을 수행하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.

상기 컴퓨터는 수술로봇에 의한 수술과정에서 촬영된 실제수술영상 또는 수술로봇의 제어과정에서 획득된 데이터를 바탕으로 하나 이상의 세부수술동작을 포함하는 실제수술 큐시트데이터를 생성한다.

또한, 일실시예로, 실제수술데이터는 절제, 봉합 등의 다양한 종류의 세부수술동작이 포함되고, 분할기준에 따라 분할(Segmentation)이 수행된다. 구체적으로, 위암수술을 실제로 수행한 실제수술데이터(예를 들어, 실제수술영상)를 세부수술동작으로 분할하여 큐시트데이터로 생성하는 과정을 설명하면 다음과 같다.

예를 들어, 위암수술에는 우선 종양을 포함하는 위의 일부 또는 전부를 절제하는 세부수술동작 및 임파선을 절제하는 세부수술동작이 포함된다. 이외에도 위암의 상태에 따라 다양한 절제술 및 연결술이 이용된다. 또한 각각의 세부수술동작은 세부수술동작이 취해지는 구체적인 위치와, 수술도구의 이동방향에 따라 더 세부적인 복수의 세부수술동작으로 분할될 수 있다.

예로, 위암수술의 세부동작은 우선 개복단계, 절제단계, 연결단계 및 봉합단계 등으로 분할될 수 있다.

또한, 절제된 장기를 연결하는 방법에는 명치 끝 4-5cm 이상을 절개하고 연결하는 체외문합 방법 또는 배꼽을 3cm 정도 절개하고 복강 내에서 절제 및 문합이 이루어지는 체내문합 방법 등이 포함되는데, 상술한 연결단계는 이와 같은 구체적인 연결방법에 따라 더 상세하게 분할될 수 있다.

나아가, 각각의 수술방법은 수술도구의 위치 및 움직임에 따라 더 세부적인 복수의 세부수술동작들로 분할될 수 있다.

컴퓨터는 상술한 방법에 따라 수술데이터를 세부수술동작들을 포함하는 큐시트데이터로 분할하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.

분할된 각각의 세부수술동작들은 세부수술동작이 수행되는 위치 및 수술도구의 이동경로(pathway)에 기초하여 표준화된 명칭이 부여될 수 있다.

일 실시 예에서, 표준화된 명칭에 이용되는 용어는 다양하게 정의될 수 있다. 예를 들어 위(stomach)의 하단 오른쪽 특정부위를 다룰때 그 부위의 이름은 의료분야에서 통상적으로 사용중인 이름을 사용할 수 있고, 개시된 실시 예에 따른 시스템에서 정의된, 더 포괄적이거나 세분화된 명칭이 이용될 수 있다.

따라서, 사용자가 실제로 수술을 수행한 수술 영상은 복수의 세부수술동작이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트 형태의 정보로 정리될 수 있다.

또한, 일실시예로, 상기 큐시트데이터는 세부수술동작으로 분할하는 기준에 의해 특정한 자릿수의 코드(Code) 데이터로 생성될 수 있다. 즉, 컴퓨터는 표준화된 분할기준을 적용하고 분할기준 내의 세부카테고리를 지정함에 따라 실제수술데이터를 표준화된 세부수술동작으로 분할하고, 각 세부카테고리에 표준화된 코드값을 부여하여 각 세부수술동작을 구별할 수 있는 표준화된 코드데이터를 부여한다.

컴퓨터는 분할기준 적용순서에 따라 특정한 세부수술동작이 속하는 상위카테고리부터 차례대로 숫자 또는 문자가 부여되어 디지털(Digital)화된 코드데이터를 각 세부수술동작에 부여한다. 이를 통해, 컴퓨터는 큐시트데이터를 분할된 세부수술동작 영상이 아닌 각 세부수술동작의 표준화된 코드데이터가 나열된 형태로 생성할 수 있다. 또한, 사용자는 표준화된 코드데이터로 이루어진 큐시트데이터만을 제공함에 따라 실제 수술과정을 공유 또는 전달할 수 있다.

일 실시 예에서, 컴퓨터가 수술실에 배치된 클라이언트 단말이거나 제어부(30)에 대응하는 경우, 컴퓨터는 실제수술영상으로부터 표준화된 코드데이터를 획득하고, 획득된 코드데이터를 서버(20)로 전송함으로써 실제 수술과정을 공유 또는 전달할 수 있다.

마찬가지로, 컴퓨터는 서버(20)로부터 표준화된 코드데이터를 획득하고, 획득된 코드데이터에 기초하여 컴퓨터에 저장된 영상을 획득하거나, 3D 모델링 영상을 렌더링하여 생성할 수 있다.

또한, 일실시예로, 컴퓨터는 각각의 세부수술동작의 표준화된 코드(Code)에 표준화된 명칭을 부여할 수 있다. 이를 통해, 사용자는 전체 큐시트 내에서 원하는 세부수술동작 부분만을 선별하여 확인할 수 있다. 또한, 이 경우, 사용자는 수술 영상을 전부 보지 않아도, 각각의 세부수술동작이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트를 보는 것만으로도 수술의 진행과정을 용이하게 파악할 수 있다.

컴퓨터는 수술상황에 대응하는 수술보조 영상을 표시한다(S600).

일 실시 예에서, 수술보조 영상은 사전에 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상일 수 있으나, 이에 제한되지 않는다.

다른 일 실시 예에서, 수술보조 영상은 컴퓨터에 기 저장된 수술 참고영상을 포함한다. 컴퓨터는 수술상황에 대응하는 수술 참고영상을 표시할 수 있다.

도 3은 일 실시 예에 따라 레퍼런스 큐시트데이터를 이용하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.

도 3을 참조하면, 컴퓨터는 수술에 대한 레퍼런스 큐시트데이터를 획득한다(S610).

일 실시 예에서, 레퍼런스 큐시트데이터는 참고용 가상수술 큐시트데이터를 의미한다.

일 실시 예에서, 레퍼런스 큐시트데이터는 컴퓨터에 의하여 생성된 최적화 큐시트데이터를 의미한다.

도 4는 일 실시 예에 따라 최적화 큐시트데이터를 산출하는 방법을 도시한 흐름도이다.

컴퓨터는 하나 이상의 학습 큐시트데이터를 획득한다(S612). 상기 학습 큐시트데이터는 최적화 큐시트데이터 산출을 위해 학습되는 학습대상데이터이다. 상기 학습 큐시트데이터는 실제수술데이터를 기반으로 생성된 큐시트데이터(즉, 실제수술 큐시트데이터) 또는 참고용으로 시뮬레이션된 가상수술데이터를 기반으로 생성된 큐시트데이터(즉, 참고용 가상수술 큐시트데이터)를 포함할 수 있다. 상기 실제수술 큐시트데이터는 컴퓨터가 실제수술데이터를 분할기준에 따라 분할하여 생성된 것이다. 상기 참고용 가상수술 큐시트데이터는 사용자의 수술 훈련과정에서 획득되는 것이 아니라 학습대상데이터 구축 목적 또는 수련의들에게 참고용으로 제공하기 위한 목적으로 시뮬레이션이 수행되어 생성된 것이다.

그 후, 컴퓨터는 학습 큐시트데이터를 이용하여 강화학습(Reinforcement learning)을 수행한다(S614). 강화학습은 기계학습의 한 영역으로, 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법이다. 강화학습은 상태전이와, 상태전이에 따른 보상에 기초하여 보상을 최대화하는 방법을 학습하는 것으로 요약될 수 있다.

그 후, 컴퓨터는 강화학습 결과를 이용하여 최적화 큐시트데이터를 산출한다(S616). 상기 최적화 큐시트데이터는 강화학습 결과를 기반으로 환자의 마취시간을 줄일 수 있는 최단 수술시간, 최소 출혈량, 필수동작그룹, 필수수행순서 등을 조건으로 산출된다.

상기 필수동작그룹은 특정한 세부수술동작을 수행하기 위해 필수적으로 함께 수행되어야 하는 세부수술동작들의 그룹이다. 상기 필수수행순서는 특정한 수술을 수행하는 과정에서 반드시 순차적으로 수행되어야 하는 수술동작 순서이다. 예를 들어, 수술의 종류 또는 수술동작의 종류에 따라 순차적으로 등장하여야 하는 수술동작들 및 그 순서가 정해져 있을 수 있다.

또한, 컴퓨터는 강화학습을 통해 환자의 신체조건, 수술부위(예를 들어, 종양조직) 조건(예를 들어, 종양의 크기, 위치 등) 등에 따른 상황별 최적화 큐시트데이터를 산출한다. 이를 위해, 컴퓨터는 학습 시에 환자조건, 수술부위 조건 등을 학습 큐시트데이터와 함께 활용한다.

일 실시 예에서, 컴퓨터는 스스로 가상의 시뮬레이션 수술을 수행할 수 있다. 예를 들어, 컴퓨터는 개시된 수술 프로세스 최적화 방법에 기초하여 수술 종류 및 환자의 종류에 따른 수술 프로세스를 생성하고, 생성된 수술 프로세스에 기초하여 가상의 수술 시뮬레이션을 수행할 수 있다.

컴퓨터는 가상의 수술 시뮬레이션 결과를 평가하고, 가상의 수술 시뮬레이션 정보 및 그 결과에 대한 평가정보에 기초하여 강화학습을 수행함으로써, 최적화된 수술 프로세스를 획득할 수 있다.

최적의 수술 프로세스를 생성할 수 있도록 학습된 모델이라 할지라도, 실제 수술의 경우 환자마다 신체구조와 수술의 종류가 상이하므로 각 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성하기 어려울 수 있다.

따라서, 컴퓨터는 학습된 모델을 이용하여 환자의 신체구조 및 수술종류에 기초한 수술 프로세스를 생성하고, 가상의 수술 시뮬레이션을 수행함으로써 강화학습을 수행, 각각의 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성할 수 있다.

컴퓨터는 실제수술영상에 대응하는, 레퍼런스 큐시트데이터에 포함된 세부수술동작을 결정한다(S620).

예를 들어, 컴퓨터는 실제수술영상에 대응하는 세부수술동작을 판단하고, 판단된 세부수술동작을 레퍼런스 큐시트데이터에서 탐색할 수 있다.

컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 3D 모델링 영상을 표시한다.

예를 들어, 컴퓨터는 실제수술영상에 대응하는 세부수술동작을 레퍼런스 큐시트데이터에서 탐색하고, 탐색된 세부수술동작에 대응하는 3D 모델링 영상을 표시한다. 다른 예로, 컴퓨터는 실제수술영상에 대응하는 세부수술동작을 레퍼런스 큐시트데이터에서 탐색하고, 탐색된 세부수술동작의 다음 세부수술동작에 대응하는 3D 모델링 영상을 표시하여, 수술방향에 대한 가이드를 제공할 수도 있다.

일 실시 예에서, 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 3D 모델링 영상을 서버로부터 수신하여 표시한다.

다른 일 실시 예에서, 컴퓨터에는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 3D 모델링 영상이 미리 저장되어 있고, 컴퓨터는 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는, 미리 저장된 3D 모델링 영상을 획득하여 표시한다.

다른 일 실시 예에서, 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작의 정보에 기초하여, 3D 모델링 영상을 렌더링하여 생성하고, 생성된 3D 모델링 영상을 표시할 수 있다.

일 실시 예에서, 실제수술영상에 대응하는 수술상황이 변화하는 경우 레퍼런스 큐시트데이터 또한 변경되어야 할 수 있다. 따라서, 컴퓨터는 수술상황에 따라 업데이트된 레퍼런스 큐시트데이터를 획득할 수 있다. 마찬가지로, 레퍼런스 큐시트데이터는 수술상황에 따라 실시간으로 변경되거나, 다시 획득될 수 있다.

일 실시 예에서, 컴퓨터는 수술보조영상(예를 들어, 3D 모델링 영상)을 실제수술영상에 정합시키고, 정합된 수술보조영상을 표시할 수 있다.

일 실시 예에서, 컴퓨터는 실제수술영상에 포함된 대상체의 신체부위의 위치 및 모양과, 3D 모델링 영상에 포함된 신체부위의 위치 및 모양을 정합한다. 예를 들어, 컴퓨터는 3D 모델링 영상에 포함된 장기의 모양과 위치를 실제수술영상에 포함된 장기의 모양과 위치에 따라 정합시킨다.

3D 모델링 영상은 대상체의 신체부위를 촬영한 의료영상에 기초하여 생성되나, 의료영상을 촬영하는 환경과 실제 수술시의 환경은 상이할 수 있다. 예를 들어, 수술시의 신체각도와 의료영상을 촬영하는 환경에서의 신체각도는 상이할 수 있으며, 수술을 위해 신체에 가스를 주입하는 경우 또한 존재하므로, 3D 모델링 영상은 실제수술영상과 차이가 존재할 수 있다.

따라서, 컴퓨터는 3D 모델링 영상과 실제수술영상 간의 정합을 수행하고, 정합된 3D 모델링 영상을 실제수술영상과 함께 표시할 수 있다.

일 실시 예에서, 컴퓨터는 서버로부터 수술상황에 대응하는 수술보조 영상에 대한 정보를 실시간으로 수신하고, 수신된 정보에 기초하여 수술보조 영상을 표시할 수 있다.

하지만, 실제수술영상과 수술보조 영상을 서버와 송수신하는 경우, 딜레이가 발생할 수 있다. 수술보조 영상은 수술상황에 맞도록 실시간으로 표시되어야 하므로, 딜레이가 발생하지 않도록 하는 것이 중요하다.

개시된 실시 예에 따르면, 컴퓨터는 수술데이터를 세부수술동작으로 분할하고, 분할된 각각의 세부수술동작에 대하여 표준화된 명칭과 코드데이터를 부여한다. 따라서, 컴퓨터와 서버는 각 세부수술동작에 대응하는 표준화된 코드데이터를 주고받음으로써 실제수술영상과 수술보조영상을 주고받는 것을 갈음할 수 있다.

도 5는 일 실시 예에 따라 컴퓨터가 서버로부터 수신되는 코드데이터에 기초하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.

컴퓨터는 실제수술영상으로부터 판단된 수술상황에 대응하는 표준화된 코드데이터를 서버로 송신한다(S650). 예를 들어, 컴퓨터는 실제수술영상에 대응하는 세부수술동작의 코드데이터를 서버로 송신한다.

컴퓨터는 서버로부터 수술상황에 대응하는 수술보조 영상의 표준화된 코드데이터를 수신한다.

일 실시 예에서, 서버는 수신된 코드데이터에 기초하여 실시간으로 수술상황을 판단할 수 있다. 서버는 판단된 수술상황에 대응하는 수술보조 영상을 결정하고, 결정된 수술보조 영상에 대응하는 코드데이터를 컴퓨터로 전송할 수 있다.

예를 들어, 컴퓨터는 수신된 코드데이터에 기초하여 현재 수술상황에 대응하는 세부수술동작을 판단하고, 레퍼런스 큐시트데이터에 기초하여 다음 세부수술동작에 대한 정보를 획득한다. 서버는 다음 세부수술동작에 대응하는 코드데이터를 컴퓨터로 전송한다.

컴퓨터는 수신된 코드데이터에 대응하는 수술보조 영상을 획득하고, 획득된 수술보조 영상을 표시한다.

일 실시 예에서, 컴퓨터는 코드데이터에 대응하는 수술보조 영상을 컴퓨터의 메모리로부터 획득하여 표시한다.

다른 일 실시 예에서, 컴퓨터는 코드데이터에 대응하는 수술보조 영상을 렌더링하여 생성하고, 생성된 영상을 표시한다.

개시된 실시 예에서, 컴퓨터는 서버로부터 다음 세부수술동작에 대응하는 코드데이터가 수신되는 경우, 다음 세부수술동작에 대한 정보를 획득하고, 획득된 정보에 기초하여 수술방향을 가이드하는 영상을 표시할 수 있다.

도 6은 일 실시 예에 따라 컴퓨터가 다양한 종류의 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.

일 실시 예에서, 수술보조 영상은 사전에 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상일 수 있다. 수술 레퍼런스 영상은 레퍼런스 큐시트데이터에 대응하는 영상일 수 있다.

컴퓨터는 수술 레퍼런스 영상에 기초하여 실제수술영상에 포함된 수술도구의 이동방향을 안내하는 정보를 표시할 수 있다(S720).

예를 들어, 수술 레퍼런스 영상에 포함된 수술도구의 위치와 실제수술영상에 포함된 수술도구의 위치가 상이한 경우, 컴퓨터는 수술 레퍼런스 영상에 포함된 수술도구의 위치로 수술도구를 이동할 것을 알리는 가이드 정보를 표시할 수 있다.

또한, 컴퓨터는 실제수술영상에서 표시되지 않거나, 식별하기 어려운 신체부위의 적어도 일부에 대한 정보를 표시한다(S740).

예를 들어, 컴퓨터는 다른 장기에 가려져 보이지 않는 다른 장기나 혈관, 그리고 육안으로 식별이 어려운 혈관이나 신경에 대한 정보를 표시한다.

예를 들어, 다른 장기에 가려져 보이지 않는 다른 장기나 혈관, 그리고 육안으로 식별이 어려운 혈관이나 신경이 증강현실 형태로 실제수술영상과 함께 표시될 수 있다.

일 실시 예에서, 컴퓨터는 실제수술영상 및 수술보조 영상을 이용하여 대상체의 신체부위의 적어도 일부와 상기 수술도구의 위치관계를 판단하고, 판단된 위치관계에 대응하는 피드백을 제공한다(S760).

일 실시 예에서, 컴퓨터는 로봇수술을 제어하는 컨트롤러에 판단된 위치관계에 대응하는 햅틱 피드백을 제공할 수 있다. 예를 들어, 수술도구가 신체부위에 근접하거나 접촉하는 경우, 진동과 같은 햅틱 피드백을 컨트롤러에 제공함으로써, 수술도구와 신체부위의 위치관계에 대한 피드백을 제공할 수 있다.

더 나아가, 컴퓨터는 대상체의 신체구조에 따라 수술도구를 이동시키면 출혈이 발생할 위험이 있는 방향과 같이 수술도구를 이동시키면 안 되는 방향에 대한 정보를 제공할 수 있다. 제공되는 정보는 디스플레이에 표시되어, 사용자가 해당 부분을 건드리지 않도록 주의하여 수술하도록 할 수 있다.

일 실시 예에서, 컴퓨터는 실제수술영상 및 정합된 3D 모델링 영상 중 적어도 하나에 기초하여, 수술상황을 판단하고, 정해진 규칙에 어긋나는 상황, 위험상황 및 돌발상황 등을 감지하여 알림을 제공할 수 있다.

예를 들어, 정해진 규칙에 어긋나는 상황은, 잘못된 수술 도구의 동작(예를 들어, 수술 암끼리 부딪히는 동작과 같이 수술에 방해가 되거나 위험할 수 있는 행위들), 잘못된 장기에 대한 수술도구의 접근(예를 들어, 수술도구가 동맥에 접근하여 동맥이 절단되거나 상처를 입을 위험이 있는 경우이거나, 절단동작을 수행할 때 절단대상이 아닌 다른 신체부위, 특히 동맥에 접근하여 잘못된 신체부위가 절단될 위험이 있는 경우 등), 그리고 수술 소모품이 수거되지 않는 경우(예를 들어, 거즈, 실 클립 등이 수거되지 않는 경우) 등을 포함할 수 있다. 이는 예시를 위하여 서술된 것으로, 정해진 규칙에 어긋나는 상황의 종류는 이에 제한되지 않는다.

또한, 돌발 상황은, 예를 들어 장기나 혈관에서 출혈이 발생하는 경우를 포함할 수 있으나, 이에 제한되지 않는다.

컴퓨터는 수술상황을 판단하여, 상술한 바와 같은 상황이 감지되는 경우 알림을 제공할 수 있고, 긴급한 상황의 경우 수술도구의 동작을 강제로 정지시키거나 수술도구를 안전한 위치로 이동시킬 수 있다.

일 실시 예에서, 컴퓨터는 기 설정된 규칙에 따른 수술오류(surgical error)상황이 감지되는 경우, 피드백을 제공할 수 있다(S780).

예를 들어, 보편적인 수술오류 상황과 그에 따른 피드백 제공방법은 후술되는 바와 같다.

일 예로, 환자의 신체에 이물질이 남아 있는 경우(Foreign objects left in the patient's body)를 감지하여 피드백을 제공할 수 있다. 개시된 실시 예에 따르면, 컴퓨터는 획득되는 수술 영상에 기초하여 수술 도구의 위치, 출혈 부위뿐 아니라, 수술 영상에 포함된 모든 객체를 인식하고, 각 객체를 분석한다. 컴퓨터는 수술 영상에 포함된 객체의 위치, 개수, 유입 시간 등을 판단한다. 따라서, 컴퓨터는 수술이 종료되었을 때 유입된 외부 물질이 수술부위로부터 제거되지 않은 것으로 판단되는 경우 경고를 발생하고, 사용자에게 확인할 것을 요청하는 피드백을 제공할 수 있다. 일 실시 예에서, 컴퓨터는 수술부위에 유입된 객체가 영상에서 확인되지 않는 경우에도, 사용자에게 확인을 요청할 수 있다. 예를 들어, 수술부위에 유입된 객체가 수술부위로부터 제거되는 것이 확인되지 않은 경우, 실제수술영상에 포함되어 있지 않아도 보이지 않는 곳에 남아있을 가능성이 있으므로, 사용자에게 피드백을 제공할 수 있다.

일 예로, 잘못된 환자에 대한 수술 집도(Wrong patient surgery)상황을 감지하고, 피드백을 제공할 수 있다. 개시된 실시 예에 따르면, 컴퓨터는 실제수술영상을 실시간으로 분석하고, 3D 모델링 영상의 장기들과 실제 장기들 간의 정합(registration)을 수행한다. 컴퓨터는 실시간으로 카메라와 수술 도구의 위치를 추적하고, 수술상황을 판단하며, 시뮬레이터가 실제 수술과정을 따라하도록 하는 정보를 획득한다. 일 실시 예에서, 환자의 실제 장기와 3D 모델링 영상의 장기들을 정합하는 과정에서 실제 장기와 3D 모델링 영상이 매칭되지 않는 경우, 잘못된 환자에 대한 수술이 집도될 가능성이 있으므로, 컴퓨터는 사용자에게 확인을 요청할 수 있다.

일 예로, 잘못된 수술부위(Wrong side surgery)에 대한 상황을 감지하고, 피드백을 제공할 수 있다. 개시된 실시 예에서, 컴퓨터는 수술상황을 판단하고, 리허설 결과 또는 최적의 수술방법에 따른 수술 가이드 영상을 제공하게 된다. 그 과정에서, 실제 수술의 진행과정이 리허설 또는 최적의 수술방법과 상이한 경우, 잘못된 부위에 수술을 집도하거나, 다른 종류의 수술이 집도되는 것일 수 있으므로, 컴퓨터는 사용자에게 확인을 요청할 수 있다.

일 예로, 신경손상(Nerve damage) 상황을 인지하고, 피드백을 제공할 수 있다. 개시된 실시 예에서, 컴퓨터는 상술한 방법과 같이 실제 수술이 리허설과 상이한 경우 경고나 알림을 제공할 수 있으며, 환자의 장기와 수술도구의 위치관계에 따라 중요한 신경이나 신경절을 절단하거나, 수술도구가 신경에 접근하여 위험이 예측되는 경우 경고를 제공할 수 있다. 또한, 컴퓨터는 이미지의 정합과, 나아가 AR또는 MR(Mixed Reality)기술을 이용하여 잘 보이지 않는 혈관, 신경, 신경절 등을 수술 영상에 중첩하여 보여줌으로써, 사용자가 중요한 부분을 잘 볼 수 있도록 도움을 줄 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 수술보조 영상 표시방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부

Claims (13)

1. 컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 실제 수술영상을 획득하는 단계;
   컴퓨터가 상기 획득된 실제 수술영상을 표시하는 단계;
   컴퓨터가 상기 실제 수술영상에 대응하는 수술상황을 판단하는 단계;
   컴퓨터가 상기 수술에 대한 레퍼런스 큐시트데이터를 획득하는 단계; 및
   컴퓨터가 상기 레퍼런스 큐시트데이터에 포함된, 상기 수술상황에 대응하는 세부수술동작 정보를 기반으로, 수술보조 영상을 표시하는 단계; 를 포함하되,
   상기 수술보조 영상을 표시하는 단계는,
   컴퓨터가 상기 실제 수술영상에 표시되지 않거나, 상기 실제 수술영상에서 식별하기 어려운 상기 신체부위의 적어도 일부에 대한 정보를 표시하는 단계; 를 더 포함하고,
   상기 레퍼런스 큐시트데이터는,
   특정한 수술과정을 분할하여 생성된 복수의 세부수술동작에 대한 표준화 코드를 순서대로 나열한 데이터이고,
   상기 세부수술동작은 수술동작의 최소 단위이고,
   상기 표준화 코드는 상기 세부수술동작이 속하는 각각의 카테고리에 대응되는 문자열을 상위카테고리부터 차례대로 나열한 것이고,
   상기 문자열은 문자 또는 숫자가 나열된 코드인, 수술보조 영상 표시방법.
2. 제1 항에 있어서,
   상기 수술상황을 판단하는 단계는,
   컴퓨터가 상기 수술영상에서 상기 대상체의 신체부위 및 수술도구를 인식하는 단계; 및
   컴퓨터가 상기 인식된 신체부위, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 수술상황을 판단하는 단계; 를 포함하는, 수술보조 영상 표시방법.
3. 삭제
4. 제1 항에 있어서,
   상기 레퍼런스 큐시트데이터 획득단계는,
   상기 수술상황에 따라 업데이트된 레퍼런스 큐시트데이터를 획득하는 것을 특징으로 하는, 수술보조 영상 표시방법.
5. 제1 항에 있어서,
   상기 수술상황을 판단하는 단계는,
   상기 수술상황에 대응하는 표준화된 코드데이터를 서버로 전송하고,
   상기 레퍼런스 큐시트데이터 획득단계는,
   상기 서버로부터 상기 수술상황에 대응하는 수술보조 영상의 표준화된 코드데이터를 수신하는 것을 특징으로 하는, 수술보조 영상 표시방법.
6. 제1 항에 있어서,
   상기 수술보조 영상 표시단계는,
   컴퓨터가 상기 수술보조 영상을 상기 실제 수술영상에 정합시키는 단계; 및
   컴퓨터가 상기 정합된 영상을 표시하는 단계;를 포함하는, 수술보조 영상 표시방법.
7. 제1 항에 있어서,
   상기 수술보조 영상은,
   사전에 상기 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상인, 수술보조 영상 표시방법.
8. 제7 항에 있어서,
   상기 수술보조 영상을 표시하는 단계는,
   컴퓨터가 상기 수술 레퍼런스 영상에 기초하여 상기 수술영상에 포함된 수술도구의 이동방향을 안내하는 정보를 표시하는 단계; 를 더 포함하는, 수술보조 영상 표시방법.
9. 삭제
10. 제1 항에 있어서,
    상기 수술보조 영상 표시단계 후에,
    컴퓨터가 상기 실제 수술영상에 포함된 수술도구의 위치를 판단하는 단계;
    컴퓨터가 상기 실제 수술영상 및 상기 수술보조 영상을 이용하여 상기 대상체의 신체부위의 적어도 일부와 상기 수술도구의 위치관계를 판단하는 단계; 및
    컴퓨터가 상기 판단된 위치관계에 대응하는 피드백을 제공하는 단계; 를 더 포함하는, 수술보조 영상 표시방법.
11. 제10 항에 있어서,
    상기 실제 수술영상은 로봇수술을 수행하는 영상이고,
    상기 피드백을 제공하는 단계는,
    상기 컴퓨터가 상기 로봇수술을 제어하는 컨트롤러에 상기 판단된 위치관계에 대응하는 햅틱(haptic) 피드백을 제공하는 단계; 를 포함하는, 수술보조 영상 표시방법.
12. 제1 항에 있어서,
    상기 수술보조 영상을 표시하는 단계는,
    상기 실제 수술영상에서 적어도 하나의 수술오류(surgical error) 상황이 감지되는 경우, 상기 감지된 수술오류 상황에 대한 피드백을 표시하는 단계; 를 포함하는, 수술보조 영상 표시방법.
13. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images