KR102195825B1

KR102195825B1 - 알람 기능을 통한 수술 가이드 시스템 및 그 방법

Info

Publication number: KR102195825B1
Application number: KR1020180159898A
Authority: KR
Inventors: 이병일; 김성현
Original assignee: (주)헬스허브
Priority date: 2018-12-12
Filing date: 2018-12-12
Publication date: 2020-12-28
Also published as: KR20200072109A

Abstract

본 발명은 알람 기능을 통한 수술 가이드 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술대에 위치한 환자의 수술부위, 수술과정, 수술도구 등을 촬영하고, 상기 촬영한 영상과 환자의 성별, 체형, 수술종류 등에 따른 기준영상을 비교 분석하여, 수술 과정에서 필요한 수술 위치, 약품 투여량 등을 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람 기능을 통해 가이드하는 시스템 및 그 방법에 관한 것이다.

Description

알람 기능을 통한 수술 가이드 시스템 및 그 방법{SYSTEM FOR GUIDING SURGICAL OPERATION THROUGH ALARM FUNCTION AND METHOD THEREFOR}

의료기술이 발전하면서 환자별 맞춤형 의료 서비스가 가능해지고 있으며, 특히 환자의 장기, 혈관 등의 생체 모델에 맞추어 맞춤형 의료보조기의 제작이 가능해졌다.

이와 같은 맞춤형 의료보조기의 예로서, 수술을 수행하기 전에 수술 부위를 계산하고 수술도구가 상기 수술 부위로 안내될 수 있도록 경로를 가이드하는 장치가 개발되어 사용되고 있다.

이러한 수술용 가이드 장치는 수술도구를 보다 안정적으로 사용할 수 있고, 정확한 수술 부위로 안내하여 수술의 정확도를 높일 수 있는 장점이 있지만, 3D 프린팅 기술 등을 통해 제작하여야 하고, 실제 수술 시 환자 신체에 직접 적용한 상태에서 수술도구를 사용하기 때문에 잘못된 위치에 사용되는 경우 환자의 장기나 신체에 손상을 입힐 위험성이 있었다.

이에 따라 최근에는 환자의 신체에 직접 적용할 필요 없이, 카메라, 영상 장치 등이 구비된 로봇 등의 장비를 사용하여 환자의 수술 부위에 영상을 투영하는 방식으로 수술 가이드를 수행하는 방식이 도입되었다.

즉 각종 수술에 필요한 영상을 미리 확보해 두고, 실제 환자의 수술이 이루어질 때 환자의 몸에 직접 영상을 출력하여 수술 위치에 대한 가이드를 수행할 수 있도록 하는 것이다.

그러나, 상술한 바와 같은 종래의 영상 투영 방식을 통해 수술 위치를 가이드하는 방식은, 환자의 신체에 손상을 입히지 않으면서 수술을 진행하는데 도움을 줄 수 있지만, 단순히 수술 위치를 가이드하는 것에 그치고 있을 뿐, 가이드 위치를 벗어나는 수술 조작이 이루어지는 경우 이를 알람하거나 방지하는 기술적 구성이 구현되어 있지 않기 때문에, 의사가 수술도구를 통해 현재 가이드되는 수술 위치를 정확하게 절개하는 등의 조작을 수행하지 못하면 환자의 신체에 손상이 가해지고, 경우에 따라 수술이 잘못 진행될 수 있는 문제점이 있었다.

따라서 본 발명에서는 수술 중인 환자의 수술부위, 수술과정, 수술도구 등을 촬영하고, 상기 촬영한 영상과 환자의 성별, 체형, 수술종류 등에 따른 기준영상을 비교 분석하여 수술 과정에서 절개, 절단, 봉합 등이 필요한 수술 정보를 가이드하고, 의사의 수술 조작이 현재 가이드되고 있는 위치에서 벗어나면 알람을 제공함으로써, 의료진이 집중력을 높이면서 정확한 수술을 진행할 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1280665호(2013.07.01.)는 로봇, 의료 작업장, 및 대상물의 표면에 영상을 투영하기 위한 방법에 관한 것으로, 로봇으로서, 상기 로봇은 로봇암과, 대상물의 표면에 영상을 투영하기 위한 장치 및 데이터처리장치를 구비하며, 상기 영상을 투영하기 위한 장치는 로봇암에 고정되어 있거나 또는 로봇암 안에 통합되어 있고, 상기 로봇은 대상물의 표면에 투영된 영상으로부터의 영상을 촬영하기 위한 영상촬영장치를 구비하며, 이때 상기 데이터처리장치는 상기 영상촬영장치로 촬영된, 상기 대상물의 표면에 투영된 영상으로부터의 영상에 할당되어 있는 영상 데이터 레코드를 분석하도록 셋업되어 있으며, 상기 투영된 영상은 상기 데이터처리장치의 가상 입력수단을 묘사하며, 상기 데이터처리장치는 상기 가상 입력수단의 작동을 인식하기 위해 사람의 몸짓에 관해 상기 영상 데이터 레코드를 분석하도록 셋업되어 있는 것을 기술적 특징으로 한다.

즉, 상기 선행기술은 로봇의 로봇암 안에 통합되어 있거나 또는 로봇암에 고정되어 있는 영상투영장치를 이용해 특히 생물체인 대상물의 표면에 영상을 투영하는 방법에 대해 기재하고 있다.

또한 한국등록특허 제1900785호(2018.09.20.)는 맞춤형 수술가이드, 및 맞춤형 수술가이드 생성방법 및 생성프로그램에 관한 것으로, 컴퓨터가 의료영상데이터로부터 신체표면데이터 및 치료영역데이터를 획득하는 단계, 상기 신체표면데이터를 기반으로 상기 제1형상데이터를 생성하되, 상기 제1형상데이터는 신체부위커버의 형상에 상응하는 데이터인, 제1형상데이터생성단계, 하나 이상의 타겟 지점을 설정하되, 상기 타겟지점은 치료대상영역의 내부 또는 표면에 해당되는 지점인, 타겟지점설정단계, 상기 타겟지점으로 상기 의료용도구가 접근 가능한 신체표면 상의 각각의 제1지점을 설정하는 단계, 상기 제1지점으로부터 상기 타겟지점까지의 거리를 기반으로 가이드관 길이를 설정하는 단계, 및 상기 제1지점에 상기 가이드관 길이를 적용하여, 상기 제1형상데이터에 하나 이상의 가이드관을 결합한 최종형상데이터를 생성하는 단계를 포함하는 것을 기술적 특징으로 한다.

즉, 상기 선행기술은 특정한 환자의 수술 시에 환자의 치료대상영역 상태에 부합하는 수술이 가능하도록 하는 맞춤형 수술가이드를 제공하는 방법을 기재하고 있다.

이상에서 선행기술들을 검토한 결과, 대부분의 선행기술들은 단순히 대상물의 표면에 영상을 투영하기 위한 구성, 치료대상영역 상태에 부합하는 맞춤형 수술가이드를 제공하는 구성에 대한 기술적 개념만을 기재하고 있을 뿐이다.

이에 반하여 본 발명은 수술대에 위치한 환자의 수술부위, 수술과정, 수술도구 등을 촬영한 영상과 환자의 성별, 체형, 수술종류 등을 토대로 설정된 기준영상을 비교 분석하여 수술 과정에서 필요한 수술 위치 등을 가이드하고, 의사의 수술 조작이 현재 가이드되고 있는 수술 위치를 벗어나면 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 제공함으로써, 의사가 집중력을 높여 수술을 수행할 수 있도록 하는 것이다. 따라서 상기 선행기술들은 본 발명의 이러한 기술적 특징을 기재하거나 시사하고 있지 않다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 수술대에 위치한 환자의 몸에 레이저 등의 광을 출력하여 수술 위치를 가이드하고, 의사의 수술 조작을 모니터링하여 있는 수술 위치를 벗어나는 수술이 이루어지는 경우 즉시 알람을 발생시켜 수술 위치가 정확하지 않음을 알리도록 하는 알람 기능을 통한 수술 가이드 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 카메라로 수술 중인 환자의 수술부위나 수술과정을 촬영하고, 상기 촬영한 영상과 기 저장되어 있는 템플릿 영상을 비교 분석하여 수술 과정에서 필요한 수술 위치를 환자의 수술 부위에 직접 레이저 등을 출력하여 가이드하고, 수술 위치가 벗어나면 음향, 햅틱(진동), 광 또는 이들의 조합을 통해 알람을 수행하도록 하는 알람 기능을 통한 수술 가이드 시스템 및 그 방법을 제공하는 것을 다른 목적으로 한다.

또한 본 발명은 수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하여 수술 과정에서 필요한 수술 위치, 약품 투여량 등을 모니터링할 때, 모니터링 결과를 토대로 정상, 경계지점 근접, 이탈 등의 단계로 구분하고, 구분된 각 단계별로 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 제공함으로써, 가이드 정보를 토대로 정상적인 수술을 진행하고 있는지를 직관적으로 확인할 수 있도록 하는 알람 기능을 통한 수술 가이드 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 환자의 몸에 레이저 등을 출력하여 수술 위치를 가이드하는 과정에서 수술 중인 의사의 제스처나 음성을 자동으로 인식하고, 이를 토대로 현재 가이드되고 있는 수술 정보를 오프시키거나 다음 수술 과정의 수술 정보를 가이드하도록 하는 알람 기능을 통한 수술 가이드 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 수술 중인 의사의 제스처나 음성을 자동으로 인식하여 수술실 내부의 장비 구동을 자동으로 제어할 수 있는 알람 기능을 통한 수술 가이드 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 수술 중인 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하고 이를 실제 환자의 수술 부위에 오버랩하여 수술대 부근에 구비된 디스플레이 장치를 통해 표시함으로써, 수술을 진행하는 의사가 보조적인 도움을 받을 수 있도록 하는 알람 기능을 통한 수술 가이드 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 알람 기능을 통한 수술 가이드 시스템은, 환자의 수술 부위에 레이저를 포함한 광을 조사하여, 환자의 수술 과정에서 필요한 수술 위치를 가이드하는 가이드 신호 출력부, 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나는지를 확인하는 가이드 정보 모니터링부, 및 상기 확인한 결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나면 알람신호를 발생시키는 알람 발생부를 포함하며, 상기 수술 위치는, 상하좌우 및 깊이 정보를 포함하여 상기 환자의 수술 부위에 광을 통해 가이드되는 것을 특징으로 한다.

또한 상기 수술 가이드 시스템은, 수술대 위에 위치한 환자의 수술부위를 촬영한 카메라 촬영 영상과 환자의 성별, 체형, 수술종류 또는 이들의 조합에 따라 기 저장되어 있는 복수의 템플릿 영상을 비교하여 어느 하나의 특정 템플릿 영상을 기준영상으로 설정하는 기준영상 설정부, 및 상기 설정한 기준영상을 참조하여, 상기 환자의 수술 과정에서 필요한 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성하여 상기 가이드 신호 출력부로 제공하는 가이드 정보 생성부를 더 포함하는 것을 특징으로 한다.

또한 상기 기준영상 설정부는, 상기 카메라 촬영 영상과 환자의 성별, 체형, 수술종류 또는 이들의 조합에 따라 구분되어 있는 복수의 템플릿 영상을 비교하여 상기 카메라 촬영 영상과 일치하거나 가장 유사도가 높은 특정 템플릿 영상을 선택하는 템플릿 영상 선택부, 상기 선택한 특정 템플릿 영상의 좌표계에 상기 카메라 촬영 영상의 좌표계를 일치시켜 동기화하는 좌표계 동기화부, 상기 동기화된 좌표계를 기준으로 카메라의 촬영 위치를 조정하는 카메라 구동 제어부, 및 상기 카메라 촬영 영상과 상기 템플릿 영상 선택부에서 선택한 특정 템플릿 영상의 크기가 일치하지 않는 경우 상기 카메라 촬영 영상의 비율에 맞추어 상기 특정 템플릿 영상을 보정하는 영상 보정부를 더 포함하는 것을 특징으로 한다.

또한 상기 수술 가이드 시스템은, 수술을 진행하는 의사의 제스처, 음성 또는 이들의 조합을 인식하고, 상기 인식한 의사의 제스처, 음성 또는 이들의 조합을 토대로 현재 가이드되고 있는 수술 위치의 안내를 종료하거나, 다음 수술 과정에서 필요한 수술 위치를 가이드하기 위한 동작제어신호를 생성하여 상기 가이드 신호 출력부로 출력하는 사용자 인터랙션부를 더 포함하는 것을 특징으로 한다.

또한 상기 수술 가이드 시스템은, 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하고, 이를 디스플레이 장치를 통해 표시하도록 하는 그래픽 영상 처리부를 더 포함하는 것을 특징으로 한다.

또한 상기 가이드 정보 모니터링부는, 수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하여 수술 과정에서 필요한 수술 위치나 약품 투여량을 모니터링하고, 모니터링 결과를 토대로 정상, 경계지점 근접 및 이탈의 단계로 구분하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 알람 발생부는, 상기 가이드 정보 모니터링부에서 구분한 정상, 경계지점 근접 및 이탈의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 발생시키는 것을 더 포함하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 알람 기능을 통한 수술 가이드 방법은, 수술 가이드 시스템에서, 환자의 수술 부위에 레이저를 포함한 광을 조사하여, 환자의 수술 과정에서 필요한 수술 위치를 가이드하는 가이드 신호 출력 단계, 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나는지를 확인하는 가이드 정보 모니터링 단계, 및 상기 확인한 결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나면 알람신호를 발생시키는 알람 발생 단계를 포함하며, 상기 수술 위치는, 상하좌우 및 깊이 정보를 포함하여 상기 환자의 수술 부위에 광을 통해 가이드되는 것을 특징으로 한다.

또한 상기 수술 가이드 방법은, 상기 수술 가이드 시스템에서, 수술대 위에 위치한 환자의 수술부위를 촬영한 카메라 촬영 영상과 환자의 성별, 체형, 수술종류 또는 이들의 조합에 따라 기 저장되어 있는 복수의 템플릿 영상을 비교하여 어느 하나의 특정 템플릿 영상을 기준영상으로 설정하는 기준영상 설정 단계, 및 상기 설정한 기준영상을 참조하여, 상기 환자의 수술 과정에서 필요한 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성함으로써, 상기 가이드 신호 출력 단계를 통해 환자의 수술 부위에 레이저를 포함한 광을 조사하도록 하는 가이드 정보 생성 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 기준영상 설정 단계는, 상기 카메라 촬영 영상과 환자의 성별, 체형, 수술종류 또는 이들의 조합에 따라 구분되어 있는 복수의 템플릿 영상을 비교하여 상기 카메라 촬영 영상과 일치하거나 가장 유사도가 높은 특정 템플릿 영상을 선택하는 템플릿 영상 선택 단계, 상기 선택한 특정 템플릿 영상의 좌표계에 상기 카메라 촬영 영상의 좌표계를 일치시켜 동기화하는 좌표계 동기화 단계, 상기 동기화된 좌표계를 기준으로 카메라의 촬영 위치를 조정하는 카메라 구동 제어 단계, 및 상기 카메라 촬영 영상과 상기 템플릿 영상 선택 단계에서 선택한 특정 템플릿 영상의 크기가 일치하지 않는 경우 상기 카메라 촬영 영상의 비율에 맞추어 상기 특정 템플릿 영상을 보정하는 영상 보정 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 수술 가이드 방법은, 상기 수술 가이드 시스템에서, 수술을 진행하는 의사의 제스처, 음성 또는 이들의 조합을 인식하고, 상기 인식한 의사의 제스처, 음성 또는 이들의 조합을 토대로 현재 가이드되고 있는 수술 위치의 안내를 종료하거나, 다음 수술 과정에서 필요한 수술 위치를 가이드하기 위한 동작제어신호를 생성하여 제공함으로써, 상기 가이드 신호 출력 단계에서 상기 동작제어신호를 토대로 환자의 수술 부위에 레이저를 포함한 광을 조사하도록 하는 사용자 인터랙션 수행 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 수술 가이드 방법은, 상기 수술 가이드 시스템에서, 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하고, 이를 디스플레이 장치를 통해 표시하도록 하는 그래픽 영상 처리 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 가이드 정보 모니터링 단계는, 수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하여 수술 과정에서 필요한 수술 위치나 약품 투여량을 모니터링하고, 모니터링 결과를 토대로 정상, 경계지점 근접 및 이탈의 단계로 구분하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 알람 발생 단계는, 상기 가이드 정보 모니터링 단계에서 구분한 정상, 경계지점 근접 및 이탈의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 발생시키는 것을 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 알람 기능을 통한 수술 가이드 시스템 및 그 방법에 따르면, 카메라로 수술 중인 환자의 수술부위나 수술과정을 촬영하고, 상기 촬영한 영상과 기 저장되어 있는 템플릿 영상을 비교 분석하여 수술 과정에서 필요한 수술 위치를 환자의 수술 부위에 직접 레이저 등을 출력하여 가이드하고, 상하좌우 및 깊이의 범위를 체크하여 현재 가이드되고 있는 수술 위치를 벗어나는 수술이 이루어지는 경우 음향, 햅틱(진동), 광 또는 이들의 조합을 통해 즉시 알람을 수행함으로써, 의료진이 집중력을 높이면서 정확한 수술을 진행할 수 있는 효과가 있다.

또한 본 발명은 수술 과정에서 필요한 수술 위치, 약품 투여량 등을 모니터링한 결과를 토대로 정상, 경계지점 근접, 이탈 등의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 제공할 수 있으므로, 수술을 진행중인 의사가 알람 기능을 통해 가이드 정보를 이용한 정상적인 수술을 진행하고 있는지의 여부를 직관적으로 확인할 수 있는 효과가 있다.

또한 본 발명은 수술을 진행 중인 의사의 제스처나 음성을 자동으로 인식하고, 이를 토대로 수술실 내부의 장비 구동을 자동으로 제어하거나, 또는 현재 가이드되고 있는 광 출력을 오프시키거나 다음 수술 과정의 수술 위치를 가이드함으로써, 수술 가이드 장치와 의료진 간의 인터랙티브한 의사결정을 통해 수술을 원활하게 수행할 수 있는 효과가 있다. 예를 들어 수술 위치를 가이드하는 과정에서 수술이 진행된 이후에도 필요 이상으로 가이드되는 것을 방지하며, 이에 따라 수술에 방해가 되지 않도록 하는 것이다.

또한 본 발명은 수술대 부근에 구비된 디스플레이 장치를 통해 수술 중인 의사가 눈으로 확인할 수 없는 장기의 사각 부분이나 수술 부위를 3차원 그래픽 영상으로 구현하고 이를 실제 환자의 수술 부위에 오버랩시켜 표시함으로써, 의사가 수술 진행시 보조적인 도움을 받을 수 있는 효과가 있다.

또한 본 발명은 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하여 수술대 부근에 구비된 디스플레이 장치를 통해 표시할 수 있으므로, 수술을 진행하는 의사가 보조적인 도움을 받을 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 알람 기능을 통한 수술 가이드 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명이 적용된 알람 기능을 통한 수술 가이드 과정을 설명하기 위한 개념도이다.
도 3은 도 1의 수술 가이드 장치의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 도 3의 기준영상 설정부의 구성을 보다 상세하게 나타낸 도면이다.
도 5는 도 3의 알람 발생부의 구성을 보다 상세하게 나타낸 도면이다.
도 6은 도 3의 사용자 인터랙션부의 구성을 보다 상세하게 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 알람 기능을 통한 수술 가이드 방법의 동작과정을 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 알람 기능을 통한 수술 가이드 시스템 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 알람 기능을 통한 수술 가이드 시스템의 구성을 개략적으로 나타낸 도면이며, 도 2는 본 발명이 적용된 알람 기능을 통한 수술 가이드 과정을 설명하기 위한 개념도이다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 시스템은 수술 가이드 장치(100), 데이터베이스(200), 디스플레이 장치(300), 의료관리서버(400) 등을 포함하여 구성된다.

상기 수술 가이드 장치(100)는 독립형(stand alone)으로 구성되어 수술대 부근에 배치되거나 수술대와 일체로 형성되어 수술대 측면 일 측에 배치될 수 있고, 네트워크를 통해 원격의 의료관리서버(400)와 통신 접속하여 수술 위치 가이드에 관련된 각종 데이터의 송수신을 처리할 수 있으며, 수술대에 위치한 환자의 몸에 레이저 등의 광을 출력하여 의사가 수술 과정에서 필요한 수술 위치(즉 절개, 절제 등이 필요한 부위)를 가이드한다.

예를 들어, 의사가 메스 등의 수술도구를 사용하여 수술을 수행할 때 절개하거나 자르는 등의 조작이 필요한 부분을 실제 수술이 이루어지기 직전에 레이저 등을 통해 상하좌우 및 깊이 정보(즉 3차원 형태의 범위 정보)로 안내함으로써, 의사가 수술을 진행할 때 정확한 위치를 확인할 수 있도록 하는 것이다. 이때 환자의 몸에 직접 광을 조사하여 나타내는 수술 위치 가이드 정보는 2차원의 평면적 정보로 나타낼 수도 있다.

이러한 수술 위치 가이드는 전체 수술 과정에서 여러 번 이루어질 수 있으며, 본 발명은 각 수술 과정에서 필요한 수술 위치 가이드를 순차적으로 수행할 수 있다.

또한 환자의 몸에 조사되는 광은 레이저 이외에, VR(Virtual Reality), AR(Augmented Reality), 홀로그램(hologram) 등을 포함한 공지된 모든 형태의 광 출력 방식을 적용할 수 있다.

이때 환자의 몸에 레이저 등을 출력하여 수술 위치를 가이드하는 경우, 상기 수술 가이드 장치(100)는 카메라로 수술대에 위치한 환자의 수술부위나 수술과정을 촬영한 다음, 상기 촬영한 영상과 상기 데이터베이스(200)에 기 저장되어 있는 복수의 템플릿 영상(즉 환자의 성별, 체형, 수술종류 또는 이들의 조합에 따라 복수 개로 구분하여 저장한 템플릿 영상)을 비교하고, 비교결과 어느 하나의 특정 템플릿 영상을 선택하여 기준영상으로 설정한다.

그리고 상기 설정한 기준영상을 참조하여 해당 기준영상에서의 수술 과정에 따른 수술 위치를 확인하고, 상기 확인한 수술 위치를 토대로 상기 환자의 수술 과정에서 필요한 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성한 후, 상기 가이드 정보에 따라 수술 위치를 환자의 수술 부위에 직접 레이저 등을 출력하여 가이드한다.

이에 따라 수술을 진행하는 의사는 실제 환자의 수술을 수행하기 직전에 환자의 수술 부위의 해당 위치에 직접 레이저 등을 통해 안내되는 수술 위치를 확인한 다음, 각종 수술도구를 사용하여 수술 부위를 정확하게 절개, 절제 등을 수행할 수 있으므로 집중력을 가지고 수술을 진행할 수 있게 된다.

또한 상기 수술 가이드 장치(100)는 현재 가이드되고 있는 상하좌우 및 깊이 정보의 수술 위치와 카메라로 촬영한 영상 정보를 비교하여, 현재 가이드되고 있는 범위 밖으로 수술도구의 조작이 이루어지는지를 판단하고, 판단결과 현재 가이드되고 있는 수술 위치를 벗어나는 수술이 이루어지면 즉시 음향, 진동, 광 또는 이들의 조합을 포함한 알람을 발생시켜 수술 위치가 정확하지 않음을 의사가 인지할 수 있도록 한다.

이때 상기 알람은 스피커를 통해 사전에 정해진 음향 신호를 출력하거나, 햅틱 장비나 진동자를 구동시키거나, 환자의 수술 부위에 가이드되는 색상과 다른 색상을 표시하거나 온오프 점멸을 수행하는 광 조작을 수행하거나, 또는 이들의 조합을 통해 이루어진다.

이는 본 발명의 특징적 구성 중 하나로서, 가이드 위치를 벗어나는 수술 조작이 이루어지는 경우 의사에게 이를 즉각적으로 알람함으로써, 의사가 수술도구를 통해 현재 가이드되는 수술 위치를 정확하게 절개하거나 절제하는 등의 조작을 수행하지 못함에 따라 발생할 수 있는 신체의 손상이나 수술이 잘못 진행되는 것을 방지할 수 있게 된다.

한편 상기 수술 가이드 장치(100)는 환자의 몸에 레이저 등을 출력하여 수술 위치를 가이드하는 과정에서, 수술 위치를 가이드하기 위해 환자의 몸에 조사되고 있는 광은 사전에 정해진 시간동안 계속 유지되기 때문에 수술 진행에 방해가 될 수 있다.

이러한 문제를 해결하기 위하여, 상기 수술 가이드 장치(100)는 수술 중인 의사가 손가락으로 원이나 엑스를 표시하는 제스처를 인식하거나, 또는 "종료해 주세요", "꺼주세요" 등의 음성신호를 인식한 다음, 인식된 제스처나 음성을 통해 현재 가이드되고 있는 광 출력을 오프시킬 수 있으며, 그 이외에 사전에 결정된 제스처나 음성 인식을 통해 다음 수술 과정에 따른 수술 위치를 가이드하도록 할 수 있다.

이때 상기 수술 가이드 장치(100)는 상기 설명한 제스처나 음성 인식을 통한 수술 위치 가이드 중지나 변경 동작 이외에, 사전에 정해진 순서에 따른 음성을 출력한 다음 이를 확인한 의사가 말하는 음성을 인식하여 수술 위치 가이드를 중지하거나 변경시키는 챗봇(chatbot) 방식을 활용하여 인터랙티브하게 구현할 수 있음을 밝혀둔다.

또한 상기 수술 가이드 장치(100)는 수술 위치 가이드 이외에, 수술 중인 의사의 제스처나 음성을 자동으로 인식하고, 이를 토대로 하여 수술실 내부의 각종 장비 구동을 자동으로 제어할 수도 있다.

또한 상기 수술 가이드 장치(100)는 수술을 진행하는 의사가 눈으로 직접 확인할 수 없는 장기의 배면이나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하고, 이를 상기 디스플레이 장치(300)를 통해 표시하여, 수술 장면이나 사각 부분을 시각적으로 확인하면서 보조적인 도움을 받도록 할 수 있다.

한편 상기 수술 가이드 장치(100)는 수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하고, 수술 과정에서 필요한 수술 위치, 약품 투여량 등을 모니터링한 결과를 토대로 정상, 경계지점 근접, 이탈 등의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 제공할 수 있다.

즉 수술 위치에 대한 가이드를 수행한 후, 의사의 수술 조작이 가이드 위치를 이탈하면 알람을 발생하는 상기 설명과 달리, 수술 과정에서 필요한 수술 위치와 함께 약품(예를 들어, 마취제나 수술과정에 필요한 각종 약품) 투여량 등을 추가로 모니터링하고, 모니터링 결과를 토대로 모니터링 전체 과정에 대해서 알람을 지속적으로 제공하는 기능을 수행할 수 있는 것이다.

이는 본 발명의 특징적인 구성 중 하나로서, 수술을 진행중인 의사가 알람 기능을 통해 가이드 정보를 이용한 정상적인 수술을 진행하고 있는지의 여부를 직관적으로 확인할 수 있게 된다.

상기 데이터베이스(200)는 각 환자별 성별, 체형, 수술 종류 등에 따른 템플릿 영상을 저장하고 있고, 상기 수술 가이드 장치(100)에서 수행하는 특정 환자의 수술 위치 가이드에 따른 결과를 각 환자의 성별, 체형, 수술 종류 등에 따라 저장하여 관리하며, 주기적으로 상기 템플릿 영상을 업데이트하여 관리한다.

또한 상기 데이터베이스(200)는 상기 수술 가이드 장치(100)에서 사용하는 각종 동작프로그램의 저장 및 업데이트 관리를 수행하며, 네트워크를 통해 상기 의료관리서버(400)와 수술 위치 가이드의 수행결과 및 관련 동작프로그램에 대한 데이터 송수신을 수행한다.

상기 디스플레이 장치(300)는 통상적인 LED, LCD 등의 모니터로서, 수술대 부근의 의사가 마주보는 위치에 설치되는 것이 바람직하며, 상기 수술 가이드 장치(100)에서 촬영하는 환자의 실제 수술 장면은 물론, 의사가 눈으로 직접 확인할 수 없는 장기의 배면이나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현한 3차원 그래픽 영상을 화면상에 표시한다.

상기 의료관리서버(400)는 개별 병원이나 각 병원을 통합 관리하는 사업자가 운영하는 컴퓨터로서, 각각의 수술실에 구비된 상기 수술 가이드 장치(100)에서 수행한 각 환자별 수술 위치 가이드의 수행결과를 수집하여 상기 데이터베이스(200)에 저장하며, 상기 수술 가이드 장치(100)에서 사용하는 각종 동작프로그램의 업데이트 관리를 수행한다.

이와 같이 알람 기능을 통한 수술 가이드 과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.

먼저, 수술 가이드 장치(100)는 수술대에 위치한 환자의 수술부위나 수술과정을 카메라로 촬영한다(①).

또한 상기 수술 가이드 장치(100)는 카메라 촬영 영상을 기 저장되어 있는 복수의 템플릿 영상과 비교하고, 비교결과 환자의 카메라 촬영 영상과 일치하거나 가장 유사한 템플릿 영상을 기준영상으로 설정한다(②). 즉 환자의 성별, 체형, 수술종류 등의 특징 정보를 토대로 현재 수술을 진행하는 환자와 일치하거나 가장 유사한 수술 영상을 선택하는 것이다.

이렇게 특정 템플릿 영상을 선택하여 기준영상으로 설정한 이후, 상기 수술 가이드 장치(100)는 상기 설정한 기준영상을 분석하여 수술 과정에서 필요한 수술 위치에 대한 가이드 정보를 적어도 하나 이상 생성한다(③).

또한 상기 수술 가이드 장치(100)는 상기 기준영상을 참조하여 확인한 수술 위치에 대한 가이드 정보를 토대로 현재 수술 진행 단계에서 수행하여야 하는 수술 위치를 가이드하기 위해서 레이저를 포함한 광을 환자의 해당 수술 부위에 조사함으로써, 수술을 집도하는 의사가 수술을 진행할 위치를 시각적으로 확인할 수 있도록 한다(④). 이때 환자의 몸에 직접 광을 조사하여 나타내는 수술 위치 가이드 정보는 2차원의 평면적 정보로 나타내거나 3차원의 입체적 정보로 나타낼 수 있다.

이처럼 수술 과정에 따라 수술 위치를 레이저 등의 광으로 가이드한 이후, 상기 수술 가이드 장치(100)는 현재 가이드되고 있는 수술 위치와 의사의 수술도구 조작에 대한 촬영 영상을 비교하여 현재 가이드되고 있는 범위를 이탈하여 수술도구의 조작이 이루어지는지를 확인한다(⑤).

확인결과 현재 가이드되고 있는 범위를 이탈하여 수술도구의 조작이 이루어지면, 상기 수술 가이드 장치(100)는 즉각적으로 음향, 진동, 광 또는 이들의 조합을 포함한 알람을 발생시킴으로써, 수술을 진행하는 의사가 수술 위치가 정확하지 않음을 인지하도록 한다(⑥).

한편 이와 같은 수술 위치 가이드, 수술도구 조작에 따른 가이드 위치 이탈 여부 확인 및 알람 발생을 수행하는 과정에서, 예정된 시간보다 빠르게 수술이 진행되는 경우 환자의 몸에 가이드되는 광으로 인해 수술에 방해를 받을 수 있다. 이를 해소하기 위해서 상기 수술 가이드 장치(100)는 수술 중인 의사가 손가락으로 원이나 엑스를 표시하는 제스처나 음성을 인식하여, 현재 수행되고 있는 수술 위치 가이드를 종료하거나 다음 수술 단계의 수술 위치를 가이드하도록 할 수 있다.

또한 상기 수술 가이드 장치(100)는 수술 과정에서 필요한 수술 위치와 함께 약품(예를 들어, 마취제나 수술과정에 필요한 각종 약품) 투여량 등을 추가로 모니터링하고, 모니터링 결과를 토대로 모니터링 전체 과정에 대해서 알람을 지속적으로 제공하는 기능을 추가로 수행할 수 있다.

도 3은 도 1의 수술 가이드 장치(100)의 구성을 보다 상세하게 나타낸 도면이며, 도 4 내지 도 6은 도 3의 기준영상 설정부(130), 알람 발생부(170), 사용자 인터랙션부(180) 각각의 구성을 보다 상세하게 나타낸 도면이다.

도 3에 도시된 바와 같이, 상기 수술 가이드 장치(100)는 카메라(110), 영상 수집부(120), 기준영상 설정부(130), 가이드 정보 생성부(140), 가이드 신호 출력부(150), 가이드 정보 모니터링부(160), 알람 발생부(170), 사용자 인터랙션부(180), 그래픽 영상 처리부(190) 등을 포함하여 구성된다.

또한 상기 수술 가이드 장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능에 대한 데이터 입력을 위한 입력부, 데이터베이스(200)나 외부의 의료관리서버(400)와 수술 위치 가이드와 관련된 데이터 통신을 수행하는 통신 인터페이스부, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부, 동작 프로그램 및 수술 위치 가이드와 관련된 데이터를 임시 저장하는 저장부, 상기 수술 가이드 장치(100)의 각 구성 부분의 동작을 총괄적으로 제어하는 제어부 등을 추가로 포함할 수 있다.

상기 카메라(110)는 통상적인 뎁쓰 카메라, 적외선 카메라 등을 사용할 수 있고, 수술대 위에 위치한 환자의 수술부위를 촬영하고, 촬영 영상을 상기 영상 수집부(120)로 출력한다.

이때 상기 카메라(110)는 상기 기준영상 설정부(130)의 좌표계 동기화부(132)에서 동기화한 좌표계를 기준으로 위치를 조정하여 촬영을 수행하는 것이 바람직하다.

즉 상기 카메라(110)는 상기 기준영상 설정부(130)에서 설정한 특정 템플릿 영상의 좌표계에 맞추어 위치 제어를 수행한 다음 수술대 위에 위치한 환자를 촬영함으로써, 상기 가이드 신호 출력부(150)에서 레이저 등의 광을 환자의 몸에 조사하여 정확한 수술 위치를 가이드할 수 있도록 하는 것이다.

상기 영상 수집부(120)는 상기 카메라(110)로부터 수술대 위에 위치한 환자의 수술 진행에 따른 수술부위에 대한 카메라 촬영 영상을 입력받고, 상기 카메라(110)로부터 입력받은 카메라 촬영 영상의 크기, 해상도 등을 조절하는 영상 전처리 과정을 수행한다.

상기 기준영상 설정부(130)는 상기 영상 수집부(120)에서 수집한 카메라 촬영 영상과 기 저장되어 있는 복수의 템플릿 영상을 비교하여 어느 하나의 특정 템플릿 영상을 기준영상으로 설정한다.

즉 상기 기준영상 설정부(130)는 수술대 위에 위치한 환자의 수술부위를 촬영한 카메라 촬영 영상과 환자의 성별, 체형, 수술종류 또는 이들의 조합에 따라 기 저장되어 있는 복수의 템플릿 영상을 비교하여 어느 하나의 특정 템플릿 영상을 기준영상으로 설정하는 것이다.

이때 상기 기준영상 설정부(130)는 도 4에 도시된 바와 같이 템플릿 영상 선택부(131), 좌표계 동기화부(132), 카메라 구동 제어부(133), 영상 보정부(134) 등으로 구성된다.

상기 템플릿 영상 선택부(131)는 상기 영상 수집부(120)에서 수집한 상기 카메라 촬영 영상과 상기 데이터베이스(200)에 기 저장되어 있는 환자의 성별, 체형, 수술종류 등에 따라 구분되어 있는 복수의 템플릿 영상을 비교하고, 비교결과 상기 카메라 촬영 영상과 거의 일치하거나 가장 유사도가 높은 특정 템플릿 영상을 선택한다.

상기 좌표계 동기화부(132)는 상기 템플릿 영상 선택부(131)에서 선택한 특정 템플릿 영상의 좌표계에 상기 카메라 촬영 영상의 좌표계를 일치시켜 동기화함으로써, 상기 카메라 촬영 영상과 상기 템플릿 영상의 비교를 통해 정확한 수술 위치의 가이드, 수술 위치 이탈여부 확인이 이루어지도록 한다.

상기 카메라 구동 제어부(133)는 상기 좌표계 동기화부(132)를 통해 동기화된 좌표계를 기준으로 상기 카메라(110)의 촬영 위치를 조정하기 위한 제어신호를 생성하고, 상기 생성한 제어신호를 상기 카메라(110)로 출력하여 촬영 위치를 조정하도록 한다.

상기 영상 보정부(134)는 상기 카메라 촬영 영상과 상기 템플릿 영상 선택부(131)에서 선택한 특정 템플릿 영상의 크기가 일치하지 않는 경우, 상기 카메라 촬영 영상의 비율에 맞추어 상기 특정 템플릿 영상을 보정하는 기능을 수행한다. 즉 환자의 몸에 수술위치를 가이드할 때 정확한 위치에 레이저 등의 광이 조사될 수 있도록, 카메라 촬영 영상의 크기와 특정 템플릿 영상의 크기를 일치시키는 작업을 수행하는 것이다.

다시 도 3을 참조하여, 상기 가이드 정보 생성부(140)는 상기 기준영상 설정부(130)에서 설정한 특정 템플릿 영상인 기준영상을 참조하여, 환자의 수술 과정에서 필요한 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성하고, 상기 생성한 가이드 정보를 상기 가이드 신호 출력부(150)로 출력한다.

즉 기준영상으로 설정한 특정 템플릿 영상에서 확인되는 절개하거나 자르는 등의 조작이 필요한 수술 위치에 대한 상하좌우에 대한 2차원의 평면적인 좌표 정보나 깊이가 포함된 3차원의 입체적인 좌표 정보를 생성하여 상기 가이드 신호 출력부(150)로 제공하는 것이다.

상기 가이드 신호 출력부(150)는 상기 가이드 정보 생성부(140)에서 생성한 수술 위치 가이드 정보를 참조하여, 환자의 수술 부위인 해당 좌표에 레이저 광을 조사한다. 즉 환자의 수술 과정에서 필요한 수술 위치를 환자의 수술 부위에 직접 조사하여 가이드하는 것이다.

이때 상기 가이드 신호 출력부(150)는 레이저로 환자의 수술 부위에 직접 조사하는 것 이외에, VR, AR, 홀로그램 등을 통해서 가상의 그래픽 영상으로 수술 위치를 가이드할 수 있다.

상기 가이드 정보 모니터링부(160)는 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나는지를 확인하고, 그 결과를 상기 알람 발생부(170)로 출력한다.

즉 상기 가이드 정보 모니터링부(160)는 상기 가이드 신호 출력부(150)를 통해 환자의 몸에 직접 광을 조사하여 가이드 중인 영상과 수술을 수행하는 의사의 수술도구 조작을 촬영한 영상을 비교함으로써, 의사의 수술도구 조작이 가이드 중인 수술 위치를 벗어나는지를 판단하며, 수술도구 조작이 현재 가이드 중인 수술 위치를 벗어나면 상기 알람 발생부(170)로 현재 가이드되고 있는 수술 위치를 이탈하여 수술이 이루어지고 있음을 알리는 것이다.

상기 알람 발생부(170)는 상기 가이드 정보 모니터링부(160)의 확인결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나면, 음향, 진동, 광 또는 이들의 조합을 포함한 알람신호를 발생시켜 수술을 진행하는 의사가 즉각적으로 인지할 수 있도록 한다.

이때 상기 알람 발생부(170)는 도 5에 나타낸 바와 같이 음향 발생부(171), 진동 발생부(172), 광 신호 발생부(173) 등으로 구성된다.

상기 음향 발생부(171)는 상기 수술 가이드 장치(100)나 수술실 내에 구비된 스피커를 통해 사전에 설정되어 있는 음향 신호를 일정 시간 출력하여 수술 위치가 이탈되었음을 알람한다.

상기 진동 발생부(172)는 상기 수술 가이드 장치(100)나 수술대에 구비된 햅틱 장비나 진동자를 통해 일정 시간 진동을 발생시켜 수술 위치가 이탈되었음을 알람한다.

상기 광 신호 발생부(173)는 상기 환자의 몸에 가이드되고 있는 색상을 변경시키거나, 또는 상기 수술 가이드 장치(100)나 수술실 내에 구비된 램프를 온오프 점멸하여 수술 위치가 이탈되었음을 알람한다.

다시 도 3을 참조하여, 상기 사용자 인터랙션부(180)는 수술을 진행하는 의사의 제스처, 음성 또는 이들의 조합을 인식하고, 상기 인식한 의사의 제스처, 음성 또는 이들의 조합을 토대로 현재 가이드되고 있는 수술 위치의 안내를 종료하거나, 다음 수술 과정에서 필요한 수술 위치를 가이드하기 위한 동작제어신호를 생성하여 상기 가이드 신호 출력부(150)로 출력한다.

이때 상기 사용자 인터랙션부(180)는 도 6에 나타낸 바와 같이 제스처 인식부(181), 음성 인식부(182), 가이드 신호 변경부(183), 음성 출력부(184) 등으로 구성된다.

상기 제스처 인식부(181)는 상기 카메라(110)로 촬영한 영상에서 의사가 수행하는 손짓이나 몸짓 등의 제스처를 인식하고, 상기 인식한 제스처 정보를 상기 가이드 신호 변경부(183)로 출력한다.

상기 음성 인식부(182)는 마이크(미도시)로부터 입력되는 의사의 음성을 인식하고, 상기 인식한 음성정보를 상기 가이드 신호 변경부(183)로 출력한다.

즉 상기 제스처 인식부(181)와 상기 음성 인식부(182)는 환자의 몸에 가이드되는 수술 위치를 눈으로 보면서 수술을 진행하는 의사가 사전에 정해진 특정 제스처를 취하거나 특정 음성을 말하는지를 인식하여, 현재 가이드되고 있는 광 출력을 중지시키거나, 또는 다음 단계의 수술 위치 가이드를 수행할 것을 요구하는지를 확인하는 것이다.

상기 가이드 신호 변경부(183)는 상기 제스처 인식부(181)로부터 입력되는 제스처 정보 또는 상기 음성 인식부(182)로부터 입력되는 음성정보를 토대로 현재 환자의 몸에 가이드되고 있는 광 출력을 중지시키거나, 다음 단계의 수술 위치 가이드를 수행하기 위한 제어신호를 생성하고, 상기 생성한 제어신호를 상기 가이드 신호 출력부(150)로 출력하여 수술 진행에 따른 수술 위치 가이드를 중지시키거나 변경하도록 한다.

상기 음성 출력부(184)는 수술을 진행중인 의사와 챗봇 등을 이용한 인터랙션을 수행하기 위해서 현재 가이드되고 있는 수술 위치에 대하여 스피커를 통해 음성으로 안내하는 기능을 수행한다.

다시 도 3을 참조하여, 상기 그래픽 영상 처리부(190)는 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하고, 이를 디스플레이 장치(300)를 통해 표시하여 수술을 진행하는 의사가 보조적인 도움을 받을 수 있도록 한다.

한편, 상기 설명에서는 수술 위치에 대한 가이드를 수행한 후, 의사의 수술 조작이 가이드 위치를 이탈하였는지의 여부를 판단하여 가이드 위치를 이탈하였을 경우 알람을 발생하는 것을 예로 하여 설명하였으나, 이에 한정하지 않고 수술 과정에서 필요한 수술 위치와 함께 약품(예를 들어, 마취제나 수술과정에 필요한 각종 약품) 투여량 등을 추가로 모니터링할 수 있으며, 모니터링 전체 과정에 대해서 알람을 지속적으로 제공할 수 있다.

보다 구체적으로, 상기 가이드 정보 모니터링부(160)에서 수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하여, 수술 과정에서 필요한 수술 위치나 약품 투여량을 모니터링하고, 모니터링 결과를 토대로 정상, 경계지점 근접 및 이탈의 단계로 구분하여 해당 정보를 알람 발생부(170)로 전달하면, 상기 알람 발생부(170)에서는 상기 가이드 정보 모니터링부(160)에서 구분한 정상, 경계지점 근접 및 이탈의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 발생시킨다.

즉 수술 위치 이탈 여부만을 기준으로 알람을 제공하지 않고 정상적으로 가이드가 표시되고 있는지, 의사의 수술 조작이 경계지점에 근접하고 있는지, 의사의 수술 조작이 가이드되고 있는 범위를 벗어나는지를 확인하고, 이에 대하여 서로 다른 광, 음향, 진동을 발생시키는 것이다.

예를 들어, 광의 경우 정상적인 가이드 상태에서는 녹색으로 표시하고, 의사의 수술 조작이 경계지점에 근접하면 황색으로 표시하며, 의사의 수술 조작이 가이드되고 있는 범위를 벗어나면 적색으로 표시하도록 한다.

마찬가지로, 음향의 경우 주파수를 변경시키거나 각 단계에 따라 기 설정된 음향(음성 포함)을 출력하며, 햅틱(진동)의 경우 진동주기를 변경시키는 방식으로 알람을 발생시킨다.

다음에는, 이와 같이 구성된 본 발명에 따른 알람 기능을 통한 수술 가이드 방법의 일 실시예를 도 7을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 7은 본 발명의 일 실시예에 따른 알람 기능을 통한 수술 가이드 방법의 동작과정을 상세하게 나타낸 순서도이다.

우선, 상기 수술 가이드 장치(100)는 기기 상부에 구비된 카메라(110)를 통해 수술대에 위치한 환자의 수술부위나 수술과정을 지속적으로 촬영한다(S100). 이때 상기 카메라(110)로 촬영한 영상은 영상 수집부(120)를 통해 크기, 해상도 등을 조절하는 영상 전처리 과정이 수행되어 기준영상 설정부(130)로 출력된다.

이후 상기 수술 가이드 장치(100)는 상기 기준영상 설정부(130)를 통해 상기 카메라(110)에서 촬영한 영상을 상기 데이터베이스(200)에 기 저장되어 있는 복수의 템플릿 영상과 비교하고(S200), 비교결과 수술대에 위치한 환자의 카메라 촬영 영상과 일치하거나 가장 유사한 특정 템플릿 영상을 기준영상으로 설정한다(S300).

즉 환자의 성별, 체형, 수술종류 등의 특징 정보를 토대로 현재 수술을 진행하는 환자와 일치하거나 가장 유사한 수술 영상을 선택하는 것이다.

상기 S200 단계 및 S300 단계를 통해 환자의 성별, 체형, 수술종류 등의 특징 정보를 토대로 특정 템플릿 영상이 선택되어 기준영상으로 설정되면, 상기 수술 가이드 장치(100)는 가이드 정보 생성부(140)를 통해 상기 기준영상을 설정된 특정 템플릿 영상으로부터 환자의 수술 과정에서 필요한 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성한다(S400).

이후 상기 수술 가이드 장치(100)는 상기 S400 단계를 통해 상기 가이드 정보 생성부(140)에서 생성한 수술 위치 가이드 정보를 참조하여, 환자의 몸에 직접 레이저 등의 광을 조사하여 현재 수술 진행 단계에서 수행하여야 하는 수술 위치를 가이드한다(S500).

이때 환자의 몸에 조사되는 수술 위치 가이드 정보는 2차원 평면정보 또는 3차원 입체정보로 나타나며, 이를 통해 수술을 집도하는 의사가 수술을 진행할 위치를 시각적으로 확인할 수 있게 된다.

이제, 상기 S500 단계를 통해 환자 몸에 레이저 등의 광으로 수술 위치를 가이드한 이후, 상기 수술 가이드 장치(100)는 가이드 정보 모니터링부(160)를 통해 상기 카메라(110)로 촬영한 의사의 수술도구 조작에 대한 영상을 확인하고(S600), 상기 가이드 정보 모니터링부(160)에서의 확인결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나는지를 판단한다(S700).

상기 S700 단계의 판단결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나면, 상기 수술 가이드 장치(100)는 알람 발생부(170)를 통해 즉각적으로 음향, 진동, 광 또는 이들의 조합을 포함한 알람을 발생시켜 수술을 진행하는 의사가 수술 위치가 정확하지 않음을 인지할 수 있도록 한다(S800).

이와 같은 수술 위치 가이드, 의사의 수술도구 조작이 현재 가이드 중인 수술 위치를 이탈하였는지의 여부, 수술 위치 이탈시 알람 발생은 수술이 종료될 때까지 반복하여 수행된다(S900).

한편, 상기 수술 가이드 장치(100)는 상기 S800 단계를 통해 알람을 발생시킬 때, 수술 과정에서 필요한 수술 위치와 함께 약품(예를 들어, 마취제나 수술과정에 필요한 각종 약품) 투여량 등을 추가로 모니터링한 결과를 토대로 모니터링 전체 과정에 대해서 알람을 지속적으로 발생시킬 수 있다. 즉 수술 위치 이탈 여부만을 기준으로 알람을 제공하지 않고 정상적으로 가이드가 표시되고 있는지, 의사의 수술 조작이 경계지점에 근접하고 있는지, 의사의 수술 조작이 가이드되고 있는 범위를 벗어나는지를 확인하고, 이에 대하여 서로 다른 광, 음향, 진동을 발생시킬 수 있는 것이다.

또한 도 7에 도시하지는 않았으나 상기 설명에서와 같이 수술 위치 가이드, 수술도구 조작이 가이드 위치를 이탈하였는지의 여부 및 알람 발생을 수행하는 과정에서, 예정된 시간보다 빠르게 수술이 진행되는 경우 상기 수술 가이드 장치(100)는 상기 사용자 인터랙션부(180)를 통해 수술 중인 의사의 제스처나 음성을 인식하여 현재 수행되고 있는 수술 위치 가이드를 종료하거나 다음 수술 단계의 수술 위치를 가이드하도록 할 수 있다.

또한 상기 수술 가이드 장치(100)는 그래픽 영상 처리부(190)를 통해 의사가 눈으로 직접 확인하기 어려운 장기의 배면이나 사각 부분을 가상의 그래픽으로 처리한 후 이를 디스플레이 장치(300)를 통해 표시하여, 의사가 수술을 진행하는 과정에서 보조적인 도움을 얻을 수 있도록 할 수 있다.

이처럼, 본 발명은 수술 과정에서 필요한 수술 위치를 환자의 수술 부위에 직접 레이저 등을 출력하여 가이드하고, 상하좌우 및 깊이의 범위를 체크하여 현재 가이드되고 있는 수술 위치를 벗어나는 수술이 이루어지는 경우 음향, 햅틱(진동), 광 또는 이들의 조합을 통해 즉시 알람을 수행하기 때문에, 의료진이 집중력을 높이면서 정확한 수술을 진행할 수 있다.

또한 본 발명은 수술 과정에서 필요한 수술 위치, 약품 투여량 등을 모니터링한 결과를 토대로 정상, 경계지점 근접, 이탈 등의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 제공할 수 있기 때문에, 의사가 알람 기능을 통해 정상적인 수술을 진행하고 있는지의 여부를 직관적으로 확인할 수 있다.

또한 본 발명은 수술 가이드 장치에서 수술을 진행 중인 의사의 제스처나 음성을 자동으로 인식하여, 수술실 내부의 장비 구동을 자동으로 제어하거나, 또는 현재 가이드되고 있는 광 출력을 오프시키거나 다음 수술 과정의 수술 위치를 가이드하도록 할 수 있으므로, 수술 가이드 장치와 의료진 간의 인터랙티브한 의사결정을 통해 수술을 원활하게 수행할 수 있다.

또한 본 발명은 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하여 디스플레이 장치를 통해 표시할 수 있으므로 수술을 진행하는 의사가 보조적인 도움을 받을 수 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 수술 가이드 장치 110 : 카메라
120 : 영상 수집부 130 : 기준영상 설정부
131 : 템플릿 영상 선택부 132 : 좌표계 동기화부
133 : 카메라 구동 제어부 134 : 영상 보정부
140 : 가이드 정보 생성부 150 : 가이드 신호 출력부
160 : 가이드 정보 모니터링부 170 : 알람 발생부
171 : 음향 발생부 172 : 진동 발생부
173 : 광 신호 발생부 180 : 사용자 인터랙션부
181 : 제스처 인식부 182 : 음성 인식부
183 : 가이드 신호 변경부 184 : 음성 출력부
190 : 그래픽 영상 처리부 200 : 데이터베이스
300 : 디스플레이 장치 400 : 의료관리서버

Claims

환자의 수술부위를 촬영한 카메라 촬영 영상과 기 저장된 복수의 템플릿 영상을 비교하여 특정 템플릿 영상을 선택하고, 상기 카메라 촬영 영상의 기준영상으로 설정하는 기준영상 설정부;
상기 설정한 기준영상을 참조하여 상기 환자의 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성하는 가이드 정보 생성부;
상기 생성한 가이드 정보를 토대로 상기 환자의 수술부위에 레이저를 포함한 광을 조사하여 상하좌우 및 깊이정보를 포함하는 수술 위치를 가이드하는 가이드 신호 출력부;
의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나는지를 확인하는 가이드 정보 모니터링부; 및
상기 확인한 결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나면 알람신호를 발생시키는 알람 발생부;를 포함하며,
상기 기준영상 설정부는,
상기 선택한 특정 템플릿 영상의 좌표계에 상기 카메라 촬영 영상의 좌표계를 일치시켜 동기화하는 좌표계 동기화부;
상기 동기화한 좌표계를 기준으로 카메라의 촬영 위치를 조정하는 카메라 구동 제어부; 및
상기 촬영 위치가 조정된 카메라 촬영 영상과 상기 선택한 특정 템플릿 영상의 크기가 일치하지 않으면 상기 조정된 카메라 촬영 영상의 비율에 맞추어 상기 특정 템플릿 영상의 크기를 일치시키는 보정을 수행하는 영상 보정부;를 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 시스템.
삭제
삭제
청구항 1에 있어서,
상기 수술 가이드 시스템은,
의사의 제스처, 음성 또는 이들의 조합을 인식하며, 상기 인식한 의사의 제스처, 음성 또는 이들의 조합을 토대로, 현재 가이드되고 있는 수술 위치의 안내를 종료하거나, 또는 다음 수술 과정에서 필요한 수술 위치를 가이드하기 위한 동작제어신호를 생성하여 상기 가이드 신호 출력부로 출력하는 사용자 인터랙션부;를 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 시스템.
청구항 1에 있어서,
상기 수술 가이드 시스템은,
의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하며, 디스플레이 장치를 통해 표시하는 그래픽 영상 처리부;를 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 시스템.
청구항 1에 있어서,
상기 가이드 정보 모니터링부는,
수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하여, 수술 과정에서 필요한 수술 위치나 약품 투여량을 모니터링하며, 상기 모니터링한 결과를 토대로 정상, 경계지점 근접 및 이탈의 단계로 구분하는 것을 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 시스템.
청구항 6에 있어서,
상기 알람 발생부는,
상기 구분한 정상, 경계지점 근접 및 이탈의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 발생시키는 것을 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 시스템.
수술 가이드 시스템에서, 환자의 수술부위를 촬영한 카메라 촬영 영상과 기 저장된 복수의 템플릿 영상을 비교하여 특정 템플릿 영상을 선택하고, 상기 카메라 촬영 영상의 기준영상으로 설정하는 기준영상 설정 단계;
상기 설정한 기준영상을 참조하여 상기 환자의 적어도 하나 이상의 수술 위치에 대한 가이드 정보를 생성하는 가이드 정보 생성 단계;
상기 생성한 가이드 정보를 토대로 상기 환자의 수술부위에 레이저를 포함한 광을 조사하여 상하좌우 및 깊이정보를 포함하는 수술 위치를 가이드하는 가이드 신호 출력 단계;
의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나는지를 확인하는 가이드 정보 모니터링 단계; 및
상기 확인한 결과 의사의 수술도구 조작이 현재 가이드되고 있는 수술 위치를 벗어나면 알람신호를 발생시키는 알람 발생 단계;를 포함하며,
상기 기준영상 설정 단계는,
상기 선택한 특정 템플릿 영상의 좌표계에 상기 카메라 촬영 영상의 좌표계를 일치시켜 동기화하는 좌표계 동기화 단계;
상기 동기화한 좌표계를 기준으로 카메라의 촬영 위치를 조정하는 카메라 구동 제어 단계; 및
상기 촬영 위치가 조정된 카메라 촬영 영상과 상기 선택한 특정 템플릿 영상의 크기가 일치하지 않으면 상기 조정된 카메라 촬영 영상의 비율에 맞추어 상기 특정 템플릿 영상의 크기를 일치시키는 보정을 수행하는 영상 보정 단계;를 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 방법.
삭제
삭제
청구항 8에 있어서,
상기 수술 가이드 방법은,
상기 수술 가이드 시스템에서, 의사의 제스처, 음성 또는 이들의 조합을 인식하며, 상기 인식한 의사의 제스처, 음성 또는 이들의 조합을 토대로, 현재 가이드되고 있는 수술 위치의 안내를 종료하거나, 또는 다음 수술 과정에서 필요한 수술 위치를 가이드하기 위한 동작제어신호를 생성하여 제공함으로써, 상기 가이드 신호 출력 단계에서 상기 동작제어신호를 토대로 환자의 수술부위에 레이저를 포함한 광을 조사하도록 하는 사용자 인터랙션 수행 단계;를 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 방법.
청구항 8에 있어서,
상기 수술 가이드 방법은,
상기 수술 가이드 시스템에서, 의사가 눈으로 확인할 수 없는 장기나 수술 부위의 사각 부분을 가상의 그래픽 영상으로 구현하여 실제 환자의 수술 부위에 오버랩하며, 디스플레이 장치를 통해 표시하는 그래픽 영상 처리 단계;를 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 방법.
청구항 8에 있어서,
상기 가이드 정보 모니터링 단계는,
상기 수술 가이드 시스템에서, 수술중인 환자를 촬영한 영상과 현재 수행중인 수술 가이드 영상을 비교하여, 수술 과정에서 필요한 수술 위치나 약품 투여량을 모니터링하며, 상기 모니터링한 결과를 토대로 정상, 경계지점 근접 및 이탈의 단계로 구분하는 것을 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 방법.
청구항 13에 있어서,
상기 알람 발생 단계는,
상기 구분한 정상, 경계지점 근접 및 이탈의 각 단계별로 서로 다른 광, 음향, 햅틱(진동) 또는 이들의 조합을 이용한 알람을 발생시키는 것을 더 포함하는 것을 특징으로 하는 알람 기능을 통한 수술 가이드 방법.