KR20190000107A - 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치 - Google Patents

이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20190000107A
KR20190000107A KR1020170079008A KR20170079008A KR20190000107A KR 20190000107 A KR20190000107 A KR 20190000107A KR 1020170079008 A KR1020170079008 A KR 1020170079008A KR 20170079008 A KR20170079008 A KR 20170079008A KR 20190000107 A KR20190000107 A KR 20190000107A
Authority
KR
South Korea
Prior art keywords
image
index
surgical
event
information
Prior art date
Application number
KR1020170079008A
Other languages
English (en)
Inventor
김덕석
Original Assignee
주식회사 엠티이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠티이지 filed Critical 주식회사 엠티이지
Priority to KR1020170079008A priority Critical patent/KR20190000107A/ko
Publication of KR20190000107A publication Critical patent/KR20190000107A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F17/30784
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Library & Information Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 수술 영상의 처리 방법에 관한 것으로서, 보다 상세하게는 수술 과정 중에 특정 이벤트가 발생하는 경우에 인덱스 정보를 생성하고, 이벤트 발생 시점의 인덱스 영상을 생성함으로써, 이벤트 발생 시점의 수술 영상을 검색 및 확인할 수 있는 수술 영상 처리 방법 및 장치에 관한 것이다. 본 발명의 실시예에 따른 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치에 따르면, 수술 과정에서 발생하는 특정 이벤트 시점에 대한 인덱스 정보와 인덱스 영상을 생성함으로써, 수술 영상 내의 특정 이벤트 시점을 검색하고 해당 시점의 인덱스 영상을 빠르게 확인할 수 있는 효과가 있다.

Description

이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치 {MEDICAL IMAGE PROCESSING METHOD AND SYSTEM USING EVENT INDEX}
본 발명은 수술 영상의 처리 방법에 관한 것으로서, 보다 상세하게는 수술 과정 중에 특정 이벤트가 발생하는 경우에 인덱스 정보를 생성하고, 이벤트 발생 시점의 인덱스 영상을 생성함으로써, 이벤트 발생 시점의 수술 영상을 검색 및 확인할 수 있는 수술 영상 처리 방법 및 장치에 관한 것이다.
컴퓨터와 통신 기술이 발전함에 따라 환자의 생명을 다루는 의료 분야에서도 컴퓨터와 통신 기술을 이용하여 의료 서비스를 제공하는 여러가지 시스템이 연구되고 있다. 예를 들어, 병원 내에 설치된 컴퓨터 장치들을 유선 또는 무선 네트워크로 연결하고, 엑스 레이(X-ray) 사진이나 진료 기록, 의료 영상 등을 디지털 데이터로 변환하여 서버에 저장해 두고, 의사나 간호사 들이 필요할 때 임의의 컴퓨터 장치를 통해 지정된 환자의 의료 정보를 조회할 수 있도록 하는 영상 저장 및 통신 시스템(PACS: Picture Archiving and Communication System)이 도입되고 있다. 이러한, 영상 저장 및 통신 시스템은 의료 정보를 디지털 형태로 획득(Acquisition)한 후, 유선 또는 무선의 네트워크를 통해 전송하기 때문에, 의사나 간호사들이 기존의 의료 차트 대신에 의료 정보를 조회할 수 있는 장치를 이용하여 환자를 진료할 수 있도록 하였다. 이러한 의료 시스템은 수술실 내에서 이루어지는 수술 과정에도 적용되고 있다.
도 1은 종래의 수술실 내부 의료 시스템을 나타낸 도면이다. 도 1을 참조하면, 수술실에는 환자가 누워서 수술을 받을 수 있는 수술대(10)와, 수술대(10) 상부에 설치되어 수술실 내부, 특히 환자의 수술 부위를 조명하기 위한 무영등(20)이 하나 이상 설치된다. 무영등(20)은 수술 과정에서 그림자가 생기지 않도록 각도와 밝기를 조정한 여러 개의 등으로 이루어지며, 다수의 암(arm)이 링크를 통해 연결된 설치대에 거치되며, 수술 과정에서 다수의 암을 조작함으로써 빛이 환자의 수술 부위를 비추도록 위치가 조정될 수 있다. 또한, 수술 과정에 촬영되는 영상은 수술실 내부에 설치된 모니터(30)를 통해 실시간으로 확인이 가능하다. 이 때, 수술 과정을 촬영하기 위한 카메라는 무영등(20)의 중앙 전면부에 설치될 수 있고, 별도의 위치에 설치될 수도 있다.
이 밖에, 수술실 내부에는 환자가 고통을 느끼지 않게 하기 위해 마취제를 코나 입을 통해 환자의 허파에 흡입시킴으로써 전신을 마취하는 호흡 마취기와, 수술이 이루어지는 동안 환자의 심장 박동 등을 체크하여 그래프로 나타내는 심전도계 등이 함께 구비된다.
이와 같이, 수술실 내부에 설치된 카메라와 모니터(30)를 통해 수술 영상을 촬영하는 종래의 수술 영상 촬영 시스템은 일반적으로 환자의 수술 부위를 확대해서 촬영하는 구조로 이루어져 있으며, 수 시간 동안 이어지는 수술 영상은 단지 환자의 이름이나 병명, 수술 날짜를 색인으로 하여 서버에 저장되는 수준이다. 그런데, 이렇게 저장된 수술 영상을 교육의 목적이나 환자에게 보여주기 위해서 사용하려면, 환자의 수술 부위를 촬영한 영상을 처음부터 끝까지 확인해 가면서 원하는 지점을 찾아야 하는 어려움이 있다. 특히, 오랜 시간 지속된 수술 영상의 경우에는 원하는 시점의 수술 영상을 찾는데 많은 시간을 소요하여야 하는 문제가 있다.
이러한 문제를 해결하기 위하여, 종래에는 등록특허공보 제 10-1247513 호 (수술 영상 저장 및 재생 방법 및 시스템)에서 수술 중인 환자의 상태신호를 획득한 후, 수술 영상과 환자의 상태신호를 하나의 화면에 동기화시켜서 표시하는 방법이 제시되었으며, 등록특허공보 제 10-1597135 호 (녹화와 동시에 태깅하는 의료용 영상 저장 및 전송 시스템)에서는 페달을 이용하여 수술 영상을 캡쳐하는 방법에 제시되었다. 또한, 미국공개특허 제 US 2004/0095507 호 (APPARATUS AND METHOD FOR CAPTURING, PROCESSING AND STORING STILL IMAGES CAPTURED INLINE FROM AN ANALOG VIDEO STREAM AND STORING IN A DIGITAL FORMAT ON REMOVABLE NON-VOLATILE MEMORY) 에서는 버튼을 이용하여 수술 영상을 캡쳐할 수 있는 장치를 개시하였다.
그러나, 이러한 종래 기술은 환자의 상태 정보를 수술 영상에 함께 표시하거나 특정 시점의 수술 영상을 캡쳐하는데 불과하다. 또한, 페달을 이용하여 수술 영상의 촬영을 개시하거나 중지 또는 캡쳐하는 것은 고도의 집중력을 요구하는 수술 과정에서 제대로 이루어지기 어려우며, 수술 영상의 촬영 시점이나 캡쳐 시점을 지정할 뿐이므로 전체 수술 영상 중에서 특정 이벤트가 발생한 시점의 영상을 찾기 어렵다는 문제점이 있다.
등록특허공보 제 10-1247513 호 (2013.03.26) 등록특허공보 제 10-1597135 호 (2016.02.25) 미국공개특허 제 US 2004/0095507 호 (2004.05.20)
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 수술 과정에서 발생하는 특정 이벤트와 관련된 인덱스 정보 및 인덱스 영상을 생성함으로써, 수술 영상 중에서 특정 이벤트 발생 시점의 영상을 용이하게 검색하게 확인할 수 있도록 하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 수술 영상 처리 장치에서 수술 영상을 처리하는 방법은 카메라를 통해 촬영되는 수술 영상을 저장하는 단계와, 상기 수술 영상을 저장하는 과정에서, 특정 이벤트가 발생하는지 여부를 판단하는 단계와, 특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하는 단계와, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 단계와, 상기 수술 영상과 상기 인덱스 영상을 개별적으로 저장하는 단계를 포함할 수 있다.
상기 특정 이벤트는 수술이 진행되는 프로세스 정보, 상기 수술 영상에 의한 응급 상황 정보, 및 수술 장비에서 발생하는 응급 신호 정보 중 하나 이상의 정보로 이루어질 수 있다.
상기 수술이 진행되는 프로세스 정보는 준비, 개복, 처치, 봉합, 및 마무리 단계에 대한 정보일 수 있다.
상기 수술 영상에 의한 응급 상황 정보는 수술 영상에 표시되는 적색 정보를 바탕으로 판단된 과다 출혈 여부에 대한 정보일 수 있다.
상기 수술 장비에서 발생하는 응급 신호 정보는 수술 중인 환자의 비정상적인 신체 상태 정보일 수 있다.
상기 인덱스 정보는 인덱스 번호, 상기 이벤트 발생 시점, 상기 이벤트 내용, 및 인덱스 영상의 추출시간 중 하나 이상의 정보로 이루어질 수 있다.
상기 인덱스 영상은 상기 이벤트 발생 시점보다 앞선 이전의 일정 시간에서부터 상기 이벤트 발생 시점 이후의 일정 시간까지의 구간을 대상으로 하는 수술 영상일 수 있다.
상기 인덱스 영상은 상기 이벤트 발생 시점에서부터 상기 이벤트 발생 시점 이후의 일정 시간까지의 구간을 대상으로 하는 수술 영상일 수 있다.
상기 수술 영상 처리 방법은 인덱스 영상과 상기 인덱스 영상이 포함되는 수술 영상 사이에 링크를 설정하는 단계를 더 포함할 수 있다.
상기 수술 영상 처리 방법은 상기 인덱스 영상의 링크 정보를 클릭함으로써, 링크가 설정된 수술 영상을 검색하는 단계를 더 포함할 수 있다.
또한, 본 발명의 수술 영상 처리 장치는 수술실 내의 카메라 및 모니터와 연동하며, 상기 카메라를 통해 제공되는 수술 영상을 저장하는 메모리와, 수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈과, 특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈과, 상기 수술 영상과 상기 인덱스 영상을 개별적으로 저장하는 영상 관리 모듈을 포함할 수 있다.
상기 수술 영상 처리 장치는 인덱스 영상을 표시하는 디스플레이를 더 포함할 수 있다.
상기 수술 영상 처리 장치는 상기 인덱스 영상과 상기 인덱스 영상이 포함되는 수술 영상 사이에 링크를 설정하고, 상기 인덱스 영상의 링크 정보를 클릭함으로써, 링크가 설정된 수술 영상을 검색하는 링크 관리 모듈을 더 포함할 수 있다.
또한, 본 발명의 수술 영상 처리 장치는 수술실 내의 카메라와 모니터, 원격의 서버와 연동하며, 상기 카메라를 통해 제공되는 수술 영상을 임시 저장하는 메모리와, 수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈과, 특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈과, 상기 수술 영상과 상기 인덱스 영상을 상기 서버로 전송하여 저장하는 영상 관리 모듈을 포함할 수 있다.
또한, 본 발명의 수술 영상 처리 장치는 수술 영상을 촬영하는 카메라와, 상기 카메라를 통해 제공되는 수술 영상을 저장하는 메모리와, 수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈과, 특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈과, 상기 수술 영상과 상기 인덱스 영상을 개별적으로 저장하는 영상 관리 모듈을 포함할 수 있다.
또한, 본 발명의 수술 영상 처리 장치는 원격의 서버와 연동하며, 수술 영상을 촬영하는 카메라와, 상기 카메라를 통해 제공되는 수술 영상을 임시 저장하는 메모리와, 수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈과, 특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈과, 상기 수술 영상과 상기 인덱스 영상을 상기 서버로 전송하여 저장하는 영상 관리 모듈을 포함할 수 있다.
본 발명의 실시예에 따른 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치에 따르면, 수술 과정에서 발생하는 특정 이벤트 시점에 대한 인덱스 정보와 인덱스 영상을 생성함으로써, 수술 영상 내의 특정 이벤트 시점을 검색하고 해당 시점의 인덱스 영상을 빠르게 확인할 수 있는 효과가 있다.
도 1은 종래의 수술실 내부 의료 시스템을 나타낸 도면,
도 2는 본 발명의 실시예에 따른 수술 영상 처리 장치가 구비된 수술실 내부의 화면 예시도,
도 3은 본 발명의 실시예에 따른 수술 영상 처리 장치의 내부 구성도,
도 4는 본 발명의 실시예에 따른 수술 영상 처리 방법이 이루어지는 전체 시스템의 구성도,
도 5는 본 발명의 실시예에 따른 수술 영상 처리 방법에 있어서, 수술 영상에 대한 인덱스 작업이 이루어지는 과정을 나타낸 도면,
도 6은 본 발명의 실시예에 따른 수술 영상 처리 방법에 있어서, 특정 이벤트의 구분 기준에 대한 화면 예시도,
도 7은 본 발명의 실시예에 따른 수술 영상 처리 방법에 있어서, 인덱스 영상의 데이터 예시도,
도 8은 본 발명의 실시예에 따른 수술 영상 처리 장치의 소프트웨어 구성 예시도이다.
여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면에 의하여 본 발명의 바람직한 실시예를 자세히 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 수술 영상 처리 장치가 구비된 수술실 내부의 화면 예시도를 나타낸 것이다. 도 2를 참조하면, 본 발명의 수술 영상 처리 장치(100)는 수술실 내에 설치되며, 수술실 내부의 다른 수술 장비와 유선 또는 무선 통신으로 연결될 수 있다.
본 발명의 수술 영상 처리 장치(100)는 카메라를 이용하여 수술 영상을 촬영하고, 촬영된 수술 영상을 저장하는 과정에서 수술 과정에서 발생하는 특정 이벤트에 대한 인덱스 작업을 수행할 필요가 있다. 수술 영상을 촬영하기 위해서, 본 발명의 수술 영상 처리 장치(100)에 별도의 카메라가 구비될 수도 있지만, 수술실의 무영등(20)에 부착된 카메라로부터 수술 영상을 제공받아 이를 처리하도록 구현될 수도 있다. 또한, 무영등(20)에 부착된 카메라 또는 본 발명의 수술 영상 처리 장치(100)에 별도로 부착된 카메라를 통해 촬영된 수술 영상은 이벤트가 발생하는 시점으로부터 이전 또는 이후의 일정 시간 간격 동안의 영상을 인덱스 영상으로 추출하고, 이벤트 관련 정보를 인덱스 정보로서 수술 영상의 프레임 내에 삽입할 수 있다. 이러한 인덱스 정보는 및 인덱스 영상은 수술 영상 처리 장치(100)의 내부 메모리에 저장될 수 있고, 또한 병원 내부에 설치된 유선 또는 무선 네트워크를 통하여 별도의 서버에 저장될 수도 있다. 한편, 본 발명의 수술 영상 처리 장치(100)를 통해 저장되는 수술 영상은 수술실 내부에 비치된 모니터(30)를 통해 실시간으로 표시될 수 있다.
수술 과정에서 발생하는 이벤트는 수술이 진행되는 세부적인 프로세스를 기준으로 하거나, 카메라를 통해 촬영된 수술 영상을 분석하여 특이 사항이 있는 것으로 판단된 경우를 기준으로 할 수도 있고, 수술실 내부에 비치된 다른 수술 장비와 연동하고 수술 장비에 의해 발생하는 긴급 신호를 기준으로 할 수도 있을 것이다.
도 3은 본 발명의 실시예에 따른 수술 영상 처리 장치의 내부 구성도를 나타낸 것이다. 도 3을 참조하면, 본 발명의 수술 영상 처리 장치(100)는 메모리 시스템(110)과, 여기에 연결되어 고속 동작을 수행하는 적어도 하나 이상의 CPU(Central Processing Unit; 120), 입력 장치(130) 및 출력 장치(140)를 포함할 수 있다.
메모리 시스템(110)은 일반적으로 RAM(Random Access Memory) 과 ROM(Read Only Memory) 같은 저장 매체 형태인 고속의 메인 메모리(112)와, 플래시 메모리 등의 보조 메모리(114) 및 전기, 자기, 광학이나 그 밖의 저장 매체를 이용하여 데이터를 저장하는 장치를 포함할 수 있다. 또한, 메인 메모리(112)는 출력 장치(140)를 통하여 이미지를 디스플레이 하는 비디오 디스플레이 메모리를 포함할 수 있다. 본 발명의 기술 분야에서 통상의 지식을 가진 당업자에게는 상기 메모리 시스템(110)이 여러 가지 저장 성능을 구비하는 제품으로서, 여러 가지 형태를 가질 수 있다는 것이 자명할 것이다.
CPU(120)는 수술 영상 처리 장치(100)에 내장되어 전체적인 동작을 처리하는 기능을 수행한다. 즉, 카메라를 통해 촬영된 수술 영상을 저장하는 동시에, 특정 이벤트가 발생하는 경우에 인덱스 정보를 생성하는 동시에, 수술 영상에 인덱스 정보를 삽입하며, 이벤트 발생 시점을 기준으로 인덱스 영상을 별도로 추출한다. 또한, 수술 영상을 수술 영상 처리 장치(100)에 부착된 디스플레이 또는 수술실 내에 별도로 구비된 모니터를 통해 표시할 수 있다. CPU(120)에는 계산을 수행하기 위한 ALU(Arithmetic Logic Unit: 122)와, 데이터 및 명령어의 일시적인 저장을 위한 레지스터(124) 및 수술 영상 처리 장치(100)의 동작을 제어하기 위한 컨트롤러(126)로 이루어질 수 있다. CPU(120)는 디지털(Digital) 사의 알파(Alpha), MIPS 테크놀로지, NEC, IDT, 지멘스(Siemens) 등의 MIPS, 인텔(Intel)과 사이릭스(Cyrix), AMD 및 넥스젠(Nexgen)을 포함하는 회사의 x86 및 IBM과 모토롤라(Motorola)의 파워PC(PowerPC)와 같이 다양한 아키텍쳐(Architecture)를 갖는 프로세서일 수 있다.
입력 장치(130)는 수술 영상 처리 장치(100)의 화면에 부착되어 사용자가 수술 영상 처리 장치(100)를 조작하기 위한 부품으로 이루어지며, 버튼이나 마우스, 터치 스크린과 같이 사용자의 조작이나 터치를 인식할 수 있는 장치일 수 있지만, 마이크로폰과 같은 물리적 변환기(Physical transducer) 등도 포함될 수 있다. 또한, 수술 영상을 촬영하기 위한 카메라가 별도로 구비될 수 있고, 수술 과정에 발생하는 음성이나 음향 신호를 녹음하기 위한 마이크가 포함될 수도 있다.
출력 장치(140)는 발광 다이오드(LED; Light Emitting Diode)나 액정표시장치(LCD; Liquid Crystal Display), 전자 잉크(e-ink)와 같이 문자나 이미지를 표시할 수 있는 디스플레이를 의미하지만, 스피커와 같은 변환기(transducer)도 포함될 수 있다.
본 발명의 기술 분야에 있어서, 수술 영상 처리 장치(100)는 OS(Operating System) 및 적어도 하나의 응용 프로그램을 포함할 수 있다. OS는 수술 영상 처리 장치(100)의 동작 및 리소스의 지정을 제어하는 소프트웨어 집합이다. 응용 프로그램은 OS를 통하여 이용 가능한 컴퓨터 리소스를 사용함으로써, 사용자가 요청한 업무를 수행하기 위한 소프트웨어 집합이다. OS 및 응용 프로그램은 메모리 시스템(110)에 상주될 것이다. 컴퓨터 프로그래밍의 기술 분야에서 통상의 지식을 가진 당업자의 경험에 따라, 다른 표현으로 기술되지 않으면, 본 발명은 수술 영상 처리 장치(100)에 의해 수행되는 동작 및 동작에 대한 표현 기호에 따라 기술될 것이다. 이러한 동작은 컴퓨터 기반으로 이루어지며, OS 또는 적당한 응용 프로그램에 의하여 수행될 것이다. 또한, 이러한 동작 및 기능은 전기 신호의 변환 또는 차단을 유발하는 데이터 비트 등의 전기 신호에 대한 CPU(120)의 처리와, 수술 영상 처리 장치(100)의 동작을 변경할 뿐만 아니라 메모리 시스템(110) 내의 메모리 영역에 저장된 데이터 비트 신호에 대한 관리를 포함한다. 데이터 비트 신호가 관리되는 메모리 영역은 데이터 비트에 해당하는 전기, 자기 또는 광학 특성을 갖는 물리 영역이다.
본 발명에서 수술 영상 처리 장치(100)에 저장되는 수술 영상은 병원 내에 구축된 유선 또는 무선 네트워크를 통하여, 병원 서버에 저장될 수 있으며 병원 내에 근무하는 의사나 간호사와 같은 의료진은 컴퓨터 단말기를 이용하여 원하는 수술 영상과 수술 영상 내의 특정 이벤트 시점을 검색하고 확인할 수 있다.
도 4는 본 발명의 실시예에 따른 수술 영상 처리 방법이 이루어지는 전체 시스템의 구성도를 나타낸 것이다. 도 4를 참조하면, 본 발명의 수술 영상 처리 방법이 이루어지는 전체 시스템은 본 명세서에 기술된 기능과 및 특징을 용이하게 할 수 있는 수술 영상 처리 장치(100)와, 통신 네트워크(200), 병원 서버(300) 및 컴퓨터 단말기(400)를 포함할 수 있다.
수술 영상 처리 장치(100)를 포함하여, 병원 서버(300) 및 컴퓨터 단말기(400)는 본 발명의 기능들을 수행하기 위하여, 임의의 수 또는 조합으로 이루어진 프로세서, 컨트롤러, 집적 회로, 프로그램 가능한 논리 회로, 또는 그 밖에 데이터베이스와 신호 처리 장치를 포함할 수 있으며, 이 밖에 하나 이상의 메모리, 송신기와 수신기, 디스플레이, 및 여러가지 장치와 통신이 가능한 통신 모듈을 포함할 수 있다. 또한, 지정된 알고리즘을 통하여 데이터 연산을 수행하고, 그 결과를 디스플레이를 통해 외부에서 인식할 수 있도록 표시하는 컴퓨터 프로그램과, 이를 사용자가 조작할 수 있도록 구현된 사용자 인터페이스 (UI ; User Interface)를 포함할 수 있다.
컴퓨터 프로그램은 본 발명의 수술 영상 처리 방법에 있어서, 각 단계들을 수행하기 위해 수술 영상 처리 장치(100)와 병원 서버(300), 컴퓨터 단말기(400)에서 실행가능한 복수의 코드 세그먼트(Code Segment)를 포함한다. 이 때, 수술 영상 처리 방법의 각 단계는 상세한 설명에 기재된 순서에 따라 수행될 수도 있지만, 명시적으로 언급하지 않은 한 각 단계가 상이한 순서로 수행될 수 있다. 또한, 일부의 단계들은 동시에 수행될 수 있으며, 일부 단계는 선택적으로 수행될 수도 있다.
수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 인터넷 서비스, 전자 메일 서비스, 데이터 전송 서비스와 같은 하나 이상의 범용 컴퓨팅 자원에 액세스 가능한 전자 장치를 포함할 수 있다. 또한, 통신 네트워크(200)를 통하여 온라인 자원에 액세스하는 사용자 특유의 정보를 저장하는 사용자 데이터베이스를 포함할 수 있으며, 데이터베이스는 본 발명의 수술 영상 처리 방법을 구현하는데 필요한 그 밖의 정보와 데이터를 저장할 수 있다.
수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 프로세서와 관련된 메모리를 포함하는 임의의 디바이스 또는 장비를 포함할 수 있다. 프로세서는 운영 체제를 구현할 수 있고, 명령어, 소프트웨어 코드, 실행파일(executable), 애플리케이션, 앱 등으로 알려져 있는 컴퓨터 프로그램을 실행할 수 있다. 프로세서는 마이크로 컨트롤러, FPGA(Field Programmable Gate Array), 기타, 또는 이들의 조합들을 포함할 수 있다. 메모리는 컴퓨터 프로그램을 저장하거나 보유할 수 있고, 텍스트, 데이터베이스, 그래픽, 오디오, 비디오, 이들의 조합, 및 기타 데이터를 저장할 수 있다. 메모리는 컴퓨터로 판독가능한 매체 또는 컴퓨터로 판독가능한 저장 매체라고 지칭될 수 있고, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 드라이브, 플로피 디스크, 하드 디스크, 콤팩트 디스크(CDROM), DVD(Digital Video Disc) 등과 같은 광 저장 매체, 또는 이들의 조합을 포함할 수 있다. 수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 이러한 메모리와 함께 복수의 하드 디스크, 네트워크 접속 저장소(network attached storage), 또는 별도의 저장소 네트워크(storage network)를 포함하는 파일 저장소(file store)를 추가로 포함할 수 있다.
컴퓨터 단말기(400)는 구체적으로는 이동 통신 디바이스(무선 디바이스를 포함함), 워크 스테이션, 데스크톱 컴퓨터, 랩톱 컴퓨터, 팜톱 컴퓨터, 태블릿 컴퓨터, PDA(portable digital assistant), 스마트폰, 스캐너, 키오스크, 프린터, 또는 이들의 조합들을 포함할 수 있다. 컴퓨팅 단말기(400)의 다양한 실시예들은 휴대폰, 핸드폰, 스마트폰 또는 유선 전화와 같은 음성 통신 디바이스들을 포함할 수 있다.
수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 시각적 그래픽, 영상, 텍스트 등을 디스플레이하는 음극선관, 액정 디스플레이, 플라즈마, 또는 터치 스크린과 같은 전자 디스플레이를 가질 것이다. 실시예에 따라, 본 발명의 컴퓨터 프로그램은 전자 디스플레이를 통해 디스플레이되는 GUI(Graphical User Interface)를 통해 상호작용 및 통신을 용이하게 한다. GUI는 사용자(즉, 의사, 간호사, 환자, 보호자 등)의 정보를 사용자 제어 인터페이스에 제공하기 위해 디스플레이 영역(display area)들을 터치하거나 가리키는 것에 의해 전자 디스플레이와 상호작용할 수 있게 한다.
또한, 수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 디지털 영상 또는 비디오를 촬영하거나, 저장 및 전송할 수 있도록, 디지털 카메라, 비디오 카메라, 광학 스캐너 등과 같은 광학 디바이스를 포함할 수 있다.
수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 한 명 이상의 사용자들이 정보 및 명령들을 상호 공유할 수 있도록 사용자 제어 인터페이스를 포함할 수 있다. 사용자 제어 인터페이스는 버튼, 키보드, 스위치, 스크롤 휠, 마이크와 같은 음성 인식 요소, 및 마우스, 터치패드, 트랙볼(tracking ball), 및 스타일러스와 같은 포인팅 디바이스와 같은 하나 이상의 기능 입력들을 포함할 수 있다. 사용자 제어 인터페이스는 또한 가청 명령어들(audible instructions) 및 피드백을 제공하기 위한 스피커를 포함할 수 있다. 게다가, 사용자 제어 인터페이스는 사용자 또는 다른 전자 장치와 원격적으로 인터페이스할 수 있게 하기 위해, 통신 구성요소, 이동식 메모리, 데이터 송수신기, 또는 송신기와 같은, 유선 또는 무선 데이터 전송 요소를 포함할 수 있다.
통신 네트워크(200)는 유선 또는 무선 네트워크일 수 있고, 통신 서버, 라우터, 스위치, 무선 수신기 및 송신기 등은 물론, 전기 전도성 케이블 또는 광 케이블을 포함할 수 있다. 통신 네트워크(200)는 또한 LAN(local area network), MAN(metro area network), 또는 WAN(wide area network)은 물론, 인터넷, 또는 다른 클라우드 네트워크를 포함할 수 있다. 게다가, 통신 네트워크(200)는 셀룰러 또는 이동 전화 네트워크는 물론, 일반 전화 네트워크(landline phone network), PSTN(public switched telephone network), 광 섬유 네트워크 등을 포함할 수 있다.
수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 모두 통신 네트워크(200)에 연결될 수 있다. 수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 통신 네트워크(200)를 통해 다른 의료 장비나 컴퓨터 단말기(400) 등과 통신할 수 있을 것이다. 통신 네트워크(200)에의 연결은 유선이거나 무선일 수 있다. 수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)는 유선 또는 무선 연결을 설정하기 위한 적절한 구성요소들을 포함할 수 있다.
본 발명의 컴퓨터 프로그램은 수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)에서 실행될 수 있다. 이와 같이, 프로그램, 코드, 또는 명령어들의 제1 부분은 수술 영상 처리 장치(100)와 병원 서버(300) 및 컴퓨터 단말기(400)에서 실행될 수 있는 반면, 프로그램, 코드, 또는 명령어들의 제2 부분은 제2의 병원 서버(300) 및 컴퓨터 단말기(400)에서 실행될 수 있다. 일부 실시예에서, 프로그램, 코드, 또는 명령어들의 다른 부분들은 다른 전자 장치에서 실행될 수도 있다. 예를 들어, 각각의 사용자에 특유한 정보가 병원 서버(300)의 메모리에 저장될 수 있고, 따라서 각각의 사용자에 특유한 정보가 하나 이상의 컴퓨터 단말기(400)를 통해 컴퓨터 프로그램을 사용하여 사용자 또는 관리자에 의해 원격적으로 액세스 가능하다. 본 발명의 실시예에서, 본 발명을 구현하는 정보의 일부분이 병원 서버(300)에 저장될 수 있는 반면, 다른 부분의 정보는 하나 이상의 컴퓨터 단말기(400)에 저장될 수 있다. 컴퓨터 프로그램에 의해 또는 컴퓨터 프로그램을 사용하여 수행되는 것으로 본 명세서에 기술되는 다양한 동작들, 분석들, 및 계산들이 실제로는 컴퓨터 프로그램의 일부분들을 독립적으로 또는 협력하여 실행하는, 수술 영상 처리 장치(100), 병원 서버(300) 또는 컴퓨터 단말기(400)와 같은, 하나 이상의 컴퓨터들, 프로세서들, 또는 다른 디바이스들에 의해 수행될 수 있다.
본 발명의 실시예에서, 컴퓨터 프로그램은 컴퓨터 단말기(400)에 설치된 독립형 프로그램으로 또는 통신 네트워크(200)를 통해 컴퓨터 단말기(100)에 의해 액세스 가능한 웹 액세스 가능 프로그램으로 구현될 수 있다. 독립형 프로그램의 경우, 컴퓨터 프로그램의 다운로드 가능 버전이 병원 서버(300)에, 적어도 부분적으로 저장될 수 있다. 사용자는 컴퓨터 프로그램의 적어도 일부분을 통신 네트워크(200)를 통해 컴퓨터 단말기(100)에 다운로드할 수 있다. 본 발명의 실시예에서, 컴퓨터 프로그램은, 모바일 디바이스에 대한 앱과 같은, 애플리케이션일 수 있다. 컴퓨터 프로그램이 다운로드된 후에, 프로그램은 컴퓨터 단말기(400)에 실행가능한 형식(executable format)으로 설치될 수 있다. 실행가능한 형태의 프로그램은 사용자가, 모바일 앱 또는 웹 사이트와 같은, 전자 자원을 통해 본 발명의 실시예에 액세스하도록 허용한다. 웹 액세스 가능 컴퓨터 프로그램의 경우, 사용자는 간단히 컴퓨터 단말기(100)를 사용하여 통신 네트워크(200)를 통해 병원 서버(300)의 컴퓨터 프로그램에 액세스할 수 있다.
도 5는 본 발명의 실시예에 따른 수술 영상 처리 방법에 있어서, 수술 영상에 대한 인덱스 작업이 이루어지는 과정을 나타낸 도면이다. 도 5를 참조하면, 본 발명의 수술 영상 처리 방법은 수술 영상을 저장하는 과정에서 특정 이벤트가 발생하는 시점에 인덱스 정보(Index)를 생성하고, 이를 해당하는 수술 영상에 삽입할 수 있다.
이벤트 발생 여부는 수술이 이루어지는 주요 프로세스 단계를 기준으로 할 수도 있고, 수술 영상을 분석하는 과정에서 응급 상황이나 특이 영상이 인식되는 경우를 기준으로 할 수도 있으며, 수술실 내에 위치된 수술 장비에서 응급 신호가 발생하는 시점을 기준으로 할 수도 있다. 이와 같이, 수술 프로세스의 변화, 수술 영상의 분석 또는 수술 장비의 응급 신호 등을 기준으로 특정 이벤트가 발생한 것으로 판단되는 경우에는 인덱스 정보를 생성하고, 이벤트 발생 시점에 해당하는 수술 영상에 인덱스 정보를 삽입할 수 있다. 만약, 전체 수술 과정 중에서 특정 이벤트가 4회 발생하는 경우(Event1 ~ Event4)에는 인덱스 정보는 4개가 생성될 것이다(Index1 ~ Index4).
이 때, 전체 수술 영상은 모두 저장되지만, 이벤트가 발생된 시점으로부터 그 이전의 일정 시간 및 그 이후의 일정 시간을 인덱스 구간으로 설정하여 인덱스 영상만을 별도로 추출하여 저장할 수도 있다. 이와 같이, 인덱스 영상을 별도로 추출하여 저장하는 경우에는 전체 수술 영상 중에서 특정 이벤트가 발생한 구간에 대한 선별된 영상만을 저장하므로, 인덱스 검색을 위한 수술 영상의 용량을 감소시키고 검색 속도도 개선할 수 있다. 이 때, 인덱스 영상은 본 발명의 수술 영상 처리 장치(100) 내에 저장될 수도 있고, 병원 서버(300)에 저장될 수도 있다.
한편, 이벤트 발생 시점을 기준으로 추출된 인덱스 영상은 전체 수술 영상과 링크 정보가 설정될 수 있으므로, 인덱스 영상 이외의 나머지 수술 영상을 보고자 하는 경우에는 링크 정보를 이용하여 전체 수술 영상을 검색하여 보는 것도 가능할 것이다.
수술 영상 중에서 특정 이벤트가 발생한 부분을 보고자 하는 경우, 특정 이벤트가 발생한 이유 및 그 처치 과정이 중요한 부분이 될 수 있기 때문에, 인덱스 영상을 구성할 때, 특정 이벤트가 발생한 시점으로부터 이전의 일정 시간(예를 들어, 3분)부터 특정 이벤트가 발생한 시점으로부터 이후의 일정시간(예를 들어, 3분)까지의 구간을 인덱스 구간으로 설정할 수 있다. 한편, 수술의 개시나 개복, 봉합 과정과 같이 특정 프로세스가 개시되는 시점을 이벤트 시점으로 하는 경우에는 특별히 이벤트 시점 이전의 수술 영상이 중요하지 않을 수 있기 때문에, 이러한 경우에는 이벤트 시점으로부터 이후의 일정 시간까지의 구간을 인덱스 구간으로 설정할 수도 있을 것이다.
특정 이벤트 시점을 기준으로 이전의 일정 시간부터 이후의 일정 시간까지 인덱스 구간이 설정되면, 인덱스 구간에 해당하는 수술 영상만을 모아서 인덱스 영상을 구성할 수 있다. 인덱스 영상은 해당하는 이벤트 정보를 인덱스 정보로 포함하기 때문에, 인덱스 정보를 이용하여 해당하는 시점의 수술 영상을 손쉽게 검색하고 확인할 수 있다.
도 6은 본 발명의 실시예에 따른 수술 영상 처리 방법에 있어서, 특정 이벤트의 구분 기준에 대한 화면 예시도이다. 도 6을 참조하면, 본 발명의 수술 영상 처리 방법은 수술이 이루어지는 주요 프로세스, 수술 영상에 대한 분석 결과, 또는 수술실 내에 위치된 수술 장비의 응급 신호를 기준으로 이벤트 발생 여부를 판단할 수 있다.
예를 들어, 수술 프로세스는 크게 준비 과정, 환자의 신체를 절개하는 개복 과정, 환자의 병명에 따라 수술이 진행되는 처치 과정, 처치 완료 후 절개된 신체를 봉합하는 봉합 과정, 및 마무리 과정으로 구분할 수 있다. 이와 같이 수술 프로세스를 구분하는 경우, 준비, 개복, 처치, 봉합, 및 마무리 과정이 시작되는 시점을 이벤트 시점으로 간주하여, 이에 따라 인덱스 정보를 생성할 수 있을 것이다.
반면에, 수술 영상을 분석하는 과정에서 이상 징후나 응급 상황으로 판단되는 시점이 있는 경우에는 이상 징후나 응급 상황으로 판단되는 시점을 이벤트 시점으로 볼 수 있다. 예를 들어, 수술 과정에서 환자의 수술 부위에 과다 출혈이 있는 경우에는 과다 출혈이 발생하는 시점을 이벤트 발생 시점으로 간주하여 인덱스 정보를 생성할 수 있다. 과다 출혈 여부는 수술 영상에서 색상의 변화를 검출함으로써 판단될 수 있다. 모니터나 디스플레이의 영역을 복수의 블록으로 분할하고, 각 블록에 대한 적색 정도를 분석하면, 특정 시점에 적색의 블록이 과도하게 증가하는 경우를 과다 출혈 상태로 판단할 수 있을 것이다.
수술이 이루어지는 동안 환자의 심장 박동 등을 체크하는 심전도계와 같이, 수술 과정에는 수술 중인 환자의 신체 상태를 지속적으로 측정할 수 있는 장비를 함께 운용하게 된다. 따라서, 환자의 심장 박동이 급격이 증가하거나 호흡이 곤란하게 되는 경우, 또는 쇼크 상태가 발생하는 경우와 같이 응급 상황이 발생하는 경우에는 관련 수술 장비에서 응급 신호가 발생하게 된다. 이러한 응급 신호가 발생하는 경우를 이벤트 시점으로 판단하여, 인덱스 정보를 생성하거나 이를 해당 시점의 수술 영상에 삽입하는 것이 가능하다. 이 때, 본 발명의 수술 영상 처리 장치(100)는 수술 장비에서 발생하는 응급 신호를 마이크를 통해서 청취함으로써 이벤트 발생 여부를 판단할 수도 있고, 수술 장비와 유선 또는 무선으로 연결되어 수술 장비에서 전송되는 환자의 상태 신호를 바탕으로 이벤트 발생 여부를 판단할 수도 있을 것이다. 또한, 수술 과정에서 의사나 간호사의 음성을 인식하여, 응급 신호에 대응되는 음성이 있는 경우를 이벤트 시점으로 판단할 수도 있을 것이다.
도 7은 본 발명의 실시예에 따른 수술 영상 처리 방법에 있어서, 인덱스 영상의 데이터 예시도이다. 도 7을 참조하면, AAA 환자의 수술이 2017년 6월 13일 08시부터 11시 30분까지 3시간 30분 동안 진행되는 과정에서, 4번의 특정 이벤트가 발생하여 해당 시점의 수술 영상에 인덱스 작업이 이루어진 경우를 예로써 확인할 수 있다.
본 발명의 수술 영상 처리 장치(100)에 의해, 첫번째 이벤트로 인정된 행위는 집도의에 의한 환자의 수술 부위 개복 시점이다. 환자의 개복 시점은 08시로서 집도의의 개복 행위를 이벤트로 판단하고, 개복이 개시된 시점은 08:00를 기준으로 약 3분 동안의 수술 영상을 인덱스 영상으로 추출하게 된다(Index1). 수술 과정 중 개복 행위는 수술을 개시하는 단계에 해당하고, 개복 후 수술 부위를 확인하는 과정이 중요하기 때문에, 개복 시점 이전의 영상은 제외하고, 개복 시점부터 일정 시간(예를 들어, 3분)의 수술 영상만을 인덱스 영상에 포함할 수 있다.
수술이 진행되는 과정에서 08시 25분 경에, 수술 부위에 과다 출혈이 발생하는 경우를 생각해 보자. 무영등 또는 수술 영상 처리 장치(100)에 부착된 카메라를 통해 촬영된 수술 영상에서 출혈을 나타내는 적색 영역이 일정 기준을 초과하는 경우에는 과다 출혈로 판단할 수 있다. 과다 출혈로 판단되는 시점인 08시 25분이 두번째 인덱스 시점이 될 수 있다(Index2). 이 때, 과다 출혈이 발생하게 된 경과를 확인하는 것이 중요할 수 있으므로, 이 경우에는 인덱스 시점인 08시 25분에서부터 일정 시간(3분)이 앞선 08시 22분부터 과다 출혈 후 조치가 이루어지는 시간(08시 25분부터 3분이 지난 08시 28분)까지의 수술 영상을 두번째 인덱스 영상으로 추출하여 저장할 수 있다. 두번째 인덱스 영상에는 과다 출혈을 나타내는 이벤트 정보가 함께 포함되어 있기 때문에, 수술 영상 중에서 과다 출혈이 발생한 인덱스 정보를 검색함으로써 과다 출혈이 발생한 시점(08시 25분)을 기준으로 일정 시간의 전후 구간에 해당하는 인덱스 영상을 용이하게 추출하여 확인하는 것이 가능하다.
10시 17분에 병원 내 정전으로 인해, 일시적으로 수술 장비가 동작을 멈추고, 별도의 발전 시설을 통하여 전기를 공급받아 수술을 재개하는 경우가 있을 수 있다. 이 경우에는 정전으로 인한 수술 장비의 재가동 여부 및 수술을 담당하는 의사나 간호사의 즉각적인 조치가 중요한 내용이 될 수 있다. 따라서, 정전이 발생한 시점인 10시 17분을 인덱스 시점으로 하여, 세번째 인덱스 영상을 저장하게 된다. 수술실의 정전은 전원 공급의 문제로 발생할 수도 있지만, 병원 또는 수술실 내에서 발생한 임의의 행위에 의해 야기될 수도 있으므로, 이 경우에는 정전 발생 시점보다 3분 이전인 10시 14분부터, 정전 이후의 3분인 10시 20분까지의 구간을 인덱스 구간으로 하여 인덱스 영상을 추출할 수 있다.
수술을 마치가 환자의 절개 부위를 봉합하는 경우에는, 집도의가 봉합을 표시하거나 지시하는 음성 또는 행동을 통해 봉합 개시 시점(11시 14분)을 판단할 수 있다. 봉합 개시는 수술 처치가 완료된 경우로 볼 수 있으므로, 특별한 경우를 제외하고는 봉합 개시 시점인 11시 14분부터 3분 이후인 11시 17분까지의 구간을 인덱스 영상으로 구성할 수 있을 것이다.
위와 같이, 4개의 인덱스 영상이 구성되는 경우, 전체 인덱스 영상은 제1 인덱스 영상 3분, 제2 인덱스 영상 6분, 제3 인덱스 영상 6분, 및 제4 인덱스 영상 3분을 포함한 총 18분으로 구성될 것이다. 따라서, 전체 수술 시간인 3시간 30분의 수술 영상을 모두 확인하지 않더라도, 중요 이벤트가 발생한 시점을 기준으로 인덱스 영상을 빠르고 손쉽게 확인할 수 있게 된다. 만약, 인덱스 영상만으로 원하는 수술 장면을 확인할 수 없는 경우에는, 전체 수술 영상을 다시 확인할 수 있을 것이다.
도 8은 본 발명의 실시예에 따른 수술 영상 처리 장치의 소프트웨어 구성 예시도이다. 도 8을 참조하면, 본 발명의 수술 영상 처리 장치(100)에 사용되는 응용 모듈(380)은 카메라를 통해 촬영된 수술 영상을 저장하고 관리하는 영상 관리 모듈(381)과, 수술 과정에 발생하는 특정 이벤트의 유형을 저장하고 이벤트의 발생 여부를 판단하는 이벤트 관리 모듈(382), 이벤트 발생 시점을 기준으로 해당 시점의 수술 영상에 인덱스 정보를 삽입하고, 인덱스 구간의 인덱스 영상을 추출하고 관리하는 인덱스 처리 모듈(383)을 포함할 수 있다.
이러한 응용 모듈(380)을 포함하는 소프트웨어는 다양한 OS를 시스템의 OS로서 사용할 수 있다. 이러한 OS는 API(Application Program Interface: 361)에 하이 레벨 명령어를 제공하여 각 응용 모듈(380)의 동작을 제어한다. 수술 영상 처리 장치(100)에 설치되는 소프트웨어는 API(361)로부터 제공되는 하이 레벨 명령어에 따라 대응하는 각 응용 모듈(380)을 식별하고, 하이 레벨 명령어를 디코딩하여 해당하는 곳으로 제공하는 하이 레벨 명령어 처리부(362)를 포함한다. 응용 모듈 제어부(370)는 하이 레벨 명령어 처리부(362)로부터 제공된 명령어에 따라 응용 모듈(380)의 동작을 제어한다. 즉, 하이 레벨 명령어 처리부(362)는 API(361)를 통하여 제공된 하이 레벨 명령어에 따라 여기에 대응하는 응용 모듈(380) 이 존재하는지를 식별하고, 대응되는 응용 모듈(380)이 존재하는 경우에 해당하는 응용 모듈(380)에서 인식할 수 있는 명령어로 디코딩하여 해당하는 매핑부에 전송하거나 메시지 전송을 제어한다. 따라서, 응용 모듈 제어부(370)는 영상 관리 모듈(381)과, 이벤트 관리 모듈(382) 및 인덱스 처리 모듈(383)에 대한 매핑부(371, 373, 375)와 인터페이스부(372, 374, 376)를 각각 포함한다.
영상 관리 모듈 매핑부(371)는 하이 레벨 명령어 처리부(362)로부터 수술 영상의 저장 및 관리를 위한 하이 레벨의 명령어를 제공받아, 영상 관리 모듈(381)에서 처리할 수 있는 디바이스 레벨로 매핑하고, 영상 관리 모듈 인터페이스부(372)를 통하여 영상 관리 모듈(381)로 제공한다.
이벤트 관리 모듈 매핑부(373) 및 이벤트 관리 모듈 인터페이스부(374)는 이벤트 리스트 정보를 바탕으로, 수술 중에 특정 이벤트가 발생하였는지 여부를 판단하는 부분이다. 즉, 이벤트 관리 모듈 매핑부(373)는 하이 레벨 명령어 처리부(362)로부터 이벤트 관리 모듈(382)을 이용하기 위한 하이 레벨 명령어를 제공받아 이를 디바이스 레벨의 명령어로 매핑시키고, 이벤트 관리 모듈 인터페이스부(374)를 통하여 이벤트 관리 모듈(382)로 제공한다.
인덱스 처리 모듈(383)은 수술 중에 특정 이벤트가 발생하는 경우에, 이벤트 발생 시점을 기준으로 인덱스 정보를 생성하고, 해당 시점의 수술 영상에 인덱스 정보를 삽입하며, 인덱스 영상을 추출하고 관리를 담당하는 부분이다. 인덱스 처리 모듈 매핑부(375)는 인덱스 영상의 추출을 위하여, 하이 레벨 명령어 처리부(362)를 통하여 인가된 하이 레벨 명령어를 제공받아 인덱스 처리 모듈(383)이 인식할 수 있는 디바이스 레벨의 명령어로 매핑시킨다. 디바이스 레벨의 명령어는 인덱스 처리 모듈 인터페이스부(376)를 통하여 인덱스 처리 모듈(383)로 제공된다. 이에 따라, 인덱스 처리 모듈(183)이 실행되어 인덱스 영상의 추출 및 관리가 이루어진다.
이러한 기능을 수행하도록 구성된 API(361)에 대한 세부적인 멤버 함수를 좀 더 상세하게 기술하면 다음과 같다. 개방 API(Open API)는 수술 영상을 저장하고, 이벤트 정보를 바탕으로 이벤트 발생 여부를 판단하여 이벤트 발생시 인덱스 영상을 추출하기 위한 응용 모듈(380)의 세션을 개방하기 위하여 사용된다. 폐쇄 API(Close API)는 사용된 응용 모듈에 대한 세션을 종료하는데 사용된다. 검색 API(Retrieve API)는 인덱스 정보를 바탕으로 수술 영상 처리 장치(100) 또는 병원 서버(300)로부터 인덱스 영상을 검색하는데 사용된다. 상태 API(Status API)는 각 응용 모듈의 동작 상태를 판단하기 위해 사용된다. 초기화 API(Initialize API)는 응용 모듈의 호출할 수 있도록 초기화하는 기능을 가진다. 리스트 API(List API)는 환자 정보와 이벤트 리스트, 인덱스 정보, 실행가능한 응용프로그램 리스트 등을 확인하는데 사용된다. 기록 API(Register API)는 수술 영상과 인덱스 영상을 기록하는 기능을 가진다. 삭제 API(Unregister API)는 수술 영상과 이벤트 정보, 인덱스 영상을 삭제하는데 사용된다. 결국, 사용되는 응용 모듈이나 메시지 전송 형태에 따라 이와 같은 개별적인 API가 실행되고, 그에 따라 수술 영상의 저장에서부터, 이벤트 발생 여부 및 인덱스 영상의 추출 및 관리를 수행하기 위한 응용 모듈의 이용이 가능할 것이다.
다만, 위에서 언급한 응용 모듈 및 그 기능은 수술 영상 처리 장치(100) 또는 병원 서버(300)에서 각각 수행될 수도 있지만, 수술 영상 처리 장치(100)와 병원 서버(300) 사이에 그 모듈을 분산하여 설치됨으로써 일부의 기능을 분담하여 처리될 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징들이 변경되지 않고서 다른 구체적인 형태로 실시될 수 있다는 것으로 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 수술 영상 처리 장치 200: 통신 네트워크
300: 병원 서버 400: 컴퓨터 단말기
110: 메모리 시스템 112: 메인 메모리
114: 보조 메모리 120: CPU
122: ALU 124: 레지스터
126: 컨트롤러 130: 입력장치
140: 출력장치 361: API
362: 하이레벨 명령어 처리부
370: 응용모듈 제어부 380: 응용모듈
371: 영상 관리 모듈 매핑부
372: 영상 관리 모듈 인터페이스부
373: 이벤트 관리 모듈 매핑부
374: 이벤트 관리 모듈 인터페이스부
375: 인덱스 처리 모듈 매핑부
376: 인덱스 처리 모듈 인터페이스부
381: 영상 관리 모듈 382: 이벤트 관리 모듈
383: 인덱스 처리 모듈

Claims (16)

  1. 수술 영상 처리 장치에서 수술 영상을 처리하는 방법에 있어서,
    카메라를 통해 촬영되는 수술 영상을 저장하는 단계;
    상기 수술 영상을 저장하는 과정에서, 특정 이벤트가 발생하는지 여부를 판단하는 단계;
    특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하는 단계;
    상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 단계; 및
    상기 수술 영상과 상기 인덱스 영상을 개별적으로 저장하는 단계를 포함하는 수술 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 특정 이벤트는 수술이 진행되는 프로세스 정보, 상기 수술 영상에 의한 응급 상황 정보, 및 수술 장비에서 발생하는 응급 신호 정보 중 하나 이상의 정보로 이루어지는 수술 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 수술이 진행되는 프로세스 정보는 준비, 개복, 처치, 봉합, 및 마무리 단계에 대한 정보인 수술 영상 처리 방법.
  4. 제 2 항에 있어서,
    상기 수술 영상에 의한 응급 상황 정보는 수술 영상에 표시되는 적색 정보를 바탕으로 판단된 과다 출혈 여부에 대한 정보인 수술 영상 처리 방법.
  5. 제 2 항에 있어서,
    상기 수술 장비에서 발생하는 응급 신호 정보는 수술 중인 환자의 비정상적인 신체 상태 정보인 수술 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 인덱스 정보는 인덱스 번호, 상기 이벤트 발생 시점, 상기 이벤트 내용, 및 인덱스 영상의 추출시간 중 하나 이상의 정보로 이루어진 수술 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 인덱스 영상은 상기 이벤트 발생 시점보다 앞선 이전의 일정 시간에서부터 상기 이벤트 발생 시점 이후의 일정 시간까지의 구간을 대상으로 하는 수술 영상인 수술 영상 처리 방법.
  8. 제 1 항에 있어서,
    상기 인덱스 영상은 상기 이벤트 발생 시점에서부터 상기 이벤트 발생 시점 이후의 일정 시간까지의 구간을 대상으로 하는 수술 영상인 수술 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 인덱스 영상과 상기 인덱스 영상이 포함되는 수술 영상 사이에 링크를 설정하는 단계를 더 포함하는 수술 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 인덱스 영상의 링크 정보를 클릭함으로써, 링크가 설정된 수술 영상을 검색하는 단계를 더 포함하는 수술 영상 처리 방법.
  11. 수술실 내의 카메라 및 모니터와 연동하여, 수술 영상을 처리하는 장치에 있어서,
    상기 카메라를 통해 제공되는 수술 영상을 저장하는 메모리;
    수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈;
    특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈; 및
    상기 수술 영상과 상기 인덱스 영상을 개별적으로 저장하는 영상 관리 모듈을 포함하는 수술 영상 처리 장치.
  12. 제 11 항에 있어서,
    상기 인덱스 영상을 표시하는 디스플레이를 더 포함하는 수술 영상 처리 장치.
  13. 제 12 항에 있어서,
    상기 인덱스 영상과 상기 인덱스 영상이 포함되는 수술 영상 사이에 링크를 설정하고, 상기 인덱스 영상의 링크 정보를 클릭함으로써, 링크가 설정된 수술 영상을 검색하는 링크 관리 모듈을 더 포함하는 수술 영상 처리 장치.
  14. 수술실 내의 카메라와 모니터, 원격의 서버와 연동하여, 수술 영상을 처리하는 장치에 있어서,
    상기 카메라를 통해 제공되는 수술 영상을 임시 저장하는 메모리;
    수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈;
    특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈;
    상기 수술 영상과 상기 인덱스 영상을 상기 서버로 전송하여 저장하는 영상 관리 모듈을 포함하는 수술 영상 처리 장치.
  15. 수술 영상을 처리하는 장치에 있어서,
    수술 영상을 촬영하는 카메라;
    상기 카메라를 통해 제공되는 수술 영상을 저장하는 메모리;
    수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈;
    특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈; 및
    상기 수술 영상과 상기 인덱스 영상을 개별적으로 저장하는 영상 관리 모듈을 포함하는 수술 영상 처리 장치.
  16. 원격의 서버와 연동하여, 수술 영상을 처리하는 장치에 있어서,
    수술 영상을 촬영하는 카메라;
    상기 카메라를 통해 제공되는 수술 영상을 임시 저장하는 메모리;
    수술 과정에 특정 이벤트가 발생하는지 여부를 판단하는 이벤트 관리 모듈;
    특정 이벤트가 발생하는 경우에, 상기 이벤트에 관한 인덱스 정보를 생성하고, 상기 이벤트 발생 시점을 기준으로 인덱스 영상을 추출하는 인덱스 처리 모듈;
    상기 수술 영상과 상기 인덱스 영상을 상기 서버로 전송하여 저장하는 영상 관리 모듈을 포함하는 수술 영상 처리 장치.
KR1020170079008A 2017-06-22 2017-06-22 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치 KR20190000107A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170079008A KR20190000107A (ko) 2017-06-22 2017-06-22 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170079008A KR20190000107A (ko) 2017-06-22 2017-06-22 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190111757A Division KR102200884B1 (ko) 2019-09-09 2019-09-09 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190000107A true KR20190000107A (ko) 2019-01-02

Family

ID=65021801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170079008A KR20190000107A (ko) 2017-06-22 2017-06-22 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190000107A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125294A (ko) * 2019-04-26 2020-11-04 주식회사 메디씽큐 전자적 루페 장치 및 이를 이용한 진단 방법
JP2022540169A (ja) * 2019-07-11 2022-09-14 シーエムアール・サージカル・リミテッド 外科用ロボットシステムからのデータの修正

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125294A (ko) * 2019-04-26 2020-11-04 주식회사 메디씽큐 전자적 루페 장치 및 이를 이용한 진단 방법
JP2022540169A (ja) * 2019-07-11 2022-09-14 シーエムアール・サージカル・リミテッド 外科用ロボットシステムからのデータの修正

Similar Documents

Publication Publication Date Title
JP7387185B2 (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
US20200058384A1 (en) Medical information management apparatus, medical information management method, and medical information management system
JP2020519362A (ja) ドングルを使用することによって医療システムをネットワークコントローラとペアリングするためのシステム
US20190238791A1 (en) Surgical Visualization And Recording System
JPWO2019181432A1 (ja) 手術支援システム、情報処理装置、及びプログラム
EP3677208A1 (en) Medical information processing device and information processing method
US11830614B2 (en) Method and system for optimizing healthcare delivery
JP2022540169A (ja) 外科用ロボットシステムからのデータの修正
CN106407727A (zh) 手术室可视化数据处理终端
CN109475284B (zh) 内窥镜系统、终端装置、服务器以及发送方法
JP4900551B2 (ja) 標準的治療プログラムに同期した医療情報処理装置
CN106777904B (zh) 远程可视化数据交互方法
CN112818959A (zh) 手术流程识别方法、装置、系统及计算机可读存储介质
KR20190000107A (ko) 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
US11483515B2 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
WO2017187676A1 (ja) 制御装置、制御方法、プログラム及び音出力システム
CN207039767U (zh) 一种医用家属谈话系统
KR102200884B1 (ko) 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
JP2006268698A (ja) 類似症例表示装置、及び類似症例表示プログラム
KR101906398B1 (ko) 실시간 객체추적을 이용한 내시경 진료정보 공유 방법
CN111028937A (zh) 一种实时远程听诊方法及系统
CN206209723U (zh) 手术室可视化数据处理终端
US12027250B2 (en) Medical information processing apparatus and information processing method
CN114007046B (zh) 显示屏与视频源设备的匹配方法、中控设备及服务器
CN104573293B (zh) 一种医学应用的调整方法、装置和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent