KR20200050262A

KR20200050262A - 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법

Info

Publication number: KR20200050262A
Application number: KR1020180133081A
Authority: KR
Inventors: 김덕석
Original assignee: 주식회사 엠티이지
Priority date: 2018-11-01
Filing date: 2018-11-01
Publication date: 2020-05-11

Abstract

본 발명은 멀티미디어 수술기록 콘텐츠 생성 장치에 관한 것으로서, 상기 멀티미디어 수술기록 콘텐츠 생성 장치는 수술영상 데이터를 저장하고 있는 저장부. 명령이나 데이터가 입력되는 사용자 입력부, 그리고 상기 저장부 및 상기 사용자 입력부에 연결되어 있어, 상기 수술영상 데이터를 정해진 시간 단위로 분할하여 복수 개의 단위 수술 영상을 생성하여 상기 저장부에 저장하고, 상기 복수 개의 단위 수술 영상과 상기 사용자 입력부를 통해 입력되는 수술내용 및 상기 수술 내용을 이용하여 수술 기록지를 생성하는 제어부를 포함한다.

Description

멀티미디어 수술기록 콘텐츠 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING MULTIMEDIA SURGERY RECORD CONTENTS}

본 발명은 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법에 관한 것이다.

멀티미디어 기술이 급진적으로 발전하여 다양한 분야에 활용됨에 따라 의료 분야에서도 이러한 멀티미디어 기술을 적용하여 환자들의 수술 장면을 동영상으로 제작하여 다양한 목적으로 사용되고 있다.

수술 장면이 동영상으로 녹화되면 테이프나 메모리와 같은 저장 매체에 저장되어 보관 및 관리되어 필요 시 수술 장면을 확인할 수 있도록 한다.

또한, 수술이 행해질 때, 의사들은 수술 과정 중 발생한 특이점, 수술 진행 과정, 수술 중에 행해진 동작, 및 환자 상태 등에 대한 기록을 진행하게 된다. 이러한 수술 기록은 주로 종이 차트로 이루어져 보관된다.

하지만, 이러한 수술에 관련 동영상과 수술 기록에 대한 관리와 보관에 많은 시간과 공간이 필요하여 경제적인 부담이 발생하고, 수술 기록을 참고하여 관련 동영상을 검색하기에 많은 어려움과 불편함이 발생한다.

한국공개특허공보 제2012-0088317호

본 발명이 해결하려는 과제는 수술에 관련된 수술 기록지의 작성의 편리성을 높이기 위한 것이다.

본 발명이 해결하려는 다른 과제는 수술 기록지의 활용 및 관리의 효율성을 높이기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 한 특징에 따른 멀티미디어 수술기록 콘텐츠 생성 장치는 수술영상 데이터를 저장하고 있는 저장부, 명령이나 데이터가 입력되는 사용자 입력부, 그리고 상기 저장부 및 상기 사용자 입력부에 연결되어 있어, 상기 수술영상 데이터를 정해진 시간 단위로 분할하여 복수 개의 단위 수술 영상을 생성하여 상기 저장부에 저장하고, 상기 복수 개의 단위 수술 영상과 상기 사용자 입력부를 통해 입력되는 수술내용 및 상기 수술 내용을 이용하여 수술 기록지를 생성하는 제어부를 포함한다.

상기 제어부는 상기 수술내용에 대응하는 단위 수술 영상이 상기 사용자 입력부를 통해 선택되면, 상기 수술내용에 대응하게 선택된 단위 수술 영상을 링크시킬 수 있다.

상기 제어부는 상기 수술영상 데이터를 이용하여 이벤트가 발생했는지 판단하고, 상기 이벤트가 발생하면 발생된 상기 이벤트에 대한 이벤트 인덱스 정보를 생성하여 상기 저장부에 저장할 수 있다.

상기 이벤트는 출혈일 수 있다.

상기 이벤트 인덱스 정보는 이벤트가 발생한 시간, 발생된 이벤트의 종류, 이벤트 관련 정보 및 이벤트 발생 시 이벤트 발생 위치에 대한 수술영상 데이터를 포함할 수 있다.

상기 저장부는 상기 수술영상 데이터에 대응하는 오디오 데이터를 추가로 저장할 수 있고, 상기 제어부는 상기 오디오 데이터 중에서 상기 단위 수술 영상에 대응하는 오디오 데이터를 분할하여 단위 오디오를 생성할 수 있다.

상기 제어부는 선택된 단위 수술 영상에 대응하는 단위 오디오를 추가로 링크시킬 수 있다.본 발명의 다른 특징에 따른 멀티미디어 수술기록 콘텐츠 생성 방법은 제어부는 정해진 시간이 경과했는지를 판단하는 단계, 상기 제어부는 정해진 시간이 경과하면 상기 정해진 시간 동안 입력되는 수술영상 데이터를 분할하여 복수 개의 단위 수술 영상으로 생성하는 단계, 상기 제어부는 사용자 입력부를 통해 수술내용이 입력되는지 판단하는 단계, 상기 제어부는 상기 수술내용이 입력되면 입력되는 수술내용을 저장부에 저장하는 단계, 상기 제어부는 상기 복수 개의 단위 수술 영상 중에서 상기 수술 내용에 대응하는 단위 수술 영상이 선택되는지 판단하는 단계, 상기 제어부는 상기 수술 내용에 대응하는 단위 수술 영상이 선택되면, 상기 수술 내용에 대응되게 선택된 단위 수술 영상을 링크시키는 단계, 그리고 상기 제어부는 사용자 입력부를 통해 수술 기록지 생성 신호가 입력되는 지 판단하는 단계, 그리고 상기 제어부는 상기 수술 기록지 생성 신호가 입력된 상태로 판단되면, 상기 수술내용 및 이에 대응하는 링크된 단위 수술 영상을 포함하는 수술 기록지를 생성하는 단계를 포함한다.

상기 특징에 따른 멀티미디어 수술기록 콘텐츠 생성 방법은 상기 제어부는 수술영상 데이터를 이용하여 이벤트가 발생했는지 판단하는 단계, 그리고 상기 제어부는 상기 이벤트가 발생한 상태로 판단되면, 발생된 상기 이벤트에 대한 이벤트 인덱스 정보를 생성하여 상기 저장부에 저장하는 단계를 더 포함할 수 있다.

상기 이벤트는 출혈일 수 있다.

상기 단위 수술 영상의 생성 단계는 오디오 데이터 중에서 상기 단위 수술 영상에 대응하는 오디오 데이터를 분할하여 단위 오디오를 생성할 수 있다.

상기 단위 수술 영상을 링크시키는 단계는 선택된 단위 수술 영상에 대응하는 단위 오디오를 링크시킬 수 있다.

이러한 본 발명의 특징에 따르면, 입력된 수술내용에 생성된 단위 수술 영상과 단위 오디오를 이용하여 수술 기록지가 생성되어 저장부에 저장되므로, 수술 기록지의 관리 동작에 편리하고 효율적으로 이루어진다.

또한, 관리자는 종이로 이루어진 수술 기록지를 작성할 필요없이 사용자 입력부를 통해 수술내용과 이에 관련된 수술 영상의 링크 동작만으로 수술 기록지의 생성이 완료되므로, 관리자의 편리성이 향상된다.

촬영된 수술 동영상이 복 수개의 단위 수술 영상과 단위 오디오로 나눠져 원하는 단위 수술 영상만을 관리자가 선택하여 이용할 수 있으므로, 추가적으로 수술 동영상을 수동으로 편집해야 하는 불편함과 시간 낭비가 제거된다.

또한, 수술 기록지의 작성을 위해, 수술내용을 입력할 때, 시간순으로 표시되는 단위 수술 영상과 단위 오디오 중 원하는 단위 수술 영상과 단위 오디오를 재생하면서 수술 과정을 복기할 수 있으므로, 수술 기록지의 정확도가 향상된다.

수술 기록지 작성을 위해 수술내용을 입력할 때, 수술 시 주요 장면에 대한 영상이 제시되므로, 수술내용의 기재에 대한 정확도가 향상된다.

더욱이, 수술내용에 관련된 동영상도 함께 링크되어 있으므로, 해당 수술내용에 관한 동영상을 용이하고 신속하게 확인하게 되고, 수술 현장의 상황 판단을 신속하게 할 수 있도록 한다.

수술 과정과 단계별 동영상이 링크되어 있으므로, 수술 요약 동영상의 제작이 용이하고, 교육용으로의 사용이 용이하다.

또한, 해당 수술내용에 관련된 동영상을 검색하기 위해 촬영된 수술 영상을 순차적으로 확인할 필요가 없고, 중요한 수술 동작과 관련된 무의미한 수술 영상의 확인이 불필요하므로, 불필요한 시간 낭비가 크게 줄어든다.

도 1은 본 발명의 한 실시예에 따른 멀티미디어 수술기록 콘텐츠 생성 장치의 개략적인 블록도이다.
도 2는 본 발명의 한 실시예에 따른 멀티미디어 수술기록 콘텐츠 생성 장치의 동작 순서도이다.
도 3는 도 2에 도시한 이벤트 인덱스 정보 및 단위 수술 영상 생성 루틴의 상세 순서도이다.
도 4a 및 도 4b는 도 2에 도시한 수술 기록지 생성 루틴의 상세 순서도이다.
도 5 내지 도 7은 본 발명의 한 실시예에 따른 멀티미디어 수술기록 콘텐츠 생성 장치의 동작 상태에 따른 하면 출력 상태를 예를 도시한 도면으로서, 도 5은 녹화 시작 화면의 한 예를 도시한 도면이고, 도 6은 수술 기록 입력 화면의 한 예를 도시한 도면이며, 도 7은 생성된 수술 기록지의 한 예를 도시한 도면이다.
도 8은 본 발명의 한 실시예에 따른 멀티미디어 수술기록 콘텐츠 생성 장치에 따라 유의미 프레임을 선별하기 위한 화면의 한 예이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명하는데 있어서, 해당 분야에 이미 공지된 기술 또는 구성에 대한 구체적인 설명을 부가하는 것이 본 발명의 요지를 불분명하게 할 수 있다고 판단되는 경우에는 상세한 설명에서 이를 일부 생략하도록 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명의 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 해당 분야의 관련된 사람 또는 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 '포함하는'의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 한 실시예에 따른 멀티미디어 수술기록 콘텐츠 생성 장치 및 방법에 대해서 설명하도록 한다.

먼저, 도 1에 도시한 것처럼, 본 발명의 한 실시예에 따른 멀티미디어 수술기록 콘텐츠 생성 장치(1)는 카메라(10), 사용자 입력부(20), 카메라(10)와 사용자 입력부(20)에 연결되어 있는 제어부(30), 제어부(30)에 연결되어 있는 저장부(40), 제어부(30)에 연결되어 있는 출력부(50) 및 제어부(30)에 연결되어 있는 통신부(60)를 구비한다.

카메라(10)는 수술이 이루어지는 수술 대상자의 수술 부위를 촬영하여 동영상(이하, 이 동영상을 '수술 동영상'이라 함)을 생성한 후, 생성된 수술 동영상에 관련된 비디오 정보인 영상 데이터(이하, 이 영상 데이터를 '수술영상 데이터'라 함)와 오디오 정보인 오디오 데이터를 제어부(30)로 출력한다. 이때, 카메라(10)는 수술 동영상이 획득되는 시간 정보도 함께 획득하여 수술 동영상과 함께 시간 정보도 제어부(30)로 출력한다.

본 예에서, 수술 부위는 사람의 심장, 위치, 폐 또는 간 등과 같은 신체 장기일 수 있다. 또한, 수술 대상자는 사람에 한정되지 않고 동물과 같이 사람이 아닐 수도 있다.

본 예에서, 카메라(10)는 CCD(charge coupled device)와 같이 이미지 센서와 마이크를 구비하는 카메라일 수 있다.

사용자 입력부(20)는 사용자가 멀티미디어 수술기록 콘텐츠 생성 장치(1)의 동작 제어를 위한 명령 입력이나 데이터 입력 등과 같은 입력 동작에 관련된 신호를 발생시켜 제어부(30)로 출력한다.

이러한 사용자 입력부(20)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(touch pad), 조그(jog) 스위치 또는 마우스(mouse) 등으로 구성될 수 있다.

제어부(30)는 카메라(10)로부터 전송되는 수술 동영상을정해진 시간 단위로 분할하여 수술 영상을 단위 수술 영상(즉, 비디오 클립)과 단위 오디오로 분할하고, 또한, 지정된 이벤트가 발생될 때마다 이벤트 인덱스 정보(event index information)를 생성한다. 이를 위해, 제어부(30)는 카메라(10)로부터 입력되는 수술 동영상을 수술영상 데이터와 오디오 데이터로 분할하여 각각 저장부(40)에 저장할 수 있다.

그런 다음, 제어부(30)는 단위 수술 영상, 단위 오디오, 이벤트 인덱스 정보 및 수술자와 같은 관리자에 의해 입력된 수술에 관련된 내용인 수술 내용을 이용하여, 수술 기록지의 생성과 관리를 제어한다.

저장부(40)는 멀티미디어 수술기록 콘텐츠 생성 장치(1)의 동작에 관련된 데이터, 동작 중에 생성된 데이터 및 현재 수술을 받고 있는 수술 대상자의 정보(즉, 수술 대상자 정보) 등이 저장되는 저장 매체로서, 메모리(memory)로 이루어질 수 있다. 이때, 수술 대상자 정보는 환자명, 환자 식별번호(PID), 성별, 인종, 나이 및 생년월일을 구비할 수 있다.

이때, 저장부(40)는 수술 동영상에 관련된 수술영상 데이터를 프레임 단위로 저장하는 프레임 메모리를 구비할 수 있다.

또한, 저장부(40)는 수술 기록지의 생성 및 관리를 위해 출력부(50)로 출력되는 화면에 관련된 영상 데이터도 저장하고 있다.

출력부(50)는 제어부(30)의 제어에 따라 제어부(30)에서 출력되는 영상 데이터에 해당하는 영상을 화면에 표시하고, 생성된 수술 기록지를 출력한다.

이로 인해, 출력부(50)는 멀티미디어 수술기록 콘텐츠 생성 장치(1)의 동작 모드에 따라 사용되는 UI(user interface)나 GUI(graphic user interface)가 표시된다.

이러한 출력부(50)는 액정 디스플레이(liquid crystal display), 유기 발광 표시 장치(organic light emitting diode display), 플렉시블 디스플레이(flexible display) 및 3차원 디스플레이(3D display) 중에서 적어도 하나의 표시 장치를 포함한다.

본 예에서, 출력부(50)가 영상 표시를 위한 구조뿐만 아니라 터치 동작을 감지하는 센서[이하, '터치 센서(touch sensor)'라 함]가 상호 레이어 구조(layered structure)를 이루는 경우(이하, '터치 스크린'이라 함), 출력부(50)는 영상을 출력하는 출력 장치 이외에 사용자 입력부(20)와 같은 입력 장치로 기능한다. 터치 센서는, 예를 들어, 터치 필름(touch film), 터치 시트(touch sheet), 터치 패드(touch pad) 등의 형태를 가질 수 있다.

따라서, 제어부(30)는 손가락 등이나 사용자 입력부(20)의 동작에 따른 터치 동작에 대응되게 입력되는 사용자 입력부(20)의 신호에 의해 터치 여부뿐만 아니라 터치 위치도 판정하게 된다.

통신부(60)는 개인용 컴퓨터나 휴대용 단말 등과 같은 외부 기기와의 통신을 위한 것으로서, 인터넷 모듈 및 근거리 통신 모듈 중 적어도 하나를 구비할 수 있다.

인터넷 모듈은 무선 또는 유선 인터넷 접속을 위한 모듈을 말하는 것으로, 인터넷 모듈은 수술 기록지 생성 장치(1)에 내장되거나 외장될 수 있다.

인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi 네트워크), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access) 또는 HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈은 근거리 통신을 위한 모듈이고, 근거리 통신 기술로는 NFC, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association) 또는 UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.

또한, 수술 기록지 생성 장치(1)는 USB 단자를 구비할 수 있고, 이 경우, USB 단자를 이용한 USB 통신을 실시할 수 있다.

이러한 구조를 갖는 수술 기록지 생성 장치(1)의 동작은 다음과 같다.

일반적으로 수술의 시작과 함께 카메라(10)의 동작이 시작되어 수술 과정에 관련된 동영상의 촬영이 이루어진다.

멀티미디어 수술기록 콘텐츠 생성 장치(1)는 동작에 필요한 전원이 공급되면 동작이 시작된다.

따라서, 멀티미디어 수술기록 콘텐츠 생성 장치(1)의 제어부(30)의 동작이 시작되면(S1), 제어부(30)는 카메라(10)를 동작시키고 카메라(10)에 의해 촬영된 수술 동영상을 이용하여 수술 중 특정한 이벤트가 발생할 때마다 이를 감지하여 이벤트 인덱스 정보를 생성하고, 또한 수술영상 데이터와 오디오 데이터를 설정 시간 단위로 분할하여 설정 시간 동안의 수술 영상과 오디오를 단위 수술 영상과 단위 오디오로 분할하여 복수 개의 단위 수술 영상과 단위 오디오를 생성하는 이벤트 인덱스 정보 및 단위 수술 영상 생성 루틴(S10)을 실시한다.

그럼 다음, 제어부(30)는 생성된 이벤트 인덱스 정보와 복수 개의 단위 수술 영상 및 단위 오디오를 이용하여 수술 기록지를 생성하는 수술 기록지 생성 루틴(S20)을 실시한다.

먼저, 도 3을 참고로 하여, 이벤트 인덱스 정보 및 단위 수술 영상 생성 루틴(S20)에 대하여 설명한다.

도 3을 참고로 하면, 제어부(30)는 저장부(40)에 저장되어 있는 녹화 시작 화면에 관련된 영상 데이터를 출력부(50)로 출력하여 출력부(50)에 도 5에 도시한 것과 같은 녹화 시작 화면(도 5 참고)을 출력하고(S11), 사용자 입력부(20)를 통해 녹화 시작 버튼(B11)이 선택되는 것과 같이 비디오 정보와 오디오 정보를 구비하는 수술 동영상의 녹화 시작 동작이 이루어졌는지 판단한다(S12).

도 5에 도시한 것처럼, 녹화 시작 화면에는 수술 대상자 정보(환자명, 환자 식별번호(PID), 성별, 인종, 나이, 생년월일), 의료진 정보(진료과, 집도의, 보조의, 마취의), 수술명, 수술전진단 및 수술후진단 중 적어도 하나가 출력될 수 있고, 이들 수술 대상자 정보 및 의료진 정보는 이미 저장부(40)에 저장되어 있을 수 있다. 따라서, 제어부(30)는 저장부(40)에 저장된 데이터를 이용하여 녹화 시작 화면에 이들 정보를 출력할 수 있다.

또한, 수술명, 수술전진단 및 수술후진단은 사용자 입력부(20)를 통해 관리자에 입력될 수 있다.

하지만, 이러한 수술 동영상의 녹화 시작은 음성 인식을 이용한 음성 명령을 통해 이루어져 비디오 클립과 동영상이 생성될 수 있다.

다음, 사용자 입력부(20)로부터 인가되는 신호에 의해 수술자와 같은 관리자에 의해 녹화 시작 버튼(B11)이 동작된 상태로 판단되면(S12), 제어부(30)는 카메라(10)로 구동 신호를 출력하여 카메라(10)의 촬영 동작이 이루어질 수 있도록 한다(S13).

따라서, 카메라(10)는 제어부(30)로부터 인가되는 구동 신호에 따라 동작을 시작하여, 수술 동작에 관련된 동영상인 수술 동영상을 촬영하여 수술 동영상에 해당하는 수술영상 데이터와 오디오 데이터를 제어부(30)로 순차적으로 출력한다.

이러한 카메라(10)의 촬영 동작에 의해 카메라(10)로부터 수술영상 데이터와 오디오 데이터가 입력되면, 제어부(30)는 입력되는 수술영상 데이터과 오디오 데이터를 입력받아 전송되는 시간 정보와 함께 순차적으로 저장부(40)에 저장된다(S14).

이처럼, 제어부(30)는 카메라(10)로부터 수술 동영상이 입력되면, 출력부(50)의 화면 상태를 녹화 진행 화면(도시하지 않음)으로 변경하여 현재 입력되는 수술 동영상에 관련된 수술 영상이 실시간으로 출력될 수 있다.

따라서, 관리자는 출력부(50)에 출력되는 수술 영상을 확인하여, 현재 수술 진행 상황을 실시간으로 확인하게 된다.

다음, 제어부(30)는 저장되어 있는 수술 영상 데이터뿐만 아니라 오디오 데이터인 수술 동영상을 이용하여 수술 중에 발생한 이벤트를 판정한다(S15).

본 예에서, 판정하는 이벤트의 종류는 출혈 검출, 컬러 분석 결과, 명암 분석 결과, 수술 도구의 출몰, 의사의 명령, 수술 장면의 변화 및 수술 과정의 약품 투입에 따른 안개 발생(blurred or fogging) 등의 사안 중 적어도 하나일 수 있다.

이를 위해, 제어부(30)는 수술영상 데이터를 이용하여 수술 부위의 색상 변화를 검출하여 수술 부위에 대한 출혈을 검출한다,

본 예의 수술영상 데이터는 적색용 화소, 녹색용 화소 및 청색용 화소를 구비하고 있고, 이들 각 화소는 촬영된 부분의 색상에 따라 해당 크기의 계조값을 구비한다. 따라서, 출혈을 검출하기 위한 하나의 예로서, 적색용 화소의 계조값의 변화를 판정하여 적색용 화소의 계조값의 증가가 설정값 이상인 경우, 해당 부위에 출현이 발생한 것으로 판정한다.

따라서, 이러한 적색용 화소의 계소값의 변화를 이용하여, 제어부(30)는 프레임을 분석하여 출혈 검출을 실시하여, 출혈 발생, 출혈 시작 시간, 출현 종료 시간, 출혈 속도 및 출혈량과 같은 출혈에 관한 정보(예, 출혈 정보)를 산출할 수 있다.

또한, 수술 도구의 출몰 검색을 위해, 제어부(30)는 머신 러닝 동작을 통해 오브젝트(object)를 분석하거나 처리 효율성 제고를 위해 라인 필터(line filter)를 이용하여 프레임 내 직선도를 사용할 수 있다.

의사 명령 등의 오디오 검색은 촬영된 동영상에 포함된 오디오 데이터를 분석하여 행해지며, 이때 제어부(30)는 이미 저장부(40) 등에 저장되어 있는 특정 음성[예, 메스(mes), 셕션(suction)]과 비교하여 수술 동영상에서 특정 음성과 동일한 음성을 감지하거나, 음성을 문자로 변환한 후 특정 단어를 감지하여 감지 시간과 함께 저장하게 된다.

컬러 분석, 명암 분석 및 이상 형태소 검색은 각각 프레임을 분석하여 행해지며, 동영상의 색상(hue, H), 채도(saturation, S) 및 명도(intensity, I)를 이용하여 검색될 수 있다. 이때, 컬러 분석은 자동으로 처리 영역을 설정하거나, 수술 부위에 대한 후보 영역으로 검출될 수 있다. 수술 장면의 변화는 수술 동영상에서의 장면 변화 검색의 방법인 히스토그램 거리 탐지 방법 등이 이용될 수 있고, 수술 과정의 약품 투입에 따른 안개 발생은 관심 영역에서 채도(S) 및 명도(I) 비율의 시간 변화량을 측정하여 검출할 수 있다.

이와 같이, 원하는 이벤트가 검색하면, 제어부(30)는 발견된 이벤트의 상태에 관한 정보(예, 이벤트의 종류, 발견 시점, 발견된 이벤트의 크기, 형태 및 색상 중 적어도 하나))를 산출할 수 있다.

이처럼, 수술 동영상에서 이벤트가 나타나면, 제어부(30)는 발생된 이벤트에 관련된 이벤트 인덱스 정보를 생성하여 저장부(40)에 저장한다(S17).

이때, 이벤트 인덱스 정보는 이벤트가 발생한 시간(예, 촬영 시간), 발생된 이벤트의 종류, 이벤트 관련 정보 및 이벤트가 발생할 때 이벤트가 발생한 위치(이벤트 발생 위치)에 대한 수술영상 데이터를 구비한다.

본 예에서, 이벤트 발생 판정 동작은 정해진 시간 간격으로 행해질 수 있다.

이벤트 인덱스 정보는 수술 교육 동영상 제작에 사용되거나 세미나용 요약 동영상으로 사용되기 위한 수술 동영상의 요약 동작, 멀티미디어 기반의 수술 기록 검색 동작 및 동영상 기반 자동 수술 기록지 생성 동작 등 적어도 하나의 동작에 이용될 수 있다.

이처럼, 입력되는 수술영상 데이터와 오디오 데이터에 대한 이벤트 판정 동작이 이루어진 후, 제어부(30)는 사용자 입력부(20)로부터 인가되는 신호를 판정하여, 도시하지 않은 녹화 진행 화면 등에 위치하는 녹화 종료 버튼 등의 선택 동작에 의해 녹화 종료 동작이 이루어졌는지 판단한다(S18).

이때, 수술 동영상의 녹화 종료 동작 역시 음성 인식을 이용한 음성 명령을 통해 이루어질 수 있다.

녹화 종료 동작이 이루어지 않는 상태이면(S18), 제어부(30)는 단계(S14)로 넘어가 계속해서 입력되는 수술 동영상의 처리 동작을 실시한다.

다시, 단계(S16)로 넘어가, 입력된 수술 동영상에 이벤트가 발생한 상태가 아닌 경우, 제어부(30)는 내부의 타이머(도시하지 않음) 등을 통해 계수된 시간이 설정 시간을 경과했는지를 판단한다(S19).

따라서, 수술 동영상이 입력된 후 설정 시간이 경과하면(S19), 제어부(30)는 설정 시간 동안 입력된 수술영상 데이터와 오디오 데이터를 분할하여, 분할된 수술영상 데이터과 오디오 데이터에 관련된 수술 영상을 단위 수술 영상과 단위 오디오로서 저장부(40)에 촬영 시간과 함께 각각 저장한다. 그런 다음, 제어부(30)는 계수된 시간을 '0'으로 초기화시킨 후 다시 시간의 계수를 실시한다.

이러한 제어부(30)의 동작에 의해, 카메라(10)로부터 입력되는 수술영상 데이터와 오디오 데이터는 설정 시간 단위로 분할되어 복수 개의 단위 수술 영상과 단위 오디오가 생성된다.

그런 다음, 제어부(30)는 단계(S18)로 넘어가 사용자 입력부(20)로부터 녹화의 종료 동작이 이루어졌는 지 판단하여, 카메라(10)로부터 수술 동영상이 실시간으로 입력되는 지 판단한다.

이와 같이, 제어부(30)는 카메라(30)로부터 입력되는 수술 동영상의 상태를 판정하여 이벤트가 발생할 때마다 이벤트 인덱스 정보를 생성하고, 또한, 설정 시간마다 단위 수술 영상 및 단위 오디오를 생성하여 저장부(40)에 저장한다.

이로 인해, 저장부(40)에는 카메라(10)로부터 입력되는 수술 영상에 관련된 이벤트 인덱스 정보와 복수 개의 단위 수술 영상 및 단위 오디오가 저장될 수 있고, 이때, 이벤트의 검출이 이루어지지 않을 경우, 이벤트 인덱스 정보는 생성되지 않을 수 있다.

도 3의 경우, 이벤트가 발생했는 지를 판정하는 동작(S14~S17)과 단위 수술 영상 및 단위 오디오를 생성하는 동작(S14~S16, S19, S110)이 순차적으로 이루어지지만, 이와 달리, 이벤트가 발생했는 지를 판정하는 동작과 단위 수술 영상 및 단위 오디오를 생성하는 동작은 별개의 루틴으로 행해질 수 있다.

위에 기재한 제어부(30)는 카메라(10)의 촬영 동작을 통해 실시간으로 입력되는 동영상을 이용하여 단위 수술 영상과 단위 오디오를 생성하지만, 이와 달리, 수술의 시작부터 종료 시점까지의 수술 동영상 촬영이 모두 완료된 후 저장부(40)에 저장되어 있는 수술 동영상을 이용하여 수술이 완료된 후에 단위 수술 영상과 단위 오디오의 생성 동작을 실시할 수 있다.

이런 경우, 동영상의 녹화 시작을 위한 녹화 시작 동작 판정과 녹화 종료를 위한 녹화 종료 동작 판정은 불필요하다.

이와 같이, 이벤트 인덱스 정보 및 단위 수술 영상 생성 동작이 완료되면, 제어부(30)는 수술 기록지 생성 루틴(S20)을 실시한다.

다음, 도 4a 및 도 4b를 참고로 하여, 수술 기록지 생성 루틴(S20)의 동작을 설명한다.

도 4a에 도시한 것처럼, 제어부(30는 저장부(40)에 저장되어 있는 영상 데이터과 단위 오디오를 이용하여 수술 기록 입력 화면을 출력부(50)로 출력한다(S21).

이때, 제어부(30)는 저장부(40)에 저장되어 있는 각 단위 수술 영상과 이에 대응하는 단위 오디오를 순차적으로 표시한다.

수술 기록 입력 화면의 한 예는 도 6과 같고, 도 6에 도시한 것처럼, 수술 기록 입력 화면에는 단위 수술 영상이 입력되는 수술 영상 표시 영역(AR11), 기술 내용이 입력되는 수술 내용 기록 영역(AR12), 관리자에 의해 선택된 단위 수술 영상이 저장되는 파일 첨부 영역(AR13) 및 해당 첨부 파일의 시간이 표시되는 해당 시간 영역(AR14)을 구비하며, 또한, 미리보기 버튼(B21), 저장 버튼(B22) 및 내보내기 버튼(B23)으로 이루어진 사용자 선택 버튼을 구비한다.

제어부(30)는 분할된 단위 수술 영상 중에서 이벤트의 발생으로 인한 이벤트 정보와 이에 관련된 인덱스 정보가 존재하는 프레임의 영상을 검출해 각 단위 수술 영상의 대표 프레임 영상으로 추출하여 각 단위 수술 영상에 대응되게 구획되어 있는 수술 영상 표시 영역(AR11)의 해당 구역에 대표 프레임 영상을 출력한다.

이로 인해, 관리자는 수술 영상 표시 영역(AR11)의 각 구역에 표시되는 영상만으로도 단위 수술 영상을 재생하지 않아도 외부로 표시되는 대표 프레임 영상만으로도 단위 수술 영상 속에 어떤 이벤트가 발생했는지를 용이하고 정확하게 확인할 수 있게 된다. 이때, 각 대표 프레임 영역으로 기능하는 해당 이벤트와 이에 관련된 인덱스 정보는 고유의 특정 시간 영역을 갖고 있으므로, 중복 회피 및 중요도 산정 방법 등에 의해 정보는 수술 동영상 요약, 멀티미디어 기반 수술 기록 검색 및 동영상 기반 자동 수술 기록지 생성 중 적어도 하나에 이용될 수 있다.

또한, 수술 영상 표시 영역(AR11)에는 수술 정보의 출력을 위한 수술정보탭(수술정보), 인덱스 정보의 출력을 위한 인덱스 탭(INX), 비디오 클립을 출력하기 위한 클립탭(Clip) 및 단위 오디오의 출력을 위한 음성 UI인 VAD(voice audio detect) 탭(VAD)를 구비하고 있다.

도 6의 인덱스 탭(INX)은 이벤트 검출로 인해 작성된 인덱스 정보의 목록을 나열하는 부분이고, 클립탭(Clip)는 분할된 단위 수술 영상의 목록이 나열되는 부분이며, VAD탭은 단위 수술 영상에 대응되게 분할된 단위 오디오의 목록이 나열되는 부분이다.

따라서, 해당 탭이 선택되면 선택된 탭에 해당하는 내용의 목록이 출력되고, 이로 인해, 사용자 입력부(20)를 이용하여 출력된 목록 중 원하는 목록을 선택하여 재생이나 출력할 수 있다.

이때, 미리보기 버튼(B21)는 현재 수술 기록 입력 화면에 대응하는 생성될 수술 기록지를 미리 보기 위한 버튼이고, 저장 버튼(B22)은 현재 수술 기록 입력 화면에 관련된 내용을 저장부(40)에 저장하기 위한 버튼이다. 또한, 내보내기 버튼(B23)은 수술 기록지를 생성하기 위한 버튼이다.

다음, 제어부(30)는 사용자 입력부(20)로부터 인가되는 신호를 판독하여 사용자 입력부(20)를 통해 수술 내용이 입력되는 지 판단한다(S22).

사용자 입력부(20)의 동작에 의해 수술 내용 기록 영역(AR12)에 기록되는 수술 내용이 입력되면, 제어부(30)는 수술 내용 기록 영역(AR12)의 해당 위치에 입력되는 수술 내용을 표시하며, 수술 내용이 표시되는 위치 정보와 함께 입력된 수술 내용을 저장부(40)에 저장한다(S23).

또한, 제어부(30)는 관리자의 터치 동작이나 사용자 입력부(20)를 이용한 해당 단위 수술 영상에 대한 드래그(drag) 동작이 행해진 상태로 판단되면(S24), 제어부(30)는 관리자에 의해 선택된 단위 수술 영상을 해당 영역(예, 파일 첨부 영역)(AR13)에 위치시키고 선택된 단위 수술 영상에 관련된 위치 정보를 수술 내용과 대응되게 저장하여 링크를 설정한다(S25).

이때, 링크되는 단위 수술 영상은 수술 시에 행해진 수술 동작에 관련된 영상일 수 있다.

예를 들어, 도 6에서, 관리자는 사용자 입력부(10)를 이용하여 '개복을 실행하였고'라는 내용을 입력하고, 개복을 실행에 관련된 단위 수술 영상을 드래그하여 해당 파일첨부 영역(AR13)의 해당 위치에 이동시켜 링크 동작을 실시하게 된다.

또한, 사용자 입력부(10)를 이용하여 '맹장을 절제하고'라는 내용을 입력하고, 맹장 절제에 관련된 단위 수술 영상을 해당 파일첨부 영역(AR13)의 해당 위치에 이동시켜 링크시키며, 역시 '봉합하였음'이라는 내용을 입력한 후, 이에 관련된 단위 수술 영상이 해당 위치에 링크된다.

이와 같이, 사용자 입력부(20)를 통해 입력된 수술내용에 관련된 단위 수술 영상이 드래그되면, 제어부(30)는 관련된 단위 수술 영상에 대한 시간 정보를 이용하여 해당 단위 수술 영상의 시간을 해당시간 영역(AR14)에는 산출해 표시한다(S25).

이러한 동작을 통해 수술 내용의 기록이 이루어지는 동안, 제어부(30)는 사용자 입력부(20)로부터 인가되는 신호를 이용하여 사용자 선택 버튼이 동작되었는지 판단한다(S26).

사용자 선택 버튼이 동작된 상태로 판단되면(S26), 제어부(30)는 사용자 입력부(20)로 인가되는 신호를 판독하여 선택된 버튼(B21~B23)의 종류를 판정하고, 판정된 버튼의 종류에 해당하는 동작을 수행한다.

즉, 도 4a 및 도 4b에 도시한 것처럼, 사용자 입력부(20)의 동작에 의해 미리보기 버튼(B21)이 선택된 상태로 판단되면 현재 수술 기록 입력 화면에 입력된 내용에 기초한 수술 기록지를 미리 보여주고(S28, S29), 사용자 입력부(20)의 동작 의해 저장 버튼(B22)이 이루어진 상태로 판단되면(S210), 제어부(30)는 현재의 기록 입력 화면에 관련된 내용을 저장부(40)에 저장한다(S211).

또한, 내보내기 버튼(B23)이 동작되어 사용자 입력부(20)로부터 수술 기록지 생성 신호가 입력된 상태로 판단되면(S212, 제어부(30)는 도 7에 도시한 것과 같은 형태로 현재 수술 기록 입력 화면의 내용에 기초한 수술 기록지를 생성하여 출력부(50)로 출력한다(S213).

수술 기록지의 양식에 관련된 데이터는 이미 저장부(40)에 저장되어 있다.

도 7에 도시한 것처럼, 생성된 수술 기록지는 수술 일자, 환자명, 나이, 성별, 수술명, 수술전 진단, 수술후 진단, 수술 내용 및 수술 내용의 기록 시 저장된 수술 단위 영상을 구비하고 있다. 환자명, 나이, 성별, 수술명, 수술전 진단, 수술후 진단은 이미 저장부(40)에 저장되어 있는 정보이므로, 제어부(30)는 저장부(40)에 저장되어 있는 이들 내용을 읽어와 출력한다. 또한 수술 날짜는 제어부(30)에 내장되어 있는 시계부(도시하지 않음)에 의해 생성되는 정보일 수 있고, 이런 경우, 제어부(30)는 시계부로부터 인가되는 날짜 정보를 수신하여 수술 기록지의 해당 위치에 표시할 수 있다.

또한, 수술 기록지는 저장 버튼(B31)과 취소 버튼(B32)을 구비한다.

이때, 저장 버튼(B31)은 현재 생성된 수술 기록지를 저장하기 위한 것이며, 최소 버튼(B32)는 현재 생성된 수술 기록지의 생성을 취소하기 위한 것이다.

따라서, 제어부(30)는 수술 기록지의 생성이 이루어진 후(S213), 사용자 입력부(20)로부터 인가되는 신호를 이용하여 저장 버튼(B31)이나 취소 버튼(B32)이 동작되었는지 판단한다(S214).

따라서, 저장 버튼(B31)이 동작된 상태로 판단되면, 제어부(30)는 현재 생성된 수술 기록지를 저장부(40)에 저장한다(S215).

반면, 취소 버튼(B32)의 동작된 상태로 판단되면, 제어부(30)는 현재 생성된 수술 기록지의 출력을 출력부(50)로부터 취소하고 바로 이전의 수술 기록 입력 화면을 출력부(50)로 출력한다.

이러한 사용자 선택 버튼 동작은 작업자에 의해 수시로 이루어지므로, 제어부(30)는 수술 기록 입력 화면을 출력 및 제어 동작이 이루어지는 도중에 이러한 사용자 선택 버튼 동작이 발생하면 인터럽트(interrupt) 동작으로 사용자 선택 버튼의 동작에 대응하는 제어를 실시한다.

이러한 동작을 통해 생성된 수술 기록지는 수술 과정에 발생하는 주요 이벤트를 분석하여 자동으로 생성되며, 별도 수기에 의한 작성 및 별도 작성 시간이 필요 없게 된다.

또한, 생성된 수술 기록지의 비디오 및 오디오 등 미디어 데이터를 적극 활용 가능할 수 있으며, 불필요한 비디오와 오디오 등 불필요한 미디어 데이터가 자동으로 제거된다.

이러한 동작을 통해 수술 동영상이 복수 개의 비디오 클립(즉, 단위 수술 영상)이 형성되면, 도 8에 도시한 것과 같이, 이벤트 발생 등과 같이 의미가 있는 프레임인 유의미 프레임을 의사와 같은 관리자가 선택하고 내용을 입력할 수 있거나 자동으로 유의미 프레임이 선별될 수 있다.

이때, 유의미 프레임을 관리자가 선택하여 드래그 동작을 통해 해당 영역으로 이동 동작이 이루어질 때, 출력부(50)에 프레임 별 스크립트 입력창이 출력되므로, 관리자는 자신이 원하는 메모를 입력할 수 있게 된다.

이를 위해, 제어부(30)는 출력부(50)로 단위 수술 영상을 출력한 후, 사용자 입력부(20)의 신호를 이용하여 관리자에 의해 선택된 유의미 프레임 영상을 판정하고, 사용자 입력부(20)를 이용하여 관리자의 드래깅 동작에 따라 해당 영역으로 선택된 유의미 프레임을 이동시킨다. 이때, 이동되는 유의미 프레임에 대응하는 오디오 정보도 함께 이동된다.

이때, 위에 기술한 것처럼, 제어부(30)는 프레임 별 스크립트 입력창을 출력부(50)로 출력하여 관리자에 의해 메모 입력이 이루어질 수 있도록 한다.

또한, 자동으로 유의미 프레임이 선택되어 해당 영역으로 이동될 경우, 제어부(30)는 각 단위 수술 영역에서 이벤트가 발생한 프레임을 검색하여 검색된 프레임을 유의미 프레임으로 판정해 해당 영역으로 이동시키게 된다.

따라서, 이러한 동작을 통해 선택된 유의미 프레임을 이용하여 비디오 클립 및 요약 비디오 중 적어도 하나를 제작할 수 있다.

이와 같이, 수술 기록지 생성 장치(1)의 동작으로 인해, 수술 기록지가 생성되어 저장부(40)에 저장되므로, 수술 기록지의 관리 동작에 편리하고 효율적으로 이루어진다.

또한, 관리자는 종이로 이루어진 수술 기록지를 작성할 필요없이 사용자 입력부(20)를 통해 수술내용과 이에 관련된 수술 영상의 링크 동작만으로 수술 기록지의 생성이 완료되므로, 관리자의 편리성이 향상된다.

이때, 촬영된 수술 영상이 복 수개의 단위 수술 영상으로 나눠져 원하는 단위 수술 영상만을 관리자가 선택하여 이용할 수 있으므로, 추가적인 수술 영상을 수동으로 편집해야 하는 불편함과 시간 낭비가 제거된다.

또한, 수술 기록지의 작성을 위해, 수술내용을 입력할 때, 시간순으로 표시되는 단위 수술 영상 중 원하는 단위 수술 영상을 재생하면서 수술 과정을 복기할 수 있으므로, 수술 기록지의 정확도가 향상된다.

또한, 필요에 따라, 통신부(60)를 통하여 외부 기기로 생성된 수술 기록지의 전송이 이루어지므로, 장소에 무관하게 원하는 시간에 수술 기록지를 열람하고 확인할 수 있게 된다.

그리고 수술 과정과 단계별 동영상이 링크되어 있으므로, 수술 요약 동영상의 제작이 용이하고, 교육용으로의 사용이 용이하다.

이상, 본 발명의 수술 기록지 생성 장치 및 방법의 실시예들에 대해 설명하였다. 본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

1: 멀티미디어 수술기록 콘텐츠 생성 장치
10: 카메라 20: 사용자 입력부
30: 제어부 40: 저장부
50: 출력부

Claims

수술영상 데이터를 저장하고 있는 저장부,
명령이나 데이터가 입력되는 사용자 입력부, 그리고
상기 저장부 및 상기 사용자 입력부에 연결되어 있어, 상기 수술영상 데이터를 정해진 시간 단위로 분할하여 복수 개의 단위 수술 영상을 생성하여 상기 저장부에 저장하고, 상기 복수 개의 단위 수술 영상과 상기 사용자 입력부를 통해 입력되는 수술내용 및 상기 수술 내용을 이용하여 수술 기록지를 생성하는 제어부
를 포함하는 멀티미디어 수술기록 콘텐츠 생성 장치.
제1항에서,
상기 제어부는 상기 수술내용에 대응하는 단위 수술 영상이 상기 사용자 입력부를 통해 선택되면, 상기 수술내용에 대응하게 선택된 단위 수술 영상을 링크시키는 멀티미디어 수술기록 콘텐츠 생성 장치.
제1항에서,
상기 제어부는 상기 수술영상 데이터를 이용하여 이벤트가 발생했는지 판단하고, 상기 이벤트가 발생하면 발생된 상기 이벤트에 대한 이벤트 인덱스 정보를 생성하여 상기 저장부에 저장하는
멀티미디어 수술기록 콘텐츠 생성 장치.
제3항에서,
상기 이벤트는 출혈인 멀티미디어 수술기록 콘텐츠 생성 장치.
제3항에서,
상기 이벤트 인덱스 정보는 이벤트가 발생한 시간, 발생된 이벤트의 종류, 이벤트 관련 정보 및 이벤트 발생 시 이벤트 발생 위치에 대한 수술영상 데이터를 포함하는 멀티미디어 수술기록 콘텐츠 생성 장치.
제2항에서,
상기 저장부는 상기 수술영상 데이터에 대응하는 오디오 데이터를 추가로 저장하고 있고,
상기 제어부는 상기 오디오 데이터 중에서 상기 단위 수술 영상에 대응하는 오디오 데이터를 분할하여 단위 오디오를 생성하는
멀티미디어 수술기록 콘텐츠 생성 장치.
제6항에서,
상기 제어부는 선택된 단위 수술 영상에 대응하는 단위 오디오를 추가로 링크시키는 멀티미디어 수술기록 콘텐츠 생성 장치.
제어부는 정해진 시간이 경과했는지를 판단하는 단계,
상기 제어부는 정해진 시간이 경과하면 상기 정해진 시간 동안 입력되는 수술영상 데이터를 분할하여 복수 개의 단위 수술 영상으로 생성하는 단계,
상기 제어부는 사용자 입력부를 통해 수술내용이 입력되는지 판단하는 단계,
상기 제어부는 상기 수술내용이 입력되면 입력되는 수술내용을 저장부에 저장하는 단계,
상기 제어부는 상기 복수 개의 단위 수술 영상 중에서 상기 수술 내용에 대응하는 단위 수술 영상이 선택되는지 판단하는 단계,
상기 제어부는 상기 수술 내용에 대응하는 단위 수술 영상이 선택되면, 상기 수술 내용에 대응되게 선택된 단위 수술 영상을 링크시키는 단계, 그리고
상기 제어부는 사용자 입력부를 통해 수술 기록지 생성 신호가 입력되는 지 판단하는 단계, 그리고
상기 제어부는 상기 수술 기록지 생성 신호가 입력된 상태로 판단되면, 상기 수술내용 및 이에 대응하는 링크된 단위 수술 영상을 포함하는 수술 기록지를 생성하는 단계
를 포함하는 멀티미디어 수술기록 콘텐츠 생성 방법.
제8항에서,
상기 제어부는 수술영상 데이터를 이용하여 이벤트가 발생했는지 판단하는 단계, 그리고
상기 제어부는 상기 이벤트가 발생한 상태로 판단되면, 발생된 상기 이벤트에 대한 이벤트 인덱스 정보를 생성하여 상기 저장부에 저장하는 단계
를 더 포함하는 멀티미디어 수술기록 콘텐츠 생성 방법.
제9항에서,
상기 이벤트는 출혈인 멀티미디어 수술기록 콘텐츠 생성 방법.
제9항에서,
상기 이벤트 인덱스 정보는 이벤트가 발생한 시간, 발생된 이벤트의 종류, 이벤트 관련 정보 및 이벤트 발생 시 이벤트 발생 위치에 대한 수술영상 데이터를 포함하는 멀티미디어 수술기록 콘텐츠 생성 방법.
제10항에서,
상기 단위 수술 영상의 생성 단계는 오디오 데이터 중에서 상기 단위 수술 영상에 대응하는 오디오 데이터를 분할하여 단위 오디오를 생성하는 멀티미디어 수술기록 콘텐츠 생성 방법.
제12항에서,
상기 단위 수술 영상을 링크시키는 단계는 선택된 단위 수술 영상에 대응하는 단위 오디오를 링크시키는 멀티미디어 수술기록 콘텐츠 생성 방법.