KR20240022745A - 수술 영상데이터를 녹화하는 방법 및 장치 - Google Patents

수술 영상데이터를 녹화하는 방법 및 장치 Download PDF

Info

Publication number
KR20240022745A
KR20240022745A KR1020220101166A KR20220101166A KR20240022745A KR 20240022745 A KR20240022745 A KR 20240022745A KR 1020220101166 A KR1020220101166 A KR 1020220101166A KR 20220101166 A KR20220101166 A KR 20220101166A KR 20240022745 A KR20240022745 A KR 20240022745A
Authority
KR
South Korea
Prior art keywords
image data
location information
recording
surgical
control unit
Prior art date
Application number
KR1020220101166A
Other languages
English (en)
Inventor
노태훈
Original Assignee
주식회사 데카사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 데카사이트 filed Critical 주식회사 데카사이트
Priority to KR1020220101166A priority Critical patent/KR20240022745A/ko
Priority to PCT/KR2023/011398 priority patent/WO2024034995A1/ko
Publication of KR20240022745A publication Critical patent/KR20240022745A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명은 수술 영상데이터를 녹화하는 방법 및 장치에 관한 것으로, 항법장치가 연동된 영상획득장치와의 통신을 통해 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하는 단계, 항법장치가 위치정보를 연속적으로 기록하는 단계 및 항법장치가 위치정보, 제1 영상데이터 및 영상획득장치에서 획득된 제2 영상데이터를 동기화하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.

Description

수술 영상데이터를 녹화하는 방법 및 장치{Method and Apparatus for Recording of Video Data During Surgery}
본 발명은 수술 영상데이터를 녹화하는 방법 및 장치에 관한 것이다.
의료용 항법 장치(medical navigation system)는 수술 중에 의사가 확인하고자 하는 환자의 환부에 대응하는 MRI(magnetic resonance imaging), CT(computed tomography), PET(positron emission tomography) 와 같이 사전에 확보된 환자의 의료 영상을 표시하고, 표시된 의료 영상을 기준으로 환자의 환부에 삽입된 프로브의 위치 정보를 실시간으로 추적하는 장치를 의미한다.
신경외과 분야에서 신경항법장치(neuro-navigation)는 뇌수술의 정확성이나 안전성을 향상시키기 위해서 많이 사용되고 있다. 또한, 수술 시에 이용하는 현미경이나 내시경을 통해 확인되는 화면은 연속적으로 녹화를 수행하기도 한다. 녹화된 영상은 수술 방법에 대해 다른 사람과 공유, 교육, 수술자가 복기하는 용도로 사용한다.
그러나, 신경항법장치는 수술 시에 수술 위치를 확인하는 용도로 사용될 뿐이므로, 수술이 완료된 이후에 수술 과정에 대한 정보를 확인하기에는 어려운 문제점이 있었다. 필요에 따라, 신경항법장치에 표시된 화면을 캡쳐하거나 녹화하는 방법을 이용하기도 하였으나, 이는 용량을 매우 많이 차지하고, 현미경이나 내시경 등의 영상획득장치를 통해 확인되는 영상데이터와 동기화가 되지 않아서 직접적으로 활용하는데 한계가 있었다.
이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 신경항법장치의 위치정보를 수치화하여 의료 영상에 위치정보를 연속적으로 기록하고 이를 활용할 수 있는 수술 영상데이터를 녹화하는 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 실시 예들은 의료 영상과 수술 중에 획득된 영상데이터를 동기화하여 수술이 완료된 이후에 확인하고자 하는 수술과정을 손쉽게 확인할 수 있는 수술 영상데이터를 녹화하는 방법 및 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 방법은, 항법장치가 연동된 영상획득장치와의 통신을 통해 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하는 단계, 상기 항법장치가 상기 위치정보를 연속적으로 기록하는 단계 및 상기 항법장치가 상기 위치정보, 상기 제1 영상데이터 및 상기 영상획득장치에서 획득된 상기 제2 영상데이터를 동기화하는 단계를 포함하는 것을 특징으로 한다.
또한, 위치정보를 연속적으로 기록하는 단계 이후에, 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 동기화 정보를 할당하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 동기화 정보는, 연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 것을 특징으로 한다.
또한, 위치정보를 연속적으로 기록하는 단계는, 상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 한다.
또한, 위치정보를 연속적으로 기록하는 단계는, 프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 한다.
또한, 제2 영상데이터를 동기화하는 단계는, 상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 단계인 것을 특징으로 한다.
또한, 제2 영상데이터를 동기화하는 단계 이후에, 상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.
아울러, 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 장치는, 영상획득장치와 통신을 수행하는 통신부 및 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하고, 상기 위치정보를 연속적으로 기록하고, 상기 위치정보, 상기 제1 영상데이터 및 상기 제2 영상데이터의 동기화를 수행하는 제어부를 포함하는 것을 특징으로 한다.
또한, 제어부는, 연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 동기화 정보를 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 할당하는 것을 특징으로 한다.
또한, 제어부는, 상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 확인하는 것을 특징으로 한다.
또한, 제어부는, 프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 확인하는 것을 특징으로 한다.
또한, 제어부는, 상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 것을 특징으로 한다.
또한, 제어부는, 상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따른 수술 영상데이터를 녹화하는 방법 및 장치는, 신경항법장치의 위치정보를 수치화하여 의료 영상에 위치정보를 연속적으로 기록함으로써 수술이 완료된 이후에 수술 과정에 대해 다른 사람과 공유, 교육, 수술의 복기와 같이 다양하게 활용할 수 있는 효과가 있다.
또한, 본 발명에 따른 수술 영상데이터를 녹화하는 방법 및 장치는, 의료 영상과 수술 중에 획득된 영상데이터를 동기화하여 수술이 완료된 이후에 확인하고자 하는 수술과정에 대한 의료 영상 및 영상데이터를 함께 손쉽게 확인할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 항법장치를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 수술 시 동영데이터를 녹화하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시 예에 따른 제1 영상데이터가 표시된 화면을 나타낸 화면예시도이다.
도 5는 본 발명의 실시 예에 따른 제2 영상데이터가 표시된 화면을 나타낸 화면예시도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.
도 1은 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 시스템(10)은 영상획득장치(100), 항법장치(200) 및 클라우드 서버(300)를 포함할 수 있다.
영상획득장치(100)는 항법장치(200)와 연결되어 수술자가 피수술자의 수술 진행 시에 영상데이터(이하, 제2 영상데이터라 함)를 획득할 수 있는 현미경, 내시경 등의 장치일 수 있다. 영상획득장치(100)는 항법장치(200)와의 통신을 통해 획득된 제2 영상데이터를 항법장치(200)로 전송할 수 있다. 아울러, 영상획득장치(100)는 영상획득장치(100)의 이동에 따른 위치추적이 가능한 위치추적센서를 포함할 수 있다.
이를 위해, 영상획득장치(100)는 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 영상획득장치(100)는 항법장치(200)에 유선으로 연결되어 케이블 등의 유선 통신을 수행할 수도 있다.
항법장치(200)는 수술부위에 대한 의료 영상데이터(이하, 제1 영상데이터라 함)를 표시한다. 항법장치(200)는 영상획득장치(100)와의 통신을 통해 수술자의 시선에 대응되는 위치정보를 연속적으로 확인하여 제1 영상데이터에 기록한다. 항법장치(200)는 위치정보가 기록된 제1 영상데이터와 영상획득장치(100)에서 획득된 제2 영상데이터를 동기화하고, 이를 클라우드 서버(300)에 전송하여 저장한다.
항법장치(200)의 구체적인 동작은 하기의 도 2를 이용하여 설명하기로 한다. 도 2는 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 항법장치를 나타낸 도면이다.
도 2를 참조하면, 본 발명에 따른 항법장치(200)는 통신부(210), 입력부(220), 표시부(230), 메모리(240) 및 제어부(250)를 포함할 수 있다.
통신부(210)는 영상획득장치(100) 및 클라우드 서버(300)와의 통신을 수행한다. 이를 위해, 통신부(210)는 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 통신부(210)는 영상획득장치(100)와의 통신을 위해 케이블 등의 유선 통신을 수행할 수도 있다.
입력부(220)는 항법장치(200)의 사용자 입력에 대응하여 입력 데이터를 발생시킨다. 이를 위해, 입력부(120)는 키보드, 마우스, 키패드, 돔 스위치, 터치패널, 터치 키 및 버튼 등의 입력장치를 포함할 수 있다.
표시부(230)는 항법장치(200)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(230)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등의 디스플레이 장치를 포함할 수 있다. 아울러, 표시부(230)는 입력부(220)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.
메모리(240)는 항법장치(200)를 동작시키기 위한 다양한 프로그램들을 저장할 수 있다. 메모리(240)는 위치정보가 기록된 제1 영상데이터, 제2 영상데이터 및 동기화정보를 저장할 수 있다.
제어부(250)는 항법장치(200)가 활성화되면 제1 영상데이터를 획득하여 표시부(230)에 표시할 수 있다. 이때, 제1 영상데이터는, 환자에 대한 의료 영상데이터로 피수술자의 수술부위의 수평면, 시상면 및 관상면 등을 기준으로 수술부위의 여러 방향에서 촬영한 영상데이터일 수 있다. 또한, 제1 영상데이터는, X-ray영상, 컴퓨터 단층 촬영(computed tomography, CT) 영상, 양전자 방출 단층 촬영(positron emission tomography, PET) 영상, 초음파 영상 및 자기 공명 영상(magnetic resonance imaging, MRI)을 포함할 수 있다.
제어부(250)는 영상획득장치(100)의 동작이 감지되면, 영상획득장치(100)의 동작에 따라 제2 영상데이터를 획득하여 표시부(230)의 적어도 일부에 표시하고, 초점거리, 화각 및 줌 배율 등을 포함하는 위치정보를 연속적으로 확인한다. 제어부(250)는 수술자의 시선에 대응되는 위치에 대한 x, y, z좌표 값과 시선방향을 연속적으로 확인한다. 제어부(250)는 영상획득장치(100)의 위치를 확인하고, 영상획득장치(100)에서의 초점거리와 화각을 계산하고, 줌 배율을 확인하여 이를 바탕으로 x, y, z좌표 값과 시선방향을 확인할 수 있다.
아울러, 제어부(250)는 영상획득장치(100)로부터 획득된 제2 영상데이터를 수신하여 표시부(230)에 표시할 수 있다. 이때, 제어부(250)는 제2 영상데이터의 우측 상단에 제1 영상데이터를 오버레이하여 표시할 수도 있다. 제어부(250)는 영상획득장치(100)와의 통신을 통해 제2 영상데이터를 지속적으로 수신하여 메모리(240)에 저장할 수 있다. 이때, 제어부(250)는 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 동안 지속적으로 제2 영상데이터를 저장할 수 있다.
제어부(250)는 프로브의 동작이 감지되면, 프로브의 동작에 따라 프로브의 종류를 확인하고, 프로브의 팁 끝단의 위치 좌표, 프로브의 삽입각도, 프로브의 삽입길이 등을 확인하여 프로브의 위치정보를 확인한다. 이때, 제어부(250)는 제2 영상데이터에서 프로브가 확인되는 시점부터 프로브의 위치정보를 연속적으로 확인할 수 있다.
제어부(250)는 제1 영상데이터의 녹화를 수행하여 표시부(230)에 표시된 제1 영상데이터를 로우 데이터(raw data)로 메모리(240)에 저장한다. 이때, 제어부(250)는 연속적으로 확인된 위치정보를 제1 영상데이터에 연속적으로 기록하여 제1 영상데이터에 위치정보를 갱신하면서 표시할 수 있다. 제어부(250)는 위치정보가 기록된 제1 영상데이터를 저장할 수 있으며, 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 시점에 위치정보가 표시된 제1 영상데이터를 저장할 수 있다.
제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 동기화 정보를 할당할 수 있다. 동기화 정보는, 연속적으로 기록된 타임스탬프, 마커, 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나일 수 있다. 예컨대, 제어부(250)는 수술 시작 시각을 기반으로 임계시간마다 위치정보가 기록된 제1 영상데이터와 제2 영상데이터에 타임스탬프를 설정할 수 있고, 제어부(250)가 영상획득장치(100)와 신호를 주고받으면서 동일한 시점에 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 마커를 삽입할 수 있다.
또한, 영상획득장치(100)에서 제2 영상데이터 촬영 시에 이용하는 채널 중 어느 하나의 채널을 웨이브 폼으로 변경하여 오디오 채널을 삽입하고, 해당 오디오 채널에 제1 영상데이터에 기록된 위치정보를 추가하는 방식을 이용하여 동기화 정보를 생성할 수 있다. 제어부(250)는 제1 영상데이터에 기록된 위치정보에 대한 자막을 제2 영상데이터에 삽입하여 동기화 정보를 생성할 수 있다.
제어부(250)는 위치정보가 기록된 제1 영상데이터, 제2 영상데이터를 동기화 정보를 기반으로 동기화할 수 있다. 예컨대, 타임스탬프 또는 마커가 동기화 정보로 생성된 경우, 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에서 타임스탬프 또는 마커를 확인하고, 이를 기준으로 동기화할 수 있다. 또한, 제어부(250)는 제2 영상데이터에 오디오 파형 또는 자막이 동기화 정보로 생성된 경우, 동기화 정보에 포함된 위치정보와 동일한 위치정보를 확인하고, 확인된 위치정보가 기록된 제1 영상데이터를 확인한다. 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화할 수 있다.
아울러, 본 발명의 실시 예에서는 위치정보가 기록된 제1 영상데이터와 제2 영상데이터를 동기화하는 것을 예로 설명하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 제어부(250)는 위치정보, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화할 수 있다.
제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 포함하여 동기화된 수술과정정보를 클라우드 서버(300)에 전송하여 저장할 수 있다. 이때, 제어부(250)는 입력부(220)의 입력에 따라 수술 위치, 수술 날짜, 수술 종류 등에 대한 수술기본정보를 수술과정정보에 입력하여 클라우드 서버(300)로 전송할 수 있다.
클라우드 서버(300)는 항법장치(200)와의 통신을 통해서 동기화된 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 포함하는 수술과정정보를 항법장치(200)로부터 수신하여 저장한다. 이를 위해, 클라우드 서버(300)는 항법장치(200)와 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 클라우드 서버(300)는 항법장치(200)가 아닌 컴퓨터 등의 전자장치(미도시)로부터 수술과정정보에 대한 요청 수신 시에, 요청에 대응되는 수술과정정보를 전자장치로 전송할 수 있다.
이를 통해, 수술이 완료된 이후에 수술자가 자신의 수술을 복기하거나, 타인에게 자신의 수술을 프레젠테이션하고자 할 때 컴퓨터 등의 전자장치를 이용하여 클라우드 서버(300)에 접속한 후 수술과정정보 즉, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 호출하여 확인할 수 있다. 예컨대, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터는 동기화되어 저장된 상태이므로, 수술자가 제1 영상데이터에서 수술부위를 선택하면, 제1 영상데이터에 기록된 위치정보, 제2 영상데이터가 호출됨으로써 수술부위에 대한 수술과정을 확인할 수 있다. 또한, 제1 영상데이터는 피수술자의 수술부위의 수평면, 시상면 및 관상면 등을 기준으로 여러 방향에서 촬영한 영상데이터이므로, 어떤 방향에서 촬영된 제1 영상데이터를 선택하더라도 수술부위에 대한 수술과정을 확인할 수 있다.
도 3은 본 발명의 실시 예에 따른 수술 시 동영데이터를 녹화하는 방법을 설명하기 위한 순서도이다. 도 4는 본 발명의 실시 예에 따른 제1 영상데이터가 표시된 화면을 나타낸 화면예시도이다. 도 5는 본 발명의 실시 예에 따른 제2 영상데이터가 표시된 화면을 나타낸 화면예시도이다.
도 3 내지 도 5를 참조하면, 301단계에서 제어부(250)는 항법장치(200)의 활성화여부를 확인한다. 301단계에서 제어부(250)는 항법장치(200)가 활성화되면 303단계를 수행하고, 활성화가 확인되지 않으면 이를 지속적으로 확인할 수 있다. 항법장치(200)가 활성화되면, 제어부(250)는 제1 영상데이터를 표시부(230)에 표시한다. 제1 영상데이터는, 환자에 대한 의료 영상데이터로 피수술자의 수술부위의 수평면, 시상면 및 관상면 등을 기준으로 수술부위의 여러 방향에서 촬영한 영상데이터일 수 있다. 또한, 제1 영상데이터는, X-ray영상, 컴퓨터 단층 촬영(computed tomography, CT) 영상, 양전자 방출 단층 촬영(positron emission tomography, PET) 영상, 초음파 영상 및 자기 공명 영상(magnetic resonance imaging, MRI)을 포함할 수 있다.
303단계에서 제어부(250)는 영상획득장치(100) 및 프로브의 동작을 감지한다. 303단계에서 제어부(250)는 감지된 영상획득장치(100)의 동작과 관련하여 305단계를 수행하고, 305단계에서 제어부(250)는 감지된 프로브의 동작과 관련하여 307단계를 수행한다.
305단계에서 제어부(250)는 영상획득장치(100)의 동작에 따라 제2 영상데이터를 획득하여 표시부(230)의 적어도 일부에 표시하고, 초점거리, 화각 및 줌 배율 등을 포함하는 위치정보를 연속적으로 확인하여 309단계를 수행한다. 보다 구체적으로, 제어부(250)는 제1 영상데이터에서 수술자의 시선에 대응되는 위치에 대한 x, y, z좌표 값 및 시선방향을 연속적으로 확인할 수 있다. 제어부(250)는 영상획득장치(100)의 위치를 확인하고, 영상획득장치(100)에서의 초점거리와 화각을 계산하고, 줌 배율을 확인하여 이를 바탕으로 x, y, z좌표 값과 시선방향을 확인할 수 있다.
307단계에서 제어부(250)는 프로브의 동작에 따라 프로브의 종류를 확인하고, 309단계를 수행할 수 있다. 이때, 제어부(250)는 프로브의 종류를 기반으로 프로브의 팁 끝단의 위치 좌표, 프로브의 삽입각도, 프로브의 삽입길이 등을 확인하여 프로브의 위치정보를 확인할 수 있다.
309단계에서 제어부(250)는 제1 영상데이터의 녹화를 수행하고 311단계를 수행한다. 311단계에서 제어부(250)는 영상획득장치(100)의 동작에 대한 위치정보, 프로브의 동작에 대한 위치정보를 제1 영상데이터에 연속적으로 기록한다. 제어부(250)는 표시부(230)에 표시된 제1 영상데이터를 로우 데이터(raw data)로 메모리(240)에 저장한다. 제어부(250)는 연속적으로 확인된 위치정보를 기록한 제1 영상데이터를 저장할 수 있으며, 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 시점에 위치정보가 표시된 제1 영상데이터를 저장할 수 있다. 보다 구체적으로, 제어부(250)는 도 4에서와 같이 수술자의 시선정보 중 x, y, z좌표 값에 해당하는 위치를 제1 영상데이터에 기록하여 표시(401)할 수 있고, 수술자의 시선정보 중 시선방향을 확인하여 제1 영상데이터에 기록하여 표시(403)할 수 있다.
제어부(250)는 제2 영상데이터를 메모리(240)에 저장한다. 이때, 제어부(250)는 영상획득장치(100)로부터 획득된 제2 영상데이터를 수신하여 도 5와 같이 표시부(230)에 표시할 수 있다. 제어부(250)는 표시부(230)에 제2 영상데이터를 표시하되, 제2 영상데이터의 우측 상단에 제1 영상데이터를 오버레이하여 표시할 수도 있다. 이때, 제2 영상데이터에 표시되는 특정 영역(501)은 제1 영상데이터에서 수술자의 시선에 대응되는 위치(401)를 나타낼 수 있다. 아울러, 제어부(250)는 영상획득장치(100)와의 통신을 통해 제2 영상데이터를 지속적으로 수신하여 메모리(240)에 저장할 수 있다. 이때, 제어부(250)는 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 동안 지속적으로 제2 영상데이터를 저장할 수 있다.
313단계에서 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 동기화 정보를 할당할 수 있다. 동기화 정보는, 연속적으로 기록되는 타임스탬프, 마커, 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나일 수 있다. 예컨대, 제어부(250)는 수술 시작 시각을 기반으로 임계시간마다 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 타임스탬프를 설정할 수 있고, 제어부(250)가 영상획득장치(100)와 신호를 주고받아 동일한 시점에 위치정보가 기록된 제1 영상데이터와 제2 영상데이터에 마커를 삽입할 수 있다.
또한, 영상획득장치(100)에서 제2 영상데이터 촬영 시에 이용하는 채널 중 어느 하나의 채널을 웨이브 폼으로 변경하여 오디오 채널을 삽입하고, 해당 오디오 채널에 제1 영상데이터에 기록된 위치정보를 추가하는 방식을 이용하여 동기화 정보를 생성할 수 있다. 제어부(250)는 제1 영상데이터에 기록된 위치정보에 대한 자막을 제2 영상데이터에 삽입하여 동기화 정보를 생성할 수 있다.
315단계에서 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화하고 317단계를 수행한다. 보다 구체적으로, 제어부(250)는 타임스탬프 또는 마커가 동기화 정보로 생성된 경우, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 타임스탬프 또는 마커를 기준으로 동기화할 수 있다. 또한, 제어부(250)는 제2 영상데이터에 오디오 파형 또는 자막이 동기화 정보로 생성된 경우, 동기화 정보에 포함된 위치정보와 동일한 위치정보가 기록된 제1 영상데이터를 확인하고, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화할 수 있다.
317단계에서 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 포함하여 동기화된 수술과정정보를 클라우드 서버(300)에 전송하여 저장할 수 있다. 이때, 제어부(250)는 입력부(220)의 입력에 따라 수술 위치, 수술 날짜, 수술 종류 등에 대한 수술기본정보를 수술과정정보에 입력하여 클라우드 서버(300)로 전송할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 항법장치가 연동된 영상획득장치와의 통신을 통해 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하는 단계;
    상기 항법장치가 상기 위치정보를 연속적으로 기록하는 단계; 및
    상기 항법장치가 상기 위치정보, 상기 제1 영상데이터 및 상기 영상획득장치에서 획득된 상기 제2 영상데이터를 동기화하는 단계;
    를 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  2. 제1항에 있어서,
    상기 위치정보를 연속적으로 기록하는 단계 이후에,
    상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 동기화 정보를 할당하는 단계;
    를 더 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  3. 제2항에 있어서,
    상기 동기화 정보는,
    연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  4. 제3항에 있어서,
    상기 위치정보를 연속적으로 기록하는 단계는,
    상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  5. 제4항에 있어서,
    상기 위치정보를 연속적으로 기록하는 단계는,
    프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  6. 제5항에 있어서,
    상기 제2 영상데이터를 동기화하는 단계는,
    상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 단계인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  7. 제6항에 있어서,
    상기 제2 영상데이터를 동기화하는 단계 이후에,
    상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  8. 영상획득장치와 통신을 수행하는 통신부; 및
    수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하고, 상기 위치정보를 연속적으로 기록하고, 상기 위치정보, 상기 제1 영상데이터 및 상기 제2 영상데이터의 동기화를 수행하는 제어부;
    를 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 동기화 정보를 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 할당하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 확인하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 확인하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
KR1020220101166A 2022-08-12 2022-08-12 수술 영상데이터를 녹화하는 방법 및 장치 KR20240022745A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220101166A KR20240022745A (ko) 2022-08-12 2022-08-12 수술 영상데이터를 녹화하는 방법 및 장치
PCT/KR2023/011398 WO2024034995A1 (ko) 2022-08-12 2023-08-03 수술 영상데이터를 녹화하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220101166A KR20240022745A (ko) 2022-08-12 2022-08-12 수술 영상데이터를 녹화하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240022745A true KR20240022745A (ko) 2024-02-20

Family

ID=89852108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220101166A KR20240022745A (ko) 2022-08-12 2022-08-12 수술 영상데이터를 녹화하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240022745A (ko)
WO (1) WO2024034995A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5947707B2 (ja) * 2012-12-27 2016-07-06 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
WO2016182550A1 (en) * 2015-05-11 2016-11-17 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US11457981B2 (en) * 2018-10-04 2022-10-04 Acclarent, Inc. Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
KR20210104190A (ko) * 2020-02-14 2021-08-25 주식회사 아이버티 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램

Also Published As

Publication number Publication date
WO2024034995A1 (ko) 2024-02-15

Similar Documents

Publication Publication Date Title
CN109758230B (zh) 一种基于增强现实技术的神经外科手术导航方法和系统
US10959782B2 (en) Systems and methods for intra-operative image acquisition and calibration
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US6038467A (en) Image display system and image guided surgery system
Deng et al. Easy-to-use augmented reality neuronavigation using a wireless tablet PC
US10368946B2 (en) Method for determining a target position for a medical procedure
US20140044325A1 (en) System and method of overlaying images of different modalities
US20070238981A1 (en) Methods and apparatuses for recording and reviewing surgical navigation processes
EP3785661A2 (en) Systems and methods for displaying medical video images and/or medical 3d models
JP6184652B1 (ja) 医療情報記録装置
US20110002513A1 (en) Medical apparatus and method of using the same for generating a virtual road map guide of a patient's anatomy and annotate the images
Saucer et al. A head-mounted display system for augmented reality image guidance: towards clinical evaluation for imri-guided nuerosurgery
Heinrich et al. Comparison of augmented reality display techniques to support medical needle insertion
WO2015151963A1 (ja) ガイダンス情報配信装置、ガイダンス情報配信装置の制御方法、ガイダンス情報配信プログラム、及びガイダンス情報配信システム
Furman et al. Augmented reality (AR) in orthopedics: current applications and future directions
CN110638525B (zh) 整合扩增实境的手术导航系统
Benmahdjoub et al. Evaluation of AR visualization approaches for catheter insertion into the ventricle cavity
US11806088B2 (en) Method, system, computer program product and application-specific integrated circuit for guiding surgical instrument
Bichlmeier et al. Stepping into the operating theater: ARAV—augmented reality aided vertebroplasty
KR20240022745A (ko) 수술 영상데이터를 녹화하는 방법 및 장치
CN112654281A (zh) 医疗影像切换器
IT201900002737A1 (it) Metodo e sistema per l'identificazione e il trattamento di eventi in un sistema per la sincronizzazione e la visualizzazione combinata di informazioni
CN215130034U (zh) 三维可视化手术辅助系统
US8750965B2 (en) Tracking rigid body structures without detecting reference points
Bichlmeier et al. The visible korean human phantom: Realistic test & development environments for medical augmented reality

Legal Events

Date Code Title Description
N231 Notification of change of applicant