WO2024034995A1 - 수술 영상데이터를 녹화하는 방법 및 장치 - Google Patents

수술 영상데이터를 녹화하는 방법 및 장치 Download PDF

Info

Publication number
WO2024034995A1
WO2024034995A1 PCT/KR2023/011398 KR2023011398W WO2024034995A1 WO 2024034995 A1 WO2024034995 A1 WO 2024034995A1 KR 2023011398 W KR2023011398 W KR 2023011398W WO 2024034995 A1 WO2024034995 A1 WO 2024034995A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
location information
surgical
recording
control unit
Prior art date
Application number
PCT/KR2023/011398
Other languages
English (en)
French (fr)
Inventor
노태훈
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Publication of WO2024034995A1 publication Critical patent/WO2024034995A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method and device for recording surgical video data.
  • a medical navigation system is a medical navigation system that provides pre-secured patient medical information, such as MRI (magnetic resonance imaging), CT (computed tomography), and PET (positron emission tomography), that correspond to the patient's affected area that the doctor wishes to check during surgery. It refers to a device that displays images and tracks the location information of the probe inserted into the patient's affected area in real time based on the displayed medical image.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • PET positron emission tomography
  • neuro-navigation devices are widely used to improve the accuracy and safety of brain surgery.
  • the screen viewed through a microscope or endoscope used during surgery is continuously recorded.
  • the recorded video is used to share and educate others about the surgical method, and for the surgeon to review.
  • the neuronavigation device is only used to confirm the surgical location during surgery, there is a problem in that it is difficult to check information about the surgical process after the surgery is completed.
  • a method of capturing or recording the screen displayed on the neuronavigation device was used, but this took up a very large amount of capacity and was not synchronized with the image data confirmed through image acquisition devices such as a microscope or endoscope, so it was not used directly. There were limits to this.
  • Embodiments of the present invention to solve these conventional problems provide a method and device for recording surgical image data that can continuously record location information in medical images by quantifying the location information of the neuronavigation device and utilize the same. .
  • embodiments of the present invention provide a method and device for recording surgical image data that synchronizes medical images and image data acquired during surgery so that the desired surgical process can be easily confirmed after the surgery is completed.
  • the method of recording surgical image data continuously displays location information corresponding to the operator's line of sight in the first image data about the surgical site through communication with an image acquisition device linked to a navigation device.
  • the method further includes assigning synchronization information to at least one of the first image data and the second image data in which the location information is recorded. do.
  • the synchronization information is characterized in that it is one of a continuously recorded timestamp, a marker, an audio waveform including the location information, and a subtitle.
  • the step of continuously recording location information includes continuously recording the location information, including the zoom magnification of the image acquisition device, the focal distance and angle of view between the image acquisition device and the surgical site, in the first image data. It is characterized by being a step.
  • the step of continuously recording the position information includes continuously recording the position information, including the type of probe, the position coordinates of the tip end of the probe, the insertion angle of the probe, and the insertion length of the probe, to the first image data. It is characterized in that it is a recording step.
  • the step of synchronizing the second video data is characterized by synchronizing the first video data and the second video data in which the location information is recorded using the synchronization information.
  • the step of transmitting and storing the surgical procedure information including the first image data and the second image data in which the synchronized location information is recorded to a cloud server is further performed. It is characterized by including.
  • the device for recording surgical image data continuously displays location information corresponding to the operator's line of sight on the communication unit that communicates with the image acquisition device and the first image data about the surgical site. , characterized by comprising a control unit that continuously records the location information and performs synchronization of the location information, the first image data, and the second image data.
  • control unit allocates synchronization information, which is one of a continuously recorded timestamp, a marker, an audio waveform containing the location information, and a subtitle, to at least one of the first video data and the second video data. It is characterized by:
  • control unit is characterized in that it checks the location information including the zoom magnification of the image acquisition device, the focal distance and angle of view between the image acquisition device and the surgical site.
  • control unit is characterized in that it checks the position information including the type of probe, the position coordinates of the tip end of the probe, the insertion angle of the probe, and the insertion length of the probe.
  • control unit is characterized in that it synchronizes the first image data and the second image data in which the location information is recorded using the synchronization information.
  • control unit is characterized in that it transmits and stores surgical procedure information including the first image data and the second image data in which the synchronized location information is recorded to a cloud server.
  • the method and device for recording surgical image data digitizes the location information of the neuronavigation device and continuously records the location information in the medical image, thereby disclosing information about the surgical process to other people after the surgery is completed. It has various uses such as sharing, education, and recovery from surgery.
  • the method and device for recording surgical video data synchronizes medical images and video data acquired during surgery to easily check the medical images and video data for the surgical process to be checked after the surgery is completed. There is a possible effect.
  • Figure 1 is a diagram showing a system for recording surgical video data according to an embodiment of the present invention.
  • Figure 2 is a diagram showing a navigation device for recording surgical image data according to an embodiment of the present invention.
  • Figure 3 is a flowchart for explaining a method of recording video data during surgery according to an embodiment of the present invention.
  • Figure 4 is a screen example showing a screen displaying first image data according to an embodiment of the present invention.
  • Figure 5 is a screen example showing a screen displaying second image data according to an embodiment of the present invention.
  • Figure 1 is a diagram showing a system for recording surgical video data according to an embodiment of the present invention.
  • the system 10 may include an image acquisition device 100, a navigation device 200, and a cloud server 300.
  • the image acquisition device 100 may be a device such as a microscope or endoscope that is connected to the navigation device 200 and allows the operator to acquire image data (hereinafter referred to as second image data) during surgery on the patient. .
  • the image acquisition device 100 may transmit the second image data acquired through communication with the navigation device 200 to the navigation device 200 .
  • the image acquisition device 100 may include a position tracking sensor capable of tracking the location of the image acquisition device 100 as it moves.
  • the image acquisition device 100 can perform wireless communication such as 5th generation communication (5G), long term evolution (LTE), long term evolution-advanced (LTE-A), and wireless fidelity (Wi-Fi). You can.
  • the image acquisition device 100 may be connected to the navigation device 200 by wire to perform wired communication such as a cable.
  • the navigation device 200 displays medical image data about the surgical site (hereinafter referred to as first image data).
  • the navigation device 200 continuously checks location information corresponding to the operator's line of sight through communication with the image acquisition device 100 and records it in the first image data.
  • the navigation device 200 synchronizes the first image data with recorded location information and the second image data obtained from the image acquisition device 100, and transmits and stores it to the cloud server 300.
  • Figure 2 is a diagram showing a navigation device for recording surgical image data according to an embodiment of the present invention.
  • the navigation device 200 may include a communication unit 210, an input unit 220, a display unit 230, a memory 240, and a control unit 250.
  • the communication unit 210 performs communication with the image acquisition device 100 and the cloud server 300. To this end, the communication unit 210 can perform wireless communication such as 5th generation communication (5G), long term evolution (LTE), long term evolution-advanced (LTE-A), and wireless fidelity (Wi-Fi). . In particular, the communication unit 210 may perform wired communication such as a cable to communicate with the image acquisition device 100.
  • 5G 5th generation communication
  • LTE long term evolution
  • LTE-A long term evolution-advanced
  • Wi-Fi wireless fidelity
  • the communication unit 210 may perform wired communication such as a cable to communicate with the image acquisition device 100.
  • the input unit 220 generates input data in response to user input of the navigation device 200.
  • the input unit 120 may include input devices such as a keyboard, mouse, keypad, dome switch, touch panel, touch keys, and buttons.
  • the display unit 230 outputs output data according to the operation of the navigation device 200.
  • the display unit 230 may include a display device such as a liquid crystal display (LCD), a light emitting diode (LED) display, or an organic light emitting diode (OLED) display.
  • the display unit 230 may be combined with the input unit 220 and implemented in the form of a touch screen.
  • the memory 240 can store various programs for operating the navigation device 200.
  • the memory 240 may store first image data with recorded location information, second image data, and synchronization information.
  • the control unit 250 may acquire first image data and display it on the display unit 230.
  • the first image data is medical image data for the patient and may be image data captured from various directions of the surgical site based on the horizontal, sagittal, and coronal planes of the surgical site of the patient.
  • the first image data includes X-ray images, computed tomography (CT) images, positron emission tomography (PET) images, ultrasound images, and magnetic resonance imaging (MRI) images. may include.
  • the control unit 250 acquires second image data according to the operation of the image acquisition device 100 and displays it on at least part of the display unit 230, including the focal length, angle of view, and Continuously check location information including zoom magnification.
  • the control unit 250 continuously checks the x, y, z coordinate values and gaze direction for the position corresponding to the operator's gaze.
  • the control unit 250 checks the location of the image acquisition device 100, calculates the focal distance and angle of view in the image acquisition device 100, checks the zoom magnification, and calculates the x, y, z coordinate values and line of sight based on this. You can check the direction.
  • control unit 250 may receive the second image data obtained from the image acquisition device 100 and display it on the display unit 230. At this time, the control unit 250 may display the first image data by overlaying it on the upper right corner of the second image data.
  • the control unit 250 can continuously receive second image data through communication with the image acquisition device 100 and store it in the memory 240. At this time, the control unit 250 may continuously store the second image data until the surgery is completed or while the probe is identified in the second image data.
  • the control unit 250 checks the type of the probe according to the motion of the probe, checks the position coordinates of the tip end of the probe, the insertion angle of the probe, and the insertion length of the probe, and provides location information of the probe. Confirm. At this time, the control unit 250 can continuously check the location information of the probe from the time the probe is identified in the second image data.
  • the control unit 250 records the first image data and stores the first image data displayed on the display unit 230 as raw data in the memory 240. At this time, the control unit 250 may continuously record the continuously confirmed location information into the first image data and display the location information in the first image data while updating it.
  • the control unit 250 may store first image data in which location information is recorded, and may store first image data in which location information is displayed until the surgery is completed or at the time the probe is identified in the second image data.
  • the control unit 250 may allocate synchronization information to the first image data and the second image data in which location information is recorded. Synchronization information may be any one of continuously recorded timestamps, markers, audio waveforms containing location information, and subtitles. For example, the control unit 250 may set a timestamp on the first image data and the second image data in which location information is recorded at each critical time based on the surgery start time, and the control unit 250 may set a time stamp on the image acquisition device 100 and the image acquisition device 100. A marker can be inserted into the first image data and the second image data in which location information is recorded at the same time while exchanging signals.
  • one of the channels used when capturing the second image data in the image acquisition device 100 is changed to a wave form to insert an audio channel, and the location information recorded in the first image data is added to the corresponding audio channel.
  • Synchronization information can be created using the following method.
  • the control unit 250 may generate synchronization information by inserting a subtitle for location information recorded in the first image data into the second image data.
  • the control unit 250 may synchronize the first image data and the second image data in which location information is recorded based on synchronization information. For example, when a timestamp or marker is created as synchronization information, the control unit 250 can check the timestamp or marker in the first image data and the second image data in which location information is recorded and synchronize based on this. In addition, when an audio waveform or subtitle is created as synchronization information in the second video data, the control unit 250 verifies the location information that is the same as the location information included in the synchronization information, and checks the first video data in which the confirmed location information is recorded. Check . The control unit 250 may synchronize the first image data and the second image data in which location information is recorded.
  • control unit 250 can synchronize the location information, the first image data in which the location information is recorded, and the second image data.
  • the control unit 250 can transmit and store synchronized surgical procedure information, including first image data and second image data with location information recorded, to the cloud server 300. At this time, the control unit 250 may input basic surgical information about the surgery location, surgery date, type of surgery, etc. into the surgical process information according to the input of the input unit 220 and transmit it to the cloud server 300.
  • the cloud server 300 receives and stores surgical process information including first image data and second image data with synchronized location information recorded through communication with the navigation device 200.
  • the cloud server 300 includes a navigation device 200 and 5th generation communication (5G), long term evolution (LTE), long term evolution-advanced (LTE-A), and wireless fidelity (Wi-Fi), etc. Wireless communication can be performed.
  • 5G 5th generation communication
  • LTE long term evolution
  • LTE-A long term evolution-advanced
  • Wi-Fi wireless fidelity
  • the cloud server 300 may transmit surgical procedure information corresponding to the request to the electronic device.
  • the operator accesses the cloud server 300 using an electronic device such as a computer and then receives surgical process information, i.e., location.
  • the information can be checked by calling the first image data and the second image data in which the recorded information is recorded.
  • the first image data and the second image data with location information recorded are stored in synchronization, when the operator selects the surgical site from the first image data, the location information recorded in the first image data and the second image data By calling, you can check the surgical process for the surgical area.
  • the first image data is image data taken in various directions based on the horizontal, sagittal, and coronal planes of the surgical site of the patient, so no matter which direction the first image data is selected, the surgical site You can check the process.
  • Figure 3 is a flowchart for explaining a method of recording video data during surgery according to an embodiment of the present invention.
  • Figure 4 is a screen example showing a screen displaying first image data according to an embodiment of the present invention.
  • Figure 5 is a screen example showing a screen displaying second image data according to an embodiment of the present invention.
  • the control unit 250 checks whether the navigation device 200 is activated. In step 301, the control unit 250 performs step 303 if the navigation device 200 is activated, and can continuously check if activation is not confirmed.
  • the control unit 250 displays first image data on the display unit 230.
  • the first image data is medical image data for the patient and may be image data taken from various directions of the surgical area based on the horizontal, sagittal, and coronal planes of the surgical area of the patient.
  • the first image data includes X-ray images, computed tomography (CT) images, positron emission tomography (PET) images, ultrasound images, and magnetic resonance imaging (MRI) images. may include.
  • step 303 the control unit 250 detects the operation of the image acquisition device 100 and the probe. In step 303, the control unit 250 performs step 305 in relation to the detected operation of the image acquisition device 100, and in step 305, the control unit 250 performs step 307 in relation to the detected operation of the probe.
  • step 305 the control unit 250 acquires the second image data according to the operation of the image acquisition device 100, displays it on at least a portion of the display unit 230, and displays location information including the focal length, angle of view, and zoom scale. Continuously check and perform step 309. More specifically, the control unit 250 can continuously check the x, y, z coordinate values and gaze direction for the position corresponding to the operator's gaze in the first image data. The control unit 250 checks the location of the image acquisition device 100, calculates the focal distance and angle of view in the image acquisition device 100, checks the zoom magnification, and calculates the x, y, z coordinate values and line of sight based on this. You can check the direction.
  • control unit 250 may check the type of probe according to the operation of the probe and perform step 309. At this time, the control unit 250 can check the location information of the probe by checking the position coordinates of the tip end of the probe, the insertion angle of the probe, and the insertion length of the probe, etc. based on the type of probe.
  • step 309 the control unit 250 records the first image data and performs step 311.
  • step 311 the control unit 250 continuously records location information about the operation of the image acquisition device 100 and location information about the operation of the probe in the first image data.
  • the control unit 250 stores the first image data displayed on the display unit 230 as raw data in the memory 240.
  • the control unit 250 can store the first image data recording the continuously confirmed location information, and can store the first image data with the location information displayed until the surgery is completed or at the time the probe is confirmed in the second image data. You can. More specifically, as shown in FIG. 4, the control unit 250 may record the positions corresponding to the x, y, and z coordinate values among the operator's gaze information in the first image data and display (401) the operator's gaze information. The gaze direction can be confirmed and recorded in the first image data and displayed (403).
  • the control unit 250 stores the second image data in the memory 240. At this time, the control unit 250 may receive the second image data obtained from the image acquisition device 100 and display it on the display unit 230 as shown in FIG. 5. The control unit 250 may display the second image data on the display unit 230 by overlaying the first image data on the upper right corner of the second image data. At this time, the specific area 501 displayed in the second image data may represent the position 401 corresponding to the operator's line of sight in the first image data. In addition, the control unit 250 can continuously receive second image data through communication with the image acquisition device 100 and store it in the memory 240. At this time, the control unit 250 may continuously store the second image data until the surgery is completed or while the probe is identified in the second image data.
  • the control unit 250 may allocate synchronization information to the first image data and the second image data in which location information is recorded.
  • Synchronization information may be any one of continuously recorded timestamps, markers, audio waveforms containing location information, and subtitles.
  • the control unit 250 may set a timestamp on the first image data and the second image data in which location information is recorded at each critical time based on the surgery start time, and the control unit 250 may set a timestamp on the image acquisition device 100 and the image acquisition device 100. By exchanging signals, a marker can be inserted into the first image data and the second image data in which location information is recorded at the same time.
  • one of the channels used when capturing the second image data in the image acquisition device 100 is changed to a wave form to insert an audio channel, and the location information recorded in the first image data is added to the corresponding audio channel.
  • Synchronization information can be created using the following method.
  • the control unit 250 may generate synchronization information by inserting a subtitle for location information recorded in the first image data into the second image data.
  • step 315 the control unit 250 synchronizes the first image data and the second image data in which location information is recorded and performs step 317. More specifically, when a timestamp or marker is created as synchronization information, the control unit 250 may synchronize the first image data and the second image data in which location information is recorded based on the timestamp or marker. In addition, when an audio waveform or subtitle is created as synchronization information in the second image data, the control unit 250 checks the first image data in which the same location information as the location information included in the synchronization information is recorded, and the location information is recorded. The first image data and the second image data can be synchronized.
  • the control unit 250 may transmit and store synchronized surgical procedure information, including first image data and second image data with recorded location information, to the cloud server 300.
  • the control unit 250 may input basic surgical information about the surgery location, surgery date, type of surgery, etc. into the surgical process information according to the input of the input unit 220 and transmit it to the cloud server 300.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 수술 영상데이터를 녹화하는 방법 및 장치에 관한 것으로, 항법장치가 연동된 영상획득장치와의 통신을 통해 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하는 단계, 항법장치가 위치정보를 연속적으로 기록하는 단계 및 항법장치가 위치정보, 제1 영상데이터 및 영상획득장치에서 획득된 제2 영상데이터를 동기화하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.

Description

수술 영상데이터를 녹화하는 방법 및 장치
본 발명은 수술 영상데이터를 녹화하는 방법 및 장치에 관한 것이다.
의료용 항법 장치(medical navigation system)는 수술 중에 의사가 확인하고자 하는 환자의 환부에 대응하는 MRI(magnetic resonance imaging), CT(computed tomography), PET(positron emission tomography) 와 같이 사전에 확보된 환자의 의료 영상을 표시하고, 표시된 의료 영상을 기준으로 환자의 환부에 삽입된 프로브의 위치 정보를 실시간으로 추적하는 장치를 의미한다.
신경외과 분야에서 신경항법장치(neuro-navigation)는 뇌수술의 정확성이나 안전성을 향상시키기 위해서 많이 사용되고 있다. 또한, 수술 시에 이용하는 현미경이나 내시경을 통해 확인되는 화면을 연속적으로 녹화하기도 한다. 녹화된 영상은 수술 방법에 대해 다른 사람과 공유, 교육, 수술자가 복기하는 용도로 사용한다.
그러나, 신경항법장치는 수술 시에 수술 위치를 확인하는 용도로 사용될 뿐이므로, 수술이 완료된 이후에 수술 과정에 대한 정보를 확인하기에는 어려운 문제점이 있었다. 필요에 따라, 신경항법장치에 표시된 화면을 캡쳐하거나 녹화하는 방법을 이용하기도 하였으나, 이는 용량을 매우 많이 차지하고, 현미경이나 내시경 등의 영상획득장치를 통해 확인되는 영상데이터와 동기화가 되지 않아서 직접적으로 활용하는데 한계가 있었다.
이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 신경항법장치의 위치정보를 수치화하여 의료 영상에 위치정보를 연속적으로 기록하고 이를 활용할 수 있는 수술 영상데이터를 녹화하는 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 실시 예들은 의료 영상과 수술 중에 획득된 영상데이터를 동기화하여 수술이 완료된 이후에 확인하고자 하는 수술과정을 손쉽게 확인할 수 있는 수술 영상데이터를 녹화하는 방법 및 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 방법은, 항법장치가 연동된 영상획득장치와의 통신을 통해 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하는 단계, 상기 항법장치가 상기 위치정보를 연속적으로 기록하는 단계 및 상기 항법장치가 상기 위치정보, 상기 제1 영상데이터 및 상기 영상획득장치에서 획득된 상기 제2 영상데이터를 동기화하는 단계를 포함하는 것을 특징으로 한다.
또한, 위치정보를 연속적으로 기록하는 단계 이후에, 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 동기화 정보를 할당하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 동기화 정보는, 연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 것을 특징으로 한다.
또한, 위치정보를 연속적으로 기록하는 단계는, 상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 한다.
또한, 위치정보를 연속적으로 기록하는 단계는, 프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 한다.
또한, 제2 영상데이터를 동기화하는 단계는, 상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 단계인 것을 특징으로 한다.
또한, 제2 영상데이터를 동기화하는 단계 이후에, 상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.
아울러, 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 장치는, 영상획득장치와 통신을 수행하는 통신부 및 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하고, 상기 위치정보를 연속적으로 기록하고, 상기 위치정보, 상기 제1 영상데이터 및 상기 제2 영상데이터의 동기화를 수행하는 제어부를 포함하는 것을 특징으로 한다.
또한, 제어부는, 연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 동기화 정보를 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 할당하는 것을 특징으로 한다.
또한, 제어부는, 상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 확인하는 것을 특징으로 한다.
또한, 제어부는, 프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 확인하는 것을 특징으로 한다.
또한, 제어부는, 상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 것을 특징으로 한다.
또한, 제어부는, 상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따른 수술 영상데이터를 녹화하는 방법 및 장치는, 신경항법장치의 위치정보를 수치화하여 의료 영상에 위치정보를 연속적으로 기록함으로써 수술이 완료된 이후에 수술 과정에 대해 다른 사람과 공유, 교육, 수술의 복기와 같이 다양하게 활용할 수 있는 효과가 있다.
또한, 본 발명에 따른 수술 영상데이터를 녹화하는 방법 및 장치는, 의료 영상과 수술 중에 획득된 영상데이터를 동기화하여 수술이 완료된 이후에 확인하고자 하는 수술과정에 대한 의료 영상 및 영상데이터를 함께 손쉽게 확인할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 항법장치를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 수술 시 동영데이터를 녹화하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시 예에 따른 제1 영상데이터가 표시된 화면을 나타낸 화면예시도이다.
도 5는 본 발명의 실시 예에 따른 제2 영상데이터가 표시된 화면을 나타낸 화면예시도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.
도 1은 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 시스템(10)은 영상획득장치(100), 항법장치(200) 및 클라우드 서버(300)를 포함할 수 있다.
영상획득장치(100)는 항법장치(200)와 연결되어 수술자가 피수술자의 수술 진행 시에 영상데이터(이하, 제2 영상데이터라 함)를 획득할 수 있는 현미경, 내시경 등의 장치일 수 있다. 영상획득장치(100)는 항법장치(200)와의 통신을 통해 획득된 제2 영상데이터를 항법장치(200)로 전송할 수 있다. 아울러, 영상획득장치(100)는 영상획득장치(100)의 이동에 따른 위치추적이 가능한 위치추적센서를 포함할 수 있다.
이를 위해, 영상획득장치(100)는 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 영상획득장치(100)는 항법장치(200)에 유선으로 연결되어 케이블 등의 유선 통신을 수행할 수도 있다.
항법장치(200)는 수술부위에 대한 의료 영상데이터(이하, 제1 영상데이터라 함)를 표시한다. 항법장치(200)는 영상획득장치(100)와의 통신을 통해 수술자의 시선에 대응되는 위치정보를 연속적으로 확인하여 제1 영상데이터에 기록한다. 항법장치(200)는 위치정보가 기록된 제1 영상데이터와 영상획득장치(100)에서 획득된 제2 영상데이터를 동기화하고, 이를 클라우드 서버(300)에 전송하여 저장한다.
항법장치(200)의 구체적인 동작은 하기의 도 2를 이용하여 설명하기로 한다. 도 2는 본 발명의 실시 예에 따른 수술 영상데이터를 녹화하는 항법장치를 나타낸 도면이다.
도 2를 참조하면, 본 발명에 따른 항법장치(200)는 통신부(210), 입력부(220), 표시부(230), 메모리(240) 및 제어부(250)를 포함할 수 있다.
통신부(210)는 영상획득장치(100) 및 클라우드 서버(300)와의 통신을 수행한다. 이를 위해, 통신부(210)는 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 통신부(210)는 영상획득장치(100)와의 통신을 위해 케이블 등의 유선 통신을 수행할 수도 있다.
입력부(220)는 항법장치(200)의 사용자 입력에 대응하여 입력 데이터를 발생시킨다. 이를 위해, 입력부(120)는 키보드, 마우스, 키패드, 돔 스위치, 터치패널, 터치 키 및 버튼 등의 입력장치를 포함할 수 있다.
표시부(230)는 항법장치(200)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(230)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등의 디스플레이 장치를 포함할 수 있다. 아울러, 표시부(230)는 입력부(220)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.
메모리(240)는 항법장치(200)를 동작시키기 위한 다양한 프로그램들을 저장할 수 있다. 메모리(240)는 위치정보가 기록된 제1 영상데이터, 제2 영상데이터 및 동기화정보를 저장할 수 있다.
제어부(250)는 항법장치(200)가 활성화되면 제1 영상데이터를 획득하여 표시부(230)에 표시할 수 있다. 이때, 제1 영상데이터는, 환자에 대한 의료 영상데이터로 피수술자의 수술부위의 수평면, 시상면 및 관상면 등을 기준으로 수술부위의 여러 방향에서 촬영한 영상데이터일 수 있다. 또한, 제1 영상데이터는, X-ray영상, 컴퓨터 단층 촬영(computed tomography, CT) 영상, 양전자 방출 단층 촬영(positron emission tomography, PET) 영상, 초음파 영상 및 자기 공명 영상(magnetic resonance imaging, MRI)을 포함할 수 있다.
제어부(250)는 영상획득장치(100)의 동작이 감지되면, 영상획득장치(100)의 동작에 따라 제2 영상데이터를 획득하여 표시부(230)의 적어도 일부에 표시하고, 초점거리, 화각 및 줌 배율 등을 포함하는 위치정보를 연속적으로 확인한다. 제어부(250)는 수술자의 시선에 대응되는 위치에 대한 x, y, z좌표 값과 시선방향을 연속적으로 확인한다. 제어부(250)는 영상획득장치(100)의 위치를 확인하고, 영상획득장치(100)에서의 초점거리와 화각을 계산하고, 줌 배율을 확인하여 이를 바탕으로 x, y, z좌표 값과 시선방향을 확인할 수 있다.
아울러, 제어부(250)는 영상획득장치(100)로부터 획득된 제2 영상데이터를 수신하여 표시부(230)에 표시할 수 있다. 이때, 제어부(250)는 제2 영상데이터의 우측 상단에 제1 영상데이터를 오버레이하여 표시할 수도 있다. 제어부(250)는 영상획득장치(100)와의 통신을 통해 제2 영상데이터를 지속적으로 수신하여 메모리(240)에 저장할 수 있다. 이때, 제어부(250)는 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 동안 지속적으로 제2 영상데이터를 저장할 수 있다.
제어부(250)는 프로브의 동작이 감지되면, 프로브의 동작에 따라 프로브의 종류를 확인하고, 프로브의 팁 끝단의 위치 좌표, 프로브의 삽입각도, 프로브의 삽입길이 등을 확인하여 프로브의 위치정보를 확인한다. 이때, 제어부(250)는 제2 영상데이터에서 프로브가 확인되는 시점부터 프로브의 위치정보를 연속적으로 확인할 수 있다.
제어부(250)는 제1 영상데이터의 녹화를 수행하여 표시부(230)에 표시된 제1 영상데이터를 로우 데이터(raw data)로 메모리(240)에 저장한다. 이때, 제어부(250)는 연속적으로 확인된 위치정보를 제1 영상데이터에 연속적으로 기록하여 제1 영상데이터에 위치정보를 갱신하면서 표시할 수 있다. 제어부(250)는 위치정보가 기록된 제1 영상데이터를 저장할 수 있으며, 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 시점에 위치정보가 표시된 제1 영상데이터를 저장할 수 있다.
제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 동기화 정보를 할당할 수 있다. 동기화 정보는, 연속적으로 기록된 타임스탬프, 마커, 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나일 수 있다. 예컨대, 제어부(250)는 수술 시작 시각을 기반으로 임계시간마다 위치정보가 기록된 제1 영상데이터와 제2 영상데이터에 타임스탬프를 설정할 수 있고, 제어부(250)가 영상획득장치(100)와 신호를 주고받으면서 동일한 시점에 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 마커를 삽입할 수 있다.
또한, 영상획득장치(100)에서 제2 영상데이터 촬영 시에 이용하는 채널 중 어느 하나의 채널을 웨이브 폼으로 변경하여 오디오 채널을 삽입하고, 해당 오디오 채널에 제1 영상데이터에 기록된 위치정보를 추가하는 방식을 이용하여 동기화 정보를 생성할 수 있다. 제어부(250)는 제1 영상데이터에 기록된 위치정보에 대한 자막을 제2 영상데이터에 삽입하여 동기화 정보를 생성할 수 있다.
제어부(250)는 위치정보가 기록된 제1 영상데이터, 제2 영상데이터를 동기화 정보를 기반으로 동기화할 수 있다. 예컨대, 타임스탬프 또는 마커가 동기화 정보로 생성된 경우, 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에서 타임스탬프 또는 마커를 확인하고, 이를 기준으로 동기화할 수 있다. 또한, 제어부(250)는 제2 영상데이터에 오디오 파형 또는 자막이 동기화 정보로 생성된 경우, 동기화 정보에 포함된 위치정보와 동일한 위치정보를 확인하고, 확인된 위치정보가 기록된 제1 영상데이터를 확인한다. 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화할 수 있다.
아울러, 본 발명의 실시 예에서는 위치정보가 기록된 제1 영상데이터와 제2 영상데이터를 동기화하는 것을 예로 설명하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 제어부(250)는 위치정보, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화할 수 있다.
제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 포함하여 동기화된 수술과정정보를 클라우드 서버(300)에 전송하여 저장할 수 있다. 이때, 제어부(250)는 입력부(220)의 입력에 따라 수술 위치, 수술 날짜, 수술 종류 등에 대한 수술기본정보를 수술과정정보에 입력하여 클라우드 서버(300)로 전송할 수 있다.
클라우드 서버(300)는 항법장치(200)와의 통신을 통해서 동기화된 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 포함하는 수술과정정보를 항법장치(200)로부터 수신하여 저장한다. 이를 위해, 클라우드 서버(300)는 항법장치(200)와 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 클라우드 서버(300)는 항법장치(200)가 아닌 컴퓨터 등의 전자장치(미도시)로부터 수술과정정보에 대한 요청 수신 시에, 요청에 대응되는 수술과정정보를 전자장치로 전송할 수 있다.
이를 통해, 수술이 완료된 이후에 수술자가 자신의 수술을 복기하거나, 타인에게 자신의 수술을 프레젠테이션하고자 할 때 컴퓨터 등의 전자장치를 이용하여 클라우드 서버(300)에 접속한 후 수술과정정보 즉, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 호출하여 확인할 수 있다. 예컨대, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터는 동기화되어 저장된 상태이므로, 수술자가 제1 영상데이터에서 수술부위를 선택하면, 제1 영상데이터에 기록된 위치정보, 제2 영상데이터가 호출됨으로써 수술부위에 대한 수술과정을 확인할 수 있다. 또한, 제1 영상데이터는 피수술자의 수술부위의 수평면, 시상면 및 관상면 등을 기준으로 여러 방향에서 촬영한 영상데이터이므로, 어떤 방향에서 촬영된 제1 영상데이터를 선택하더라도 수술부위에 대한 수술과정을 확인할 수 있다.
도 3은 본 발명의 실시 예에 따른 수술 시 동영데이터를 녹화하는 방법을 설명하기 위한 순서도이다. 도 4는 본 발명의 실시 예에 따른 제1 영상데이터가 표시된 화면을 나타낸 화면예시도이다. 도 5는 본 발명의 실시 예에 따른 제2 영상데이터가 표시된 화면을 나타낸 화면예시도이다.
도 3 내지 도 5를 참조하면, 301단계에서 제어부(250)는 항법장치(200)의 활성화여부를 확인한다. 301단계에서 제어부(250)는 항법장치(200)가 활성화되면 303단계를 수행하고, 활성화가 확인되지 않으면 이를 지속적으로 확인할 수 있다. 항법장치(200)가 활성화되면, 제어부(250)는 제1 영상데이터를 표시부(230)에 표시한다. 제1 영상데이터는, 환자에 대한 의료 영상데이터로 피수술자의 수술부위의 수평면, 시상면 및 관상면 등을 기준으로 수술부위의 여러 방향에서 촬영한 영상데이터일 수 있다. 또한, 제1 영상데이터는, X-ray영상, 컴퓨터 단층 촬영(computed tomography, CT) 영상, 양전자 방출 단층 촬영(positron emission tomography, PET) 영상, 초음파 영상 및 자기 공명 영상(magnetic resonance imaging, MRI)을 포함할 수 있다.
303단계에서 제어부(250)는 영상획득장치(100) 및 프로브의 동작을 감지한다. 303단계에서 제어부(250)는 감지된 영상획득장치(100)의 동작과 관련하여 305단계를 수행하고, 305단계에서 제어부(250)는 감지된 프로브의 동작과 관련하여 307단계를 수행한다.
305단계에서 제어부(250)는 영상획득장치(100)의 동작에 따라 제2 영상데이터를 획득하여 표시부(230)의 적어도 일부에 표시하고, 초점거리, 화각 및 줌 배율 등을 포함하는 위치정보를 연속적으로 확인하여 309단계를 수행한다. 보다 구체적으로, 제어부(250)는 제1 영상데이터에서 수술자의 시선에 대응되는 위치에 대한 x, y, z좌표 값 및 시선방향을 연속적으로 확인할 수 있다. 제어부(250)는 영상획득장치(100)의 위치를 확인하고, 영상획득장치(100)에서의 초점거리와 화각을 계산하고, 줌 배율을 확인하여 이를 바탕으로 x, y, z좌표 값과 시선방향을 확인할 수 있다.
307단계에서 제어부(250)는 프로브의 동작에 따라 프로브의 종류를 확인하고, 309단계를 수행할 수 있다. 이때, 제어부(250)는 프로브의 종류를 기반으로 프로브의 팁 끝단의 위치 좌표, 프로브의 삽입각도, 프로브의 삽입길이 등을 확인하여 프로브의 위치정보를 확인할 수 있다.
309단계에서 제어부(250)는 제1 영상데이터의 녹화를 수행하고 311단계를 수행한다. 311단계에서 제어부(250)는 영상획득장치(100)의 동작에 대한 위치정보, 프로브의 동작에 대한 위치정보를 제1 영상데이터에 연속적으로 기록한다. 제어부(250)는 표시부(230)에 표시된 제1 영상데이터를 로우 데이터(raw data)로 메모리(240)에 저장한다. 제어부(250)는 연속적으로 확인된 위치정보를 기록한 제1 영상데이터를 저장할 수 있으며, 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 시점에 위치정보가 표시된 제1 영상데이터를 저장할 수 있다. 보다 구체적으로, 제어부(250)는 도 4에서와 같이 수술자의 시선정보 중 x, y, z좌표 값에 해당하는 위치를 제1 영상데이터에 기록하여 표시(401)할 수 있고, 수술자의 시선정보 중 시선방향을 확인하여 제1 영상데이터에 기록하여 표시(403)할 수 있다.
제어부(250)는 제2 영상데이터를 메모리(240)에 저장한다. 이때, 제어부(250)는 영상획득장치(100)로부터 획득된 제2 영상데이터를 수신하여 도 5와 같이 표시부(230)에 표시할 수 있다. 제어부(250)는 표시부(230)에 제2 영상데이터를 표시하되, 제2 영상데이터의 우측 상단에 제1 영상데이터를 오버레이하여 표시할 수도 있다. 이때, 제2 영상데이터에 표시되는 특정 영역(501)은 제1 영상데이터에서 수술자의 시선에 대응되는 위치(401)를 나타낼 수 있다. 아울러, 제어부(250)는 영상획득장치(100)와의 통신을 통해 제2 영상데이터를 지속적으로 수신하여 메모리(240)에 저장할 수 있다. 이때, 제어부(250)는 수술이 종료될 때까지 또는 제2 영상데이터에서 프로브가 확인되는 동안 지속적으로 제2 영상데이터를 저장할 수 있다.
313단계에서 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 동기화 정보를 할당할 수 있다. 동기화 정보는, 연속적으로 기록되는 타임스탬프, 마커, 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나일 수 있다. 예컨대, 제어부(250)는 수술 시작 시각을 기반으로 임계시간마다 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터에 타임스탬프를 설정할 수 있고, 제어부(250)가 영상획득장치(100)와 신호를 주고받아 동일한 시점에 위치정보가 기록된 제1 영상데이터와 제2 영상데이터에 마커를 삽입할 수 있다.
또한, 영상획득장치(100)에서 제2 영상데이터 촬영 시에 이용하는 채널 중 어느 하나의 채널을 웨이브 폼으로 변경하여 오디오 채널을 삽입하고, 해당 오디오 채널에 제1 영상데이터에 기록된 위치정보를 추가하는 방식을 이용하여 동기화 정보를 생성할 수 있다. 제어부(250)는 제1 영상데이터에 기록된 위치정보에 대한 자막을 제2 영상데이터에 삽입하여 동기화 정보를 생성할 수 있다.
315단계에서 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화하고 317단계를 수행한다. 보다 구체적으로, 제어부(250)는 타임스탬프 또는 마커가 동기화 정보로 생성된 경우, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 타임스탬프 또는 마커를 기준으로 동기화할 수 있다. 또한, 제어부(250)는 제2 영상데이터에 오디오 파형 또는 자막이 동기화 정보로 생성된 경우, 동기화 정보에 포함된 위치정보와 동일한 위치정보가 기록된 제1 영상데이터를 확인하고, 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 동기화할 수 있다.
317단계에서 제어부(250)는 위치정보가 기록된 제1 영상데이터 및 제2 영상데이터를 포함하여 동기화된 수술과정정보를 클라우드 서버(300)에 전송하여 저장할 수 있다. 이때, 제어부(250)는 입력부(220)의 입력에 따라 수술 위치, 수술 날짜, 수술 종류 등에 대한 수술기본정보를 수술과정정보에 입력하여 클라우드 서버(300)로 전송할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 항법장치가 연동된 영상획득장치와의 통신을 통해 수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하는 단계;
    상기 항법장치가 상기 위치정보를 연속적으로 기록하는 단계; 및
    상기 항법장치가 상기 위치정보, 상기 제1 영상데이터 및 상기 영상획득장치에서 획득된 상기 제2 영상데이터를 동기화하는 단계;
    를 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  2. 제1항에 있어서,
    상기 위치정보를 연속적으로 기록하는 단계 이후에,
    상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 동기화 정보를 할당하는 단계;
    를 더 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  3. 제2항에 있어서,
    상기 동기화 정보는,
    연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  4. 제3항에 있어서,
    상기 위치정보를 연속적으로 기록하는 단계는,
    상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  5. 제4항에 있어서,
    상기 위치정보를 연속적으로 기록하는 단계는,
    프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 상기 제1 영상데이터에 연속적으로 기록하는 단계인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  6. 제5항에 있어서,
    상기 제2 영상데이터를 동기화하는 단계는,
    상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 단계인 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  7. 제6항에 있어서,
    상기 제2 영상데이터를 동기화하는 단계 이후에,
    상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 방법.
  8. 영상획득장치와 통신을 수행하는 통신부; 및
    수술부위에 대한 제1 영상데이터에 수술자의 시선에 대응되는 위치정보를 연속적으로 표시하고, 상기 위치정보를 연속적으로 기록하고, 상기 위치정보, 상기 제1 영상데이터 및 상기 제2 영상데이터의 동기화를 수행하는 제어부;
    를 포함하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    연속적으로 기록되는 타임스탬프, 마커, 상기 위치정보가 포함된 오디오 파형 및 자막 중 어느 하나인 동기화 정보를 상기 제1 영상데이터 및 상기 제2 영상데이터 중 적어도 하나의 영상데이터에 할당하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 영상획득장치의 줌 배율, 상기 영상획득장치와 상기 수술부위 사이의 초점거리 및 화각을 포함하는 상기 위치정보를 확인하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    프로브의 종류, 상기 프로브의 팁 끝단의 위치 좌표, 상기 프로브의 삽입각도, 상기 프로브의 삽입길이를 포함하는 상기 위치정보를 확인하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 동기화 정보를 이용하여 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 동기화하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 동기화된 상기 위치정보가 기록된 상기 제1 영상데이터 및 상기 제2 영상데이터를 포함하는 수술과정정보를 클라우드 서버로 전송하여 저장하는 것을 특징으로 하는 수술 영상데이터를 녹화하는 장치.
PCT/KR2023/011398 2022-08-12 2023-08-03 수술 영상데이터를 녹화하는 방법 및 장치 WO2024034995A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220101166A KR20240022745A (ko) 2022-08-12 2022-08-12 수술 영상데이터를 녹화하는 방법 및 장치
KR10-2022-0101166 2022-08-12

Publications (1)

Publication Number Publication Date
WO2024034995A1 true WO2024034995A1 (ko) 2024-02-15

Family

ID=89852108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011398 WO2024034995A1 (ko) 2022-08-12 2023-08-03 수술 영상데이터를 녹화하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240022745A (ko)
WO (1) WO2024034995A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5947707B2 (ja) * 2012-12-27 2016-07-06 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
JP2018514340A (ja) * 2015-05-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム
JP2020508828A (ja) * 2017-02-21 2020-03-26 ノバラッド コーポレーション 医療処置のための拡張現実表示とタグ付け
KR20210104190A (ko) * 2020-02-14 2021-08-25 주식회사 아이버티 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
JP2022504151A (ja) * 2018-10-04 2022-01-13 バイオセンス・ウエブスター・（イスラエル）・リミテッド 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5947707B2 (ja) * 2012-12-27 2016-07-06 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
JP2018514340A (ja) * 2015-05-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム
JP2020508828A (ja) * 2017-02-21 2020-03-26 ノバラッド コーポレーション 医療処置のための拡張現実表示とタグ付け
JP2022504151A (ja) * 2018-10-04 2022-01-13 バイオセンス・ウエブスター・（イスラエル）・リミテッド 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
KR20210104190A (ko) * 2020-02-14 2021-08-25 주식회사 아이버티 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램

Also Published As

Publication number Publication date
KR20240022745A (ko) 2024-02-20

Similar Documents

Publication Publication Date Title
WO2016195401A1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
EP0918491B1 (en) Image display system
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
WO2015099357A1 (en) User terminal for a telemedicine image service and control method thereof
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2015151963A1 (ja) ガイダンス情報配信装置、ガイダンス情報配信装置の制御方法、ガイダンス情報配信プログラム、及びガイダンス情報配信システム
US4331962A (en) Device for gating a blanking bar into a recording of analog signals
CN105938665A (zh) 一种远程音视频手术示教系统
CN203195765U (zh) 一种医学信息显示系统
WO2024034995A1 (ko) 수술 영상데이터를 녹화하는 방법 및 장치
WO2013100319A1 (ko) 기준 좌표를 이용한 의료 영상 데이터 관리 장치 및 그 방법
WO2013048123A2 (ko) 지능적 수술 시스템
WO2021162287A1 (ko) 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
Bichlmeier et al. Stepping into the operating theater: ARAV—augmented reality aided vertebroplasty
WO2021045546A2 (ko) 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
WO2023106555A1 (ko) 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
WO2020049920A1 (ja) 医療映像スイッチャー
US10952596B2 (en) Medical image processing device and image processing method
IT201900002737A1 (it) Metodo e sistema per l'identificazione e il trattamento di eventi in un sistema per la sincronizzazione e la visualizzazione combinata di informazioni
CN215130034U (zh) 三维可视化手术辅助系统
WO2020185049A2 (ko) 페디클 스크류 고정 플래닝 시스템 및 방법
WO2023146368A1 (ko) 의료 영상 분석 보조 시스템 및 의료영상 분석결과 제공방법
WO2022045762A1 (ko) 의료영상 간 분석데이터 매칭시스템 및 방법, 화면을 갖는 전자 장치의 그래픽 사용자 인터페이스
EP2866162B1 (en) Multi-source medical display
WO2023177229A1 (ko) 관절 내부 뼈의 이동을 반영하는 관절경 네비게이션 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852875

Country of ref document: EP

Kind code of ref document: A1