WO2020116701A1 - 수술 동영상 제작 시스템 및 수술 동영상 제작 방법 - Google Patents

수술 동영상 제작 시스템 및 수술 동영상 제작 방법 Download PDF

Info

Publication number
WO2020116701A1
WO2020116701A1 PCT/KR2018/015623 KR2018015623W WO2020116701A1 WO 2020116701 A1 WO2020116701 A1 WO 2020116701A1 KR 2018015623 W KR2018015623 W KR 2018015623W WO 2020116701 A1 WO2020116701 A1 WO 2020116701A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
surgical
event
recognition unit
recognize
Prior art date
Application number
PCT/KR2018/015623
Other languages
English (en)
French (fr)
Inventor
김기진
Original Assignee
쓰리디메디비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰리디메디비젼 주식회사 filed Critical 쓰리디메디비젼 주식회사
Priority to US16/310,869 priority Critical patent/US11185388B2/en
Publication of WO2020116701A1 publication Critical patent/WO2020116701A1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to a surgical video production system and a surgical video production method, and more particularly, to a stereoscopic video production system of a surgical operation using a microscope and a video production method.
  • a medical surgical microscope is a type of medical device that allows a user to perform surgery while enlarging the inside of a human body that cannot be easily confirmed.
  • the surgical microscope is equipped to view a surgeon's surgery performed through a monitor. At this time, the image displayed on the monitor is simply displayed as a two-dimensional image, and it is difficult to accurately observe and confirm the surgical site with the image.
  • the present invention is to overcome the above-mentioned problems, a surgical video production system and a surgical video production system capable of accurately recognizing and editing various surgical tools and various human organs included in the photographed microscope 20 surgical video and converting it into a stereoscopic image. To provide.
  • the embodiment provides a surgical video production system, which records a time code in a video captured by a camera mounted on a surgical microscope, 2020/116701 1»(:1 ⁇ 1 ⁇ 2018/015623 Input unit for inputting focal length and surgical tool information of the lens of the camera;
  • the surgical tool, surgical site, organ (i), tissue (1; 3116), and object (0 6 (:0 rule recognition) are used to generate recognition information, and the recognition information is used to focus among the videos
  • This mismatched video and a shaken video are identified, and markers corresponding to the first time code and the last time code of each of the unfocused video and the shaken video are displayed, and the recognition/information is used to recognize events occurring during surgery.
  • a recognition unit configured to display markers corresponding to the first time code and the last time code of the video corresponding to the event;
  • An editing unit configured to delete a part of the video using the marker or to separate the video according to the event to generate an edited video;
  • a conversion unit configured to convert the edited image into a stereoscopic image.
  • the recognition information according to the embodiment includes the boundary of the surgical tool, the boundary of the surgical site, the boundary of the organ, and the boundary of the tissue.
  • the recognition unit according to the embodiment when the area of the surgical area including the boundary of the surgical tool is recognized as a first surgical site, and the first surgical site disappears within a first hour, the video is first shaken It is configured to watch as a video.
  • the recognition unit by recognizing the movement of the end of the surgical tool to detect the end region consisting of the movement path of the end for a reference time, recognizes the region including the end region as a second surgical site And, if the second surgical site disappears within the second time, it is configured to recognize the corresponding video as a second shaken video.
  • the recognition unit compares the focal length measured in the video and the input measurement distance, and when the measured focal length and the input focal length are not included in a threshold range, the corresponding video is the It is configured to identify the video as out of focus.
  • the event according to the embodiment is a bleeding event, a blind spot event, a first extraction event, a hemostatic event, An event, and a second extraction event
  • the object includes blood
  • the recognition unit corresponds to an area ratio of the tissue to the area of the blood in the second surgical site that exceeds a first criterion. It is configured to recognize the video as the bleeding event.
  • the object according to the embodiment includes a hand, and the recognition unit is configured to recognize a corresponding video as the square event when the area of the hand exceeds the second criterion compared to the second surgical site.
  • the recognition unit is configured to recognize a corresponding video as the second extraction event when a part of the recognized organ disappears within a third time.
  • the surgical tool according to the embodiment includes a bipolar forceps (Biopolar Forceps), burr dri ll, and forceps and cutters, and the recognition unit converts the video containing the bipolar forceps into the hemostatic event. It is configured to recognize, recognize the video containing the burr drill as the drilling event, and recognize the video including the forceps and cutter as the hemostatic event.
  • Bipolar forceps Biopolar Forceps
  • burr dri ll a bipolar forceps
  • forceps and cutters converts the video containing the bipolar forceps into the hemostatic event. It is configured to recognize, recognize the video containing the burr drill as the drilling event, and recognize the video including the forceps and cutter as the hemostatic event.
  • the recognition information according to the embodiment is generated using a video analysis algorithm or deep learning (Deep Learning) technology.
  • the boundary of the surgical tool according to the embodiment, the boundary of the surgical site, the boundary of the organ, the boundary of the tissue, Sobel (Sobel), Prewitt (Roberts), Compass (Compass), It is identified using at least one of Laplacian, Gaussian-Laplacian of Gaussian (LoG) or Canny.
  • the converted stereoscopic image according to the embodiment is a stereoscopic surgical video for surgeon education.
  • the present invention has the effect of providing a surgical video production system and a surgical video production method capable of accurately recognizing and editing various surgical tools and various human organs included in the photographed microscope 2D surgical video.
  • 1 is a block diagram showing a surgical video production system according to an embodiment.
  • 2 is an example in which the image recognition unit according to the embodiment recognizes the first surgical site.
  • FIG 3 is an example in which the image recognition unit according to the embodiment recognizes the second surgical site.
  • ' 4A and 4B are examples of an image recognition unit recognizing a bleeding event according to an embodiment.
  • 5A and 5B are examples of recognizing an additional square event according to an embodiment.
  • 6A and 6B are diagrams illustrating an example in which the image recognition unit recognizes the first extraction event according to the embodiment.
  • 7 is an example of recognizing an image recognition hyperlipidemia event according to an embodiment.
  • 8 is an example of an image recognition unit recognizing a drilling event according to an embodiment.
  • 9 is an example in which the image recognition unit according to the embodiment recognizes the second extraction event.
  • FIG. 10 is a flow chart showing a method for producing a surgical video according to an embodiment.
  • FIG. 1 is a block diagram showing the configuration of a surgical video production system according to an embodiment.
  • the surgical video production system 1 includes an input unit 10, a recognition unit 20, an editing unit 30, and a conversion unit 40, and the surgical video production system (
  • the stereoscopic video created by 1) is an educational stereoscopic video for teaching surgeons in medical schools or general hospitals.
  • the input unit 10 is a microscope surgical video (hereinafter referred to as a video) obtained with a camera mounted on a surgical microscope (Surgi cal Mi croscope), and a focal length (hereinafter referred to as a focal length) of a camera lens on which the video was taken.
  • Tool information of the surgical tool (hereinafter referred to as a tool) is input.
  • the video is mounted on a surgical microscope, and the surgeon shot the video shown through the surgical microscope with a 2D camera.
  • the focal length may have a unique value for each type of surgery.
  • the tool information includes the name, shape, material, precautions, and features of various surgical tools used in surgery.
  • the input unit 10 records a time code (t ime code) of all or part of the acquired video, patient information related to the operation of the acquired video, disease name, surgical procedure, tools, focal length of the lens mounted on the camera, and the like A first editing step in which the surgical information of the patient is input is performed.
  • t ime code time code
  • the recognition unit 20 generates recognition information including a result of recognizing a surgical tool, a surgical site, an organ, a tissue, and an object obj ect in a video.
  • the recognition unit 20 identifies a shaken video and a video that is out of focus using the recognition information, and displays markers corresponding to the first time code and the last time code of the identified video.
  • the recognition unit 20 recognizes an event (eg, bleeding, hemostasis, blind spot, extraction) that occurs during surgery using the recognition information. Further, the recognition unit 20 displays markers corresponding to the first time code and the last time code of the video recognized using the recognition information.
  • the editing unit 30 recognizes the displayed marker and uses the marker to delete a shaken video or an out-of-focus video, separate a video according to an event, or display tool information of a currently displayed tool on the video. Perform editing and create edited videos.
  • the conversion unit 40 converts the edited video into a stereoscopic image. Such conversion converts a virtual reality (VR) video, a side by side video, or a top and bottom video in consideration of the type of device on which the video is played.
  • VR virtual reality
  • the converter 40 may convert the second edited video into a virtual reality video with a resolution of 3840xl080p (each 1920x1080) or 1920xl080p (each 960x1080), and 1920xl080p (each 960xl080p) or 3840x2160p (each 1920x2160) ) Can be converted to side by side video as resolution There is a resolution of 1920x080p (1920x590 each) or 3840x2160p (3840x1080 each) and can be converted to top and bottom videos.
  • the recognition unit 20 may apply the video analysis algorithm to the video to recognize the organ, tissue, object (blood or a specific part of the tissue), and tools, and generate recognition information.
  • the video analysis algorithm is an example, and an organ or tissue is used by using at least one of other anatomical information of an organ or tissue, tool information, edge information, color information, intensity change information, surface color spectrum change information, and video characteristic information. , Can identify tools and objects.
  • the recognition unit 20 may recognize and recognize an institution, an organization, a tool, and an object by applying deep learning technology to a video, but embodiments are not limited thereto.
  • the recognition unit 20 includes Sobel, Prewi tt, Roberts, Compass, Lapl aci an, Gaussian-Laplacian (LoG: Laplaci an of Gauss i)
  • Recognition information may be generated by recognizing an organizational boundary, an organizational boundary, an object boundary, and a tool boundary using at least one of an) or Canny.
  • the recognition unit 20 recognizes the upper boundary of the surgical tool (eg, the tubular retractor shown in FIG. 2) and includes the recognized boundary
  • The'area of the surgical site is recognized as the first surgical site (a).
  • the recognition unit 20 recognizes the video as the first shaken video and shakes the first. Markers corresponding to the first time code and the last time code of the video are displayed.
  • the recognition unit 20 recognizes the end boundary of the tool in the video and recognizes it as a second surgical site. Specifically, referring to FIG. 3, the recognition unit 20 recognizes the boundary of the end of the tool, detects the end area ta composed of the moving path of the end boundary for a reference time, and includes a region including the end area ta Is recognized as the second surgical site (oa). When the second surgical site (oa) disappears from the video within a predetermined frame or a predetermined time, the recognition unit 20 converts the video into a second shaken video. 2020/116701 1»(:1 ⁇ 1 ⁇ 2018/015623
  • the recognition unit 20 measures the focal length of the video, compares the measured focal length with the focal length input to the input unit 10, and the measured focal length and the input focal length are not included in a predetermined threshold range. If not, the video is identified as a video out of focus and a marker corresponding to the first time code and the last time code of the corresponding video is displayed.
  • the recognition unit 20 recognizes a hematopoietic event of the first event when the ratio of the blood area to the tissue area recognized in the second surgical site (0) exceeds a predetermined first criterion. Specifically, FIGS. 43 and Referring to 41), the recognition unit 20 in the recognized tissue (FIG. 4), when the ratio of the blood area 0 to the tissue area exceeds 50%, the blood area Recognizes an image with a ratio of more than 50% as a bleeding event and displays markers corresponding to the first time code and the last time code of the video.
  • the recognition unit 20 recognizes the object in the video, and when the area of the recognized object relative to the area of the second surgical site 03 exceeds a predetermined second criterion, it is recognized as a first event mid-angle event.
  • the recognition unit 50 recognizes the hand ratio 1, 2) in the video, and when the area of the hand (bar) exceeds 50% compared to the area of the second surgical site (03), a blind spot event It is recognized as, and markers corresponding to the first time code and the last time code of the corresponding video are displayed. However, if the area of the hand ratio 2) is less than 50% of the area of the second surgical site (03), the corresponding video is not recognized as a square event.
  • the recognition unit 20 recognizes the organ 0 , and recognizes a video in which a part of the recognized organ disappears as the first extraction event among the first events.
  • the recognition unit 50 recognizes the Malius head (3 ⁇ 413116113 1 3(1, 0) at the second surgical site 03. After recognizing the Malius head (0, a predetermined frame or Within a predetermined time, a part of the Malius head ( : This missing video is recognized as the first extraction event, and markers corresponding to the first time code and the last time code of the corresponding video are displayed. Although only one Malius head has been described, the embodiment is not limited thereto.
  • the recognition unit 20 recognizes the second event using the result of recognizing the tool in the video and displays a marker corresponding to the first time code and the last time code of the video corresponding to the second event.
  • the recognition unit 2W recognizes a bipolar forceps (bf) in a video, and recognizes a video containing the bipolar forceps (bf) as a hemostatic event among the second events.
  • markers corresponding to the first time code and the last time code of the image including the bipolar forceps (bf) are displayed.
  • the recognition unit 20 identifies a 3mm burr drill (burr dr ill, bd) in the video, and drills a video including the burr drill (bd) during the second event (dr ill ing) It is recognized as an event.
  • the recognition unit 20 displays a marker corresponding to the first time code and the last time code of the image including the bur drill (bd).
  • the recognition unit 20 identifies the clip (fc) and the cutter (ct) from the video, and extracts the video including the clip (fc) and the cutter (ct) from the second event during the second event. It is recognized as an event.
  • the recognition unit 20 displays a marker corresponding to the first time code and the last time code of the image including the forceps fc and the cutter ct.
  • step S10 video and focal length information are input to the input unit 10.
  • step S20 the input unit 10 performs a first editing step.
  • Step S30 includes a plurality of steps S31 to S34, and in step S30, the recognition unit 20 recognizes a surgical tool, a surgical site, and an object in the video, and the shaken video and focus are Recognize videos that do not fit, and recognize events that occur during surgery (eg, bleeding, hemostasis, blind spots, extraction).
  • the recognition unit 20 recognizes a surgical tool, a surgical site, and an object in the video, and the shaken video and focus are Recognize videos that do not fit, and recognize events that occur during surgery (eg, bleeding, hemostasis, blind spots, extraction).
  • step (S31) the recognition unit 20 measures the focal length of the video, compares the measured focal length and the focal length input to the input unit 10, and the measured focal length and the input focal length If it is not included in a predetermined threshold range, the corresponding video is determined to be out of focus, and a marker corresponding to the first time code and the last time code of the corresponding video is displayed.
  • step (S32) the recognition unit 20 recognizes the first surgical site and uses the first surgical site to determine the first and last timecodes of the first shaken video. 2020/116701 1»(:1 ⁇ 1 ⁇ 2018/015623
  • the recognition unit 20 recognizes the second surgical site and displays markers corresponding to the first and last time codes of the second shaken video using the second surgical site.
  • the recognition unit 20 recognizes a first event including a bleeding event, a blind spot event, and a first extraction event and displays a marker corresponding to the first time code and the last time code of the corresponding video.
  • step 34 the recognition unit 20 . Recognizes a second event including a hemostatic event, a drilling event, and a second extraction event, and displays markers corresponding to the first time code and the last time code of the corresponding video.
  • the plurality of steps 31 to 334) is not a time-series step, and the recognition unit 20 may perform the plurality of steps 31 to 334 at the same time or in any order.
  • the editing unit 30 performs the second editing using the marker of the recognition unit 20.
  • step 1 ⁇ 250 the converting unit 40 converts the second edited video into 30 stereoscopic images.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

수술 동영상 제작 시스템으로서, 수술용 현미경에 장착된 카메라에 의해 촬영된 동영상에 타임 코드를 기록하고, 카메라의 렌즈의 초점 거리 및 수술 도구 정보가 입력되는 입력부; 동영상에서, 상기 수술 도구, 수술 부위, 기관, 조직, 및 객체를 인식하여 인식 정보를 생성하고, 인식 정보를 이용하여 동영상 중 초점이 맞지 않는 동영상과 흔들린 동영상을 식별하고 초점이 맞지 않는 동영상과 흔들린 동영상 각각의 첫 타임코드와 마지막 타임코드에 대웅하는 마커를 표시하고, 인식 정보를 이용하여 수술 중 발생하는 이벤트를 인식하고 이벤트에 대응하는 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시하도록 구성된 인식부; 마커를 이용하여, 동영상 중 일부를 삭제하거나, 이벤트에 따라 동영상을 분리하여 편집 영상을 생성하도록 구성된 편집부; 및 편집 영상을 입체 영상으로 변환하도록 구성된 변환부를 포함한다.

Description

2020/116701 1»（：1^1{2018/015623
【명세세
【발명의 명칭】
수술 동영상 제작 시스템 및 수술 동영상 제작 방법
【기술분야】
본 발명은 수술 동영상 제작 시스템 및 수술 동영상 제작 방법에 관한 것으로서, 보다 상세하게는 현미경을 이용한 외과 수술의 입체 동영상 제작 시스템 및 그 동영상 제작 방법에 관한 것이다.
【배경기술】
일반적으로 의료 수술용 현미경은 쉽게 확인할 수 없는 인체 내부를 확대하여 보면서 수술할 수 있도록 한 의료기기의 일종으로， 수술용 현미경에는 수술을 집도하는 의사의 수술을 모니터를 통해서 볼 수 있도록 구비되어 있다. 이때 모니터로 표시되는 영상은 단순히 2 차원 영상으로 표시하도록 되어 있어， 이러한 영상으로는 수술부위를 정확하게 관찰 및 확인하는데 어려움이 있다.
아러한 이유로 3 차원 영상을 제작하기 위해서는 촬영된 영상을 임의로 입체 영상으로 변환하는 시스템에 대한 필요성이 증가하고 있으나, 수술 동영상에 포함된 수술 도구 및 다양한 인체 기관을 인식하는 기술은 사람의 생각에 의존하고 있어 다양한상황에 적절하게 대응하지 못하는 한계가 있다. 또한, 이러한 수술 도구 및 기관에 대한 인식은 사람의 인지능력에 기초하고 있어 대량의 수술 도구 및 기관을 학습하기에는 어려운 점이 있고 인식의 정확도가 떨어지는 경우가 발생할 수 있는 문제점이 있고, 작은 도구 및 기관에 대한 객관적이고 정확한 인식 성능을 제공하는 데 어려움이 있다. 【발명의 상세한설명】
【기술적 과제】
본 발명은 상술한 문제점을 극복하기 위한 것으로서， 촬영된 현미경 20 수술 동영상에 포함된 수술 도구 및 다양한 인체 기관을 정확하게 인식하고 편집하여 입체 영상으로 변환할 수 있는 수술 동영상 제작 시스템 및 수술 동영상 제작 방법을 제공하기 위함이다.
【기술적 해결방법】
실시예는, 수술 동영상 제작 시스템을 제공하고， 이러한 시스템은， 수술용 현미경에 장착된 카메라에 의해 촬영된 동영상에 타임 코드를 기록하고， 2020/116701 1»（：1^1{2018/015623 상기 카메라의 렌즈의 초점 거리 및 수술 도구 정보가 입력되는 입력부; 상기 동영상에서, 상기 수술 도구， 수술 부위， 기관（이 ）, 조직（1； 3116）, 및 객체（0 6（：0룰 인식하여 인식 정보를 생성하고 , 상기 인식 정보를 이용하여 상기 동영상 중 초점이 맞지 않는 동영상과 흔들린 동영상을 식별하고 상가 초점이 맞지 않는 동영상과 흔들린 동영상 각각의 첫 타임코드와 마지막 타임코드에 대응하는 마커를 표시하고， 상기 인식· 정보를 이용하여 수술 중 발생하는 이벤트를 인식하여 상기 이벤트에 대응하는 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시하도록 구성된 인식부; 상기 마커를 이용하여， 상기 동영상 중 일부를 삭제하거나， 상기 이벤트에 따라 동영상을 분리하여 편집 영상을 생성하도록 구성된 편집부; 및 상기 편집 영상을 입체 영상으로 변환하도록 구성된 변환부를 포함한다.
또한， 실시예에 따른 상기 인식 정보에는, 상기 수술 도구의 경계， 상기 수술 부위의 경계， 상기 기관의 경계， 상기 조직의 경계가포함된다. 또한, 실시예에 따른 상기 인식부는, 상기 수술 도구의 경계가 포함된 수술 부위의 영역을 제 1 수술 부위로 인식하고， 상기 제 1 수술 부위가 제 1 시간 안에 사라지는 경우， 해당 동영상을 제 1 흔들린 동영상으로 관단하도록 구성된다.
또한， 실시예에 따른 상기 인식부는， 상기 수술 도구의 단부의 움직임을 인식하여 기준 시간 동안 상기 단부의 이동 경로로 구성된 단부 영역을 감지하고， 상기 단부 영역을 포함하는 부위를 제 2 수술 부위로 인식하고， 상기 제 2수술 부위가 제 2 시간 안에 사라지면 해당동영상을 제 2 흔들린 동영상으로 인식하도록 구성된다.
또한， 실시예에 따른 상기 인식부는, 상기 동영상에서 측정된 초점 거리와 상기 입력된 측정 거리를 비교하여 상기 측정된 초점 거리와 상기 입력된 초점거리가 임계 범위에 포함되지 않는 경우， 해당 동영상은 상기 초점이 맞지 않는 동영상으로 식별하도록 구성된다.
또한, 실시예에 따른 상기 이벤트는 출혈 이벤트， 사각 이벤트， 제 1 적출 이벤트， 지혈 이벤트,
Figure imgf000004_0001
이벤트， 및 제 2 적출 이벤트를 포함하고， 상기 객체는 혈액을 포함하며, 상기 인식부는, 상기 제 2 수술 부위에서 상기 조직의 면적 대바 상기 혈액의 면적 비율이 제 1 기준을 초과하는 경우， 대응하는 동영상을 상기 출혈 이벤트로 인식하도록 구성된다. 또한, 실시예에 따른 상기 객체는 손을 포함하고， 상기 인식부는， 상기 제 2 수술 부위 대비 상기 손의 면적이 제 2 기준을 초과하는 경우， 대응하는 동영상을상기 사각 이벤트로 인식하도록 구성된다.
또한, 실시예에 따른 상기 인식부는, 상기 인식된 기관의 일부가 제 3 시간 안에 사라지는 경우， 대응하는 동영상을 상기 제 2 적출 이벤트로 인식하도록 구성된다.
또한， 실시예에 따른 상기 수술 도구는 바이폴라 포셉 (Biopolar Forceps) , 버 드릴 (burr dri l l ) , 및 집게와 커터를 포함하고, 상기 인식부는, 상기 바이폴라포셉이 포함된 동영상을 상기 지혈 이벤트로 인식하고, 상기 버 드릴이 포함된 동영상을 상기 드릴링 이벤트로 인식하며, 상기 집게와 커터를 포함한동영상을상기 지혈 이벤트로 인식하도록 구성된다.
또한, 실시예에 따른 상기 인식 정보는 동영상 분석 알고리즘 또는 딥 러닝 (Deep Learning)기술 을사용하여 생성된다.
또한， 실시예에 따른 상기 수술 도구의 경계， 상기 수술 부위의 경계， 상기 기관의 경계， 상기 조직의 경계는, 소벨 (Sobel)， 프리윗 (Prewitt), 로버츠 (Roberts), 컴퍼스 (Compass), 라플 라시안 (Laplacian)， 가우시안- 라플라시안 (LoG: Laplacian of Gaussian) 또는 캐니 (Canny) 중 적어도 하나를 이용하여 식별된다.
또한， 실시예에 따른 상기 변환된 입체 영상은 외과의사 교육용 입체 수술 동영상이다.
【발명의 효과】
본 발명은， 촬영된 현미경 2D 수술 동영상에 포함된 수술 도구 및 다양한 인체 기관을 정확하게 인식하고 편집하여 입체 영상으로 변환할 수 있는 수술 동영상 제작 시스템 및 수술 동영상 제작 방법을 제공할 수 있는 효과가 있다.
【도면의 간단한설명】
도 1은실시예에 따른 수술 동영상 제작 시스템을 도시한블록도이다. 도 2 는 실시예에 따른 영상 인식부가 제 1 수술 부위를 인식하는 일례이다.
도 3 은 실시예에 따른 영상 인식부가 제 2 수술 부위를 인식하는 일례이다. ' 도 4a 및 도 4b 는 실시예에 따른 영상 인식부가 출혈 이벤트를 인식하는 일례이다.
도 5a 및 도 5b는실시예에 따른 영상 인식부가사각이벤트를 인식하는 일례이다.
도 6a 및 도 抑 는 실시예에 따른 영상 인식부가 제 1 적출 이벤트를 인식하는 일례를 나타내는 도면이다.
도 7은실시예에 따른 영상 인식부가지혈 이벤트를 인식하는 일례이다. 도 8 은 실시예에 따른 영상 인식부가 드릴링 이벤트를 인식하는 일례이다.
도 9 는 실시예에 따른 영상 인식부가 제 2 적출 이벤트를 인식하는 일례이다.
도 10은 실시예에 따른수술 동영상 제작 방법을 나타내는흐름도이다.
【발명의 실시를 위한 형태】
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되， 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐， 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며， 본 발명의 사상 및 기술 범위에 포함되는 모든 변경， 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1 은 실시예에 따른 수술 동영상 제작 시스템의 구성을 도시한 블록도이다.
도 1 을 참조하면， 실시예에 따른 수술 동영상 제작 시스템 (1)은, 입력부 (10) , 인식부 (20)， 편집부 (30)， 및 변환부 (40)를 포함하고， 수술 동영상 제작 시스템 (1)이 생성한 입체 동영상은 의과 대학 또는 종합병원에서 외과 의사들을 교육하는 교육용 입체 수술 동영상이다.
입력부 (10)는 수술용 현미경 (Surgi cal Mi croscope)에 장착된 카메라로 획득된 현미경 수술 동영상 (이하, 동영상이라 함)， 동영상을 촬영한 카메라 렌즈의 초점 거리 (이하， 초점 거리라 함) 정보, 수술 도구 (이하, 도구라 함)의 도구 정보가 입력된다. 구체적으로， 동영상은 수술용 현미경에 장착되어 집도의가 수술용 현미경을 통해 보여지는 동영상을 2D 카메라로 촬영한 것이다. 수술 종류마다 수술부위와 현미경 사이에는 특정 거리가 있으며， 이러한 특정 거리에 대응하는 초점 거리를 갖는 렌즈를 카메라에 장착하여 동영상을 촬영한다. 따라서, 초점 거리는 수술의 종류마다 고유한 값을 가질 수 있다. 또한， 도구 정보에는 수술에서 사용되는 다양한 수술 도구의 명칭， 형상, 재료, 사용시 주의사항， 특징 등을포함한다.
입력부 (10)는 획득된 동영상 전부 또는 일부의 타임 코드 (t ime code)를 기록하고, 획득된 동영상의 수술과 관련한 환자 정보， 병명, 수술 절차, 사용 도구, 카메라에 장착된 렌즈의 초점거리 등의 수술 정보가 입력되는 제 1 편집 단계를수행한다.
인식부 (20)는 동영상에서 수술 도구， 수술 부위， 기관 (organ) , 조직 (t i ssue) , 및 객체 (obj ect )를 인식한 결과를 포함하는 인식 정보를 생성한다. 인식부 (20)는 인식 정보를 이용하여 흔들린 동영상과 초점이 맞지 않는 동영상을 식별하고 식별된 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다. 또한， 인식부 (20)는 인식 정보를 이용하여 수술 중 발생하는 이벤트 (예를 들어, 출혈, 지혈， 사각, 적출)를 인식한다. 또한， 인식부 (20)는 인식 정보를 이용하여 인식된 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다.
편집부 (30)는 표시된 마커를 인식하고 마커를 이용하여, 흔들린 동영상 또는 초점이 맞지 않는 동영상을 삭제하거나, 이벤트에 따라 동영상을 분리하거나， 또는 현재 표시되는 도구의 도구 정보를 동영상에 표시하는 제 2 편집을수행하고 편집 동영상을 생성한다.
변환부 (40)는 편집된 동영상을 입체 영상으로 변환한다. 이러한 변환은 동영상이 재생되는 장치의 종류를 고려하여， 가상현실 (VR: vi rtual real i ty) 동영상, side by side 동영상， 또는 Top and Bottom 영상으로 변환한다.
구체적으로， 변환부 (40)는 제 2 편집이 수행된 동영상을， 3840xl080p(각각 1920x1080) 또는 1920xl080p(각각 960x1080) 해상도로서 가상현실 동영상으로 변환할 수 있고, 1920xl080p (각각 960xl080p) 또는 3840x2160p (각각 1920x2160)해상도로서 side by side 동영상으로 변환할 수 있고， 1920xl080p (각각 1920x590) 또는 3840x2160p (각각 3840x1080)의 해상도로서 Top and Bottom동영상으로 변환할수 있다.
이하, 도 2 내지 도 9 를 참조하여 인식부 (20)의 동작을 상세히 설명한다.
인식부 (20)는 동영상 분석 알고리즘을 동영상에 적용하여 기관， 조직, 객체 (혈액 또는 조직의 특정 부분)， 및 도구를 인식하고 인식 정보를 생성할 수 있다. 동영상 분석 알고리즘은 일예이며， 기관이나 조직의 다른 해부학적 정보, 도구 정보， 경계 (edge) 정보, 색상 정보， 강도 변화 정보， 표면색 스펙트럼의 변화 정보, 동영상 특성 정보 중 적어도 하나를 이용하여 기관, 조직， 도구 및 객체를 식별할 수 있다. 또한， 인식부 (20)는 딥 러닝 (Deep Learning) 기술을 동영상에 적용하여 기관， 조직, 도구, 및 객체를 식별하여 인식할수 있으나실시예가 이에 한정되는 것은 아니다.
또한， 인식부 (20)는 소벨 (Sobel )， 프리윗 (Prewi tt ) , 로버츠 (Roberts) , 컴퍼스 (Compass) , 라플 라시안 (Lapl aci an) , 가우시안-라플라시안 (LoG: Laplaci an of Gauss i an) 또는 캐니 (Canny) 중 적어도 하나를 이용하여 기관의 경계, 조직의 경계， 객체의 경계， 및 도구의 경계를 인식하여 인식 정보를 생성할수 있다.
구체적으로， 도 2 를 참조하면, 인식부 (20)는 수술도구 (예를 들어， 도 2 에 도시된 튜블러 리트랙터 (tubul ar retractor) )의 상부 경계를 인식하고， 인식된 경계가 포함된 수술 부위의 '영역을 제 1 수술 부위 (a)로 인식한다. 인식부 (20)는 제 1 수술 부위 (a)가 소정의 프레임 (예를 들어, 도 3 의 3 개의 프레임) 또는 소정의 시간 안에 동영상에서 사라지면 해당 동영상을 제 1 흔들린 동영상으로 인식하고 제 1 흔들린 동영상의 첫 타임코드와마지막 타임 코드에 대응하는 마커를 표시한다.
또한， 인식부 (20)는동영상에서 도구의 단부 경계를 인식하고 제 2 수술 부위로 인식한다. 구체적으로 도 3 을 참조하면, 인식부 (20)는 도구의 단부의 경계를 인식하여 기준 시간 동안 단부 경계의 이동 경로로 구성된 단부 영역 (ta)을 감지하고， 단부 영역 (ta)을 포함하는 부위를 제 2 수술 부위 (oa)로 인식한다. 인식부 (20)는 제 2 수술 부위 (oa)가 소정의 프레임 또는 소정의 시간 안에 동영상에서 사라지면 해당 동영상을 제 2 흔들린 동영상으로 2020/116701 1»（：1^1{2018/015623
인식하고， 제 2 흔들린 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다.
또한， 인식부 (20)는 동영상의 초점거리를 측정하고 입력부 (10)에 입력된 초점거리와 측정된 초점 거리를 비교하고， 측정된 초점 거리와 입력된 초점거리가 소정의 임계 범위에 포함되지 않는 경우， 해당 동영상은 초점이 맞지 않는 동영상으로 식별하고 대응하는 동영상의 첫 타임코드와마지막 타임 코드에 대응하는 마커를 표시한다.
또한， 인식부 (20)는 제 2 수술 부위 (0 에서 인식된 조직 면적 대비 혈액 면적 비율이 소정의 제 1 기준을 초과하는 경우， 제 1 이벤트 중 줄혈 이벤트로 인식한다. 구체적으로， 도 43 및 41) 를 참조하면， 인식부 (20)는 인식된 조직 (도 4크)에서 , 조직 면적에 대한 혈액 면적 0 )의 비율이 50%를 초과하는 경우, 혈액 면적
Figure imgf000009_0001
의 비율이 50%를 초과하는 영상을 출혈 이벤트로 인식하고 해당 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다.
또한， 인식부 (20)는 동영상에서 객체를 인식하고, 제 2 수술 부위 (03) 면적대비 인식된 객체의 면적이 소정의 제 2 기준을 초과하는 경우, 제 1 이벤트 중사각 이벤트로 인식한다. 구체적으로, 도
Figure imgf000009_0002
및 도 加를 참조하면, 인식부 (50)는 동영상에서 손比1， 2)을 인식하고, 손 (바)의 면적이 제 2 수술 부위 (03) 면적 대비 50%를 초과하는 경우에는 사각 이벤트로 인식하고, 해당하는 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다. 하지만， 손比2)의 면적이 제 2 수술 부위 (03) 면적 대비 50%미만인 경우 해당하는 동영상은사각 이벤트로 인식하지 않는다.
또한， 인식부 (20)는 기관 (0 )을 인식하고， 인식된 기관의 일부가 사라지는 동영상을 제 1 이벤트 중 제 1 적출 이벤트로 인식한다. 구체적으로 도的를 참조하면， 인식부 (50)는 제 2수술 부위 (03) 에서 말리우스 헤드 (¾13116113 1 3(1, 0를 인식한다. 말리우스 헤드 (0를 인식 한 후 소정의 프레임 또는 소정의 시간 안에 말리우스 헤드의 일부분 (: 이 사라진 동영상을 제 1 적출 이벤트로 인식하고 해당하는 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다. 설명의 편의를 위해 인식되는 기관을 말리우스 헤드 하나만설명하였으나실시예가 이에 한정되는 것은 아니다. 또한， 인식부 (20)는 동영상에서 도구를 인식한 결과를 이용하여 제 2 이벤트를 인식하고 제 2 이벤트에 대응하는 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다.
구체적으로, 도 7 을 참조하면, 인식부 (2W는 동영상에서 바이폴라 포셉 (Biopolar Forceps , bf )을 인식하고, 바이폴라 포셉 (bf )이 포함된 동영상을 제 2 이벤트 중 지혈 이벤트로 인식한다. 인식부 (20)는 바이폴라 포셉 (bf )이 포함되는 영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다.
또한， 도 8 을 참조하면， 인식부 (20)는 동영상에서 3mm 버 드릴 (burr dr i l l , bd)을 식별하고, 버 드릴 (bd)이 포함된 동영상을 제 2 이벤트 중 드릴링 (dr i l l ing) 이벤트로 인식한다. 인식부 (20)는 버 드릴 (bd)이 포함되는 영상의 첫 타임코드와마지막타임 코드에 대응하는 마커를 표시한다.
또한， 도 9 를 참조하면， 인식부 (20)는 동영상에서 집게 ( fc)와 커터 (ct )를 식별하고， 집게 ( fc)와 커터 (ct )가포함된 동영상을 제 2 이벤트 중 제 2 적출 이벤트로 인식한다. 인식부 (20)는 집게 ( fc)와 커터 (ct )이 포함되는 영상의 첫 타임코드와마지막 타임 코드에 대응하는 마커를 표시한다.
이하, 도 10 을 이용하여, 본 발명의 실시예에 따른 수술 동영상 제작 방법에 대하여 설명한다.
단계 (S10)에서， 입력부 (10)에 동영상 및 초점 거리 정보가 입력된다. 단계 (S20)에서， 입력부 (10)가 제 1 편집 단계를 수행한다.
단계 (S30)는 복수의 단계 (S31 내지 S34)를 포함하고， 단계 (S30)에서 인식부 (20)는 동영상에서 수술 도구, 수술 부위， 및 객체 (object)를 인식하고, 흔들린 동영상과 초점이 맞지 않는 동영상을 인식하며, 수술 중 발생하는 이벤트 (예를 들어， 출혈， 지혈, 사각, 적출)를 인식한다.
구체적으로， 단계 (S31)에서, 인식부 (20)는 동영상의 초점거리를 측정하고 입력부 (10)에 입력된 초점거리와 측정된 초점 거리를 비교하고， 측정된 초점 거리와 입력된 초점거리가 소정의 임계 범위에 포함되지 않는 경우, 해당 동영상은 초점이 맞지 않는 동영상으로 판단하여 대응하는 동영상의 첫 타임코드와마지막타임 코드에 대응하는 마커를 표시한다.
단계 (S32)에서, 인식부 (20)는 제 1 수술 부위를 인식하고 제 1 수술 부위를 이용하여 제 1 흔들린 동영상의 첫 타임코드와 마지막 타임 코드에 2020/116701 1»（：1^1{2018/015623
대응하는 마커를 표시한다. 인식부 (20)는 제 2 수술 부위를 인식하고 및 제 2 수술 부위를 이용하여 제 2 흔들린 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시한다.
단계 33)에서， 인식부 (20)는 출혈 이벤트, 사각 이벤트， 제 1 적출 이벤트를 포함하는 제 1 이벤트를 인식하고 대응하는 동영상의 첫 타임코드와 마지막타임 코드에 대응하는 마카를 표시한다.
단계 34)에서， 인식부 (20) .는 지혈 이벤트, 드릴링 이벤트, 제 2 적출 이벤트를 포함하는 제 2 이벤트를 인식하고 대응하는 동영상의 첫 타임코드와 마지막타임 코드에 대응하는 마커를 표시한다.
복수의 단계 31 내지 334)는 시계열적인 단계가 아니며, 인식부 (20)가 동시에 또는 순서에 상관없이 복수와단계 31 내지 334)를 수행할수 있다. 단계 (340)에서, 편집부 (30)는 인식부 (20)의 마커를 이용하여 제 2 편집을수행한다.
단계 ½50)에서, 변환부 (40)는 제 2 편집이 수행된 동영상을 30 입체 영상으로 변환한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. 따라서， 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

2020/116701 1»（：1^1{2018/015623
【청구범위】
【청구항 11
수술용 현미경에 장착된 카메라에 의해 촬영된 동영상에 타임 코드를 기록하고, 상기 카메라의 렌즈의 초점 거리 및 수술 도구 정보가 입력되는 입력부;
상기 동영상에서 상기 수술 도구, 수술 부위 , 기관（0 311）, 조직（1: ^3116）， 및 객체（0비6 ）를 인식하여 인식 정보를 생성하고， 상기 인식 정보를 이용하여 상기 동영상 중 초점이 맞지 않는 동영상과 흔들린 동영상을 식별하고 상기 초점이 맞지 않는 동영상과 흔들린 동영상 각각의 첫 타임코드와 마지막 타임코드에 대응하는 마커를 표시하고, 상기 인식 정보를 이용하여 수술 중 발생하는 이벤트를 인식하여 상기 이벤트에 대응하는 동영상의 첫 타임코드와 마지막 타임 코드에 대응하는 마커를 표시하도록 구성된 인식부;
상기 마커를 이용하여， 상기 동영상 중 일부를 삭제하거나， 상기 이벤트에 따라동영상을 분리하여 편집 영상을 생성하도록 구성된 편집부; 및 상기 편집 영상을 입체 영상으로 변환하도록 구성된 변환부
를 포함하는 수술 동영상 제작 시스템 .
【청구항 2]
제 1항에 있어서,
상기 인식 정보에는， 상기 수술 도구의 경계'， 상기 수술 부위의 경계， 상기 기관의 경계， 상기 조직의 경계가포함되는， 수술 동영상 제작 시스템.
【청구항 3】
제 2항에 있어서
상기 인식부는， 상기 수술 도구의 경계가 포함된 수술 부위의 영역을 제 1 수술 부위로 인식하고， 상기 제 1 수술 부위가 제 1 시간 안에 사라지는 경우， 해당동영상을 제 1 흔들린 동영상으로 판단하도록 구성된, 수술 동영상 제작 시스템 .
【청구항 4]
제 3항에 있어서，
상기 인식부는， 상기 수술 도구의 단부의 움직임을 인식하여 기준 시간 동안 상기 단부의 이동 경로로 구성된 단부 영역을 감지하고， 상기 단부 2020/116701 1＞（그1'/1012018/015623
영역을 포함하는 부위를 제 2 수술 부위로 인식하고， 상기 제 2 수술 부위가 제 2 시간 안에 사라지면 해당 동영상을 제 2 흔들린 동영상으로 인식하도록 구성된， 수술 동영상 제작시스템.
【청구항 5】
제 4항에 있어서 ,
상기 인식부는， 상기 동영상에서 측정된 초점 거리와 상기 입력된 측정 거리를 비교하여 상기 측정된 초점 거리와 상기 입력된 초점거리가 임계 범위에 포함되지 않는 경우， 해당 동영상은 상기 초점이 맞지 않는 동영상으로 식별하도록 구성된， 수술 동영상 제작 시스템.
【청구항 6]
제 5항에 있어서 ,
상기 이벤트는 출혈 이벤트, 사각 이벤트, 제 1 적출 이벤트, 지혈 이벤트, 드릴링 ½ 11 ^¾) 이벤트, 및 제 2 적출 이벤트를 포함하고， 상기 객체는 혈액을포함하며，
상기 인식부는， 상기 제 2 수술 부위에서 상기 조직의 면적 대비 상기 혈액의 면적 비율이 제 1 기준을 초과하는 경우， 대응하는 동영상을 상기 출혈 이벤트로 인식하도록 구성된， 수술 동영상 제작 시스템 .
【청구항 7】
제 6항에 있어서，
상기 객체는 손을포함하고,
상기 인식부는， 상기 제 2 수술 부위 대비 상기 손의 면적이 제 2 기준을 초과하는 경우, 대응하는 동영상을 상기 사각 이벤트로 인식하도록 구성된, 수술 동영상 제작 시스템.
【청구항 8】
제 7항에 있어서，
상기 인식부는，
상기 인식된 기관의 일부가 제 3 시간 안에 사라지는 경우, 대응하는 동영상을 상기 제 2 적출 이벤트로 인식하도록 구성된， 수술 동영상 제작 시스템.
【청구항 9]
제 8항에 있어서， 상기 수술 도구는 바이폴라 포셉 (Biopolar Forceps) , 버 드릴 (burr dri l l ) , 및 집게와 커터를 포함하고,
상기 인식부는, 상기 바이폴라 포셉이 포함된 동영상을 상기 지혈 이벤트로 인식하고, 상기 버 드릴이 포함된 동영상을 상기 드릴링 이벤트로 인식하며， 상기 집게와 커터를 포함한 동영상을 상기 지혈 이벤트로 인식하도록 구성된， 수술 동영상 제작 시스템.
【청구항 10】
제 9항에 있어서，
상기 인식 정보는 동영상 분석 알고리즘 또는 딥 러닝 (Deep Learning)기술을사용하여 생성되는， 수술 동영상 제작 시스템.
【청구항 11】
제 10항에 있어서，
상기 수술 도구의 경계, 상기 수술 부위의 경계, 상기 기관의 경계, 상기 조직의 경계는， 소벨 (Sobel), 프리윗 (Prewitt), 로버츠 (Roberts), 컴퍼스 (Compass), 라플 라시안 (Laplacian), 가우시안-라플라시안 (LoG:
Laplacian of Gaussian) 또는 캐니 (Canny) 중 적어도 하나를 이용하여 식별되는, 수술 동영상 제작 시스템.
【청구항 12】
제 11항에 있어서,
상기 변환된 입체 영상은 외과의사 교육용 입체 수술 동영상인， 수술 동영상 제작 시스템 .
PCT/KR2018/015623 2018-12-05 2018-12-10 수술 동영상 제작 시스템 및 수술 동영상 제작 방법 WO2020116701A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/310,869 US11185388B2 (en) 2018-12-05 2018-12-10 Surgical video production system and surgical video production method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0155238 2018-12-05
KR1020180155238A KR102172258B1 (ko) 2018-12-05 2018-12-05 수술 동영상 제작 시스템 및 수술 동영상 제작 방법

Publications (1)

Publication Number Publication Date
WO2020116701A1 true WO2020116701A1 (ko) 2020-06-11

Family

ID=70973509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015623 WO2020116701A1 (ko) 2018-12-05 2018-12-10 수술 동영상 제작 시스템 및 수술 동영상 제작 방법

Country Status (3)

Country Link
US (1) US11185388B2 (ko)
KR (1) KR102172258B1 (ko)
WO (1) WO2020116701A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102640314B1 (ko) * 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
TWI778900B (zh) * 2021-12-28 2022-09-21 慧術科技股份有限公司 手術術式標記與教學系統及其方法
CN116030953B (zh) * 2023-03-31 2023-06-20 成都瑞华康源科技有限公司 一种自动化的手术室运营效率监控方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
KR101175065B1 (ko) * 2011-11-04 2012-10-12 주식회사 아폴로엠 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
KR101670187B1 (ko) * 2015-10-14 2016-10-27 연세대학교 산학협력단 영상 자동 편집 방법 및 장치
KR20160136833A (ko) * 2015-05-21 2016-11-30 쓰리디메디비젼 주식회사 영상콘텐츠를 활용한 의료교육 시스템
KR20170114700A (ko) * 2016-04-06 2017-10-16 한국과학기술연구원 영상 처리 방법 및 이를 이용한 영상 처리 장치
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
KR101175065B1 (ko) * 2011-11-04 2012-10-12 주식회사 아폴로엠 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
KR20160136833A (ko) * 2015-05-21 2016-11-30 쓰리디메디비젼 주식회사 영상콘텐츠를 활용한 의료교육 시스템
KR101670187B1 (ko) * 2015-10-14 2016-10-27 연세대학교 산학협력단 영상 자동 편집 방법 및 장치
KR20170114700A (ko) * 2016-04-06 2017-10-16 한국과학기술연구원 영상 처리 방법 및 이를 이용한 영상 처리 장치
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
US11185388B2 (en) 2021-11-30
KR20200068355A (ko) 2020-06-15
US20210282892A1 (en) 2021-09-16
KR102172258B1 (ko) 2020-10-30

Similar Documents

Publication Publication Date Title
US11350072B1 (en) Augmented reality guidance for bone removal and osteotomies in spinal surgery including deformity correction
US10835344B2 (en) Display of preoperative and intraoperative images
JP6931121B2 (ja) 外科用認識システム
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
EP3138526B1 (en) Augmented surgical reality environment system
WO2020116701A1 (ko) 수술 동영상 제작 시스템 및 수술 동영상 제작 방법
TW201224829A (en) Methods and systems for generating stereoscopic views from monoscopic endoscope images, and computer program products thereof
EP1127549A3 (de) Röntgeneinrichtung und medizinischer Arbeitsplatz für die Diagnostik und für chirurgische Eingriffe im Kopf- und Kieferbereich eines Patienten
WO2019202827A1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2020527374A (ja) 医用イメージングシステム、方法およびコンピュータプログラム製品
JP2020531099A (ja) 手術処置中に関心地点を空間的に場所特定する方法
US20210307861A1 (en) Communication of detected tissue characterization in a surgical robotic platform
US20230005150A1 (en) Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
Dagnino et al. New software tools for enhanced precision in robot-assisted laser phonomicrosurgery
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
US20220354613A1 (en) Creating Surgical Annotations Using Anatomy Identification
Kaur et al. A novel Weighted Integral Energy Functional (WIEF) algorithm: Augmented Reality (AR) for visualising the blood vessels in breast implant surgeries
WO2022219501A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统
CA2892298A1 (en) Augmented surgical reality environment system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942640

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18942640

Country of ref document: EP

Kind code of ref document: A1