KR102649413B1 - Method and apparatus for analizing endoscopic image - Google Patents
Method and apparatus for analizing endoscopic image Download PDFInfo
- Publication number
- KR102649413B1 KR102649413B1 KR1020230106143A KR20230106143A KR102649413B1 KR 102649413 B1 KR102649413 B1 KR 102649413B1 KR 1020230106143 A KR1020230106143 A KR 1020230106143A KR 20230106143 A KR20230106143 A KR 20230106143A KR 102649413 B1 KR102649413 B1 KR 102649413B1
- Authority
- KR
- South Korea
- Prior art keywords
- target organ
- surgical tool
- endoscopic image
- detected
- borderline
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 8
- 210000000056 organ Anatomy 0.000 claims abstract description 77
- 238000013136 deep learning model Methods 0.000 claims abstract description 11
- 238000003703 image analysis method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 17
- 230000000295 complement effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000001356 surgical procedure Methods 0.000 abstract description 17
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 8
- 210000002307 prostate Anatomy 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002432 robotic surgery Methods 0.000 description 4
- 210000001625 seminal vesicle Anatomy 0.000 description 4
- 201000010653 vesiculitis Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001177 vas deferen Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
수술 과정에서 획득된 내시경 영상을 인공지능을 이용하여 분석하는 방법 및 장치가 개시된다. 개시된 내시경 영상 분석 방법은 미리 학습된 딥러닝 모델을 이용하여, 내시경 영상에서, 적어도 하나의 타겟 장기 및 적어도 하나의 수술 도구를 검출하는 단계; 상기 내시경 영상에서, 상기 검출된 타겟 장기 및 수술 도구가 포함된 영역을, 서로 다른 클래스의 영역으로 분할하는 단계; 및 상기 분할된 영상을, 사용자에게 제공하는 단계를 포함한다.A method and device for analyzing endoscopic images acquired during a surgical procedure using artificial intelligence are disclosed. The disclosed endoscopic image analysis method includes detecting at least one target organ and at least one surgical tool in an endoscopic image using a pre-trained deep learning model; In the endoscopic image, dividing an area containing the detected target organ and surgical tool into areas of different classes; and providing the segmented image to the user.
Description
본 발명은 인공지능을 이용하여, 수술 과정에서 획득된 내시경 영상을 분석하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for analyzing endoscopic images obtained during a surgical procedure using artificial intelligence.
인공지능(Artificial Intelligence, AI)은 인간의 지능으로 가능한 사고, 학습 및 분석 등을 컴퓨터 등의 기계가 수행하는 것을 의미한다. 최근 이러한 AI를 의료 산업에 접목하는 기술이 증가하고 있는 실정이다. 인공 신경망(Artificial Neural Network, ANN)은 기계 학습(machine learning)을 구현하는 기법들 중 하나이다.Artificial Intelligence (AI) refers to machines such as computers performing thinking, learning, and analysis that are possible with human intelligence. Recently, the technology to apply AI to the medical industry is increasing. Artificial Neural Network (ANN) is one of the techniques that implement machine learning.
일반적으로 인공 신경망은 입력 계층(input layer), 은닉 계층(hidden layer) 및 출력 계층(output layer)으로 이루어져 있다. 각 계층들은 뉴런(neuron)들로 구성되어 있으며, 각 계층의 뉴런들은 이전 계층의 뉴런들의 출력과 연결되어 있다. 이전 계층의 뉴런들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 값을 일반적으로 비선형(non-linear)인 활성화 함수(activation function)에 넣고 그 출력 값을 다음 단계 계층의 뉴런들에게 전달한다.Generally, an artificial neural network consists of an input layer, a hidden layer, and an output layer. Each layer is composed of neurons, and the neurons of each layer are connected to the output of neurons of the previous layer. The value obtained by adding the bias to the inner product of each output value of the neurons in the previous layer and the corresponding connection weight is applied to the activation function, which is generally non-linear. input and transmit the output value to the neurons of the next layer.
이러한 인공지능 기술은 다양한 분야에 적용되기 위하여 활발히 연구되고 있다. 특히, 의료 분야에서 신약 개발, 질병 진단 등의 분야에서 인공지능 알고리즘을 이용한 다양한 플랫폼, 어플리케이션들이 개발되고 있으며, 로봇 수술 분야에서도 인공지능이 적용되고 있다. 로봇 수술은 전문의가 내시경 영상을 확인하면서 로봇팔과 같은 수술 도구를 조작하며 진행되는 수술로서, 환자의 합병증을 최소화하여 회복 속도를 향상시킬 수 있는 장점으로 인해, 외과 수술에서 로봇 수술의 비중은 높아지고 있다. 수술 도구를 조작하는 전문의를 지원하기 위해, 로봇 수술에 적용될 수 있는 인공지능 기술이 활발히 개발되고 있다.These artificial intelligence technologies are being actively researched for application to various fields. In particular, in the medical field, various platforms and applications using artificial intelligence algorithms are being developed in fields such as new drug development and disease diagnosis, and artificial intelligence is also being applied in the field of robotic surgery. Robotic surgery is a surgery that is performed by a specialist manipulating surgical tools such as a robotic arm while checking endoscopic images. Due to the advantage of minimizing patient complications and improving recovery speed, the proportion of robotic surgery in surgical surgery is increasing. there is. To support specialists operating surgical tools, artificial intelligence technology that can be applied to robotic surgery is being actively developed.
관련 선행문헌으로, 대한민국 공개특허 제2023-0109117호, 제2022-0096453호, 제2022-0005064호, 대한민국 등록특허 제10-2427171호가 있다.Related prior literature includes Korean Patent Publication Nos. 2023-0109117, 2022-0096453, 2022-0005064, and Korean Patent No. 10-2427171.
본 발명은 내시경 영상을 이용하여 수술을 수행하는 전문의를 수술을 지원하고, 자동으로 라벨링된 훈련 데이터를 생성하는, 내시경 영상 분석 방법 및 장치를 제공하기 위한 것이다.The present invention is intended to provide an endoscopic image analysis method and device that supports a specialist performing surgery using endoscopic images and automatically generates labeled training data.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 미리 학습된 딥러닝 모델을 이용하여, 내시경 영상에서, 적어도 하나의 타겟 장기 및 적어도 하나의 수술 도구를 검출하는 단계; 상기 내시경 영상에서, 상기 검출된 타겟 장기 및 수술 도구가 포함된 영역을, 서로 다른 클래스의 영역으로 분할하는 단계; 및 상기 분할된 영상을, 사용자에게 제공하는 단계를 포함하는 내시경 영상 분석 방법이 제공된다. According to an embodiment of the present invention for achieving the above object, detecting at least one target organ and at least one surgical tool in an endoscopic image using a pre-trained deep learning model; In the endoscopic image, dividing an area containing the detected target organ and surgical tool into areas of different classes; and providing the segmented image to a user. An endoscopic image analysis method is provided.
본 발명의 일실시예에 따르면, 전문의가 수술 과정에서 용이하게 타겟 장기와 수술 도구를 확인할 수 있으며, 의료 사고와 수술 시간이 줄어들 수 있다.According to one embodiment of the present invention, a specialist can easily check target organs and surgical tools during a surgical procedure, and medical accidents and surgical times can be reduced.
또한 본 발명의 일실시예에 따르면, 자동 라벨링에 따라서 훈련 데이터가 생성되므로, 라벨링에 소요되는 시간이 줄어들수 있으며, 대량의 훈련 데이터가 확보될 수 있다.Additionally, according to one embodiment of the present invention, training data is generated according to automatic labeling, so the time required for labeling can be reduced and a large amount of training data can be secured.
본 발명의 일실시예에 따르면, 전문의가 수술 과정에서 용이하게 타겟 장기와 수술 도구를 확인할 수 있으며, 의료 사고와 수술 시간이 줄어들 수 있다.
또한 본 발명의 일실시예에 따르면, 자동 라벨링에 따라서 훈련 데이터가 생성되므로, 라벨링에 소요되는 시간이 줄어들수 있으며, 대량의 훈련 데이터가 확보될 수 있다.According to one embodiment of the present invention, a specialist can easily check target organs and surgical tools during a surgical procedure, and medical accidents and surgical times can be reduced.
Additionally, according to one embodiment of the present invention, training data is generated according to automatic labeling, so the time required for labeling can be reduced and a large amount of training data can be secured.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.
본 발명은 미리 학습된 딥러닝 모델을 이용하여, 내시경 영상을 분석하는 방법 및 장치에 관한 발명이다. The present invention relates to a method and device for analyzing endoscopic images using a pre-trained deep learning model.
본 발명의 일실시예는, 내시경 영상에서, 장기(organ)와 수술 도구(instrument)를 검출하고, 검출된 장기와 수술 도구가 분할된 분할 영상을 생성한다. 내시경 영상은, 실시간 내시경 영상 또는 녹화 내시경 영상일 수 있다.In one embodiment of the present invention, an organ and a surgical tool are detected in an endoscopic image, and a segmented image is generated in which the detected organ and the surgical tool are divided. The endoscopic image may be a real-time endoscopic image or a recorded endoscopic image.
본 발명의 일실시예는 실시간 내시경 영상에서 장기와 수술 도구를 분할함으로써, 내시경 영상을 확인하면서 수술을 수행하는 전문의가 용이하게 장기와 수술 도구를 확인할 수 있도록, 전문의의 수술을 지원할 수 있다. 또한 본 발명의 일실시예는 녹화 내시경 영상에서, 장기와 수술 도구를 분할함으로써, 장기와 수술 도구를 검출하는 딥러닝 모델을 위한 훈련 데이터를 생성할 수 있다.One embodiment of the present invention can support a specialist's surgery by dividing organs and surgical tools in a real-time endoscopic image, so that the specialist performing the surgery can easily check the organs and surgical tools while checking the endoscopic image. In addition, one embodiment of the present invention can generate training data for a deep learning model that detects organs and surgical tools by dividing organs and surgical tools in recorded endoscopic images.
본 발명의 일실시예는 메모리 및 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있다.One embodiment of the present invention may be performed on a computing device that includes memory and a processor.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일실시예에 따른 내시경 영상 분석 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining an endoscopic image analysis system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 내시경 영상 분석 시스템은 내시경(endoscope, 110) 및 내시경 영상 분석 장치(120)를 포함한다. Referring to FIG. 1, the endoscopic image analysis system according to an embodiment of the present invention includes an endoscope (110) and an endoscopic image analysis device (120).
내시경(110)은 인체 내부에 삽입되어, 인체 내부에 대한 내시경 영상을 생성한다. 수술 과정에서 내시경(110)이 인체 내부에 삽입될 수 있으며, 내시경 영상에는 적어도 하나의 장기와 수술 도구가 포함될 수 있다. 예컨대, 전립선 수술 과정에서 내시경(110)이 인체 내부에 삽입된 경우, 방광(bladder), 전립선(prostate) 등이 포함된 내시경 영상이 생성될 수 있다.The endoscope 110 is inserted inside the human body and generates an endoscopic image of the inside of the human body. During a surgical procedure, the endoscope 110 may be inserted into the human body, and the endoscope image may include at least one organ and a surgical tool. For example, when the endoscope 110 is inserted into the human body during a prostate surgery procedure, an endoscopic image including the bladder, prostate, etc. may be generated.
내시경 영상 분석 장치(120)는 내시경(110) 또는 또 다른 내시경으로부터 내시경 영상을 제공받아, 내시경 영상을 분석하며, 메모리(121) 및 메모리(121)와 전기적으로 연결된 적어도 하나의 프로세서(122)를 포함한다. 프로세서(122)는 내시경 영상 분석을 위한 일련의 과정을 수행한다. The endoscopic image analysis device 120 receives an endoscopic image from the endoscope 110 or another endoscope, analyzes the endoscopic image, and includes a memory 121 and at least one processor 122 electrically connected to the memory 121. Includes. The processor 122 performs a series of processes for endoscopic image analysis.
프로세서(122)는 미리 학습된 딥러닝 모델을 이용하여, 내시경 영상에서, 적어도 하나의 타겟 장기 및 적어도 하나의 수술 도구를 검출하고, 검출된 타겟 장기 및 수술 도구가 포함된 영역을 서로 다른 클래스의 영역으로 분할한다. 즉, 검출된 타겟 장기가 포함된 영역과, 수술 도구가 포함된 영역은, 서로 다른 클래스의 영역으로 분할된다. 또한 검출된 타겟 장기가 복수개인 경우, 검출된 타겟 장기 별로 서로 다른 클래스의 영역으로 분할될 수 있다. 타겟 장기는 내시경 영상에 포함된 인체 장기 중, 검출 대상이 되는 장기를 의미하며, 딥러닝 모델은 UNnet 등 다양한 객체 검출 딥러닝 알고리즘 기반의 모델일 수 있다.The processor 122 detects at least one target organ and at least one surgical tool in the endoscope image using a pre-trained deep learning model, and divides the area containing the detected target organ and the surgical tool into different classes. Divide into areas. That is, the area containing the detected target organ and the area containing the surgical tool are divided into areas of different classes. Additionally, when there are multiple detected target organs, each detected target organ may be divided into areas of different classes. The target organ refers to the organ that is subject to detection among human organs included in the endoscope image, and the deep learning model may be a model based on various object detection deep learning algorithms such as UNnet.
내시경 영상은 전술된 바와 같이, 현재 수술 과정에서 생성되는 실시간 내시경 영상이거나, 또는 수술 과정에서 생성된 내시경 영상에 대한 녹화 영상일 수 있다. 내시경 영상 분석 장치(120)는 실시간 내시경 영상에서, 검출된 타겟 장기 및 수술 도구가 포함된 영역을 서로 다른 클래스의 영역으로 분할하여 사용자에게 제공할 수 있으며, 사용자 예컨대, 전문의는 분할된 영상을 실시간으로 확인하면서 수술을 진행할 수 있다. As described above, the endoscopic image may be a real-time endoscopic image generated during a current surgical procedure, or may be a recorded image of an endoscopic image generated during a surgical procedure. The endoscopic image analysis device 120 can divide the area containing the detected target organs and surgical tools into areas of different classes and provide them to the user in the real-time endoscopic image, and the user, for example, a specialist, can view the segmented images in real time. The surgery can be performed while confirming.
또는 내시경 영상 분석 장치(120)는 녹화 내시경 영상으로부터 타겟 장기 및 수술 도구에 대한 분할 영상을 생성할 수 있다. 즉, 내시경 영상 분석 장치(120)는 녹화 내시경 영상에서 타겟 장기 및 수술 도구를 자동으로 분할 및 라벨링하여, 분할 영상을 생성할 수 있다. 이러한 분할 영상은 분할된 영역에 대한 클래스 라벨 정보를 포함하므로, 장기 및 수술 도구를 검출하는 딥러닝 모델의 훈련 데이터로 이용될 수 있다. 녹화 내시경 영상 뿐만 아니라, 실시간 내시경 영상에 대한 분할 영상 역시 녹화되어, 딥러닝 모델의 훈련 데이터로 이용될 수 있다. Alternatively, the endoscopic image analysis device 120 may generate segmented images of target organs and surgical tools from recorded endoscopic images. That is, the endoscopic image analysis device 120 can automatically segment and label target organs and surgical tools in a recorded endoscopic image to generate a segmented image. Since these segmented images contain class label information for the segmented areas, they can be used as training data for deep learning models that detect organs and surgical tools. In addition to recorded endoscopic images, segmented images of real-time endoscopic images are also recorded and can be used as training data for deep learning models.
이와 같이 본 발명의 일실시예에 따르면, 전문의가 수술 과정에서 용이하게 타겟 장기와 수술 도구를 확인할 수 있으며, 의료 사고와 수술 시간이 줄어들 수 있다.As such, according to one embodiment of the present invention, a specialist can easily check target organs and surgical tools during a surgical procedure, and medical accidents and surgical times can be reduced.
또한 본 발명의 일실시예에 따르면, 자동 라벨링에 따라서 훈련 데이터가 생성되므로, 라벨링에 소요되는 시간이 줄어들수 있으며, 대량의 훈련 데이터가 확보될 수 있다.Additionally, according to one embodiment of the present invention, training data is generated according to automatic labeling, so the time required for labeling can be reduced and a large amount of training data can be secured.
도 2는 본 발명의 일실시예에 따른 내시경 영상 분석 방법을 설명하기 위한 도면이며, 도 3은 본 발명의 일실시예에 따른 분할 영상을 설명하기 위한 도면이다. 도 2에서는 실시간 내시경 영상에 대한 분석 방법이 일실시예로서 설명된다.FIG. 2 is a diagram for explaining an endoscopic image analysis method according to an embodiment of the present invention, and FIG. 3 is a diagram for explaining a segmented image according to an embodiment of the present invention. In Figure 2, an analysis method for real-time endoscopic images is explained as an example.
도 2를 참조하면, 본 발명의 일실시예에 따른 컴퓨팅 장치는, 미리 학습된 딥러닝 모델을 이용하여, 실시간 내시경 영상에서, 적어도 하나의 타겟 장기 및 적어도 하나의 수술 도구를 검출(S210)한다. 그리고 실시간 내시경 영상에서, 검출된 타겟 장기 및 수술 도구가 포함된 영역을, 서로 다른 클래스의 영역으로 분할(S220)한다. 분할된 영상은, 디스플레이 장치 등을 통해 사용자에게 제공(S230)될 수 있다.Referring to FIG. 2, the computing device according to an embodiment of the present invention detects at least one target organ and at least one surgical tool from a real-time endoscopic image using a pre-trained deep learning model (S210). . And in the real-time endoscopic image, the area containing the detected target organ and surgical tool is divided into areas of different classes (S220). The divided image may be provided to the user through a display device, etc. (S230).
단계 S220에서 컴퓨팅 장치는 도 3에 도시된 바와 같이, 검출된 타겟 장기 및 수술 도구에 대한 경계선을 이용하여, 내시경 영상에서 검출된 타겟 장기 및 수술 도구가 포함된 영역을 분할할 수 있다. 도 3에서는, 전립선 내시경 영상에서, 방광(bladder), 전립선(prostate), 정낭(seminal vesicle, sv), 정관(vas deferens, vas)이 타겟 장기로 검출되어 적색, 핑크색, 녹색 등의 경계선에 의해 분할되고, 4개의 수술 도구가 검출되어 파란색 경계선에 의해 분할된 영상이 도시되어 있다. In step S220, the computing device may divide an area containing the target organ and surgical tool detected in the endoscopic image using the boundary line for the detected target organ and surgical tool, as shown in FIG. 3 . In Figure 3, in the prostate endoscopic image, the bladder, prostate, seminal vesicle (SV), and vas deferens (vas) are detected as target organs and identified by red, pink, green, etc. boundaries. The image is shown segmented, four surgical tools detected, and divided by a blue border.
이와 같이, 컴퓨팅 장치는 수술 도구 각각이 포함된 영역들을, 동일한 색상의 경계선을 이용하여 분할하고, 서로 다른 클래스의 타겟 장기 각각이 포함된 영역들을, 서로 다른 색상의 경계선을 이용하여 분할할 수 있다. 도 3에서, 정낭 및 정관의 클래스는 동일하기 때문에, 모두 핑크색의 경계선으로 분할되어 있으며, 나머지 방광 및 전립선의 클래스는 서로 상이하기 때문에, 서로 다른 색상의 경계선으로 분할되어 있다. In this way, the computing device can divide the areas containing each surgical tool using borderlines of the same color, and divide the areas containing each of the target organs of different classes using borderlines of different colors. . In Figure 3, because the classes of seminal vesicles and vas deferens are the same, they are all divided by pink boundaries, and because the remaining classes of bladder and prostate are different from each other, they are divided by boundaries of different colors.
또는 실시예에 따라서 컴퓨팅 장치는 단계 S220에서 타겟 장기와 수술 도구를 서로 다른 색상의 경계선을 이용하여 분할하되, 사용자가 타겟 장기와 수술 도구를 명확히 구분할 수 있는 색상의 경계선을 이용하여, 타겟 장기와 수술 도구를 분할할 수 있다. 컴퓨팅 장치는 제1색상의 경계선을 이용하여, 검출된 타겟 장기가 포함된 영역을 분할하고, 제2색상의 경계선을 이용하여 검출된 수술 도구가 포함된 영역을 분할하되, 사용자가 검출된 타겟 장기와 수술 도구를 명확하게 구분할 수 있도록, 제1 및 제2색상은 서로 보색 관계의 색상일 수 있다.Alternatively, depending on the embodiment, the computing device divides the target organ and the surgical tool in step S220 using a borderline of different colors, using a borderline of a color that allows the user to clearly distinguish the target organ and the surgical tool. Surgical tools can be divided. The computing device divides the area containing the detected target organ using a borderline of a first color, and divides the area containing the detected surgical tool using a borderline of a second color, where the user detects the target organ In order to clearly distinguish between the surgical tool and the first color, the first and second colors may be colors that are complementary to each other.
또는 컴퓨팅 장치는, 검출된 타겟 장기와 수술 도구를, 사용자가 배경 영역으로부터 명확하게 구분할 수 있도록, 단계 S220에서 내시경 영상의 배경 영역의 컬러의 특성에 따라서, 경계선의 명도, 채도 및 굵기 중 적어도 하나를 조절할 수 있다. 예컨대, 내시경 영상의 배경 영역이 도 3과 같이, 전체적으로 채도가 높을 경우, 컴퓨팅 장치는 경계선이 배경 영역과 구분될 수 있도록, 경계선의 채도를 조절할 수 있다. 또는 내시경 영상의 배경 영역이 전체적으로 흰색의 특성을 나타낼 경우, 컴퓨팅 장치는 경계선이 흰색과 구분될 수 있도록, 경계선의 컬러의 명도를 낮출 수 있다. Alternatively, the computing device may set at least one of brightness, saturation, and thickness of the borderline according to the color characteristics of the background area of the endoscopic image in step S220, so that the user can clearly distinguish the detected target organ and the surgical tool from the background area. can be adjusted. For example, if the background area of the endoscope image has overall high saturation as shown in FIG. 3, the computing device can adjust the saturation of the borderline so that the borderline can be distinguished from the background area. Alternatively, if the background area of the endoscope image is overall white, the computing device may lower the brightness of the border color so that the border can be distinguished from white.
한편, 타겟 장기는 수술 부위에 따라서 달라질 수 있으며, 수술 부위에 따라서 중요 장기의 순서는 달라질 수 있다. 예컨대, 도 3과 같은 전립선 수술에서는 전립선의 우선 순위가 가장 높을 수 있고, 정낭이나 정관의 우선 순위가 가장 낮을 수 있다. 이에 컴퓨팅 장치는 우선 순위가 높은 타겟 장기를 사용자가 보다 빠르고 정확하게 인식할 수 있도록, 단계 S220에서 타겟 장기의 우선 순위에 따라서 검출된 타겟 장기에 대한 경계선의 패턴을 조절할 수 있다. Meanwhile, target organs may vary depending on the surgical site, and the order of important organs may vary depending on the surgical site. For example, in the prostate surgery shown in Figure 3, the prostate may have the highest priority, and the seminal vesicles or vas deferens may have the lowest priority. Accordingly, the computing device may adjust the border pattern for the detected target organ according to the priority of the target organ in step S220 so that the user can more quickly and accurately recognize the target organ with high priority.
일실시예로서, 컴퓨팅 장치는 경계선의 굵기나 색상을 조절할 수 있으며, 우선 순위가 높은 순서로 타겟 장기에 대한 경계선의 굵기가 굵어질 수 있다.In one embodiment, the computing device can adjust the thickness or color of the boundary line, and the thickness of the boundary line for the target organ may become thicker in order of higher priority.
또한 본 발명의 일실시예에 따른 컴퓨팅 장치는 수술 과정에서 사용자가 타겟 장기를 보다 빠르게 인식할 수 있도록, 단계 S220에서, 검출된 수술 도구가 검출된 타겟 장기에 근접하는 경우, 검출된 타겟 장기에 대한 경계선에 대한 시각 효과를 생성할 수 있다. In addition, the computing device according to one embodiment of the present invention allows the user to more quickly recognize the target organ during the surgical procedure. In step S220, when the detected surgical tool is close to the detected target organ, the computing device You can create visual effects for boundaries.
컴퓨팅 장치는 검출된 수술 도구와 검출된 타겟 장기 사이의 거리에 따라서, 검출된 타겟 장기에 대한 경계선의 굵기 또는 점멸 속도를 조절할 수 있다. 검출된 수술 도구와 검출된 타겟 장기 사이의 거리가 짧아질수록 경계선의 굵기가 굵어지거나 경계선의 점멸 속도가 빨라질 수 있다. 이후, 검출된 수술 도구와 검출된 타겟 장기가 오버랩되어, 검출된 수술 도구가 검출된 타겟 장기 상에 위치한다고 판단된 경우, 경계선의 굵기가 초기값으로 돌아가 다시 얇아지거나, 경계선의 점멸은 중단될 수 있다.The computing device may adjust the thickness or blinking speed of the border for the detected target organ depending on the distance between the detected surgical tool and the detected target organ. As the distance between the detected surgical tool and the detected target organ becomes shorter, the thickness of the border line may become thicker or the blinking speed of the border line may become faster. Afterwards, if the detected surgical tool and the detected target organ overlap, and it is determined that the detected surgical tool is located on the detected target organ, the thickness of the border will return to the initial value and become thinner again, or the border will stop blinking. You can.
도 4는 본 발명의 다른 실시예에 따른 내시경 영상 분석 방법을 설명하기 위한 도면으로서, 도 4에서는 녹화 내시경 영상에 대한 내시경 영상 분석 방법이 일실시예로서 설명된다.FIG. 4 is a diagram for explaining an endoscopic image analysis method according to another embodiment of the present invention. In FIG. 4, an endoscopic image analysis method for a recorded endoscopic image is explained as an example.
도 4를 참조하면 본 발명의 일실시예에 따른 컴퓨팅 장치는 사용자로부터 검출 구간 및 프레임 레이트를 입력(S410)받는다. 컴퓨팅 장치는 검출 구간 및 프레임 레이트를 입력받기 위한 인터페이스를, 사용자에게 제공할 수 있다.Referring to FIG. 4, the computing device according to an embodiment of the present invention receives the detection interval and frame rate from the user (S410). The computing device may provide the user with an interface for inputting the detection interval and frame rate.
그리고 컴퓨팅 장치는 녹화 내시경 영상의 전체 구간 중 검출 구간에 포함된 프레임 중, 프레임 레이트에 따라 결정된 프레임에서, 적어도 하나의 타겟 장기 및 적어도 하나의 수술 도구를 검출(S420)한다. 컴퓨팅 장치는 전술된 바와 같이, 미리 학습된 딥러닝 모델을 이용하여, 녹화 내시경 영상에서, 타겟 장기 및 수술 도구를 검출할 수 있다.Then, the computing device detects at least one target organ and at least one surgical tool in a frame determined according to the frame rate among the frames included in the detection section among the entire section of the recorded endoscope image (S420). As described above, the computing device can detect target organs and surgical tools in recorded endoscopic images using a pre-trained deep learning model.
검출 구간은 녹화 내시경 영상의 전체 구간 중 타겟 장기 및 수술 도구의 검출이 수행되는 구간을 나타내며, 프레임 레이트는 검출 구간에 포함된 프레임 중 타겟 장기 및 수술 도구의 검출이 수행되는 프레임의 개수를 결정하기 위한 파라미터이다. 프레임 레이트가 증가할수록, 타겟 장기 및 수술 도구의 검출이 수행되는 프레임의 개수는 증가한다.The detection section represents the section in which detection of target organs and surgical tools is performed among the entire section of the recorded endoscope image, and the frame rate determines the number of frames in which detection of target organs and surgical tools is performed among the frames included in the detection section. This is a parameter for As the frame rate increases, the number of frames over which detection of target organs and surgical tools is performed increases.
예컨대, 입력된 검출 구간이 1분에서 2분사이라면, 녹화 내시경 영상의 전체 구간 중 1분에서 2분 사이에 대응되는 구간에서, 타겟 장기 및 수술 도구가 검출될 수 있다. 그리고 검출 구간에 포함된 복수의 프레임 중, 프레임 레이트에 따라 결정된 프레임에서, 타겟 장기와 수술 도구의 검출이 수행된다. 예컨대, 검출 구간에 포함된 프레임의 개수가 600개이고, 프레임 레이트가 1FPS라면, 초당 1개의 프레임이 선택되어, 분당 총 60개의 프레임에서 타겟 장기와 수술 도구의 검출이 수행될 수 있다.For example, if the input detection section is between 1 minute and 2 minutes, the target organ and surgical tool may be detected in the section corresponding to 1 minute to 2 minutes among the entire section of the recorded endoscope image. And, among the plurality of frames included in the detection section, detection of the target organ and surgical tool is performed in a frame determined according to the frame rate. For example, if the number of frames included in the detection section is 600 and the frame rate is 1FPS, one frame per second is selected, and detection of the target organ and surgical tool can be performed at a total of 60 frames per minute.
컴퓨팅 장치는 녹화 내시경 영상에서, 검출된 타겟 장기 및 수술 도구가 포함된 영역을, 서로 다른 클래스의 영역으로 분할(S430)하고, 분할된 영상을, 사용자에게 제공(S440)한다.The computing device divides the area containing the detected target organ and surgical tool in the recorded endoscope image into areas of different classes (S430) and provides the divided image to the user (S440).
전술된 바와 같이 컴퓨팅 장치는 검출된 타겟 장기 및 수술 도구에 대한 경계선을 이용하여, 검출된 타겟 장기 및 수술 도구가 포함된 영역을 분할할 수 있으며, 사용자는 분할된 영상에 표시된 경계선을 수정할 수 있다. 검출된 타겟 장기 및 수술 도구의 분할에 오류가 있을 수 있으므로, 컴퓨팅 장치는 사용자의 요청에 따라서, 경계선의 위치를 수정할 수 있다.As described above, the computing device can segment the area containing the detected target organ and surgical tool using the boundary line for the detected target organ and surgical tool, and the user can modify the boundary line displayed in the divided image. . Since there may be an error in the segmentation of the detected target organ and surgical tool, the computing device may modify the position of the boundary line according to the user's request.
앞서 설명된 데이터 수집 방법에 관한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Technical details regarding the data collection method described above may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with specific details such as specific components and limited embodiments and drawings, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those skilled in the art can make various modifications and variations from this description. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all modifications that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .
Claims (10)
미리 학습된 딥러닝 모델을 이용하여, 내시경 영상에서, 적어도 하나의 타겟 장기 및 적어도 하나의 수술 도구를 검출하는 단계;
상기 내시경 영상에서, 상기 검출된 타겟 장기 및 수술 도구가 포함된 영역을, 서로 다른 클래스의 영역으로 분할하는 단계; 및
상기 분할된 영상을, 사용자에게 제공하는 단계를 포함하며,
상기 검출된 타겟 장기 및 수술 도구가 포함된 영역을 분할하는 단계는
상기 검출된 타겟 장기 및 수술 도구에 대한 경계선을 이용하여, 상기 검출된 타겟 장기 및 수술 도구가 포함된 영역을 분할하며, 상기 내시경 영상의 배경 영역의 컬러의 특성에 따라서, 상기 경계선의 명도, 채도 및 굵기 중 적어도 하나를 조절하되, 상기 배경 영역의 컬러의 특성이 흰색 특성인 경우, 상기 경계선의 명도를 낮추며,
제1색상의 경계선을 이용하여, 상기 검출된 타겟 장기가 포함된 영역을 분할하고, 상기 제1색상과 보색 관계인 제2색상의 경계선을 이용하여 상기 검출된 수술 도구가 포함된 영역을 분할하며,
상기 검출된 수술 도구가 상기 검출된 타겟 장기에 근접하는 경우, 상기 검출된 타겟 장기에 대한 경계선에 대한 시각 효과를 생성하되, 상기 검출된 수술 도구와 상기 검출된 타겟 장기 사이의 거리가 짧아질수록, 상기 검출된 타겟 장기에 대한 경계선의 굵기를 증가시키며,
상기 검출된 타겟 장기에 대한 경계선의 패턴은
상기 타겟 장기의 우선 순위에 따라서, 조절되며, 상기 우선 순위가 높은 순서로 상기 타겟 장기에 대한 경계선의 굵기가 굵어지는 패턴이며,
상기 내시경 영상은
실시간 내시경 영상 또는 녹화 내시경 영상이며,
상기 내시경 영상에서, 상기 타겟 장기 및 수술 도구를 검출하는 단계는
사용자로부터 검출 구간 및 프레임 레이트를 입력받는 단계; 및
상기 녹화 내시경 영상의 전체 구간 중 상기 검출 구간에 포함된 프레임 중, 상기 프레임 레이트에 따라 결정된 프레임에서, 상기 타겟 장기 및 수술 도구를 검출하는 단계
를 포함하는 내시경 영상 분석 방법.
In an endoscopic image analysis method performed on a computing device,
Detecting at least one target organ and at least one surgical tool in an endoscopic image using a pre-trained deep learning model;
In the endoscopic image, dividing an area containing the detected target organ and surgical tool into areas of different classes; and
Including providing the segmented image to a user,
The step of dividing the area containing the detected target organ and surgical tool is
The area containing the detected target organ and surgical tool is divided using a borderline for the detected target organ and surgical tool, and the brightness and saturation of the borderline are determined according to the color characteristics of the background area of the endoscopic image. and adjusting at least one of the thickness, wherein when the color characteristic of the background area is white, the brightness of the border line is lowered,
Using a borderline of a first color, the area containing the detected target organ is divided, and a borderline of a second color complementary to the first color is used to divide the area containing the detected surgical tool,
When the detected surgical tool is close to the detected target organ, a visual effect of a boundary line for the detected target organ is generated, as the distance between the detected surgical tool and the detected target organ becomes shorter. , increasing the thickness of the borderline for the detected target organ,
The borderline pattern for the detected target organ is
It is adjusted according to the priority of the target organ, and is a pattern in which the thickness of the borderline for the target organ becomes thicker in order of higher priority,
The endoscopic image is
It is a real-time endoscopic video or a recorded endoscopic video,
In the endoscopic image, the step of detecting the target organ and surgical tool is
Receiving a detection section and frame rate from the user; and
Detecting the target organ and surgical tool in frames determined according to the frame rate among frames included in the detection section among the entire section of the recorded endoscopic image.
Endoscopic image analysis method comprising.
사용자의 요청에 따라서, 상기 경계선의 위치를 수정하는 단계
를 더 포함하는 내시경 영상 분석 방법.
According to clause 1,
Modifying the position of the boundary line according to the user's request
An endoscopic image analysis method further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230106143A KR102649413B1 (en) | 2023-08-14 | 2023-08-14 | Method and apparatus for analizing endoscopic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230106143A KR102649413B1 (en) | 2023-08-14 | 2023-08-14 | Method and apparatus for analizing endoscopic image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102649413B1 true KR102649413B1 (en) | 2024-03-20 |
Family
ID=90483154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230106143A KR102649413B1 (en) | 2023-08-14 | 2023-08-14 | Method and apparatus for analizing endoscopic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102649413B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023079038A (en) * | 2021-11-26 | 2023-06-07 | 株式会社Jmees | Surgery support system. surgery support method and surgery support program |
-
2023
- 2023-08-14 KR KR1020230106143A patent/KR102649413B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023079038A (en) * | 2021-11-26 | 2023-06-07 | 株式会社Jmees | Surgery support system. surgery support method and surgery support program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-Bander et al. | Multiscale sequential convolutional neural networks for simultaneous detection of fovea and optic disc | |
| WO2022021955A1 (en) | Image segmentation method and apparatus, and training method and apparatus for image segmentation model | |
| CN110197493B (en) | Fundus image blood vessel segmentation method | |
| JP6947759B2 (en) | Systems and methods for automatically detecting, locating, and semantic segmenting anatomical objects | |
| US20220415087A1 (en) | Method, Device, Electronic Equipment and Storage Medium for Positioning Macular Center in Fundus Images | |
| TWI446202B (en) | Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading | |
| US20050018890A1 (en) | Segmentation of left ventriculograms using boosted decision trees | |
| JP2024500938A (en) | Automatic annotation of state features in medical images | |
| KR102220109B1 (en) | Method for classifying images using deep neural network and apparatus using the same | |
| JP6715358B2 (en) | Method, apparatus, program for learning frame image of moving object for artificial intelligence video learning, and video learning method thereof | |
| KR102370886B1 (en) | Image analysis apparatus using machine-learning based artificial intelligence including preprocessing modules | |
| JP2022548237A (en) | Interactive Endoscopy for Intraoperative Virtual Annotation in VATS and Minimally Invasive Surgery | |
| US20220093236A1 (en) | System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure | |
| KR102649413B1 (en) | Method and apparatus for analizing endoscopic image | |
| KR20200062764A (en) | Method and system for segmentation of vessel using deep learning | |
| CN108198632A (en) | The preoperative planning system and method for a kind of retinopathy laser therapy | |
| KR102276862B1 (en) | Method, apparatus and program for controlling surgical image play | |
| WO2023077238A1 (en) | Hybrid classifier training for feature annotation | |
| EP4293615A1 (en) | Learning device, learning method, trained model, and program | |
| Liu et al. | Detection and classification of chronic total occlusion lesions using deep learning | |
| KR102095731B1 (en) | Mra image learning method and assistance diagnosis method for blood vessel lesion of deep learning based assistance diagnosis system | |
| KR102350053B1 (en) | Disease prediction system using deep neural network | |
| Shyamalee et al. | Automated Tool Support for Glaucoma Identification with Explainability Using Fundus Images | |
| KR102473037B1 (en) | Method and system for automatically controlling navigation of surgical tool based on reinforcement learning | |
| KR102234139B1 (en) | Method for classifying images using deep neural network and apparatus using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |