KR20210101641A - Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging - Google Patents

Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging Download PDF

Info

Publication number
KR20210101641A
KR20210101641A KR1020200015858A KR20200015858A KR20210101641A KR 20210101641 A KR20210101641 A KR 20210101641A KR 1020200015858 A KR1020200015858 A KR 1020200015858A KR 20200015858 A KR20200015858 A KR 20200015858A KR 20210101641 A KR20210101641 A KR 20210101641A
Authority
KR
South Korea
Prior art keywords
blood vessel
image
contrast agent
region
medical tool
Prior art date
Application number
KR1020200015858A
Other languages
Korean (ko)
Other versions
KR102375776B1 (en
Inventor
권지훈
김영학
권휘
박세영
송교석
Original Assignee
울산대학교 산학협력단
주식회사 메디픽셀
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 주식회사 메디픽셀, 재단법인 아산사회복지재단 filed Critical 울산대학교 산학협력단
Priority to KR1020200015858A priority Critical patent/KR102375776B1/en
Publication of KR20210101641A publication Critical patent/KR20210101641A/en
Priority to KR1020220028284A priority patent/KR102418439B1/en
Application granted granted Critical
Publication of KR102375776B1 publication Critical patent/KR102375776B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0113—Mechanical advancing means, e.g. catheter dispensers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided

Abstract

The present invention relates to a method of dividing a blood vessel region and a medical instrument tip region from blood vessel imaging performed by a processor. The method comprises the steps of: generating a first contrast agent display image based on a first machine learning model from a first blood vessel image acquired for a blood vessel region in which a medical instrument tip is located while the contrast agent is injected into the medical instrument; generating a second contrast agent display image based on a second machine learning model from a second blood vessel image acquired for the blood vessel region after the contrast agent is injected into at least a part of the blood vessel through the medical instrument; and generating an output image in which the medical instrument tip and the blood vessel region are divided based on a third machine learning model from the first contrast agent display image and the second contrast agent display image. The present invention relates to a method and an apparatus for dividing and extracting a blood vessel region and a medical instrument tip region from a blood vessel image.

Description

혈관 영상으로부터 혈관 영역 및 의료도구 선단부 영역을 구분하여 추출하는 방법 및 장치{METHOD AND APPARATUS FOR DIVIDING BLOOD VESSEL REGION AND MEDICAL INSTRUMENT TIP REGION FROM VESSEL IMAGING}Method and apparatus for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image

이하, 혈관 영상으로부터 혈관 영역 및 의료도구 선단부 영역을 구분하여 추출하는 방법에 관한 기술이 제공된다.Hereinafter, a technique for a method of extracting a blood vessel region and a distal end region of a medical tool from a blood vessel image is provided.

심혈관, 뇌혈관, 말초혈관을 치료할 때 카테터를 이용하여 스텐트 등을 삽입하는 중재 시술이 널리 보급되어 있다. 가이드와이어 또는 카테터를 통과하여 혈관 내에 스텐트 등을 이송하는 경로를 설정하기 위한 도구로서, 가이드와이어를 질환이 있는 혈관의 말단까지 이송시키기 위해서 혈관 조영술(angiography)등 의료영상 기반의 시각 정보와 미세한 손의 감각에 기반한 촉각 정보등을 활용된다.When treating cardiovascular, cerebrovascular, and peripheral blood vessels, an interventional procedure that inserts a stent using a catheter is widespread. As a tool for setting a route for transporting a stent, etc. within a blood vessel through a guide wire or catheter, medical image-based visual information such as angiography and fine hand to transport the guide wire to the end of a diseased blood vessel Tactile information based on the senses of

최근 방사선 노출 등 시술자의 신체적 부담을 경감하고 시술도구의 정밀한 제어를 위하여 원격로봇 등이 개발되고 있다. 시술로봇은 FDA를 통과하여 상용화가 진행되고 있으나, 간단한 시술 동작을 하기 위해서 새로운 도구에 적응하기 위한 학습이 필요한 실정이다. 가이드와이어를 뒤로 움직이거나 일정한 각도로 회전하는 등 해당 동작을 직접 하지 않더라도 로봇이 대신하는 기능이 더해지고 있으나, 시술에서 차지하는 비중은 적다.Recently, remote robots have been developed to reduce the operator's physical burden, such as radiation exposure, and to precisely control surgical tools. Although the surgical robot has passed the FDA and is being commercialized, it is necessary to learn to adapt to a new tool in order to perform a simple procedure. Even if you do not directly perform the corresponding motion, such as moving the guide wire backwards or rotating it at a certain angle, a function that the robot takes over is being added, but the proportion of the operation is small.

대한민국 특허등록공보 제10-1937018호(등록일: 2019년 01월 03일)Korean Patent Registration Publication No. 10-1937018 (Registration Date: January 03, 2019)

일실시예에 따르면, 프로세서에 의해 수행되는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법은 조영제가 혈관에 삽입된 의료도구에 주입되는 동안, 상기 의료도구의 선단부가 위치된 혈관 영역에 대해 획득된 제1 혈관 영상으로부터 제1 기계 학습 모델에 기초하여 제1 조영제 표시 영상을 생성하는 단계, 상기 조영제가 상기 의료도구를 통해 혈관의 적어도 일부에 주입된 후, 상기 혈관 영역에 대해 획득된 제2 혈관 영상으로부터 상기 제2 기계 학습 모델에 기초하여 제2 조영제 표시 영상을 생성하는 단계, 및 상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상으로부터 제3 기계 학습 모델에 기초하여 상기 의료도구 선단부 영역 및 상기 혈관 영역이 구분된 출력 영상을 생성하는 단계를 포함할 수 있다.According to an embodiment, in the method for separating and extracting the blood vessel region and the distal end region of the medical tool from the vascular image performed by the processor, the blood vessel in which the distal end of the medical instrument is located while the contrast agent is injected into the medical instrument inserted into the blood vessel. generating a first contrast agent display image based on a first machine learning model from the first blood vessel image acquired for the region; after the contrast agent is injected into at least a portion of the blood vessel through the medical tool, the blood vessel region generating a second contrast agent display image from the obtained second blood vessel image based on the second machine learning model, and based on a third machine learning model from the first contrast agent display image and the second contrast agent display image The method may include generating an output image in which the distal end region of the medical tool and the blood vessel region are separated.

일실시예에 따른 상기 제1 기계 학습 모델 및 제2 기계 학습 모델 중 적어도 하나는 혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 모델이고, 상기 제3 기계 학습 모델은 상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상으로부터 상기 출력 영상을 생성하도록 트레이닝된 모델일 수 있다.At least one of the first machine learning model and the second machine learning model according to an embodiment is a model trained to distinguish a region injected with a contrast agent and the remaining background region in a blood vessel image, and the third machine learning model is the It may be a model trained to generate the output image from the first contrast agent-displayed image and the second contrast agent-displayed image.

일측에 따른 상기 제1 기계 학습 모델 및 제2 기계 학습 모델 중 적어도 하나는 조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 패치 이미지에 기초하여 트레이닝된 기계 학습 모델일 수 있다.At least one of the first machine learning model and the second machine learning model according to one side may be a machine learning model trained based on a plurality of patch images generated from a blood vessel image in a state in which a contrast agent is injected.

상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델은 혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 동일한 모델일 수 있으나, 이에 국한되지 않고, 제1 기계 학습 모델 및 제2 기계 학습 모델은 별개의 모델일 수 있다.The first machine learning model and the second machine learning model may be the same model trained to distinguish a region injected with a contrast agent and the remaining background region in a blood vessel image, but is not limited thereto, and the first machine learning model and the second machine learning model are not limited thereto. The machine learning model may be a separate model.

일실시예에 따르면, 상기 출력 영상을 생성하는 단계는 상기 출력 영상으로서 상기 조영제가 주입된 영역으로부터 상기 의료도구 선단부 영역이 제거된 혈관 영역 영상을 생성하는 단계를 포함하고, 상기 혈관 영역 영상은 배경 영역과 혈관 영역이 다른 값으로 구분되어 표시되는 마스크 이미지(mask image)일 수 있다..According to an embodiment, the generating of the output image includes generating, as the output image, a vascular region image in which the distal end region of the medical tool is removed from a region injected with the contrast agent, and the vascular region image is a background image. It may be a mask image in which the region and the blood vessel region are divided by different values and displayed.

또한, 상기 제1 조영제 표시 영상을 생성하는 단계는 전체 혈관 영상에 대한 부분 혈관 영상에 기초하여 상기 제1 조영제 표시 영상을 생성하는 단계를 포함하고, 상기 제2 조영제 표시 영상을 생성하는 단계는 상기 부분 혈관 영상에 기초하여 상기 제2 조영제 표시 영상을 생성하는 단계를 포함할 수 있다.In addition, the generating of the first contrast medium display image includes generating the first contrast medium display image based on a partial blood vessel image of a whole blood vessel image, and the generating of the second contrast medium display image includes: The method may include generating the second contrast agent display image based on the partial blood vessel image.

일측에 따르면, 상기 제1 조영제 표시 영상을 생성하는 단계는 상기 조영제가 의료도구 선단부까지 주입된 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 상기 제1 조영제 표시 영상을 생성하는 단계를 포함하고, 상기 제2 조영제 표시 영상을 생성하는 단계는 상기 조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 상기 제2 조영제 표시 영상을 생성하는 단계를 포함하며, 상기 출력 영상을 생성하는 단계는 복수의 제1 조영제 표시 영상 및 복수의 제2 조영제 표시 영상을 이용하여 상기 의료도구 선단부 영역 및 상기 혈관 영역이 구분된 출력 영상을 생성하는 단계를 포함할 수 있다.According to one side, the generating of the first contrast medium display image includes generating the first contrast medium display image based on a plurality of frames generated from an image of a blood vessel in which the contrast medium is injected to a distal end of a medical tool, The generating of the second contrast medium display image includes generating the second contrast medium display image based on a plurality of frames generated from the blood vessel image in a state in which the contrast medium is injected, and the generating of the output image includes: The method may include generating an output image in which the distal end region of the medical tool and the blood vessel region are divided by using the plurality of first contrast agent-displayed images and the plurality of second contrast agent-displayed images.

상기 제2 조영제 표시 영상을 생성하는 단계는 상기 복수 프레임 중 조영제가 주입된 영역의 인텐시티를 기준으로 일정 개수의 혈관 영상 프레임을 획득하는 단계를 포함할 수 있다.The generating of the second contrast agent display image may include acquiring a predetermined number of blood vessel image frames based on an intensity of a region into which the contrast agent is injected among the plurality of frames.

예시적으로, 상기 제2 조영제 표시 영상을 생성하는 단계는 상기 의료도구를 통해 혈관에 주입된 조영제의 양을 판단하는 단계 및 상기 조영제의 양에 기초하여 상기 혈관 영상 프레임을 획득할지 여부를 결정하는 단계를 포함할 수 있다.For example, the generating of the second contrast medium display image may include determining an amount of a contrast medium injected into a blood vessel through the medical tool and determining whether to acquire the blood vessel image frame based on the amount of the contrast medium. may include steps.

일실시예에 따른 프로세서에 의해 수행되는, 혈관 영상으로부터 의료도구 선단부 영역과 혈관 영역을 추출하는 방법은 조영제가 삽입된 혈관 영상으로부터 의료도구 선단부 영역을 추출할 수 있으므로, 혈관 영역과 의료도구 선단부 영역이 구분된 영상 또는 이미지를 생성할 수 있다. 혈관 영역과 의료도구 선단부 영역이 구분된 영상 또는 이미지는 혈관 영상을 처리함으로써 의료 도구 삽입 장치의 동작을 결정하는 프로세서로 전달되어 프로세서가 일련의 동작 명령들을 결정할 수 있게 제공될 수 있다.In the method of extracting the distal end region of the medical tool and the vascular region from the vascular image, performed by the processor according to an embodiment, the distal region of the medical tool can be extracted from the vascular image in which the contrast agent is inserted, and thus the vascular region and the distal region of the medical tool. You can create this separated image or image. An image or an image in which the blood vessel region and the medical tool tip region are separated may be transmitted to a processor that determines an operation of the medical tool insertion device by processing the blood vessel image, so that the processor can determine a series of operation commands.

도 1은 일실시예에 따른 의료 도구 삽입 장치의 동작을 도시한 도면이다.
도 2는 일실시예에 따른 의료도구 선단부 영역을 추출하는 방법을 도시한 흐름도이다.
도 3은 일실시예에 따른 의료도구 선단부 영역이 표시된 제1 조영제 표시 영상을 생성하는 것을 도시한 도면이다.
도 4는 일실시예에 따른 혈관 영역이 표시된 제2 조영제 표시 영상을 생성하는 것을 도시한 도면이다.
도 5는 일실시예에 따라 혈관 영상의 복수의 패치 이미지를 생성함으로써 기계 학습 모델을 트레이닝하는 것과 혈관 영상으로부터 제1 조영제 표시 영상 및 제2 조영제 표시 영상을 생성하는 것을 도시하는 도면이다.
도 6은 일실시예에 따른 제1 조영제 표시 영상 및 제2 조영제 표시 영상에 기초하여 혈관 영상으로부터 의료도구 선단부 영역 및 혈관 영역을 구분하여 추출하는 것을 나타낸 도면이다.
도 7은 일실시예에 따른 의료도구 선단부 영역 추출 장치를 대략적으로 도시한 블록도이다.1 is a diagram illustrating an operation of an apparatus for inserting a medical tool according to an exemplary embodiment.
2 is a flowchart illustrating a method of extracting a tip region of a medical tool according to an embodiment.
3 is a diagram illustrating generation of a first contrast agent display image in which a distal end region of a medical tool is displayed, according to an exemplary embodiment.
4 is a diagram illustrating generation of a second contrast medium display image in which a blood vessel region is displayed, according to an exemplary embodiment.
5 is a diagram illustrating training a machine learning model by generating a plurality of patch images of a blood vessel image and generating a first contrast agent display image and a second contrast agent display image from the blood vessel image, according to an exemplary embodiment.
FIG. 6 is a diagram illustrating separation and extraction of a distal end region and a vascular region of a medical tool from a blood vessel image based on a first contrast agent-displayed image and a second contrast agent-displayed image according to an exemplary embodiment;
7 is a block diagram schematically illustrating an apparatus for extracting a tip region of a medical tool according to an embodiment.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected to” another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

도 1은 일실시예에 따른 의료 도구 삽입 장치의 동작을 도시한 도면이다.1 is a diagram illustrating an operation of an apparatus for inserting a medical tool according to an exemplary embodiment.

일실시예에 따른 의료 도구 삽입 장치(110)는 프로세서에 의한 구동 명령에 따라 혈관 목적 지점까지 의료도구(120)를 이동시킬 수 있다. 예를 들어, 의료 도구 삽입 장치(110)는 의료도구(120)의 선단부를 혈관 목적 지점까지 이동시킬 수 있다. 의료 도구 삽입 장치(110)는 수술을 수행하기 위한 로봇으로 구현될 수 있으며, 예를 들어, 심혈관중재술을 위한 의료 도구를 제어하는 로봇일 수 있다.The medical tool insertion apparatus 110 according to an embodiment may move the medical tool 120 to a blood vessel target point according to a driving command from a processor. For example, the medical tool insertion device 110 may move the distal end of the medical tool 120 to a blood vessel target point. The medical tool insertion device 110 may be implemented as a robot for performing surgery, for example, a robot for controlling a medical tool for cardiovascular intervention.

의료도구(120)는 혈관에 삽입되는 부재(member)로서, 의료도구(120)의 선단부에 배치되는 의료 도구(medical tool) 및 의료 도구를 구동부에 연결하는 의료용 와이어(medical wire)를 포함할 수 있다. 의료용 와이어는 예를 들어, 카테터(catheter) 또는 가이드와이어를 포함할 수 있다. 가이드와이어는 상술한 의료 도구를 혈관의 목적부위까지 삽입 및 가이드하기 위해 이용되는 의료용 와이어를 나타낼 수 있다. 의료 도구는 의사의 제어에 따라 작동되는 수술용 도구일 수 있고, 예를 들어, 인트로듀서 키트(introducer kit)일 수 있다.The medical tool 120 is a member inserted into a blood vessel, and may include a medical tool disposed at the tip of the medical tool 120 and a medical wire connecting the medical tool to the driving unit. have. The medical wire may include, for example, a catheter or a guidewire. The guide wire may refer to a medical wire used for inserting and guiding the above-described medical tool to a target site of a blood vessel. The medical tool may be a surgical tool operated under the control of a doctor, for example, an introducer kit.

의료 도구 삽입 장치(110)는 혈관 영상을 이용하여 상술한 구동 명령을 결정할 수 있다. 예를 들어, 의료 도구 삽입 장치(110)는, 기계 학습 모델에 따른 연산을 수행함으로써, 혈관 영상으로부터 구동 명령을 출력할 수 있다. 기계 학습 모델은 혈관 영상을 입력 받고 가이드 데이터를 출력하도록 설계 및 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크 모델로 구현될 수 있다. 다만, 기계 학습 모델의 입력을 혈관 영상으로 한정하는 것은 아니고, 혈관 구조 영상 및 가이드 데이터일 수도 있다. 가이드 데이터는 혈관 영상 또는 혈관 구조 영상에 가이드 정보가 매핑된 데이터를 나타낼 수 있다. 혈관 구조 영상은 혈관 영상으로부터 특정 혈관이 추출된 영상으로서, 혈관 영상이 전처리된 영상일 수 있다. 혈관 구조 영상은 하기 도 3에서 설명한다. 혈관 영상은 혈관조영술(coronary angiography, 이하 CAG) 또는 자기공명영상(Magnetic Resonance Imaging, 이하 MRI)를 이용하여 생성된 영상일 수 있다. 혈관 영상에서는 혈관뿐만 아니라 의료도구(120)도 촬영될 수 있다.The medical tool insertion apparatus 110 may determine the above-described driving command using the blood vessel image. For example, the medical tool insertion apparatus 110 may output a driving command from the blood vessel image by performing an operation according to the machine learning model. The machine learning model is a model designed and trained to receive a blood vessel image and output guide data, and may be implemented as, for example, a neural network model. However, the input of the machine learning model is not limited to the blood vessel image, and may be a blood vessel structure image and guide data. The guide data may represent data in which guide information is mapped to a blood vessel image or a blood vessel structure image. The blood vessel structure image is an image in which a specific blood vessel is extracted from the blood vessel image, and may be an image obtained by preprocessing the blood vessel image. The blood vessel structure image will be described with reference to FIG. 3 below. The blood vessel image may be an image generated using corona angiography (CAG) or magnetic resonance imaging (MRI). In the blood vessel image, not only blood vessels but also the medical tool 120 may be photographed.

가이드 정보는 의료도구(120)의 이동 및 회전을 가이드하기 위한 정보로서, 예를 들어, 혈관 내에서 의료도구(120)가 출발해야하는 지점, 경유해야하는 지점, 및 목적 지점에 관한 정보를 포함할 수 있다. 각 지점에 관한 정보는 해당 지점의 혈관 구조 영상 내 영상 좌표를 포함할 수 있으나, 이로 한정하는 것은 아니다. 일 실시예에 따르면 혈관 구조 영상에 가이드 정보가 시각적으로 매핑될 수 있다. 예를 들어, 각 목표 지점에 대응하는 그래픽 오브젝트가 혈관 구조 영상에 시각화될 수 있고, 목표 지점이 시각화된 혈관 구조 영상을 가이드 영상이라고 나타낼 수 있다.The guide information is information for guiding the movement and rotation of the medical tool 120, and may include, for example, information about a point where the medical tool 120 should start, a point to pass through, and a destination point in a blood vessel. have. The information about each point may include, but is not limited to, image coordinates in the blood vessel structure image of the corresponding point. According to an embodiment, guide information may be visually mapped to the blood vessel structure image. For example, a graphic object corresponding to each target point may be visualized in the blood vessel structure image, and the blood vessel structure image in which the target point is visualized may be represented as a guide image.

의료 도구 삽입 장치(110)의 프로세서는, 혈관 영상을 분석한 결과에 기초하여, 의료도구(120)의 구동을 결정할 수 있다. 프로세서는 혈관 영상, 혈관 구조 영상, 및 가이드 데이터 중 적어도 하나를 이용하여 구동 명령을 결정할 수 있다. 구동 명령은, 의료도구(120)와 연결되어 의료도구(120)를 이동 및 회전시키는 구동부를 동작시키기 위한 명령을 나타낼 수 있다. 구동 명령은 예를 들어, 전진 명령, 후진 명령, 시계 방향 회전 명령, 및 반시계 방향 회전 명령일 수 있으나, 이로 한정하는 것은 아니다.The processor of the medical tool insertion apparatus 110 may determine to drive the medical tool 120 based on a result of analyzing the blood vessel image. The processor may determine a driving command by using at least one of a blood vessel image, a blood vessel structure image, and guide data. The driving command may represent a command for operating a driving unit connected to the medical tool 120 to move and rotate the medical tool 120 . The driving command may be, for example, a forward command, a reverse command, a clockwise rotation command, and a counterclockwise rotation command, but is not limited thereto.

의료 도구 삽입 장치(110)는 수신된 혈관 영상을 분석하여 가이드 데이터를 생성하고, 의료 도구 삽입 장치(110)는 생성된 가이드 데이터로부터 구동 명령을 결정할 수 있다. 예를 들어, 의료 도구 삽입 장치(110)는 가이드 데이터로부터 전진 명령, 후진 명령, 시계 방향 회전 명령, 및 반시계 방향 회전 명령 중 하나를 동작 명령으로 선택할 수 있다. 의료 도구 삽입 장치(110)의 구동부는 선택된 동작 명령에 따라 구동할 수 있다. 예를 들어, 구동부는 전진 명령에 응답하여 의료도구(120)를 전진시킬 수 있다. 구동부는 후진 명령에 응답하여 의료도구(120)를 후퇴시킬 수 있다. 구동부는 시계 방향 회전 명령에 응답하여, 가이드와이어의 길이 축을 기준으로 가이드와이어를 시계 방향으로 회전시킬 수 있다. 구동부는 반시계 방향 회전 명령에 응답하여, 가이드와이어의 길이 축을 기준으로 가이드와이어를 반시계 방향으로 회전시킬 수 있다.The medical tool insertion apparatus 110 may analyze the received blood vessel image to generate guide data, and the medical tool insertion apparatus 110 may determine a driving command from the generated guide data. For example, the medical tool insertion apparatus 110 may select one of a forward command, a backward command, a clockwise rotation command, and a counterclockwise rotation command from the guide data as an operation command. The driving unit of the medical tool insertion device 110 may be driven according to a selected operation command. For example, the driving unit may advance the medical tool 120 in response to the forward command. The driving unit may retract the medical tool 120 in response to the reverse command. The driving unit may rotate the guide wire clockwise with respect to the longitudinal axis of the guide wire in response to the clockwise rotation command. In response to the counterclockwise rotation command, the driving unit may rotate the guide wire counterclockwise with respect to the longitudinal axis of the guide wire.

따라서, 의료 도구 삽입 장치(110)는 혈관 영상을 분석함으로써 생성된 가이드 데이터를 이용하여 일련의 동작 명령들을 결정함으로써, 가이드 데이터에 의해 가이드되는 지점으로 의료도구(120)의 선단부를 이동시킬 수 있다. 의료 도구 삽입 장치(110)는 가이드 데이터를 이용한 동작 결정을 반복함으로써, 의료도구(120)의 선단부를 최종 목적 지점까지 이동시킬 수 있다. 의료도구(120)의 선단부, 예를 들어, 의료 도구가 목적 지점까지 도달한 후, 의료 도구는 의사의 제어에 따른 수술 동작을 수행할 수 있다.Accordingly, the medical tool insertion apparatus 110 may move the distal end of the medical tool 120 to a point guided by the guide data by determining a series of operation commands using the guide data generated by analyzing the blood vessel image. . The medical tool insertion apparatus 110 may move the distal end of the medical tool 120 to the final destination point by repeating the operation determination using the guide data. After the distal end of the medical tool 120, for example, the medical tool reaches the target point, the medical tool may perform a surgical operation under the control of the doctor.

도 1에 따르면, 의료도구(120)가 피시술자의 손목의 혈관을 통해 삽입된 후, 의료 도구 삽입 장치(110)는 의료도구(120)를 목표로 하는 혈관으로 가이드 및 이동시킬 수 있다. 그러나, 의료도구(120)는 피시술자의 손목의 혈관을 통해 삽입되는 것에 국한되지 않고, 피시술자의 하지의 혈관을 통해 삽입될 수도 있다.Referring to FIG. 1 , after the medical tool 120 is inserted through the blood vessel of the recipient's wrist, the medical tool insertion device 110 may guide and move the medical tool 120 to the target blood vessel. However, the medical tool 120 is not limited to being inserted through the blood vessel of the recipient's wrist, and may be inserted through the blood vessel of the recipient's lower extremity.

도 2는 일실시예에 따른 의료도구 선단부 영역을 추출하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of extracting a tip region of a medical tool according to an embodiment.

단계(210)에서, 일실시예에 따른 프로세서는 조영제가 의료도구에 주입되는 동안, 의료도구 선단부가 위치된 혈관 영역에 대해 획득된 제1 혈관 영상으로부터 제1 기계 학습 모델에 기초하여 제1 조영제 표시 영상을 생성할 수 있다. 혈관 영상은 혈관 조영술에 따라 생성된 영상일 수 있는데, 혈관에 엑스선 촬영 시 혈관 구조를 보이게 하는 물질인 조영제를 주입한 후 엑스선 촬영함으로써 생성된 혈관 구조 영상일 수 있다. 피시술자의 혈관으로 조영제가 주입된 경우, 조영제 주입 후 경과 시간에 따라 혈관 영상 촬영 장치에 의해 출력되는 영상이 다를 수 있다. 예시적으로, 혈관 영상은 시간 경과에 따라 조영제가 주입되는 의료도구 선단부 위치부터 혈관 말단까지 표시될 수 있다. 제1 혈관 영상은 조영제가 의료도구 선단부까지 주입된 경우, 혈관 영상 촬영 장치에 의해 획득된 영상일 수 있고, 프로세서는 제1 혈관 영상을 이용하여 제1 조영제 표시 영상을 생성할 수 있다. 프로세서가 제1 조영제 표시 영상을 생성하는 것은 도 3을 통해 상세히 서술한다.In operation 210 , the processor according to an exemplary embodiment performs a first contrast agent based on a first machine learning model from a first blood vessel image acquired for a blood vessel region in which the tip of the medical tool is located while the contrast agent is injected into the medical tool. A display image can be created. The blood vessel image may be an image generated according to angiography, and may be an image of a blood vessel structure generated by X-ray imaging after injecting a contrast agent, which is a material for showing a blood vessel structure during X-ray imaging, into a blood vessel. When a contrast agent is injected into a blood vessel of a recipient, an image output by the blood vessel imaging apparatus may be different depending on an elapsed time after the contrast agent is injected. For example, the blood vessel image may be displayed from a position of a distal end of a medical tool into which a contrast agent is injected over time to a distal end of the vessel. The first blood vessel image may be an image obtained by the blood vessel imaging apparatus when the contrast agent is injected to the distal end of the medical tool, and the processor may generate a first contrast agent display image using the first blood vessel image. The processor generating the first contrast medium display image will be described in detail with reference to FIG. 3 .

단계(220)에서, 일실시예에 따른 혈관 영상으로부터 의료도구 선단부 영역을 추출하는 프로세서는 피시술자 혈관에 조영제가 혈관의 적어도 일부에 주입된 후, 혈관 영역에 대해 획득된 제2 혈관 영상으로부터 제2 기계 학습 모델에 기초하여 제2 조영제 표시 영상을 생성할 수 있다. 제2 혈관 영상은 조영제가 의료도구를 통해 피시술자의 혈관에 적어도 일부 주입된 후, 혈관 영역에 대해 획득된 영상일 수 있다. 예시적으로, 제2 혈관 영상은 의료도구가 혈관에서 가이드되어야 할 부분이 촬영된 영상일 수 있고, 프로세서는 제2 혈관 영상으로부터 혈관 경로가 표시된 제2 조영제 표시 영상을 획득할 수 있다. 프로세서가 제2 조영제 표시 영상을 생성하는 것은 도 4를 통해 상세히 서술한다.In operation 220 , the processor for extracting the distal end region of the medical tool from the vascular image according to an embodiment performs a second procedure from the second vascular image obtained with respect to the vascular region after a contrast agent is injected into at least a portion of the blood vessel of the recipient. A second contrast agent display image may be generated based on the machine learning model. The second blood vessel image may be an image obtained with respect to a blood vessel region after a contrast agent is at least partially injected into a blood vessel of a recipient through a medical tool. For example, the second blood vessel image may be an image of a portion where a medical tool is to be guided in a blood vessel, and the processor may obtain a second contrast medium display image in which a blood vessel path is displayed from the second blood vessel image. The processor generating the second contrast agent display image will be described in detail with reference to FIG. 4 .

단계(230)에서, 프로세서는 제1 조영제 표시 영상 및 제2 조영제 표시 영상으로부터 제3 기계 학습 모델에 기초하여 의료도구 선단부 영역 및 혈관 영역이 구분된 출력 영상을 생성할 수 있다. 프로세서가 출력 영상을 생성하는 것은 도 6을 통해 상세히 후술한다.In operation 230 , the processor may generate an output image in which the distal end region of the medical tool and the blood vessel region are separated from the first contrast medium display image and the second contrast medium display image based on the third machine learning model. Generation of the output image by the processor will be described in detail later with reference to FIG. 6 .

도 3은 일실시예에 따른 의료도구 선단부 영역이 표시된 제1 조영제 표시 영상(320)을 생성하는 것을 도시한 도면이다.FIG. 3 is a diagram illustrating generation of a first contrast agent display image 320 in which a distal end region of a medical tool is displayed, according to an exemplary embodiment.

일실시예에 따른 프로세서는 제1 기계 학습 모델에 기초하여 제1 혈관 영상(310)으로부터 제1 조영제 표시 영상(320)을 생성할 수 있다. 제1 기계 학습 모델은 혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 모델일 수 있다. 제1 혈관 영상(310)은 조영제가 의료도구를 통해 주입되어 의료도구 선단부까지 주입된 경우 촬영된 영상일 수 있다. 일실시예에 따른 프로세서는 조영제가 의료도구 선단부까지 도달하였다고 판단한 경우, 혈관 영상 촬영 장치에 혈관을 촬영하도록 지시 신호를 전달할 수 있고, 조영제가 의료도구 선단부까지 주입된 경우 촬영된 제1 혈관 영상(310)으로부터 의료도구 선단부 영역을 식별함으로써 제1 조영제 표시 영상(320)을 생성할 수 있다. 그러나, 프로세서는 조영제가 의료도구 선단부까지 주입되었다고 판단함으로써 제1 혈관 영상(310)을 획득하는 것에 국한되지 않고, 시술자의 촬영 신호에 의해 제1 혈관 영상(310)을 획득되는 것도 포함할 수 있다.The processor according to an embodiment may generate the first contrast agent display image 320 from the first blood vessel image 310 based on the first machine learning model. The first machine learning model may be a model trained to distinguish a region into which the contrast agent is injected and the remaining background region in the blood vessel image. The first blood vessel image 310 may be an image taken when a contrast agent is injected through a medical tool to the tip of the medical tool. When it is determined that the contrast agent has reached the tip of the medical tool, the processor may transmit an instruction signal to photograph the blood vessel to the blood vessel imaging apparatus, and when the contrast agent is injected to the tip of the medical tool, the first blood vessel image ( The first contrast agent display image 320 may be generated by identifying the distal region of the medical tool from the 310 . However, the processor is not limited to acquiring the first blood vessel image 310 by determining that the contrast medium is injected up to the tip of the medical tool, and may include acquiring the first blood vessel image 310 by the operator's imaging signal. .

제1 기계 학습 모델은 LadderNet 기계 학습 모델일 수 있고, 복수의 U-Net 모델이 연결된 레이어로 구현된 기계 학습 모델일 수 있다. U-Net 모델은 수축 경로(contracting path) 및 확장 경로(expansive path)로 구성되는 모델로서, U형 구조(U-shaped architecture)로 표현될 수 있다. 수축 경로는 컨볼루션(convolution) 연산 및 맥스풀링(max pooling) 연산을 포함하는 컨볼루션 네트워크로 구성될 수 있다. U-Net 모델에 입력된 데이터가 수축 경로를 통해 전파되는 동안 특징 정보는 증가되는 반면, 공간 정보는 감소될 수 있다. 수축 경로는 일련의 업컨볼루션(up-convolution) 연산 및 연결(concatenation) 연산을 통해 특징 정보 및 공간 정보를 수축 경로로부터의 고해상도 특징과 결합(combine)할 수 있다. 수축 경로는 일종의 인코더 레이어이고, 확장 경로는 일종의 디코더 레이어일 수 있다. 한 쌍의 인코더 및 디코더 레이어들을 포함하는 U-Net 모델 대신 여러 쌍의 인코더 및 디코더 분기들로 포함된 LadderNet 기계 학습 모델을 이용함으로써 각 레벨의 인접한 디코더 및 디코더 분기의 모든 쌍 사이의 연결을 스킵할 수 있다.The first machine learning model may be a LadderNet machine learning model, or a machine learning model implemented as a layer in which a plurality of U-Net models are connected. The U-Net model is a model composed of a contracting path and an expansive path, and may be expressed as a U-shaped architecture. The contraction path may be composed of a convolutional network including a convolution operation and a max pooling operation. While the data input to the U-Net model is propagated through the constriction path, the feature information is increased, while the spatial information can be decreased. The constriction path may combine feature information and spatial information with high-resolution features from the constriction path through a series of up-convolution and concatenation operations. The contraction path may be a kind of encoder layer, and the extension path may be a kind of decoder layer. By using a LadderNet machine learning model with multiple pairs of encoder and decoder branches instead of a U-Net model with a pair of encoder and decoder layers, we can skip the connections between every pair of adjacent decoder and decoder branches at each level. can

일실시예에 따르면, 프로세서는 조영제가 의료도구 선단부까지 주입된 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 제1 조영제 표시 영상(320)을 생성할 수 있다. 프로세서는 혈관 영상 중 미리 지정된 기준에 부합하는 일부 프레임을 제1 조영제 표시 영상(320)을 생성하는 프레임으로 사용할 수 있다. 예시적으로, 프로세서는 혈관 영상 중 조영제 영역의 인텐시티에 따라 제1 조영제 표시 영상(320)을 생성할 프레임을 결정할 수 있고, 혈관 영상 중 조영제 영역의 인텐시티가 가장 높은 프레임부터 일정 개수의 프레임을 제1 조영제 표시 영상(320)을 생성할 프레임으로 결정할 수 있다. 프로세서는 조영제 영역의 인텐시티가 가장 높은 프레임부터 일정 개수의 프레임을 제1 조영제 표시 영상(320)을 생성할 프레임으로 사용할 수 있지만, 이에 국한되지 않고, 조영제 영역의 인텐시티가 임계 수치 이상인 복수의 프레임을 이용하여 제1 조영제 표시 영상(320)을 생성할 수 있다.According to an embodiment, the processor may generate the first contrast agent display image 320 based on a plurality of frames generated from the blood vessel image in which the contrast agent is injected up to the distal end of the medical tool. The processor may use a part of the blood vessel image that meets a predetermined criterion as a frame for generating the first contrast medium display image 320 . For example, the processor may determine a frame to generate the first contrast agent display image 320 according to the intensity of the contrast agent region in the blood vessel image, and select a predetermined number of frames from the frame having the highest intensity of the contrast agent region in the blood vessel image. 1 The contrast agent display image 320 may be determined as a frame to be generated. The processor may use a predetermined number of frames starting with the frame having the highest intensity of the contrast agent region as frames for generating the first contrast agent display image 320, but is not limited thereto, and a plurality of frames having the intensity of the contrast agent region equal to or greater than a threshold value are selected. The first contrast agent display image 320 may be generated using the .

일실시예에 따른 프로세서는 의료도구를 통해 주입된 조영제 양을 판단할 수 있고, 조영제 양에 기초하여 혈관 영상 프레임을 획득할지 여부를 결정할 수 있다. 프로세서는 혈관으로 주입된 조영제 양을 의료도구에 남아있는 조영제의 양에 기초하여 획득할 수 있다. 예시적으로, 혈관에 주입된 조영제 양이 임계량보다 큰 경우, 프로세서는 조영제 표시 영상을 생성하기 위한 혈관 영상 프레임을 획득하는 것으로 결정할 수 있다.The processor according to an embodiment may determine the amount of the contrast medium injected through the medical tool, and may determine whether to acquire a blood vessel image frame based on the amount of the contrast medium. The processor may obtain the amount of the contrast medium injected into the blood vessel based on the amount of the contrast medium remaining in the medical device. For example, when the amount of the contrast agent injected into the blood vessel is greater than the threshold amount, the processor may determine to acquire the blood vessel image frame for generating the contrast agent display image.

도 4는 일실시예에 따른 혈관 영역이 표시된 제2 조영제 표시 영상을 생성하는 것을 도시한 도면이다.4 is a diagram illustrating generation of a second contrast medium display image in which a blood vessel region is displayed, according to an exemplary embodiment.

일실시예에 따른 프로세서는 제2 기계 학습 모델에 기초하여 제2 혈관 영상(410)으로부터 제2 조영제 표시 영상(420)을 생성할 수 있다. 제2 기계 학습 모델은 혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 모델일 수 있다. 제2 혈관 영상(410)은 조영제가 의료도구를 통해 주입되어 혈관의 적어도 일부 영역에 주입된 후 촬영된 영상일 수 있다. 일실시예에 따른 프로세서는 제1 혈관 영상을 촬영한 후, 의료도구 선단부를 통해 조영제가 혈관의 일부 영역으로 주입됨을 인식한 후 촬영된 제2 혈관 영상을 획득할 수 있다.The processor according to an embodiment may generate a second contrast agent display image 420 from the second blood vessel image 410 based on the second machine learning model. The second machine learning model may be a model trained to distinguish a region into which the contrast agent is injected and the remaining background region in the blood vessel image. The second blood vessel image 410 may be an image captured after a contrast agent is injected through a medical tool and injected into at least a partial region of a blood vessel. After capturing the first blood vessel image, the processor may acquire the photographed second blood vessel image after recognizing that the contrast medium is injected into a partial region of the blood vessel through the distal end of the medical tool.

제2 조영제 표시 영상을 생성하는 제2 기계 학습 모델은 혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 모델로 제1 기계 학습 모델과 동일한 모델일 수 있으나, 이에 국한되지 않고, 별개의 트레이닝 데이터로 학습된 기계 학습 모델일 수 있다.The second machine learning model for generating the second contrast agent display image is a model trained to distinguish a region injected with a contrast agent and the remaining background region from the blood vessel image, and may be the same model as the first machine learning model, but is not limited thereto; It may be a machine learning model trained with separate training data.

일실시예에 따르면, 프로세서는 조영제가 제2 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 제2 조영제 표시 영상(420)을 생성할 수 있다. 프로세서는 혈관 영상 중 미리 지정된 기준에 부합하는 일부 프레임을 제2 조영제 표시 영상(420)을 생성하는 프레임으로 사용할 수 있다. 예시적으로, 프로세서는 혈관 영상 중 조영제 영역의 인텐시티에 따라 제2 조영제 표시 영상(420)을 생성할 프레임을 결정할 수 있고, 혈관 영상 중 조영제 영역의 인텐시티가 가장 높은 프레임부터 일정 개수의 프레임을 제2 조영제 표시 영상(420)을 생성할 프레임으로 결정할 수 있다. 프로세서는 조영제 영역의 인텐시티가 가장 높은 프레임부터 일정 개수의 프레임을 제2 조영제 표시 영상(420)을 생성할 프레임으로 사용할 수 있지만, 이에 국한되지 않고, 조영제 영역의 인텐시티가 임계 수치 이상인 복수의 프레임을 이용하여 제2 조영제 표시 영상(420)을 생성할 수 있다.According to an embodiment, the processor may generate the second contrast agent display image 420 based on a plurality of frames in which the contrast agent is generated from the second blood vessel image. The processor may use a part of the blood vessel image that meets a predetermined criterion as a frame to generate the second contrast medium display image 420 . For example, the processor may determine a frame to generate the second contrast agent display image 420 according to the intensity of the contrast agent region in the blood vessel image, and select a predetermined number of frames from the frame having the highest intensity of the contrast agent region in the blood vessel image. The second contrast agent display image 420 may be determined as a frame to be generated. The processor may use a predetermined number of frames starting with the frame having the highest intensity of the contrast agent region as frames to generate the second contrast agent display image 420, but is not limited thereto, and a plurality of frames having the intensity of the contrast agent region equal to or greater than a threshold value are selected. The second contrast agent display image 420 may be generated using the .

도 5는 일실시예에 따라 혈관 영상의 복수의 패치 이미지를 생성함으로써 기계 학습 모델을 트레이닝하고, 제1 조영제 표시 영상 및 제2 조영제 표시 영상을 생성하는 것을 도시하는 도면이다.FIG. 5 is a diagram illustrating training a machine learning model by generating a plurality of patch images of a blood vessel image and generating a first contrast agent display image and a second contrast agent display image according to an exemplary embodiment.

일실시예에 따른 프로세서는 조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 패치 이미지에 기초하여 트레이닝된 제1 기계 학습 모델을 이용하여 제1 혈관 영상으로부터 제1 조영제 표시 영상을 생성할 수 있고, 복수의 패치 이미지에 기초하여 트레이닝된 제2 기계 학습 모델을 이용하여 제2 혈관 영상으로부터 제2 조영제 표시 영상을 생성할 수 있다.The processor according to an embodiment may generate a first contrast agent display image from the first blood vessel image using a first machine learning model trained based on a plurality of patch images generated from the blood vessel image in a state in which the contrast agent is injected, , a second contrast agent display image may be generated from the second blood vessel image using the second machine learning model trained based on the plurality of patch images.

일실시예에 따른 프로세서는 조영제가 주입됨으로써 촬영된 혈관 영상으로부터 조영제 주입 부분을 인식할 수 있고, 조영제 주입 부분을 기준으로 복수의 패치를 생성할 수 있다. 복수의 패치는 예시적으로, 미리 정해진 크기의 사각 패치일 수 있다. 하나의 프레임마다 복수의 패치가 생성되므로, 혈관 영상으로부터 하나의 프레임만 획득된 경우라도, 프로세서는 복수의 패치만큼의 트레이닝 데이터를 제공함으로써 트레이닝의 정확도를 높일 수 있다.The processor according to an embodiment may recognize a contrast agent injection portion from a blood vessel image captured by injecting a contrast agent, and may generate a plurality of patches based on the contrast agent injection portion. The plurality of patches may be, for example, rectangular patches having a predetermined size. Since a plurality of patches are generated for each frame, even when only one frame is obtained from the blood vessel image, the processor may increase training accuracy by providing training data corresponding to the plurality of patches.

일실시예에 따르면, 프로세서는 제1 혈관 영상(510)으로부터 복수의 패치(511,512)를 생성하고, 생성된 복수의 패치마다 트레이닝된 제1 기계 학습 모델을 이용하여 부분 제1 조영제 표시 영상을 출력할 수 있다. 프로세서는 복수의 패치마다 출력된 부분 제1 조영제 표시 영상을 조합함으로써 전체 제1 조영제 표시 영상을 생성할 수 있다. 일실시예에 따르면, 프로세서는 제1 혈관 영상(510)으로부터 제1 기계 학습 모델을 이용하여 복수의 제1 조영제 표시 영상을 생성할 수 있다.According to an embodiment, the processor generates a plurality of patches 511 and 512 from the first blood vessel image 510 and outputs a partial first contrast agent display image using a first machine learning model trained for each of the plurality of generated patches. can do. The processor may generate the entire first contrast agent display image by combining the partial first contrast agent display images output for each of the plurality of patches. According to an embodiment, the processor may generate a plurality of first contrast agent display images from the first blood vessel image 510 by using the first machine learning model.

이와 마찬가지로, 프로세서는 제2 혈관 영상(520)으로부터 복수의 패치(521, 522, 523)를 생성하고, 생성된 복수의 패치마다 트레이닝된 제2 기계 학습 모델을 이용하여 부분 제2 조영제 표시 영상을 출력할 수 있다. 프로세서는 복수의 패치마다 출력된 부분 제2 조영제 표시 영상을 조합함으로써 전체 제2 조영제 표시 영상을 생성할 수 있다. 일실시예에 따르면, 프로세서는 제2 혈관 영상(520)으로부터 제2 기계 학습 모델을 이용하여 복수의 제2 조영제 표시 영상을 생성할 수 있다.Similarly, the processor generates a plurality of patches 521 , 522 , and 523 from the second blood vessel image 520 , and generates a partial second contrast agent display image using a second machine learning model trained for each of the plurality of generated patches. can be printed out. The processor may generate the entire second contrast agent display image by combining the partial second contrast agent display images output for each of the plurality of patches. According to an embodiment, the processor may generate a plurality of second contrast agent display images from the second blood vessel image 520 by using the second machine learning model.

도 6은 일실시예에 따른 제2 조영제 표시 영상 및 제1 조영제 표시 영상에 기초하여 혈관 영역으로부터 의료도구 선단부 영역을 추출하는 것을 나타낸 도면이다.6 is a diagram illustrating extraction of a distal end region of a medical tool from a blood vessel region based on a second contrast agent-displayed image and a first contrast agent-displayed image according to an exemplary embodiment.

일실시예에 따른 프로세서는 제1 조영제 표시 영상 및 제2 조영제 표시 영상으로부터 제3 기계 학습 모델에 기초하여 의료도구 선단부 영역 및 혈관 영역이 구분된 출력 영상을 생성할 수 있다. 프로세서는 하나의 제1 조영제 표시 영상 및 하나의 제2 조영제 표시 영상으로 의료 기구 선단부 영역 및 혈관 영역이 구분된 출력 영상을 생성할 수 있지만, 이에 국한되지 않고, 프로세서는 복수의 제1 조영제 표시 영상 및 복수의 제2 조영제 표시 영상으로 출력 영상을 생성할 수 있다. 제3 기계 학습 모델은 제1 조영제 표시 영상 및 제2 조영제 표시 영상으로부터 출력 영상을 생성하도록 트레이닝된 모델일 수 있으며, 예시적으로 U-Net 기계 학습 모델로 혈관 영역과 의료도구 선단부 영역을 구분할 수 있도록 트레이닝된 모델일 수 있다. 프로세서가 의료도구 선단부 영역 및 혈관 영역이 구분된 출력 영상을 제공함으로써 의료도구가 혈관에서 가이드되어야 할 목적 지점을 식별하고, 목적 지점까지 의료 도구 삽입 장치가 의료도구를 가이드할 수 있는 데이터를 제공할 수 있다. 즉, 의료 도구 삽입 장치는 혈관 영역과 의료도구 선단부 영역이 구분된 영상으로부터 의료도구 선단부가 혈관의 목적 지점까지 가이드하기 위한 동작 명령을 결정하는데 필요한 데이터를 제공할 수 있다.The processor according to an exemplary embodiment may generate an output image in which the distal end region of the medical tool and the blood vessel region are separated from the first contrast medium display image and the second contrast medium display image based on the third machine learning model. The processor may generate an output image in which a distal end region of a medical device and a blood vessel region are divided into one first contrast medium display image and one second contrast medium display image, but the present invention is not limited thereto, and the processor may include a plurality of first contrast medium display images. and an output image using the plurality of second contrast agent display images. The third machine learning model may be a model trained to generate an output image from the first contrast agent-displayed image and the second contrast agent-displayed image. For example, the U-Net machine learning model can distinguish the blood vessel region and the distal end region of the medical tool. It may be a model trained to do so. The processor provides an output image in which the distal end area of the medical tool and the blood vessel area are separated, so that the medical tool identifies the target point to be guided in the blood vessel, and provides data for the medical tool insertion device to guide the medical tool to the target point. can That is, the medical tool insertion apparatus may provide data necessary for determining an operation command for guiding the distal end of the medical tool to the target point of the blood vessel from the image in which the blood vessel region and the medical tool tip region are separated.

일실시예에 따른 프로세서는 출력 영상을 이용하여 조영제가 주입된 영역으로부터 의료도구 선단부 영역이 제거된 혈관 영역 영상을 생성할 수 있고, 혈관 영역 영상으로부터 배경 영역을 지시하는 값과 혈관 영역을 지시하는 값이 서로 다른 마스크 이미지를 출력할 수 있다. 프로세서는 혈관 영역 영상의 픽셀 단위로 해당 픽셀이 배경 영역인지 혈관 영역인지 여부를 판단할 수 있다. 프로세서가 해당 픽셀이 배경 영역이라고 판단한 경우 배경 영역을 지시하는 값을 해당 픽셀에 설정할 수 있고, 해당 픽셀이 혈관 영역이라고 판단한 경우 혈관 영역을 지시하는 값을 해당 픽셀에 설정할 수 있다. 예시적으로, 배경 영역을 지시하는 값을 "0", 혈관 영역을 지시하는 값을 "1"로 설정할 수 있고, 혈관 영역 영상의 모든 픽셀에 대해 해당 픽셀이 지시하는 값을 설정함으로써 프로세서는 마스크 이미지를 출력할 수 있다. 의료 도구 삽입 장치는 이진화된 값으로 표시된 마스크 이미지를 입력 받고, 의료도구 선단부를 혈관 목적 지점까지 가이드하기 위한 데이터를 생성할 수 있다.The processor according to an embodiment may generate a blood vessel region image in which the distal end region of the medical tool is removed from the region into which the contrast agent is injected by using the output image, and a value indicating a background region and a value indicating the blood vessel region may be generated from the blood vessel region image. Mask images with different values can be output. The processor may determine whether a corresponding pixel is a background region or a blood vessel region in units of pixels of the blood vessel region image. When the processor determines that the pixel is the background region, a value indicating the background region may be set in the corresponding pixel, and when the processor determines that the pixel is the blood vessel region, a value indicating the blood vessel region may be set in the corresponding pixel. For example, the value indicating the background region may be set to “0” and the value indicating the blood vessel region may be set to “1”, and by setting the values indicated by the corresponding pixels for all pixels of the blood vessel region image, the processor performs the mask Images can be printed. The medical tool insertion apparatus may receive a mask image displayed as a binary value and generate data for guiding the distal end of the medical tool to a blood vessel target point.

도 7은 일실시예에 따른 의료도구 선단부 추출 장치를 대략적으로 도시한 블록도이다.7 is a block diagram schematically illustrating an apparatus for extracting a tip of a medical tool according to an embodiment.

일실시예에 따른 의료도구 선단부 영역을 추출하는 시스템(700)은 의료도구 선단부 영역 추출 장치(710) 및 혈관 영상 촬영 장치(720)를 포함할 수 있다. 의료도구 선단부 영역 추출 장치(710)는 프로세서(711), 메모리(712), 및 입출력 인터페이스(713)를 포함할 수 있다.The system 700 for extracting the tip region of a medical tool according to an embodiment may include a medical tool tip region extraction device 710 and a blood vessel imaging device 720 . The medical tool tip region extraction device 710 may include a processor 711 , a memory 712 , and an input/output interface 713 .

일실시예에 따른 의료도구 선단부 영역 추출 장치(710)의 프로세서(711)는 기계 학습 모델을 이용하여 혈관 영역과 의료도구 선단부 영역이 구분된 출력 영상을 생성할 수 있다. 출력 영상을 생성하는 것은 선술하였으므로, 자세한 설명은 생략한다. 의료도구 선단부 영역 추출 장치(710)의 메모리(712)는 제1 혈관 영상, 제2 혈관 영상, 제1 기계 학습 모델, 제2 기계 학습 모델, 제3 기계 학습 모델, 제1 조영제 표시 영상, 및 제2 조영제 표시 영상 중 적어도 하나를 적어도 일시적으로 저장할 수 있고, 프로세서(711)는 메모리(712)에 저장된 데이터를 이용하여 출력 영상을 생성할 수 있다. 입출력 인터페이스(713)는 혈관 영상 촬영 장치(720)와 연결됨으로써 데이터를 송수신할 수 있다.The processor 711 of the medical tool tip region extracting apparatus 710 according to an embodiment may generate an output image in which the blood vessel region and the medical tool tip region are divided by using the machine learning model. Since the generation of the output image has been described above, a detailed description thereof will be omitted. The memory 712 of the medical tool tip region extraction device 710 includes a first blood vessel image, a second blood vessel image, a first machine learning model, a second machine learning model, a third machine learning model, a first contrast medium display image, and At least one of the second contrast agent display images may be temporarily stored, and the processor 711 may generate an output image using data stored in the memory 712 . The input/output interface 713 may transmit/receive data by being connected to the blood vessel imaging apparatus 720 .

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA) array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

Claims (21)

프로세서에 의해 수행되는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법에 있어서,
조영제가 혈관에 삽입된 의료도구에 주입되는 동안, 상기 의료도구의 선단부가 위치된 혈관 영역에 대해 획득된 제1 혈관 영상으로부터 제1 기계 학습 모델에 기초하여 제1 조영제 표시 영상을 생성하는 단계;
상기 조영제가 상기 의료도구를 통해 혈관의 적어도 일부에 주입된 후, 상기 혈관 영역에 대해 획득된 제2 혈관 영상으로부터 제2 기계 학습 모델에 기초하여 제2 조영제 표시 영상을 생성하는 단계; 및
상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상으로부터 제3 기계 학습 모델에 기초하여 상기 의료도구 선단부 영역 및 상기 혈관 영역이 구분된 출력 영상을 생성하는 단계
를 포함하는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
A method for separating and extracting a blood vessel region and a tip region of a medical tool from a blood vessel image performed by a processor,
generating a first contrast agent display image based on a first machine learning model from a first blood vessel image acquired with respect to a blood vessel region in which a tip of the medical tool is located while a contrast agent is injected into the medical tool inserted into the blood vessel;
generating a second contrast agent display image based on a second machine learning model from a second blood vessel image acquired for the blood vessel region after the contrast agent is injected into at least a portion of the blood vessel through the medical tool; and
generating an output image in which the distal end region of the medical tool and the blood vessel region are separated from the first contrast medium display image and the second contrast medium display image based on a third machine learning model;
A method for separating and extracting a blood vessel region and a tip region of a medical tool from a blood vessel image comprising a.
 제1항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델 중 적어도 하나는 ,
혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 모델이고,
상기 제3 기계 학습 모델은,
상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상으로부터 상기 출력 영상을 생성하도록 트레이닝된 모델인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
According to claim 1,
At least one of the first machine learning model and the second machine learning model,
It is a model trained to distinguish the area where the contrast agent is injected and the rest of the background area in the blood vessel image,
The third machine learning model is
a model trained to generate the output image from the first contrast agent-displayed image and the second contrast agent-displayed image;
A method for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제2항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델 중 적어도 하나는,
조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 패치 이미지에 기초하여 트레이닝된 기계 학습 모델인
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
3. The method of claim 2,
At least one of the first machine learning model and the second machine learning model,
It is a machine learning model trained based on a plurality of patch images generated from vascular images in a state in which the contrast agent is injected.
A method for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제1항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델은,
혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 동일한 모델인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
According to claim 1,
The first machine learning model and the second machine learning model,
The same model trained to distinguish the area injected with contrast agent and the rest of the background area in the vascular image,
A method for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제1항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델은,
혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 별개의 모델인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
According to claim 1,
The first machine learning model and the second machine learning model,
A separate model trained to distinguish the area injected with the contrast agent and the remaining background area in the vascular image,
A method for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제1항에 있어서,
상기 출력 영상을 생성하는 단계는,
상기 출력 영상으로서 상기 조영제가 주입된 영역으로부터 상기 의료도구 선단부 영역이 제거된 혈관 영역 영상을 생성하는 단계
를 포함하고,
상기 혈관 영역 영상은,
배경 영역과 혈관 영역이 다른 값으로 구분되어 표시되는 마스크 이미지(mask image)인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
According to claim 1,
The step of generating the output image comprises:
generating, as the output image, a blood vessel region image in which the distal end region of the medical tool is removed from the region in which the contrast agent is injected
including,
The blood vessel region image is
A mask image in which the background area and the blood vessel area are separated by different values,
A method for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제1항에 있어서,
상기 제1 조영제 표시 영상을 생성하는 단계는,
전체 혈관 영상에 대한 부분 혈관 영상에 기초하여 상기 제1 조영제 표시 영상을 생성하는 단계를 포함하고,
상기 제2 조영제 표시 영상을 생성하는 단계는,
상기 부분 혈관 영상에 기초하여 상기 제2 조영제 표시 영상을 생성하는 단계를 포함하는
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
According to claim 1,
The step of generating the first contrast agent display image,
generating the first contrast agent display image based on a partial blood vessel image with respect to the whole blood vessel image;
The generating of the second contrast agent display image includes:
generating the second contrast medium display image based on the partial blood vessel image
A method for separating and extracting the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제1항에 있어서,
상기 제1 조영제 표시 영상을 생성하는 단계는,
상기 조영제가 의료도구 선단부까지 주입된 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 상기 제1 조영제 표시 영상을 생성하는 단계
를 포함하고,
상기 제2 조영제 표시 영상을 생성하는 단계는,
상기 조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 상기 제2 조영제 표시 영상을 생성하는 단계
를 포함하며,
상기 출력 영상을 생성하는 단계는,
복수의 제1 조영제 표시 영상 및 복수의 제2 조영제 표시 영상을 이용하여 상기 의료도구 선단부 영역 및 상기 혈관 영역이 구분된 출력 영상을 생성하는 단계
를 포함하는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
According to claim 1,
The step of generating the first contrast agent display image,
generating the first contrast agent display image based on a plurality of frames generated from the blood vessel image in which the contrast agent is injected up to the distal end of the medical tool
including,
The generating of the second contrast agent display image includes:
generating the second contrast agent display image based on a plurality of frames generated from the blood vessel image in a state in which the contrast agent is injected;
includes,
The step of generating the output image comprises:
generating an output image in which the distal end region of the medical tool and the blood vessel region are separated by using a plurality of first contrast agent-displayed images and a plurality of second contrast agent-displayed images
A method for separating and extracting a blood vessel region and a tip region of a medical tool from a blood vessel image comprising a.
 제8항에 있어서,
상기 제2 조영제 표시 영상을 생성하는 단계는,
상기 복수 프레임 중 조영제가 주입된 영역의 인텐시티를 기준으로 일정 개수의 혈관 영상 프레임을 획득하는 단계
를 포함하는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
9. The method of claim 8,
The generating of the second contrast agent display image includes:
acquiring a predetermined number of vascular image frames based on the intensity of a region into which the contrast agent is injected among the plurality of frames;
A method for separating and extracting a blood vessel region and a tip region of a medical tool from a blood vessel image comprising a.
 제9항에 있어서,
상기 제2 조영제 표시 영상을 생성하는 단계는,
상기 의료도구를 통해 혈관에 주입된 조영제의 양을 판단하는 단계; 및
상기 조영제의 양에 기초하여 상기 혈관 영상 프레임을 획득할지 여부를 결정하는 단계
를 포함하는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 방법.
10. The method of claim 9,
The generating of the second contrast agent display image includes:
determining the amount of the contrast medium injected into the blood vessel through the medical tool; and
determining whether to acquire the blood vessel image frame based on the amount of the contrast medium
A method for separating and extracting a blood vessel region and a tip region of a medical tool from a blood vessel image comprising a.
 제1항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
A computer-readable recording medium storing one or more computer programs including instructions for performing the method of any one of claims 1 to 10.
 조영제가 혈관에 삽입된 의료도구에 주입되는 동안, 상기 의료도구의 선단부가 위치된 혈관 영역에 대해 획득된 제1 혈관 영상으로부터 제1 기계 학습 모델에 기초하여 제1 조영제 표시 영상을 생성하고, 상기 조영제가 상기 의료도구를 통해 혈관의 적어도 일부에 주입된 후, 상기 혈관 영역에 대해 획득된 제2 혈관 영상으로부터 상기 제2 기계 학습 모델에 기초하여 제2 조영제 표시 영상을 생성하며, 상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상으로부터 제3 기계 학습 모델에 기초하여 상기 의료도구 선단부 영역 및 상기 혈관 영역이 구분된 출력 영상을 생성하는 프로세서; 및
상기 제1 혈관 영상, 상기 제2 혈관 영상, 상기 제1 기계 학습 모델, 상기 제2 기계 학습 모델, 상기 제3 기계 학습 모델, 상기 제1 조영제 표시 영상, 및 상기 제2 조영제 표시 영상 중 적어도 하나를 저장하는 메모리
를 포함하는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
While a contrast agent is injected into a medical tool inserted into a blood vessel, a first contrast agent display image is generated based on a first machine learning model from a first blood vessel image acquired for a blood vessel region in which the tip of the medical tool is located, and the After a contrast agent is injected into at least a portion of a blood vessel through the medical tool, a second contrast agent display image is generated based on the second machine learning model from a second blood vessel image acquired for the blood vessel region, and the first contrast agent a processor for generating an output image in which the distal end region of the medical tool and the blood vessel region are separated based on a third machine learning model from the display image and the second contrast medium display image; and
at least one of the first blood vessel image, the second blood vessel image, the first machine learning model, the second machine learning model, the third machine learning model, the first contrast medium display image, and the second contrast medium display image memory to store
A device for separating and extracting a blood vessel region and a distal end region of a medical tool from a blood vessel image comprising a.
 제12항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델 중 적어도 하나는,
혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 모델이고,
상기 제3 기계 학습 모델은,
상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상으로부터 상기 출력 영상을 생성하도록 트레이닝된 모델인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
13. The method of claim 12,
At least one of the first machine learning model and the second machine learning model,
It is a model trained to distinguish the area where the contrast agent is injected and the rest of the background area in the blood vessel image,
The third machine learning model is
a model trained to generate the output image from the first contrast agent-displayed image and the second contrast agent-displayed image;
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제13항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델 중 적어도 하나는,
조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 패치 이미지에 기초하여 트레이닝된 기계 학습 모델인
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
14. The method of claim 13,
At least one of the first machine learning model and the second machine learning model,
It is a machine learning model trained based on a plurality of patch images generated from vascular images in a state in which the contrast agent is injected.
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제12항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델은,
혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 동일한 모델인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
13. The method of claim 12,
The first machine learning model and the second machine learning model,
The same model trained to distinguish the area injected with contrast agent and the rest of the background area in the vascular image,
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제12항에 있어서,
상기 제1 기계 학습 모델 및 상기 제2 기계 학습 모델은,
혈관 영상에서 조영제가 주입된 영역 및 나머지 배경 영역을 구분하도록 트레이닝된 별개의 모델인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
13. The method of claim 12,
The first machine learning model and the second machine learning model,
A separate model trained to distinguish the area injected with the contrast agent and the remaining background area in the vascular image,
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제12항에 있어서,
상기 프로세서는,
상기 출력 영상으로서 상기 조영제가 주입된 영역으로부터 상기 의료도구 선단부 영역이 제거된 혈관 영역 영상을 생성하는 단계
를 포함하고,
상기 혈관 영역 영상은,
배경 영역과 혈관 영역이 다른 값으로 구분되어 표시되는 마스크 이미지(mask image)인,
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
13. The method of claim 12,
The processor is
generating, as the output image, a blood vessel region image in which the distal end region of the medical tool is removed from the region in which the contrast agent is injected
including,
The blood vessel region image is
A mask image in which the background area and the blood vessel area are separated by different values,
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제12항에 있어서,
상기 프로세서는,
전체 혈관 영상에 대한 부분 혈관 영상에 기초하여 상기 제1 조영제 표시 영상 및 상기 제2 조영제 표시 영상을 생성하는
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
13. The method of claim 12,
The processor is
generating the first contrast agent-displayed image and the second contrast agent-displayed image based on a partial blood vessel image with respect to the entire blood vessel image;
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제10항에 있어서,
상기 프로세서는,
상기 조영제가 의료도구 선단부까지 주입된 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 상기 제1 조영제 표시 영상을 생성하고, 상기 조영제가 주입된 상태의 혈관 영상으로부터 생성된 복수의 프레임에 기초하여 상기 제2 조영제 표시 영상을 생성하며, 복수의 제1 조영제 표시 영상 및 복수의 제2 조영제 표시 영상을 이용하여 상기 의료도구 선단부 영역 및 상기 혈관 영역이 구분된 출력 영상을 생성하는
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
11. The method of claim 10,
The processor is
The first contrast agent display image is generated based on a plurality of frames generated from the vascular image in which the contrast agent is injected up to the distal end of the medical tool, and the second contrast agent display image is generated based on the plurality of frames generated from the vascular image in a state in which the contrast agent is injected. 2 generating a contrast medium display image, and generating an output image in which the distal end region of the medical tool and the blood vessel region are divided by using the plurality of first contrast medium display images and the plurality of second contrast medium display images
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제16항에 있어서,
상기 프로세서는,
상기 복수 프레임 중 조영제가 주입된 영역의 인텐시티를 기준으로 일정 개수의 혈관 영상 프레임을 획득하는
혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
17. The method of claim 16,
The processor is
acquiring a certain number of vascular image frames based on the intensity of the region in which the contrast agent is injected among the plurality of frames
A device that separates and extracts the blood vessel area and the tip area of the medical tool from the blood vessel image.
 제20항에 있어서,
상기 프로세서는,
상기 의료도구를 통해 혈관에 주입된 조영제의 양을 판단하고, 상기 조영제의 양에 기초하여 상기 혈관 영상 프레임을 획득할지 여부를 결정하는 혈관 영상으로부터 혈관 영역과 의료도구 선단부 영역을 구분하여 추출하는 장치.
21. The method of claim 20,
The processor is
Apparatus for judging the amount of the contrast medium injected into the blood vessel through the medical tool, and separating the blood vessel region and the tip region of the medical tool from the blood vessel image for determining whether to acquire the blood vessel image frame based on the amount of the contrast medium .
KR1020200015858A 2020-02-10 2020-02-10 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging KR102375776B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200015858A KR102375776B1 (en) 2020-02-10 2020-02-10 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging
KR1020220028284A KR102418439B1 (en) 2020-02-10 2022-03-04 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200015858A KR102375776B1 (en) 2020-02-10 2020-02-10 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028284A Division KR102418439B1 (en) 2020-02-10 2022-03-04 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging

Publications (2)

Publication Number Publication Date
KR20210101641A true KR20210101641A (en) 2021-08-19
KR102375776B1 KR102375776B1 (en) 2022-03-21

Family

ID=77492524

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200015858A KR102375776B1 (en) 2020-02-10 2020-02-10 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging
KR1020220028284A KR102418439B1 (en) 2020-02-10 2022-03-04 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220028284A KR102418439B1 (en) 2020-02-10 2022-03-04 Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging

Country Status (1)

Country Link
KR (2) KR102375776B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472963B1 (en) * 2022-05-09 2022-12-01 주식회사 메디픽셀 Method and system for selecting an optimal frame using distribution of intensity for each frame image of medical imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148158A1 (en) * 2015-11-20 2017-05-25 The Regents Of The University Of Michigan Automated analysis of vasculature in coronary angiograms
KR101937018B1 (en) 2016-03-24 2019-01-09 울산대학교 산학협력단 Method and device for automatic inner and outer vessel wall segmentation in intravascular ultrasound images using deep learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008104909A1 (en) 2007-02-27 2008-09-04 Koninklijke Philips Electronics N.V. Method and device for recording a vascular structure during intervention
DE102010013221B4 (en) 2010-03-29 2012-06-28 Siemens Aktiengesellschaft Method for highlighting objects in interventional angiographic examinations and device for carrying out the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148158A1 (en) * 2015-11-20 2017-05-25 The Regents Of The University Of Michigan Automated analysis of vasculature in coronary angiograms
KR101937018B1 (en) 2016-03-24 2019-01-09 울산대학교 산학협력단 Method and device for automatic inner and outer vessel wall segmentation in intravascular ultrasound images using deep learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472963B1 (en) * 2022-05-09 2022-12-01 주식회사 메디픽셀 Method and system for selecting an optimal frame using distribution of intensity for each frame image of medical imaging

Also Published As

Publication number Publication date
KR102418439B1 (en) 2022-07-12
KR20220038612A (en) 2022-03-29
KR102375776B1 (en) 2022-03-21

Similar Documents

Publication Publication Date Title
US11610309B2 (en) Method and device for extracting major vessel region on basis of vessel image
US10555779B2 (en) System and method for a tracked procedure
KR102305965B1 (en) Device and method for detecting guidewire
KR102356341B1 (en) Method and apparatus to provide guide data for device to insert medical tool into vascular
CN107809955B (en) Real-time collimation and ROI-filter localization in X-ray imaging via automatic detection of landmarks of interest
KR102418439B1 (en) Method and apparatus for dividing blood vessel region and medical instrument tip region from vessel imaging
US11182925B2 (en) Method of determining a correspondence between frames of medical image data with and without contrast medium through probability distribution maps relating to position of a feature
KR102299530B1 (en) Method and apparatus for training machine learning models to determine action of medical tool insertion device
KR102418452B1 (en) Method and device to train operation determination model of medical tool control device
KR20200129229A (en) Apparatus and method for guidewire navigation
KR102349199B1 (en) Device and method for detecting guidewire based on curve similarity
Tercero et al. Haptic feedback in endovascular tele-surgery simulation through vasculature phantom morphology changes
WO2021096120A1 (en) Method and device for controlling guide wire movement device
EP4137053A1 (en) Blood vessel segmentation-based blood vessel image processing method and device
Schell Vision-based guidance for robot assisted endovascular intervention
KR20240003038A (en) Method and device to decide shape of guidewire tip
KR20240022024A (en) Method and device to decide shape of guidewire tip
KR20200134762A (en) Apparatus and method for controling guidewire velocity
Ashammagari A Framework for Automating Interventional Surgeries (Catheter detection and Automation of a crucial step in Percutaneous Coronary Interventional surgery-PCI)

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant