KR102639985B1 - Method and device for semgneting body component for conveying fluid - Google Patents

Method and device for semgneting body component for conveying fluid Download PDF

Info

Publication number
KR102639985B1
KR102639985B1 KR1020210051253A KR20210051253A KR102639985B1 KR 102639985 B1 KR102639985 B1 KR 102639985B1 KR 1020210051253 A KR1020210051253 A KR 1020210051253A KR 20210051253 A KR20210051253 A KR 20210051253A KR 102639985 B1 KR102639985 B1 KR 102639985B1
Authority
KR
South Korea
Prior art keywords
input
model
image
baseline
dimensional
Prior art date
Application number
KR1020210051253A
Other languages
Korean (ko)
Other versions
KR20220121141A (en
Inventor
이경준
이겨레
선우준
김택균
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Publication of KR20220121141A publication Critical patent/KR20220121141A/en
Application granted granted Critical
Publication of KR102639985B1 publication Critical patent/KR102639985B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Feeding, Discharge, Calcimining, Fusing, And Gas-Generation Devices (AREA)

Abstract

실시예들은 3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 입력된 2차원 절편 영상 각각에서의 혈액을 전달하는 신체 구성요소의 영역을 예측하는 단계를 포함한, 혈액을 전달하는 신체 구성요소를 분할하는 방법 및 이를 수행하기 위한 장치에 관한 것이다. 여기서, 상기 분할 모델은, 각각 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함한다. Embodiments include applying a plurality of two-dimensional target slice images, which form a three-dimensional target volume, to a pre-learned segmentation model to predict the area of the body component that delivers blood in each of the input two-dimensional slice images. , relates to a method of dividing body components that carry blood and a device for doing so. Here, the segmentation model includes a plurality of baseline models that extract features of the body components from the input two-dimensional slice image and predict the area of the body components, and each baseline model includes an encoder and a decoder. Includes each.

Description

혈액을 전달하는 신체 구성요소를 분할하는 방법 및 장치{METHOD AND DEVICE FOR SEMGNETING BODY COMPONENT FOR CONVEYING FLUID}METHOD AND DEVICE FOR SEMGNETING BODY COMPONENT FOR CONVEYING FLUID}

본 발명은 의료 영상에서 신체 구성요소를 분할하는 기술에 관한 것으로서, 보다 상세하게는, 혈관과 같이 혈액을 전달하는 신체 부분을 의료 영상으로부터 분할하는 방법 및 장치에 관한 것이다. The present invention relates to a technology for segmenting body components from medical images, and more specifically, to a method and device for segmenting body parts that transmit blood, such as blood vessels, from medical images.

혈관 분할(Blood vessel segmentation)은 수술 계획 및 질병 진단과 같은 광범위한 임상 절차를 지원하는데 필수적인 작업이다. 예를 들어, 혈관 분할 작업은 방사선 전문의가 허혈성 뇌졸중과 같은 심각한 뇌혈관 질환을 진단하는데 도움이 된다. 이러한 혈관 분할 작업은 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 자기 공명 혈관 조영(MRA)과 같은 다양한 영상 촬영 방식을 활용하여 수행된다. Blood vessel segmentation is an essential task to support a wide range of clinical procedures such as surgical planning and disease diagnosis. For example, blood vessel segmentation helps radiologists diagnose serious cerebrovascular diseases such as ischemic stroke. This blood vessel segmentation task is performed using various imaging modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and magnetic resonance angiography (MRA).

혈관은 다른 신체 기관 대비 복잡하고 좁은 구조를 고유한 해부학적 특성으로 가진다. 때문에, 혈관 분할 작업을 사람이 수동으로 수행하는 것은 매우 어렵다. 최근 기계학습 기술의 발전으로 인해 혈관 분할 작업을 딥러닝 모델을 사용하여 자동으로 수행하려는 시도가 있다. Blood vessels have a unique anatomical characteristic of a complex and narrow structure compared to other body organs. Therefore, it is very difficult for a person to manually perform the blood vessel segmentation task. Due to recent advances in machine learning technology, there are attempts to automatically perform blood vessel segmentation tasks using deep learning models.

예를 들어, 비특허문헌 1(nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation)은, 3차원 컨볼루션 연산을 통해 체적 특징을 추출하는 3차원 U-Net구조의 딥러닝 모델을 사용하여 3차원 영상으로부터 3차원 혈관 모델을 분할한다. For example, Non-Patent Document 1 (nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation) is a deep learning 3D U-Net structure that extracts volumetric features through 3D convolution operation. Segment a 3D blood vessel model from a 3D image using the model.

혈관을 3차원으로 분할되는 3차원 원본 영상은 일 축을 따르는 다수의 2차원 절편 영상(slice images)의 스택으로 구현된다. 이러한 2차원 절편 영상에서 혈관 부분은 해당 영상의 전체 면적 대비 매우 작은 부분이다. 일반적으로 3차원 영상에서 혈관은 2차원 절편의 1% 미만의 영역으로 표현된다. The 3D original image that divides the blood vessel into 3D is implemented as a stack of multiple 2D slice images along one axis. In these two-dimensional section images, the blood vessel portion is a very small portion compared to the total area of the image. In general, blood vessels in 3D images are represented as an area less than 1% of the 2D section.

때문에, 이러한 특성을 갖는 2차원 절편 영상들을 통해 딥러닝 모델이 3차원혈관 데이터에 대한 체적 특징을 일반적인 기계학습 기법으로 학습하면, 딥러닝 모델의 혈관 추출 성능은 높지 않다. 2차원 절편 각각에서의 비-혈관 픽셀 정보와 혈관 픽셀 정보 사이의 정보량 불균형으로 인해 클래스 훈련 단계가 비-혈관 영역에 의해 지배되기 때문이다. Therefore, if a deep learning model learns volumetric features of 3D blood vessel data using general machine learning techniques through 2D slice images with these characteristics, the blood vessel extraction performance of the deep learning model is not high. This is because the class training step is dominated by the non-vascular region due to the information amount imbalance between the non-vascular pixel information and the vascular pixel information in each 2D slice.

또한, 딥러닝 모델을 학습시키는데 매우 많은 용량의 3차원 훈련 영상(training image)이 요구되어, 메모리 용량이 많이 요구되는 한계가 있다.In addition, a very large amount of 3D training images is required to train a deep learning model, so there is a limitation in that a large amount of memory capacity is required.

Fabian Isensee et al., nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation (2018.09.27.) Fabian Isensee et al., nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation (2018.09.27.)

실시예들에 따르면 3차원 훈련 영상의 용량을 효율적으로 사용하여, 혈관과 같이 혈액을 전달하는 신체 부분을 의료 영상으로부터 보다 정확하게 분할하는 장치 및 방법을 제공한다. According to embodiments, an apparatus and method are provided for more accurately segmenting body parts that transmit blood, such as blood vessels, from medical images by efficiently using the capacity of a 3D training image.

이 외에도, 상기 방법을 수행하게 하는 명령어들을 기록한 컴퓨터 판독가능한 기록매체를 제공할 수도 있다. In addition, a computer-readable recording medium recording instructions for performing the method may be provided.

본 발명의 일 측면에 따른 실시예들에서는, 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 혈액을 전달하는 신체 구성요소를 분할하는 방법에 있어서, 3차원 훈련 체적을 이루는 복수의 2차원 훈련 절편 영상을 포함한 훈련 데이터 세트를 사용하여, 분할 모델을 학습하는 단계; 및 3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 입력된 2차원 절편 영상 각각에서의 상기 신체 구성요소의 영역을 예측하는 단계를 포함하되, 상기 분할 모델은 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하는 방법을 제공한다.In embodiments according to one aspect of the present invention, a method of segmenting a body component that delivers blood, which is performed by a computing device including a processor, includes a plurality of two-dimensional training slice images forming a three-dimensional training volume. learning a segmentation model using the included training data set; And applying a plurality of two-dimensional object slice images forming a three-dimensional target volume to a pre-learned segmentation model to predict the area of the body component in each input two-dimensional slice image, wherein the segmentation model Provides a method that includes a plurality of baseline models that extract features of the body components from an input two-dimensional slice image and predict the area of the body components, and each baseline model includes an encoder and a decoder, respectively. do.

일 실시예에서, 각 베이스라인 모델 내 인코더는 네트워크의 유닛 간의 연결이 순환적인 서브 네트워크를 적어도 하나의 컨볼루션 레이어로서 포함할 수도 있다. 상기 서브 네트워크는 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및 GRU 중 하나 이상을 포함한다. In one embodiment, the encoder in each baseline model may include a sub-network in which connections between units of the network are circular as at least one convolutional layer. The sub-network includes one or more of a Recurrent Neural Network (RNN), long short-term memory (LSTM), and GRU.

일 실시예에서, 상기 인코더는 공간 특징 및 절편 사이 연결성을 상기 신체 구성요소의 특징으로 추출할 수도 있다. 상기 디코더는 상기 공간 특징 및 절편 사이 연결성에 기초하여 개별 베이스라인 모델에 입력된 2차원 절편 영상에서의 상기 신체 구성요소의 영역을 예측하도록 구성될 수도 있다. 상기 공간 특징은 자신의 베이스라인 모델에 입력된 영상에서 추출된 특징이다. 상기 절편 사이 연결성은 자신의 베이스라인 모델에 입력된 영상과 인접한 복수의 다른 영상 사이의 연속 정보에 기초한 맥락이다. In one embodiment, the encoder may extract spatial features and connectivity between segments as features of the body component. The decoder may be configured to predict the region of the body component in a two-dimensional slice image input to an individual baseline model based on the spatial features and connectivity between slices. The spatial features are features extracted from the image input to its baseline model. The connectivity between the segments is a context based on continuous information between the image input to its baseline model and a plurality of other adjacent images.

일 실시예에서, 상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것일 수도 있다. 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 컨볼루션 레이어를 포함한다. 상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것일 수도 있다. 상기 제2 데이터 처리 경로는 인접한 복수의 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성된 것이다. In one embodiment, the spatial features may be obtained by inputting data processed through the first data processing path into a sub-network of its baseline model. The first data processing path includes a convolutional layer of the encoder in its baseline model. The connectivity between the segments may be obtained by inputting data transmitted through a second data processing path into the subnetwork of the own baseline model. The second data processing path is formed between the input end of the sub-network of a plurality of other adjacent baseline models and the input end of the own baseline model.

일 실시예에서, 상기 방법은: 상기 2차원 절편 영상별 예측 결과에 기초하여 2차원 절편 영상별 분할 마스크를 생성하는 단계; 및 상기 분할 마스크에 기초하여 3차원 상기 신체 구성요소의 모델을 생성하는 단계를 더 포함할 수도 있다. In one embodiment, the method includes: generating a segmentation mask for each 2-dimensional slice image based on a prediction result for each 2-dimensional slice image; And it may further include generating a three-dimensional model of the body component based on the segmentation mask.

일 실시예에서, 상기 분할 모델을 학습하는 단계는, 3차원 훈련 체적을 이루는, N1개의 2차원 훈련 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 분할 모델에 포함된 복수의 베이스라인 모델의 수로 설정된 하이퍼 파라미터T에 기초하여 지정됨; 및 N1개의 2차원 훈련 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다. 상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 SL의 값 만큼 이동한 값일 수도 있다. In one embodiment, the step of learning the segmentation model includes inputting a portion of the N 1 2-dimensional training slice images forming a 3-dimensional training volume as an image sequence - the range of the image sequence is included in the segmentation model. Specified based on hyperparameter T set to the number of multiple baseline models; and continuing to input the next image sequence until all N 1 2D training slice images are input. The index of the first 2D slice image of the next image sequence may be a value shifted by the value of the hyperparameter S L from the index of the first 2D slice image of the most recently input image sequence.

일 실시예에서, 상기 하이퍼 파라미터 SL은 상기 하이퍼 파라미터 T 보다 작은 값으로 설정될 수도 있다. In one embodiment, the hyperparameter S L may be set to a value smaller than the hyperparameter T.

일 실시예에서, 상기 신체 구성요소의 영역을 예측하는 단계는, 상기 3차원 대상 체적을 이루는, N2개의 2차원 대상 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 상기 하이퍼 파라미터 T에 기초하여 지정됨; 및 N2개의 2차원 대상 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다. 상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 SP의 값 만큼 이동한 값일 수도 있다. In one embodiment, the step of predicting the area of the body component includes inputting a portion of N 2 total 2-dimensional target slice images forming the 3-dimensional target volume as an image sequence - the range of the image sequence is Specified based on the hyperparameter T; and continuing to input the next image sequence until all N two 2D target slice images are input. The index of the first 2D slice image of the next image sequence may be a value shifted by the value of the hyper parameter S P from the index of the first 2D slice image of the most recently input image sequence.

일 실시예에서, 상기 하이퍼 파라미터 SP는 상기 하이퍼 파라미터 T와 동일한 값으로 설정된 것일 수도 있다. In one embodiment, the hyperparameter SP may be set to the same value as the hyperparameter T.

또한 본 발명의 다른 일 측면에 따른 실시예들에서는, 전술한 방법을 수행하게 하는 명령어를 저장하는 컴퓨터 판독가능 저장매체를 제공한다.Additionally, embodiments according to another aspect of the present invention provide a computer-readable storage medium that stores instructions for performing the above-described method.

또한 본 발명의 또 다른 일 측면에 따른 실시예들에서는, 혈액을 전달하는 신체 구성요소를 분할하는 장치에 있어서, 3차원 대상 체적을 이루는 복수의 2차원 대상 절편 영상을 포함한, 3차원 의료 영상을 획득하는 영상 획득부; 및 상기 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 각 2차원 대상 절편 영상별 상기 신체 구성요소의 영역을 예측하는 분할 처리부;를 포함하되, 상기 분할 모델은, 각각 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하는 장치를 제공한다.In addition, in embodiments according to another aspect of the present invention, in a device for segmenting body components that transmit blood, a three-dimensional medical image including a plurality of two-dimensional object slice images forming a three-dimensional object volume is provided. An image acquisition unit that acquires; and a segmentation processing unit that applies the plurality of two-dimensional target slice images to a pre-learned segmentation model to predict the area of the body component for each two-dimensional target slice image, wherein the segmentation model includes each input 2 An apparatus is provided, including a plurality of baseline models that extract features of the body components from a dimensional slice image and predict regions of the body components, and each baseline model includes an encoder and a decoder, respectively.

본 발명의 일 측면에 따른 장치는 분할 모델을 사용하여, 입력 영상에서의 공간 특징과 함께 절편 사이 연결성에 기초하여 보다 정확한 확률 맵을 생성하고 보다 정확하게 혈관 영역을 예측한다. The device according to one aspect of the present invention uses a segmentation model to generate a more accurate probability map and more accurately predict the blood vessel area based on the connectivity between segments along with spatial features in the input image.

또한, 상기 장치는 상기 분할 모델의 보다 효율적인 학습을 위해 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다.Additionally, the device may input a plurality of 2D slice images forming a 3D volume into the segmentation model for more efficient learning of the segmentation model.

또한, 상기 장치는 상기 분할 모델의 보다 신속한 예측을 위해, 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다. Additionally, the device may input a plurality of 2D slice images forming a 3D volume into the segmentation model for faster prediction of the segmentation model.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 혈관 분할 장치의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 분할 모델의 네트워크 아키텍처의 개략도이다.
도 3은, 본 발명의 일 실시예에 따른, 베이스라인 모델의 개략도이다.
도 4는, 본 발명의 일 실시예에 따른, 학습을 위해 영상 시퀀스를 입력하는 과정의 개략도이다.
도 5는, 본 발명의 일 실시예에 따른, 혈관 영역 예측을 위해 영상 시퀀스를 입력하는 과정의 개략도이다.
도 6은, 본 발명의 일 실시예에 따른, 혈액을 전달하는 신체 구성요소를 분할하는 방법의 흐름도이다.
도 7a 내지 도 7c는, 도 2의 분할 모델을 사용한 3차원 혈관 모델과 상기 비특허문헌 1의 딥러닝 모델을 사용한 3차원 혈관 모델을 도시한다.
In order to more clearly explain the technical solutions of the embodiments of the present invention or the prior art, drawings necessary in the description of the embodiments are briefly introduced below. It should be understood that the drawings below are for illustrative purposes only and not for limiting purposes of the embodiments of the present specification. Additionally, for clarity of explanation, some elements may be shown in the drawings below with various modifications, such as exaggeration or omission.
1 is a conceptual diagram of a blood vessel splitting device according to an embodiment of the present invention.
Figure 2 is a schematic diagram of a network architecture of a partitioned model, according to one embodiment of the present invention.
Figure 3 is a schematic diagram of a baseline model, according to one embodiment of the present invention.
Figure 4 is a schematic diagram of a process for inputting an image sequence for learning, according to an embodiment of the present invention.
Figure 5 is a schematic diagram of a process for inputting an image sequence for blood vessel area prediction, according to an embodiment of the present invention.
Figure 6 is a flow diagram of a method for segmenting body components that deliver blood, according to one embodiment of the present invention.
FIGS. 7A to 7C show a 3D blood vessel model using the segmentation model of FIG. 2 and a 3D blood vessel model using the deep learning model of Non-Patent Document 1.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is only intended to refer to specific embodiments and is not intended to limit the invention. As used herein, singular forms include plural forms unless phrases clearly indicate the contrary. As used in the specification, the meaning of "comprising" refers to specifying a particular characteristic, area, integer, step, operation, element and/or ingredient, and the presence or presence of another characteristic, area, integer, step, operation, element and/or ingredient. This does not exclude addition.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical and scientific terms used herein have the same meaning as those generally understood by those skilled in the art in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries are further interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

본 발명의 일 측면에 따른 혈관 분할 장치는 3차원 체적을 표현한 3차원 의료 영상을 획득하고, 3차원 의료 영상을 이루는 각 2차원 절편 영상에서 사용자가 원하는 대상 객체를 표현한 영역을 예측한다. 또한, 각 2차원 절편 영상에 대한 다수의 예측 결과에 기초하여 상기 대상 객체의 3차원 모델을 생성할 수 있다. 이로 인해, 3차원 체적으로부터 대상 객체를 3차원으로 분할할 수 있다. A blood vessel segmentation device according to one aspect of the present invention acquires a 3D medical image expressing a 3D volume, and predicts an area representing a target object desired by the user in each 2D slice image forming the 3D medical image. Additionally, a 3D model of the target object may be generated based on a plurality of prediction results for each 2D slice image. Because of this, the target object can be divided into three dimensions from the three-dimensional volume.

본 명세서에서 사용자가 분할을 원하는 대상 객체는 3차원 체적의 축 절편들(axial slices) 사이로 혈액을 운반하는 신체 구성요소이다. 특정 실시예들에서, 분할 대상 객체는 혈관 및/또는 혈액 공급 장기를 포함한다. In this specification, the target object that the user wishes to segment is a body component that transports blood between axial slices of a three-dimensional volume. In certain embodiments, the object to be segmented includes a blood vessel and/or a blood supply organ.

혈관은 혈액을 운반하는 대표적인 신체 구성요소로서, 관 형태를 가진다. 상기 혈액 공급 장기는 혈관은 아니지만 혈액의 순환 경로를 형성하는 장기로서, 예를 들어 심실 및/또는 심방을 포함한다. 이하, 설명의 명료성을 위해서, 분할 대상이 혈관인 실시예들로 본 발명을 서술하나, 본 명세서에서 분할 대상은 해부학적 혈관에 제한되지 않는 것으로 이해되는 것이 통상의 기술자에게 명백할 것이다. Blood vessels are representative body components that transport blood and have a tube shape. The blood supply organ is not a blood vessel, but is an organ that forms a blood circulation path, and includes, for example, ventricles and/or atria. Hereinafter, for clarity of explanation, the present invention will be described in embodiments where the segmentation object is a blood vessel; however, it will be clear to those skilled in the art that the segmentation object in this specification is not limited to anatomical blood vessels.

도 1은, 본 발명의 일 실시예에 따른, 혈액을 전달하는 신체 구성요소를 3차원으로 분할하는 장치의 블록도이다. 1 is a block diagram of a device for three-dimensionally dividing body components that deliver blood, according to an embodiment of the present invention.

도 1을 참조하면, 상기 혈액을 전달하는 신체 구성요소를 3차원으로 분할하는 장치(100)는 영상 획득부(110), 분할 처리부(130)를 포함한다. 특정 실시예들에서, 상기 장치(100)는 3차원 모델 생성부를 더 포함할 수도 있다. Referring to FIG. 1, the device 100 for three-dimensionally segmenting the body component that delivers blood includes an image acquisition unit 110 and a segmentation processing unit 130. In certain embodiments, the device 100 may further include a 3D model generator.

전술한 바와 같이 상기 혈액을 전달하는 신체 구성요소는 혈관일 수도 있으므로, 설명의 명료성을 위해서, 상기 장치(100)를 혈관 분할 장치로 지칭하여 본 발명을 보다 상세하게 서술한다. As described above, since the body component that delivers the blood may be a blood vessel, for clarity of explanation, the device 100 will be referred to as a blood vessel splitting device to describe the present invention in more detail.

실시예들에 따른 상기 혈관 분할 장치(100)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 장치는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The blood vessel segmentation device 100 according to embodiments may be entirely hardware, entirely software, or may have aspects that are partly hardware and partly software. For example, a device may collectively refer to hardware equipped with data processing capabilities and operating software for running it. In this specification, terms such as “unit,” “module,” “device,” or “system” are intended to refer to a combination of hardware and software driven by the hardware. For example, the hardware may be a data processing device that includes a Central Processing Unit (CPU), Graphics Processing Unit (GPU), or other processor. Additionally, software may refer to a running process, object, executable, thread of execution, program, etc.

영상 획득부(110)는 3차원 체적을 표현한 3차원 영상을 획득한다. 특정 실시예들에서, 3차원 영상은 전술한 분할 대상 객체(예컨대, 혈관)를 포함한 3차원 의료 영상일 수도 있다. 상기 3차원 의료 영상은 3차원 투과 영상으로서, 예를 들어, CT(Computed Tomography) 데이터, MRI(Magnetic Resonance Imaging) 데이터, MRA(Magnetic Resonance Angiography) 데이터, PET(Positron Emission Tomography) 데이터, PET-CT(Positron Emission Tomography-Computed Tomography) 데이터, 또는 PET-MRI(Positron Emission Tomography-Magnetic Resonance Imaging) 데이터일 수도 있다. The image acquisition unit 110 acquires a 3D image representing a 3D volume. In certain embodiments, the 3D image may be a 3D medical image including the above-described segmentation target object (eg, blood vessel). The 3D medical image is a 3D transmission image, for example, CT (Computed Tomography) data, MRI (Magnetic Resonance Imaging) data, MRA (Magnetic Resonance Angiography) data, PET (Positron Emission Tomography) data, and PET-CT. It may be (Positron Emission Tomography-Computed Tomography) data, or PET-MRI (Positron Emission Tomography-Magnetic Resonance Imaging) data.

상기 영상 획득부(110)는 이러한 3차원 의료 영상을 촬영하는 의료기기 또는 상기 의료기기로부터 3차원 의료 영상 데이터를 수신하는 통신 모듈로 구현될 수도 있다. The image acquisition unit 110 may be implemented as a medical device that captures 3D medical images or a communication module that receives 3D medical image data from the medical device.

상기 3차원 의료 영상은 복수의 2차원 절편 영상으로 이루어진다. 상기 복수의 2차원 절편 영상은 3차원 체적을 갖는 입체 형상을 일 축에 따라 촬영한 것이다. 2차원 절편 영상을 이루는 평면 축이 x축, y축일 경우, 상기 복수의 2차원 절편 영상의 공통 일 축은 z축으로 지칭될 수도 있다. The three-dimensional medical image consists of a plurality of two-dimensional slice images. The plurality of two-dimensional slice images are images of a three-dimensional shape having a three-dimensional volume along one axis. When the plane axes forming the two-dimensional slice image are the x-axis and y-axis, the common axis of the plurality of two-dimensional slice images may be referred to as the z-axis.

상기 3차원 의료 영상을 이루는 복수의 2차원 절편 영상의 일부 또는 전부는 각 2차원 절편 영상별로 동일 또는 유사한 공간 특징(spatial features)을 공유하는 연속된 영상들인, 영상 시퀀스일 수도 있다. 3차원 체적이 특정 신체 부분일 경우, 특정 신체 부분 내의 혈관 중 일부 또는 전부는 동일 또는 유사한 해부학적 구조를 갖기 때문이다. 상기 복수의 2차원 절편 영상 각각은 z축을 기준으로 시퀀스 인덱스가 할당될 수도 있다. Some or all of the plurality of 2D slice images constituting the 3D medical image may be an image sequence, which is continuous images that share the same or similar spatial features for each 2D slice image. This is because when the 3D volume is a specific body part, some or all of the blood vessels within the specific body part have the same or similar anatomical structure. Each of the plurality of 2D slice images may be assigned a sequence index based on the z-axis.

상기 영상 획득부(110)는 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 처리부(130)로 공급한다. The image acquisition unit 110 supplies a plurality of two-dimensional slice images forming a three-dimensional volume to the segmentation processing unit 130.

분할 처리부(130)는 영상 획득부(110)로부터 수신한 복수의 2차원 절편 영상을 미리 학습된 분할 모델에 적용하여 복수의 2차원 절편 영상 각각에서 표현된 분할 대상 객체의 영역(이하, “혈관 영역”)을 예측한다. 분할 처리부(130)는 예측된 혈관 영역에 기초하여 복수의 2차원 절편 영상 각각의 분할 마스크를 생성한다. The segmentation processing unit 130 applies the plurality of two-dimensional slice images received from the image acquisition unit 110 to a pre-learned segmentation model to determine the area of the segmentation target object expressed in each of the plurality of two-dimensional slice images (hereinafter, “blood vessels”). area”). The segmentation processing unit 130 generates a segmentation mask for each of the plurality of 2D slice images based on the predicted blood vessel area.

상기 분할 모델은 단일 2차원 절편 영상에서 혈관을 결정하기 위한 특징(features)을 추출하도록 구성된다. 또한, 상기 분할 모델은 상기 단일 2차원 절편 영상에 인접한 복수의 다른 2차원 절편 영상들 사이의 연속 데이터의 맥락(context)을 포착하도록 구성된다. 상기 분할 모델은 포착된 맥락 및 추출된 특징에 기초하여 혈관 영역을 보다 정확하게 예측할 수 있다. 상기 분할 모델에 대해서는 아래의 도 2 내지 도 5를 참조하여 보다 상세하게 서술한다.The segmentation model is configured to extract features for determining blood vessels from a single 2D slice image. Additionally, the segmentation model is configured to capture the context of continuous data between a plurality of other two-dimensional slice images adjacent to the single two-dimensional slice image. The segmentation model can more accurately predict blood vessel areas based on the captured context and extracted features. The division model will be described in more detail with reference to FIGS. 2 to 5 below.

도 2는, 본 발명의 일 실시예예 따른, 분할 모델의 네트워크 아키텍처의 개략도이다.Figure 2 is a schematic diagram of a network architecture of a partitioned model, according to an embodiment of the present invention.

도 2를 참조하면, 분할 모델은 복수의 베이스라인 모델(B)을 포함한다. 상기 분할 모델은 상기 3차원 체적을 이루는 복수의 2차원 절편 영상 전체 중 일부 또는 전부의 영상 시퀀스를 입력 받으면, 복수의 베이스라인 모델(B)에 의해 이를 처리하여 입력된 각 2차원 절편 영상에서의 혈관 영역을 한 번에 예측한다. 즉, 상기 분할 모델은 입력된 다수의 2차원 절편 영상을 한 번에 처리하여 각 2차원 절편 영상별 혈관 영역을 예측한다. Referring to Figure 2, the segmentation model includes a plurality of baseline models (B). When the segmentation model receives an image sequence of some or all of the plurality of two-dimensional slice images forming the three-dimensional volume, it processes them by a plurality of baseline models (B) to determine the Predict blood vessel area at once. That is, the segmentation model processes multiple input 2D slice images at once and predicts the blood vessel area for each 2D slice image.

일 실시예에서, 입력된 영상 시퀀스의 2차원 절편 영상 각각은 각 베이스라인 모델(B)에 입력된다. 분할 모델이 한 번에 처리 가능한 영상 시퀀스의 규모는 분할 모델에 포함된 베이스라인 모델의 수에 의존한다. 3차원 체적의 2차원 절편 영상 전체의 수가 베이스라인 모델(B)의 수 보다 클 경우, 상기 분할 모델에 입력되는 영상 시퀀스는 3차원 체적의 2차원 절편 영상 전체 중 일부일 수도 있다. In one embodiment, each 2D slice image of the input image sequence is input to each baseline model (B). The size of the image sequence that a segmentation model can process at once depends on the number of baseline models included in the segmentation model. If the total number of 2D slice images of the 3D volume is greater than the number of baseline models (B), the image sequence input to the segmentation model may be a portion of all 2D slice images of the 3D volume.

입력된 영상 시퀀스는 z축을 따르는 다수의 2차원 절편 영상의 집합이므로, 복수의 베이스라인 모델(B)에는 z축을 따른 순서로 다수의 2차원 절편 영상이 각각 입력된다. Since the input image sequence is a set of multiple two-dimensional section images along the z-axis, multiple two-dimensional section images are input to the plurality of baseline models (B) in order along the z-axis.

일부 실시예들에서, 상기 분할 모델은 복수의 베이스라인 모델(B)이 3차원 체적의 z축에 대응한 일 축(예컨대, z축)을 따라 평행하게 쌓인 구조를 가질 수도 있다. 그러면, 복수의 베이스라인 모델(B)은 적층 인덱스를 가질 수도 있다. 분할 모델에 영상 시퀀스가 입력되면, 영상 시퀀스의 2차원 절편 영상 각각은 자신의 시퀀스 인덱스에 대응한 적층 인덱스를 갖는 베이스라인 모델(B) 각각에 입력된다. In some embodiments, the segmented model may have a structure in which a plurality of baseline models B are stacked in parallel along an axis (eg, z-axis) corresponding to the z-axis of the three-dimensional volume. Then, the plurality of baseline models (B) may have stacked indices. When an image sequence is input to a segmentation model, each 2D slice image of the image sequence is input to each baseline model (B) having a stacking index corresponding to its sequence index.

도 3은, 본 발명의 일 실시예에 따른, 베이스라인 모델의 개략도이다. Figure 3 is a schematic diagram of a baseline model, according to one embodiment of the present invention.

도 3을 참조하면, 상기 베이스라인 모델(B)은 인코더; 및 디코더를 포함한다. Referring to Figure 3, the baseline model (B) includes an encoder; and a decoder.

인코더는 복수의 컨볼루션 레이어 및 복수의 풀링 레이어를 포함한다. The encoder includes multiple convolutional layers and multiple pooling layers.

인코더에서 컨볼루션 레이어는 입력 데이터에 대해 컨볼루션 연산하도록 구성된다. 예를 들어, 컨볼루션 레이어는 입력 데이터에 대해 컨볼루션 연산하는, 복수의 컨볼루션 필터를 포함할 수도 있다. 상기 복수의 컨볼루션 필터는 3*3 컨볼루션 필터를 포함할 수도 있으나, 이에 제한되진 않는다. In the encoder, the convolution layer is configured to perform convolution operations on the input data. For example, a convolution layer may include a plurality of convolution filters that perform convolution operations on input data. The plurality of convolution filters may include, but are not limited to, a 3*3 convolution filter.

컨볼루션 레이어의 출력 데이터는 컨볼루션 필터의 수에 따른 채널을 가진다. 상기 인코더의 컨볼루션 레이어는 입력 데이터의 채널을 증가시키도록 구성된다. The output data of the convolution layer has channels according to the number of convolution filters. The convolutional layer of the encoder is configured to increase the channels of input data.

상기 베이스라인 모델(B)은 복수의 계층 레벨의 깊이 구조를 가진다. 상기 베이스라인 모델(B)에서 계층 레벨이 깊어질수록 더 많은 채널을 갖는 데이터로 출력된다. The baseline model (B) has a depth structure of multiple hierarchical levels. In the baseline model (B), as the hierarchical level becomes deeper, data with more channels is output.

도 3에서 레이어에서 출력되는 데이터 위의 숫자는 그 데이터의 차원(즉, 레이어에 포함된 필터의 수)을 가리킨다. 도 3에서 베이스라인 모델(B)은 예시적으로 각 계층 레벨별로 64, 128, 196, 256, 512의 필터를 갖는 레이어를 포함한다. In Figure 3, the number above the data output from the layer indicates the dimension of the data (i.e., the number of filters included in the layer). In Figure 3, the baseline model (B) includes layers with filters of 64, 128, 196, 256, and 512 for each hierarchical level.

또한, 상기 인코더는 네트워크의 유닛 간의 연결이 서브 네트워크를 포함한다. 상기 인코더는 특정 깊이 계층 레벨의 컨볼루션 레이어로서 상기 순환적인 네트워크를 갖는 컨볼루션 레이어를 포함한다. Additionally, the encoder includes a sub-network where connections between units of the network are made. The encoder includes a convolutional layer with the recurrent network as a convolutional layer at a specific depth hierarchical level.

이러한 순환 구조는 시변적 동적 특징을 모델링하기 위해 시퀀스 형태의 입력을 처리하도록 구성된다. 상기 서브 네트워크를 갖는 컨볼루션 레이어는, 예를 들어 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및/또는 GRU을 포함할 수도 있으나, 이에 제한되진 않는다. This cyclic structure is configured to process input in the form of a sequence to model time-varying dynamic features. The convolutional layer with the sub-network may include, for example, a Recurrent Neural Network (RNN), a long short-term memory (LSTM), and/or a GRU, but is not limited thereto.

특정 실시예들에서, 상기 서브 네트워크를 갖는 컨볼루션 레이어는 그 출력 데이터가 디코더의 입력단으로 진행하는 위치에 배치될 수도 있다. 도 3에 도시된 바와 같이, 상기 서브 네트워크를 갖는 컨볼루션 레이어(예컨대 도3의 LSTM)는 가장 깊은 계층 레벨에 배치될 수도 있다. 가장 깊은 계층 레벨의 LSTM의 출력 데이터는 디코더로 입력된다. In certain embodiments, the convolutional layer with the subnetwork may be placed at a location where its output data proceeds to the input terminal of the decoder. As shown in FIG. 3, a convolutional layer with the subnetwork (eg, LSTM in FIG. 3) may be placed at the deepest hierarchical level. The output data of the LSTM at the deepest hierarchical level is input to the decoder.

일 실시예에서, 도 3에 도시된 바와 같이, 상기 복수의 베이스라인 모델(B) 내 인코더의 가장 깊은 계층 레벨에는 동일한 서브 네트워크의 컨볼루션 레이어(예컨대, 도 3의 LSTM)이 배치될 수도 있다. In one embodiment, as shown in FIG. 3, a convolutional layer of the same subnetwork (e.g., LSTM in FIG. 3) may be placed at the deepest hierarchical level of the encoder in the plurality of baseline models (B). .

다른 실시예들에서, 상기 복수의 베이스라인 모델(B)의 일부와 다른 일부는 서로 다른 서브 네트워크의 컨볼루션 레이어가 가장 깊은 계층 레벨에 배치된 인코더를 포함할 수도 있다. In other embodiments, some of the plurality of baseline models (B) and other parts may include encoders in which convolutional layers of different subnetworks are placed at the deepest hierarchical level.

이와 같이, 컨볼루션 레이어들과 LSTM 등의 서브 네트워크가 단일 인코더 내에 포함되어 있으므로, 컨볼루션 레이어들의 출력이 LSTM에 입력되는 것과 같은, 컨볼루션 레이어들과 LSTM이 분리되어 있지 않는다. 따라서, 두 개의 개별 특징 추출기 보다 더 최적의 워크 플로우를 가진다. In this way, since the convolutional layers and subnetworks such as LSTM are included in a single encoder, the convolutional layers and LSTM are not separated, such that the output of the convolutional layers is input to the LSTM. Therefore, it has a more optimal workflow than two separate feature extractors.

풀링 레이어는 입력 데이터의 사이즈를 축소시키도록 구성된다. 특정 실시예들에서, 상기 풀링 레이어는 맥스 풀링 레이어(max pooling layer)일 수도 있다. 상기 맥스 풀링 레이어는 입력 해상도를 감소시킨다. 예를 들어, 맥스 풀링 레이어는 입력 영상의 해상도를 50% 감소시킬 수도 있다. 이러한 풀링 레이어에 의해, 인코더는 다운-샘플링 동작을 수행한다. The pooling layer is configured to reduce the size of input data. In certain embodiments, the pooling layer may be a max pooling layer. The max pooling layer reduces input resolution. For example, a max pooling layer may reduce the resolution of the input image by 50%. By this pooling layer, the encoder performs a down-sampling operation.

일 실시예에서, 상기 맥스 풀링 레이어는 계층 레벨의 끝 단에 배치될 수도 있다. 그러면, 베이스라인 모델(B)의 입력 데이터는 계층 레벨을 따라서 계속적으로 다운-샘플링될 수도 있다. In one embodiment, the max pooling layer may be placed at the end of the hierarchical level. Then, the input data of the baseline model (B) may be continuously down-sampled along the hierarchical level.

인코더에서 처리된 출력 데이터는 디코더로 전달된다. 상기 디코더는 복수의 컨볼루션 레이어 및 복수의 디컨볼루션 레이어를 포함한다.The output data processed by the encoder is delivered to the decoder. The decoder includes a plurality of convolution layers and a plurality of deconvolution layers.

상기 디코더의 컨볼루션 레이어는 입력 데이터의 채널을 감소시키도록 구성된다. 도 3에 도시된 바와 같이, 디코더의 컨볼루션 레이어는 입력 데이터의 채널을 128로부터 64로 감소시킬 수도 있다. 일부 실시예들에서, 상기 디코더의 컨볼루션 레이어는 상기 인코더의 컨볼루션 레이어와 동일한 사이즈의 필터를 가질 수도 있다. The convolutional layer of the decoder is configured to reduce channels of input data. As shown in Figure 3, the decoder's convolutional layer may reduce the channels of input data from 128 to 64. In some embodiments, the decoder's convolutional layer may have a filter of the same size as the encoder's convolutional layer.

디컨볼루션 레이어는 입력 데이터를 업-샘플링하도록 구성된다. 상기 디컨볼루션 레이어는 대상 픽셀 주위에 (예컨대, 제로-패딩과 같은) 패딩 픽셀을 추가하여 컨볼루션 연산 처리하도록 구성된다. The deconvolution layer is configured to up-sample the input data. The deconvolution layer is configured to perform a convolution operation by adding padding pixels (eg, zero-padding) around the target pixel.

상기 디코더는 인코더에서 다운-샘플링된 영상의 해상도를 복원한다.The decoder restores the resolution of the video down-sampled in the encoder.

또한, 디코더는 확률 레이어를 포함한다. 상기 확률 레이어는 베이스라인 모델(B)의 출력단에 배치된다. 상기 확률 레이어는 자신의 베이스라인 모델(B)의 입력 영상의 각 픽셀이 혈관인지 여부를 나타낸 확률 맵을 생성한다. 상기 확률 레이어는 소프트맥스 함수를 사용하여 입력 영상 내 각 픽셀이 혈관인지를 나타낸 확률을 계산할 수도 있으나, 이에 제한되진 않는다. Additionally, the decoder includes a probability layer. The probability layer is placed at the output of the baseline model (B). The probability layer generates a probability map indicating whether each pixel of the input image of its baseline model (B) is a blood vessel. The probability layer may use a softmax function to calculate the probability that each pixel in the input image is a blood vessel, but is not limited to this.

또한, 디코더는 확률 값에 기초하여 분할 마스크를 생성할 수도 있다. 디코더는 확률 맵의 확률 값이 미리 설정된 임계 확률 보다 큰 픽셀로 이루어진 분할 마스크를 생성할 수도 있다. 예를 들어, 임계 확률이 0.5일 경우, 확률 맵 중에서 0.5 보다 큰 확률 값을 가진 픽셀로 이루이진 분할 마스크가 생성될 수도 있다. Additionally, the decoder may generate a segmentation mask based on the probability value. The decoder may generate a segmentation mask composed of pixels whose probability value of the probability map is greater than a preset threshold probability. For example, if the threshold probability is 0.5, a segmentation mask consisting of pixels with a probability value greater than 0.5 in the probability map may be generated.

일 실시예에서, 상기 베이스라인 모델(B)은, 복수의 컨볼루션 레이어를 포함하기 위해, 복수의 기본 유닛 블록을 포함할 수도 있다. 각 기본 유닛 블록은 컨볼루션 레이어를 각각 포함한다. 일부 실시예들에서, 각 기본 유닛 블록은 정류 선형 유닛(RLU, Rectified Linear Unit) 및/또는 배치 정규화 레이어를 더 포함할 수도 있다. 즉, 각 기본 유닛 블록은 컨볼루션 레이어, 정류 선형 유닛(RLU, Rectified Linear Unit) 및 배치 정규화 레이어 중에서 적어도 컨볼루션 레이어를 포함한다. In one embodiment, the baseline model (B) may include a plurality of basic unit blocks to include a plurality of convolutional layers. Each basic unit block contains each convolutional layer. In some embodiments, each basic unit block may further include a Rectified Linear Unit (RLU) and/or a batch normalization layer. That is, each basic unit block includes at least a convolution layer among a convolution layer, a rectified linear unit (RLU), and a batch normalization layer.

상기 복수의 기본 유닛 블록은 복수의 계층 레벨 중 일부 계층 레벨에 배치된다. 도 3에 도시된 바와 같이, 복수의 기본 블록 유닛은, 서브 네트워크의 컨볼루션 레이어가 배치되는 가장 깊은 계층 레벨을 제외한 나머지 계층 레벨 각각에 배치된다. The plurality of basic unit blocks are arranged in some hierarchical levels among the plurality of hierarchical levels. As shown in FIG. 3, a plurality of basic block units are placed in each hierarchical level except the deepest hierarchical level where the convolutional layer of the subnetwork is placed.

동일한 계층 레벨에 배치된 다수의 기본 블록 유닛 중 일부는 인코더에 포함되고, 나머지는 디코더에 포함된다. 도 3에 도시된 바와 같이, 동일한 계층 레벨 상에 인코더 측에는 2개의 기본 유닛 블록, 1개의 맥스 풀링 레이어가 배치되고 디코더 측에는 2개의 기본 유닛 블록, 1개의 디컨볼루션 레이어가 배치될 수도 있다.Among the multiple basic block units placed at the same hierarchical level, some are included in the encoder and others are included in the decoder. As shown in FIG. 3, two basic unit blocks and one max pooling layer may be placed on the encoder side, and two basic unit blocks and one deconvolution layer may be placed on the decoder side on the same hierarchical level.

상기 인코더에서 컨볼루션 연산 처리를 통해 다양한 입력 해상도로부터 풍부하고 충분한, 혈액을 전달하는 신체 구성요소의 특징이 추출된다. 상기 특징은 픽셀이 상기 신체 구성요소의 특징(예컨대, 혈관 특징)인지 여부를 결정하는데 사용 가능한, 적어도 하나의 2차원 영상으로부터 획득 가능한 특징(features)이다. In the encoder, rich and sufficient features of body components that deliver blood are extracted from various input resolutions through convolutional operation processing. The features are features obtainable from at least one two-dimensional image that can be used to determine whether a pixel is a feature of the body component (eg, a blood vessel feature).

특정 실시예들에서, 상기 신체 구성요소의 특징은 공간 특징(spatial features) 및 절편 사이 연결성(inter-slice connectivity)을 포함할 수도 있다. In certain embodiments, the characteristics of the body component may include spatial features and inter-slice connectivity.

상기 공간 특징은 자신의 베이스라인 모델(B)에 입력된 단일 2차원 절편 영상으로부터 추출 가능한 기하학적 특징으로서, 예를 들어 엣지, 포인트, 및/또는 굴곡(curvates) 등을 포함한다. 상기 공간 특징은, CNN과 같은 일반적인 딥러닝 모델에서 입력 영상으로부터 추출되는 특징에 대응한다. The spatial features are geometric features that can be extracted from a single two-dimensional slice image input to its baseline model (B), and include, for example, edges, points, and/or curves. The spatial features correspond to features extracted from input images in general deep learning models such as CNN.

상기 절편 사이 연결성은 자신의 베이스라인 모델(B)에 입력된 2차원 절편 영상과 인접한 다른 베이스라인 모델(B)에 입력된, 인접한 다른 2차원 절편 영상 사이의 연속 데이터의 맥락이다. 혈관의 주된 해부학적 역할은 누출 없이 혈액을 전달하는 것이다. 때문에, 혈관은 강력한 절편 사이 연결성(inter-slice connectivity)을 가진다. 분할 모델에 입력되는 영상 시퀀스는 어느 하나의 촬영 신체 지점으로부터 인접한 다음 촬영 신체 지점까지의 혈관의 연속 정보를 포함한다.The inter-slice connectivity is the context of continuous data between a two-dimensional slice image input to one's baseline model (B) and another adjacent two-dimensional slice image input to another adjacent baseline model (B). The main anatomical role of blood vessels is to transport blood without leakage. Therefore, blood vessels have strong inter-slice connectivity. The image sequence input to the segmentation model includes continuous information about blood vessels from one captured body point to the next adjacent captured body point.

다시 도 2를 참조하면, 베이스라인 모델(B0, …BT-1)로 이루어진 네트워크 아키텍처를 포함한 분할 모델은 제1 데이터 처리 경로 및 제2 데이터 처리 경로를 가진다. Referring again to FIG. 2, the partition model including the network architecture consisting of the baseline model (B 0 , ...B T-1 ) has a first data processing path and a second data processing path.

분할 모델에 영상 시퀀스가 입력되면, 상기 영상 시퀀스의 다수의 2차원 절편 영상 각각은 각 베이스라인 모델(B0, …BT-1)에 의해 처리된다. When an image sequence is input to the segmentation model, each of the multiple 2D slice images of the image sequence is processed by each baseline model (B 0 , ...B T-1 ).

개별 베이스라인 모델(B0, …BT-1)은 해당 입력 영상을 제1 데이터 처리 경로에 따라 처리하여 각 입력 영상별 공간 특징을 획득한다. 즉, 공간 특징은 제1 데이터 처리 경로를 통해 획득된다. The individual baseline model (B 0 , ...B T-1 ) processes the corresponding input image according to the first data processing path to obtain spatial features for each input image. That is, spatial features are obtained through the first data processing path.

개별 베이스라인 모델(B0, …BT-1)은 해당 입력 영상을 제2 데이터 처리 경로에 따라 처리하여 각 입력 영상별 절편 사이 연결성을 획득한다. 즉, 절편 사이 연결성은 제2 데이터 처리 경로를 통해 획득된다. The individual baseline model (B 0 , ...B T-1 ) processes the corresponding input image according to the second data processing path to obtain connectivity between segments for each input image. That is, connectivity between segments is obtained through the second data processing path.

상기 제1 데이터 처리 경로는 베이스라인 모델(B)의 인코더의 입력 단으로부터 디코더의 출력단으로 형성된 경로이다. 상기 제1 데이터 처리 경로는 일반적인 딥러닝 분야에서 활용되는 단일 인코더-디코더 구조 하에서의 데이터 처리 경로이다. The first data processing path is a path formed from the input end of the encoder of the baseline model (B) to the output end of the decoder. The first data processing path is a data processing path under a single encoder-decoder structure used in the general deep learning field.

복수의 베이스라인 모델(B) 내 인코더는 분할 모델에 입력된 영상 시퀀스를 제1 데이터 처리 경로를 따라 처리하여 일련의 혈관의 공간 특징을 추출한다. 일련의 혈관의 공간 특징은 날실 가닥들(warp threads)처럼 나란히 복수의 인코더의 출력단으로부터 출력되어, 디코더로 입력된다. The encoder within the plurality of baseline models (B) processes the image sequence input to the segmentation model along a first data processing path to extract spatial features of a series of blood vessels. The spatial features of a series of blood vessels are output from the output terminals of a plurality of encoders side by side like warp threads and input to the decoder.

상기 제2 데이터 처리 경로는 각 베이스라인 모델(B)의 서브 네트워크(예컨대, LSTM)를 통합하여 구현된다. 상기 제2 데이터 처리 경로는 분할 모델 내 복수의 베이스라인 모델(B0, …BT-1)의 서브 네트워크(예컨대, LSTM) 간에 양방향으로 형성된 경로를 포함한다. The second data processing path is implemented by integrating subnetworks (eg, LSTM) of each baseline model (B). The second data processing path includes a path formed bidirectionally between subnetworks (eg, LSTM) of a plurality of baseline models (B 0 , ...B T-1 ) in the split model.

상기 제2 데이터 처리 경로는 어느 하나의 베이스라인 모델(B)의 서브 네트워크의 입력단과 인접한 다른 하나의 베이스라인 모델(B)의 입력단 사이에 형성된다. 분할 모델의 입력 영상 시퀀스의 연속 영상으로부터 추출되어 출력되는, 제1 데이터 처리 경로가 생성한 정보의 흐름(즉, 날실 가닥들의 정보 흐름)을 가로질러 제2 데이터 처리 경로가 형성된다. 상기 양방향의 제2 데이터 처리 경로를 통해서 각 베이스라인 모델(B)의 인코더는 자신의 입력 영상에서의 공간 특징과 함께 인접한 다른 입력 영상들의 절편 사이 연결성을 추출한다. The second data processing path is formed between the input terminal of the subnetwork of one baseline model (B) and the input terminal of another adjacent baseline model (B). A second data processing path is formed across the information flow generated by the first data processing path (i.e., the information flow of the warp strands), which is extracted and output from the continuous images of the input image sequence of the segmentation model. Through the bidirectional second data processing path, the encoder of each baseline model (B) extracts spatial features in its own input image as well as connectivity between segments of other adjacent input images.

도 2 및 도 3에서, 개별 베이스라인 모델(B0, B1…, BT-1) 내 인코더는 가장 얕은 계층 레벨부터 가장 깊은 계층 레벨로 이루어진다. 각 인코더에서는 가장 얕은 계층 레벨(예컨대, 도 3의 제1 계층 레벨)로부터 가장 깊은 계층 레벨의 직전 계층 레벨(예컨대, 도 3의 제4 계층 레벨)까지의 제1 데이터 처리 경로의 일부를 통해 각 베이스라인 모델에 입력된 영상의 특징이 추출된다. 2 and 3, the encoders within the individual baseline models (B 0 , B 1 ..., B T-1 ) are organized from the shallowest hierarchical level to the deepest hierarchical level. In each encoder, each encoder passes through a portion of the first data processing path from the shallowest hierarchical level (e.g., the first hierarchical level in FIG. 3) to the hierarchical level immediately preceding the deepest hierarchical level (e.g., the fourth hierarchical level in FIG. 3). Features of the image input to the baseline model are extracted.

그러면, 가장 깊은 계층 레벨(예컨대, 도 3의 제5 계층 레벨의 서브 네트워크(예컨대, BX의 LSTM))는 제1 데이터 처리 경로를 따라 진행한 이전 계층 레벨에서 출력된 데이터를 입력 받아, 자신의 베이스레벨 모델(BX)의 입력 영상에서의 공간 특징을 최종적으로 추출한다.Then, the deepest hierarchical level (e.g., the subnetwork of the fifth hierarchical level in FIG. 3 (e.g., LSTM of B Finally, spatial features from the input image of the base level model ( B

그리고, 절편 사이 연결성을 추출하기 위해, 제5 계층 레벨의 서브 네트워크(예컨대, BX의 LSTM)는 제2 데이터 처리 경로를 따라 진행한, 복수의 인접한 다른 베이스라인 모델의 이전 계층 레벨에서 출력된 데이터를 추가로 입력 받는다. 여기서, 복수의 인접한 다른 베이스라인 모델은, 제1 데이터 처리 경로와 제2 데이터 처리 경로를 통해 데이터를 획득하는 관심 베이스라인 모델(예컨대, BX)을 기준으로 이전/이후의 복수의 다른 베이스라인 모델을 지칭한다. 다른 베이스라인 모델의 이전 계층 레벨은 최하위 계층 레벨의 직전 계층 레벨을 지칭한다. 인접한 다른 베이스라인 모델들의 전체 수(즉, M)는 아래에서 서술하는 하이퍼 파라미터 T의 값에 의존한다. 인접한 복수의 다른 베이스라인 모델의 규모는 T-1의 값을 가진다 (즉 M=T-1).And, in order to extract connectivity between fragments, the subnetwork of the fifth hierarchical level (e.g., LSTM of B Additional data is input. Here, the plurality of adjacent different baseline models is a plurality of different baseline models before/after based on the baseline model of interest (e.g., B Refers to the model. The previous hierarchical level in other baseline models refers to the hierarchical level immediately preceding the lowest hierarchical level. The total number of other adjacent baseline models (i.e., M) depends on the value of the hyperparameter T, described below. The scale of a plurality of other adjacent baseline models has a value of T-1 (i.e., M=T-1).

예를 들어, 하이퍼 파라미터 T가 5로 지정되면, 관심 절편 1개를 제외한 나머지 4개가 인접한 다른 절편들의 범위이다. 관심 베이스라인 모델은 이전의 다른 2개의 베이스라인 모델 및 이후의 다른 2개의 베이스라인 모델로부터 제2 데이터 처리 경로를 따라 절편 사이 연결성을 위한 데이터를 추가로 획득한다. 관심 베이스라인 모델(예컨대, BX)에서 제5 계층 레벨의 서브 네트워크(예컨대, BX의 LSTM)는, 베이스라인 모델(BX)를 기준으로, (T-1)/2장의 이전 절편들이 입력되는 다른 베이스라인 모델들(예컨대, BX-M/2, …, BX-1)의 이전 계층 레벨에서 출력된 데이터 및 (T-1)/2장의 이전 절편들이 입력되는 다른 베이스라인 모델들(예컨대, BX+1, …, BX+M/2)의 이전 계층 레벨에서 출력된 데이터를 입력 받는다. For example, if the hyperparameter T is specified as 5, except for one fragment of interest, the remaining four are the range of other adjacent fragments. The baseline model of interest further obtains data for inter-fragment connectivity along a second data processing path from the other two baseline models before and the other two baseline models after. In the baseline model of interest ( e.g. , B Other baseline models ( e.g. , B For example, data output from the previous hierarchical level ( B

그러면, 현재의 관심 절편(예컨대, x번째 절편)이 입력되는 베이스라인 모델(예컨대, BX)은 관심 절편을 기준으로 T-1개의 인접한 다른 베이스라인 모델들의 이전 계층 레벨에서 출력된 데이터를 입력 받아, 자신의 베이스레벨 모델(BX)의 입력 영상에 대한 절편 사이 연결성을 최종적으로 추출함으로써, 베이스라인 모델(예컨대, BX)이 다른 절편들에 대한 절편 사이 연관성을 학습하게 한다. Then, the baseline model (e.g., B Then, the baseline model ( e.g. , B

상기 절편 사이 연결성은 자신의 베이스라인 모델(BX)의 서브 네트워크에 입력될 데이터(즉, BX의 제4 계층 레벨의 출력 결과) 및 인접한 베이스라인 모델(BX-M/2 내지 BX+M/2)의 서브 네트워크에 입력될 데이터, 즉 BX-M/2 내지 BX+M/2 각각의 제4 계층 레벨의 출력 결과에 기초한다. The connectivity between the fragments is determined by data to be input to the subnetwork of its baseline model ( B /2 ) is based on the data to be input to the subnetwork, that is, the output result of the fourth hierarchical level of each of B

각 베이스라인 모델(B)의 디코더는 제1 데이터 처리 경로를 통해 획득된 공간 특징 그리고 제2 데이터 처리 경로를 통해 획득된 절편 사이 연결성에 기초하여 자신의 베이스라인 모델에 입력 2차원 절편 영상에서의 혈관 영역을 예측하도록 구성된다. The decoder of each baseline model (B) is based on the spatial features acquired through the first data processing path and the connectivity between the slices obtained through the second data processing path. It is configured to predict the blood vessel area.

상기 제2 데이터 처리 경로를 형성하는 서브 네트워크는 인코더의 일부이다. 즉, 인코더 자체가 추출하는 전역 특징이 직접 확장된다. 상기 분할 모델은 전역 특징을 확장시키기 위해 인코더 외부의 추가적인 컨볼루션 레이어가 요구되지 않는다. The sub-network forming the second data processing path is part of the encoder. In other words, the global features extracted by the encoder itself are directly expanded. The segmentation model does not require additional convolutional layers outside the encoder to expand global features.

디코더는 입력 영상에서의 공간 특징과 함께 절편 사이 연결성에 기초하여 보다 정확한 확률 맵을 생성하고 보다 정확하게 혈관 영역을 예측한다. 디코더는 상기 확률 맵에 기초하여 입력 영상별 분할 마스크를 생성한다. 상기 분할 마스크의 영상은 2차원 절편 영상에서 혈관 영역을 필터링한, 2차원 혈관 영상에 대응한다. The decoder generates a more accurate probability map based on connectivity between slices along with spatial features in the input image and predicts the blood vessel area more accurately. The decoder generates a segmentation mask for each input image based on the probability map. The image of the segmentation mask corresponds to a 2D blood vessel image obtained by filtering the blood vessel area from the 2D slice image.

일 실시예에서, 상기 분할 모델은 인코더와 디코더 사이의 스킵 연결(skip connections)을 더 포함할 수도 있다. In one embodiment, the segmentation model may further include skip connections between the encoder and decoder.

스킵 연결은 동일한 계층 레벨에 배치된 인코더 부분과 디코더 부분을 서로 연결한다. 스킵 연결은 인코더의 각 계층 레벨로부터 디코더의 각 계층 레벨로 영상 특징을 통과시킨다. Skip connection connects the encoder part and the decoder part placed at the same hierarchical level to each other. Skip connections pass video features from each hierarchical level of the encoder to each hierarchical level of the decoder.

일 실시예에서, 스킵 연결은 복수의 계층 레벨 중에서 일부 계층 레벨에서의 인코더 부분과 디코더 부분을 서로 연결할 수도 있다. 도 3에 도시된 바와 같이, 베이스라인 모델(B)의 스킵 연결은 가장 깊은 계층 레벨을 제외한 나머지 계층 레벨의 인코더 부분과 디코더 부분을 각각 서로 연결한다.In one embodiment, skip connection may connect the encoder portion and the decoder portion at some hierarchical levels among a plurality of hierarchical levels. As shown in Figure 3, the skip connection of the baseline model (B) connects the encoder portion and the decoder portion of the remaining hierarchical levels except the deepest hierarchical level, respectively.

상기 스킵 연결로 인해, 디코더의 혈관 예측 성능이 보다 향상될 수도 있다.Due to the skip connection, the blood vessel prediction performance of the decoder may be further improved.

상기 분할 모델은 훈련 데이터 세트를 사용하여 입력 영상의 픽셀이 혈관인지를 예측하도록 학습되거나, 및/또는 예측 결과에 기초하여 분할 마스크를 생성하도록 학습된다. 이를 위해, 일부 실시예들에서, 상기 혈관 분할 장치(100)는 분할 모델을 학습하기 위한 학습부(200)를 더 포함할 수도 있다. The segmentation model is trained to predict whether a pixel of an input image is a blood vessel using a training data set, and/or is trained to generate a segmentation mask based on the prediction result. To this end, in some embodiments, the blood vessel segmentation device 100 may further include a learning unit 200 for learning a segmentation model.

상기 훈련 데이터 세트는 복수의 훈련 샘플(training samples)을 포함한다. 각 훈련 샘플은 훈련 영상 데이터 및 해당 훈련 영상 데이터의 레이블을 포함한다. 상기 레이블은 해당 훈련 영상에서 픽셀이 혈관인지를 가리킨다.The training data set includes a plurality of training samples. Each training sample includes training image data and a label for the training image data. The label indicates whether the pixel in the training image is a blood vessel.

상기 분할 모델의 파라미터는 분할 모델의 비용 함수가 최소가 되는 방향으로 학습된다. 여기서, 비용 함수는 모델이 산출한 결과 값과 실제 결과 값의 차이를 나타낸다. The parameters of the segmentation model are learned in such a way that the cost function of the segmentation model is minimized. Here, the cost function represents the difference between the result value calculated by the model and the actual result value.

이러한 파라미터의 학습은 통상적으로 최적화로 지칭된다. 파라미터의 최적화 방식은, 예를 들어 역전파(backpropagation), ADAM(Adaptive Moment Estimation), Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp, 다양한 경사 하강(gradient descent) 방식을 포함할 수도 있다. Learning of these parameters is commonly referred to as optimization. Parameter optimization methods may include, for example, backpropagation, Adaptive Moment Estimation (ADAM), Momentum, Nesterov Accelerated Gradient (NAG), Adaptive Gradient (Adagrad), RMSProp, and various gradient descent methods. It may be possible.

또한, 상기 훈련 데이터 세트는 다수의 서브 세트를 포함할 수도 있다. 각 서브 세트는 3차원 체적 영상의 일부 또는 전부를 이루는 2차원 절편 영상을 훈련 영상으로 각각 포함한다. Additionally, the training data set may include multiple subsets. Each subset includes a 2D slice image that forms part or all of a 3D volumetric image as a training image.

일 실시예에서, 상기 서브 세트별 3차원 체적 영상은 두개골 체적 영상, 심장 체적 영상, 및/또는 간 체적 영상을 포함할 수도 있다. In one embodiment, the 3D volumetric image for each subset may include a skull volumetric image, a cardiac volumetric image, and/or a liver volumetric image.

일부 실시예들에서, 상기 훈련 데이터 세트는 동일한 신체 부분에 대한 다수의 서브 세트만을 포함할 수도 있다. 이 훈련 데이터 세트를 사용하여 분할 모델이 학습되면, 해당 분할 모델은 특정 체적에 위치한 특정 혈관을 분할하는데 특화된다. 예를 들어, 두개골 체적 영상만을 포함한 훈련 데이터 세트를 사용하면, 해당 분할 모델은 두개골 체적 영상에서 두개 내 동맥(intracranial artery)을 정확하게 분할할 수도 있다. In some embodiments, the training data set may only include multiple subsets of the same body part. Once a segmentation model is learned using this training data set, the segmentation model is specialized for segmenting specific blood vessels located in a specific volume. For example, using a training dataset containing only skull volume images, the segmentation model may be able to accurately segment intracranial arteries in skull volume images.

상기 훈련 데이터 세트가 적용된 분할 모델은 제1 데이터 처리 경로만을 통해 획득되는 특징을 사용하여 혈관 영역을 예측하기 위한 공간 특징을 학습한다. 또한, 상기 훈련 데이터 세트가 적용된 분할 모델은 상기 제2 데이터 처리 경로를 통해 획득되는 특징을 사용하여 혈관 영역을 예측하기 위한 절편 사이 연결성을 학습한다. The segmentation model to which the training data set is applied learns spatial features for predicting the blood vessel area using features obtained only through the first data processing path. Additionally, the segmentation model to which the training data set is applied learns connectivity between segments to predict blood vessel areas using features acquired through the second data processing path.

그러면, 상기 훈련 데이터 세트가 적용된 분할 모델 내부의 일련의 디코더는 공간 특징 및 절편 사이 연결성에 기초하여 혈관 영역을 예측하도록 학습된다. Then, a series of decoders within the segmentation model to which the training data set is applied are trained to predict blood vessel regions based on spatial features and connectivity between segments.

일부 실시예에서, 상기 훈련 데이터 세트가 적용된 분할 모델 내부의 일련의 디코더는 공간 특징 및 절편 사이 연결성에 기초하여 분할 마스크를 예측하도록 학습될 수도 있다. 예를 들어, 임계 확률 값이 상기 훈련 데이터 세트를 사용하여 학습될 수도 있다. In some embodiments, a series of decoders within a segmentation model to which the training data set is applied may be trained to predict a segmentation mask based on spatial features and connectivity between segments. For example, a threshold probability value may be learned using the training data set.

상기 디코더의 디컨볼루션 레이어의 파라미터는 학습이 완료되면, 분할 마스크를 보다 잘 예측하도록 동적으로 최적화된 값을 가진다. 도 2의 일련의 베이스라인 모델(B0, …BT-1)은 학습이 완료되면 파라미터를 복수의 베이스라인 모델(B) 간에 서로 공유한다.The parameters of the deconvolution layer of the decoder have dynamically optimized values to better predict the segmentation mask once learning is completed. When learning of a series of baseline models (B 0 , ...B T-1 ) in FIG. 2 is completed, parameters are shared among a plurality of baseline models (B).

이와 같이, 상기 분할 모델의 파라미터는 단순히 제1 데이터 처리 경로를 통해 획득되는, 2차원 절편 영상 자체의 공간 특징에만 기초하여 혈관 영역을 예측하지 않는다. 상기 분할 모델은 대신에 제2 데이터 처리 경로를 통해 획득되는, 인접한 2차원 절편 영상들 사이의 특징인, 절편 사이 연결성에 추가로 기초하여 혈관 영역을 예측하도록 학습된다. 이로 인해, 분할 모델이 일정한 범위의 체적 영상에서 추출하는 특징을 2차원 평면 상의 특징으로부터 z축을 따른 특징까지 확장되어, 보다 정확한 혈관 영역의 학습 및 예측이 가능하다. As such, the parameters of the segmentation model do not simply predict the blood vessel area based on the spatial features of the 2D slice image itself, which is obtained through the first data processing path. The segmentation model is instead trained to predict blood vessel areas based additionally on inter-slice connectivity, a feature between adjacent two-dimensional slice images, obtained through a second data processing path. As a result, the features extracted by the segmentation model from a certain range of volumetric images are expanded from features on a two-dimensional plane to features along the z-axis, enabling more accurate learning and prediction of blood vessel areas.

추가적으로, 상기 분할 모델은 하이퍼 파라미터 T, S를 가진다. 혈관 분할 장치(100)는 하이퍼 파라미터 T, S에 기초하여 분할 모델에 입력할 영상 시퀀스를 설정한다. Additionally, the segmentation model has hyperparameters T and S. The blood vessel segmentation apparatus 100 sets an image sequence to be input to the segmentation model based on hyperparameters T and S.

하이퍼 파라미터 T는 3차원 의료 영상에 표현된 3차원 체적을 이루는, N개의 2차원 절편 영상 전체 중에서 분할 모델이 한 번에 처리 가능한 영상 시퀀스의 규모를 나타낸다. 도 2에서 전술한 바와 같이, 영상 시퀀스를 이루는 2차원 절편 영상 각각이 복수의 베이스라인 모델(B)에 각각 입력되므로, T는 베이스라인 모델(B)의 수에 대응한다. 일 예시에서, 상기 하이퍼 파라미터 T의 값이 5로 설정되면, 5개의 2차원 절편 영상으로 이루어진 입력 영상 시퀀스가 한번에 입력되어 학습 및 예측을 위해 처리된다. 상기 일 예시에서, 5개의 2차원 절편 영상으로 이루어진 입력 영상 시퀀스가 한번에 입력되어 처리된 결과는 역전파되어 분할 모델의 파라미터가 업데이트된다. The hyperparameter T represents the size of the image sequence that the segmentation model can process at once among all N 2D slice images that form a 3D volume expressed in a 3D medical image. As described above in FIG. 2, since each of the two-dimensional slice images constituting the image sequence is input to a plurality of baseline models (B), T corresponds to the number of baseline models (B). In one example, when the value of the hyper parameter T is set to 5, an input image sequence consisting of five 2D slice images is input at once and processed for learning and prediction. In the above example, an input image sequence consisting of five 2D slice images is input at once, and the processed result is backpropagated to update the parameters of the segmentation model.

한편, 하이퍼 파라미터 S는 이미 입력된 영상 시퀀스 다음에 입력될, 다음 영상 시퀀스에 포함될 2차원 절편 영상의 범위를 설정하기 위한 스트라이드 하이퍼 파라미터(stride hyperparameter)이다. 상기 하이퍼 파라미터S가 설정되면, 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 S의 값 만큼 이동한 값이다. Meanwhile, hyperparameter S is a stride hyperparameter for setting the range of a 2D slice image to be input after an already input image sequence and to be included in the next image sequence. When the hyper parameter S is set, the index of the first 2D slice image of the next image sequence is a value shifted by the value of the hyper parameter S from the index of the first 2D slice image of the most recently input image sequence.

상기 일 예시에서, 하이퍼 파라미터 T가 5로 설정된 분할 모델이 전체가 100장의 2차원 절편 영상으로 이루어진 3차원 체적에서 혈관 영역을 예측하는 상황을 가정해보자(여기서, 100장 중 가장 첫번째 영상의 인덱스는 1로 지정되었음). 첫 영상 시퀀스가 입력되면, 분할 모델은 첫 번째부터 다섯 번째까지의 2차원 절편 영상을 처리한다. 그 다음 입력되는 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스의 값은 1+S를 가지고, 그 다음 입력되는 영상 시퀀스의 마지막 2차원 절편 영상의 인덱스의 값은 1+S+T(즉, 1+S+5)를 가진다. In the example above, let us assume a situation where a segmentation model with hyperparameter T set to 5 predicts the blood vessel area in a 3D volume composed entirely of 100 2D slice images (here, the index of the first image among the 100 images is specified as 1). When the first image sequence is input, the segmentation model processes the first to fifth two-dimensional slice images. The index value of the first 2D slice image of the next input image sequence is 1+S, and the index value of the last 2D slice image of the next input image sequence is 1+S+T (i.e., 1+ S+5).

대안적인 실시예들에서, 상기 하이퍼 파라미터 S의 값은 학습 과정과 예측 과정별로 상이한 값으로 설정될 수도 있다. 분할 모델은 하이퍼 파라미터 S로서 학습 과정에서 활용되는 SL, 예측 과정에서 활용되는 SP를 가질 수도 있다. In alternative embodiments, the value of the hyperparameter S may be set to a different value for each learning process and prediction process. The segmentation model may have hyperparameters S, S L used in the learning process, and S P used in the prediction process.

도 4는, 본 발명의 일 실시예에 따른, 학습을 위해 영상 시퀀스를 입력하는 과정의 개략도이다. Figure 4 is a schematic diagram of a process for inputting an image sequence for learning, according to an embodiment of the present invention.

학습부(200)는 보다 효율적인 학습을 위해 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다. The learning unit 200 may input a plurality of 2D slice images forming a 3D volume into the segmentation model for more efficient learning.

도 4를 참조하면, 상기 학습 과정에서의 하이퍼 파라미터 SL의 값은 절편 사이 연결성에 관한 정보 량이 동일한 3차원 체적의 전체 범위 내에서 보다 증가하기 위한 값으로 설정된다. Referring to FIG. 4, the value of the hyperparameter S L in the learning process is set to a value to increase the amount of information about connectivity between segments within the entire range of the same three-dimensional volume.

일 실시예들에서, 상기 학습 과정에서의 하이퍼 파라미터 SL의 값은 하이퍼 파라미터 T의 값 보다 작은 값으로 설정된다. 상기 일 예시에서, 하이퍼 파라미터 SL의 값은 이미 설정된 하이퍼 파라미터 T의 값인 5 보다 적은 3으로 설정될 수도 있다. 그러면, 분할 모델에 입력되는 두 번째 영상 시퀀스의 첫번째 2차원 절편 영상는 인덱스 4를 가지고, 두 번째 영상 시퀀스의 마지막 2차원 절편 영상은 인덱스 8을 가진다. In one embodiment, the value of the hyperparameter S L in the learning process is set to a value smaller than the value of the hyperparameter T. In the above example, the value of the hyperparameter S L may be set to 3, which is less than 5, which is the value of the already set hyperparameter T. Then, the first 2D slice image of the second image sequence input to the segmentation model has index 4, and the last 2D slice image of the second image sequence has index 8.

이와 같이, 학습 과정에서 분할 모델은 3차원 체적을 이루는 전체 2차원 절편 영상 중 일부를 중복으로 입력 받는다. 그 결과, 분할 모델에 입력되는 절편 사이 연결성에 관한 정보가 일정한 3차원 체적 범위 내에서 보다 증가한다. 그러면, 클래스 훈련 단계가 비-혈관 영역에 의해 지배되는 것을 방지하고, 결국 비-혈관 픽셀이 혈관 클래스로 분류되는 분류되는 거짓-양성(false-negative) 경향이 감소된다.In this way, during the learning process, the segmentation model receives a portion of the entire 2D slice image forming a 3D volume in duplicate. As a result, information about the connectivity between segments input into the segmentation model increases within a certain three-dimensional volume range. This prevents the class training step from being dominated by non-vascular regions, which in turn reduces the false-negative tendency for non-vascular pixels to be classified into the vascular class.

도 5는, 본 발명의 일 실시예에 따른, 혈관 영역 예측을 위해 영상 시퀀스를 입력하는 과정의 개략도이다. Figure 5 is a schematic diagram of a process for inputting an image sequence for blood vessel area prediction, according to an embodiment of the present invention.

분할 처리부(130)는 보다 신속한 예측을 위해, 3차원 체적을 이루는 복수의 2차원 절편 영상을 분할 모델에 입력할 수도 있다. For faster prediction, the segmentation processing unit 130 may input a plurality of 2D slice images forming a 3D volume into the segmentation model.

도 5를 참조하면, 상기 예측 과정에서의 하이퍼 파라미터 SP의 값은 분할 모델이 3차원 체적에서 혈관 영역을 보다 신속하게 예측하기 위한 값으로 설정된다. Referring to FIG. 5, the value of the hyperparameter S P in the prediction process is set to a value that allows the segmentation model to more quickly predict the blood vessel area in the 3D volume.

일 실시예에서, 상기 예측 과정에서의 하이퍼 파라미터 SP의 값은 하이퍼 파라미터 T의 값과 동일한 값으로 설정될 수도 있다. 그러면, 전체 N개의 2차원 절편 영상으로 이루어진 3차원 체적을 최대한 빨리 처리할 수 있다. In one embodiment, the value of the hyperparameter S P in the prediction process may be set to the same value as the value of the hyperparameter T. Then, the 3D volume consisting of a total of N 2D slice images can be processed as quickly as possible.

또한, 분할 처리부(130)는 3차원 체적을 이루는 복수의 2차원 절편 영상 각각에 대한 분할 마스크를 생성하고, 이를 3차원 모델 생성부(150)로 공급할 수도 있다. Additionally, the segmentation processing unit 130 may generate a segmentation mask for each of a plurality of 2D slice images forming a 3D volume and supply the segmentation mask to the 3D model creation unit 150.

3차원 모델 생성부(150)는 일련의 분할 마스크에 기초하여 3차원 체적에서 분할된 혈관을 3차원으로 구현한, 3차원 혈관 모델을 생성한다. The 3D model generator 150 generates a 3D blood vessel model in which blood vessels divided from a 3D volume are implemented in 3D based on a series of segmentation masks.

3차원 모델 생성부(150)는 삼선형 보간법 기법을 통해 다수의 혈관 마스크로부터 3차원 혈관 모델을 생성할 수도 있으나, 이에 제한되진 않으며 다른 3차원 영상 모델링 기법을 통해 3차원 혈관 모델을 생성할 수도 있다. The 3D model generator 150 may generate a 3D blood vessel model from a plurality of blood vessel masks using a trilinear interpolation technique, but is not limited to this and may also generate a 3D blood vessel model using another 3D image modeling technique. there is.

상기 3차원 혈관 분할 장치(100)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 3차원 혈관 분할 장치(100)는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.It will be apparent to those skilled in the art that the three-dimensional blood vessel segmentation device 100 may include other components not described herein. For example, the three-dimensional blood vessel segmentation device 100 may include other hardware required for the operations described herein, including a network interface, an input device for data entry, and an output device for display, printing, or other data presentation. It may also contain elements.

본 발명의 다른 일 측면에 따른 3차원 의료 영상 구획화 방법은 프로세서를 포함한 컴퓨팅 장치(예를 들어, 도 1의 장치(100))에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해, 상기 도 1의 장치(100)에 의해 수행되는 실시예들에 기초하여 본 발명을 보다 상세하게 서술한다. The 3D medical image segmentation method according to another aspect of the present invention may be performed by a computing device (eg, device 100 of FIG. 1) including a processor. Hereinafter, for clarity of explanation, the present invention will be described in more detail based on embodiments performed by the device 100 of FIG. 1.

도 6은, 본 발명의 일 실시예에 따른, 혈액을 전달하는 신체 구성요소를 분할하는 방법의 흐름도이다. Figure 6 is a flow diagram of a method for segmenting body components that deliver blood, according to one embodiment of the present invention.

도 6을 참조하면, 혈액을 전달하는 신체 구성요소를 분할하는 방법(이하, 혈관 분할 방법)은: 3차원 훈련 체적을 이루는 복수의 2차원 훈련 절편 영상을 포함한 훈련 데이터 세트를 사용하여, 분할 모델을 학습하는 단계(S610)를 포함한다. 상기 3차원 체적은 혈관 및/또는 혈액 공급 장기를 포함한다. 복수의 2차원 절편 영상은 CT(Computed Tomography) 데이터, MRI(Magnetic Resonance Imaging) 데이터, MRA(Magnetic Resonance Angiography) 데이터, PET(Positron Emission Tomography) 데이터, PET-CT(Positron Emission Tomography-Computed Tomography) 데이터, 또는 PET-MRI(Positron Emission Tomography-Magnetic Resonance Imaging) 데이터일 수도 있다. Referring to FIG. 6, a method for segmenting body components that deliver blood (hereinafter referred to as blood vessel segmentation method) is: using a training data set including a plurality of two-dimensional training slice images forming a three-dimensional training volume, a segmentation model It includes a learning step (S610). The three-dimensional volume contains blood vessels and/or blood supply organs. Multiple two-dimensional slice images include CT (Computed Tomography) data, MRI (Magnetic Resonance Imaging) data, MRA (Magnetic Resonance Angiography) data, PET (Positron Emission Tomography) data, and PET-CT (Positron Emission Tomography-Computed Tomography) data. , or it may be PET-MRI (Positron Emission Tomography-Magnetic Resonance Imaging) data.

단계(S610)에서 복수의 2차원 훈련 절편 영상의 일부 또는 전부가 영상 시퀀스로 입력된다. In step S610, part or all of the plurality of 2D training slice images are input as an image sequence.

상기 분할 모델은 복수의 베이스라인 모델(B)을 포함한다. 각 베이스라인 모델(B)은 인코더 및 디코더를 포함한다. 인코더는 복수의 컨볼루션 레이어 및 복수의 풀링 레이어를 포함한다. 디코더는 복수의 컨볼루션 레이어 및 복수의 디컨볼루션 레이어를 포함한다. The segmentation model includes a plurality of baseline models (B). Each baseline model (B) includes an encoder and decoder. The encoder includes multiple convolutional layers and multiple pooling layers. The decoder includes a plurality of convolution layers and a plurality of deconvolution layers.

일 실시예에서, 각 베이스라인 모델(B) 내 인코더는 네트워크의 유닛 간의 연결이 순환적인 서브 네트워크를 적어도 하나의 컨볼루션 레이어로서 포함할 수도 있다. 상기 서브 네트워크를 갖는 컨볼루션 레이어는, 예를 들어 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및/또는 GRU을 포함할 수도 있다. In one embodiment, the encoder in each baseline model (B) may include a sub-network in which connections between units of the network are circular as at least one convolutional layer. The convolutional layer with the sub-network may include, for example, a Recurrent Neural Network (RNN), a long short-term memory (LSTM), and/or a GRU.

또한, 상기 서브 네트워크를 갖는 컨볼루션 레이어는 그 컨볼루션 레이어의 출력 데이터가 디코더의 입력단으로 진행하는 위치에 배치될 수도 있다.Additionally, the convolutional layer having the sub-network may be placed at a location where the output data of the convolutional layer proceeds to the input terminal of the decoder.

일 실시예에서, 상기 인코더는 공간 특징 및 절편 사이 연결성을 혈관 특징으로 추출할 수도 있다. 단계(S610)의 학습을 통해 인코더의 파라미터는 공간 특징 및 절편 사이 연결성을 추출하는데 보다 적합한 값으로 업데이트된다. In one embodiment, the encoder may extract spatial features and connectivity between slices as blood vessel features. Through learning in step S610, the parameters of the encoder are updated to values more suitable for extracting spatial features and connectivity between segments.

상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 일부 컨볼루션 레이어를 포함한다. 제1 데이터 처리 경로를 통해 처리된 데이터(예컨대, 이전 계층 레벨에서의 특징)가 인코더 내 서브 네트워크로 적용되어 공간 특징이 출력된다. The spatial feature is obtained by inputting data processed through a first data processing path into a subnetwork of its baseline model, and the first data processing path is a partial convolution layer of the encoder in its baseline model. Includes. Data processed through the first data processing path (eg, features at the previous hierarchical level) are applied to a sub-network within the encoder to output spatial features.

상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제2 데이터 처리 경로는 인접한 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성된다. 자신의 베이스라인 모델(B)의 제1 데이터 처리 경로를 통해 처리된 데이터 및 인접한 다른 베이스라인 모델(B) 간의 제2 데이터 처리 경로를 통해 전달된 데이터가 인코더 내 서브 네트워크로 적용되면 상기 절편 사이 연결성이 출력된다. The connectivity between the segments is obtained by inputting data transmitted through a second data processing path into the subnetwork of the own baseline model, and the second data processing path is connected to the input end of the subnetwork of another adjacent baseline model. It is formed between the input end of its own baseline model. When data processed through the first data processing path of its own baseline model (B) and data transmitted through the second data processing path between other adjacent baseline models (B) are applied to the subnetwork within the encoder, the fragment Connectivity is output.

일 실시예에서, 상기 디코더는 공간 특징 및 절편 사이 연결성에 기초하여 입력 영상별 혈관 영역을 예측할 수도 있다. 단계(S610)의 학습을 통해 디코더의 파라미터는 공간 특징 및 절편 사이 연결성에 기초하여 입력 영상별 혈관 영역을 예측하는데 보다 적합한 값으로 업데이트된다. In one embodiment, the decoder may predict the blood vessel region for each input image based on spatial features and inter-slice connectivity. Through learning in step S610, the parameters of the decoder are updated to values more suitable for predicting the blood vessel area for each input image based on spatial features and connectivity between segments.

일 실시예에서, 상기 디코더는 예측 결과(즉, 예측된 혈관 영역)에 기초하여 분할 마스크를 생성할 수도 있다. 단계(S610)의 학습을 통해 디코더의 파라미터는 입력 영상별 예측 결과에 기초하여 분할 마스크를 생성하는데 보다 적합한 값으로 업데이트될 수도 있다. In one embodiment, the decoder may generate a segmentation mask based on the prediction result (ie, predicted blood vessel region). Through learning in step S610, the parameters of the decoder may be updated to values more suitable for generating a segmentation mask based on the prediction result for each input image.

분할 모델 및 개별 베이스라인 모델(B)에 대해서는 도 2 및 도 3을 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다. The split model and the individual baseline model (B) have been described above with reference to FIGS. 2 and 3, so detailed description will be omitted.

일 실시예에서, 상기 단계(S610)는: 훈련 3차원 체적을 이루는, N1개의 2차원 훈련 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 하이퍼 파라미터 T에 기초하여 지정됨; 및 N1개의 2차원 훈련 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다. In one embodiment, the step (S610) includes: inputting a portion of the N1 total 2D training slice images forming a training 3D volume as an image sequence - the range of the image sequence is specified based on the hyper parameter T ; and continuing to input the next image sequence until all N1 2D training slice images are input.

여기서, 하이퍼 파라미터 T는 분할 모델에 포함된 복수의 베이스라인 모델(B)의 수로 설정될 수도 있다. Here, the hyperparameter T may be set to the number of multiple baseline models (B) included in the segmentation model.

단계(S610)에서 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 SL의 값 만큼 이동한 값이다. 단계(S610)에서 영상 시퀀스의 범위의 이동 및 입력은 복수의 2차원 훈련 절편 영상이 모두 분할 모델에 입력될 때까지 계속된다.In step S610, the index of the first 2D slice image of the next image sequence is a value shifted by the value of the hyper parameter S L from the index of the first 2D slice image of the most recently input image sequence. In step S610, movement and input of the range of the image sequence continue until all of the plurality of 2D training slice images are input to the segmentation model.

일 실시예에서, 상기 하이퍼 파라미터 SL은 T 보다 작은 값으로 설정될 수도 있다. 이러한 하이퍼 파라미터 SL에 대해서는 도 4를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다. In one embodiment, the hyperparameter S L may be set to a value smaller than T. Since these hyperparameters S L are described above with reference to FIG. 4, detailed description will be omitted.

상기 혈관 분할 방법은: 3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여, 혈관 특징을 추출하고 입력된 2차원 절편 영상 각각에서의 혈관 영역을 예측하는 단계(S630)를 포함한다. The blood vessel segmentation method includes: applying a plurality of two-dimensional target slice images forming a three-dimensional target volume to a pre-learned segmentation model, extracting blood vessel features, and predicting the blood vessel area in each of the input two-dimensional slice images. Includes (S630).

일 실시예에서, 상기 혈관 특징은 공간 특징 및 절편 사이 연결성을 포함할 수도 있다. 단계(S630)에서 사용되는 공간 특징은 제1 데이터 처리 경로를 통해 획득된 것이고, 절편 사이 연결성은 제2 데이터 처리 경로를 통해 획득된 것이다. In one embodiment, the vessel features may include spatial features and intersegment connectivity. The spatial features used in step S630 are obtained through the first data processing path, and the connectivity between segments is obtained through the second data processing path.

그러면, 학습이 완료된 분할 모델의 복수의 디코더 각각은 공간 특징 및 절편 사이 연결성에 기초하여 2차원 대상 절편 영상에서 혈관 영역을 예측한다. Then, each of the plurality of decoders of the learned segmentation model predicts the blood vessel region in the 2D target slice image based on spatial features and connectivity between slices.

일 실시예에서, 상기 혈관 분할 방법은: 복수의 베이스라인 모델(B)의 디코더에 의해 예측 결과에 기초하여 일련의 분할 마스크를 생성하는 단계(S640)를 더 포함할 수도 있다. 이 경우, 디코더는 예측 결과에 기초하여 분할 마스크를 생성하도록 더 구성된다. In one embodiment, the blood vessel segmentation method may further include: generating a series of segmentation masks based on prediction results by a decoder of a plurality of baseline models (B) (S640). In this case, the decoder is further configured to generate a segmentation mask based on the prediction result.

일 실시예에서, 상기 단계(S630)는: 3차원 대상 체적을 이루는, N2개의 2차원 대상 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 상기 하이퍼 파라미터 T에 기초하여 지정됨; 및 N2개의 2차원 대상 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함할 수도 있다. In one embodiment, the step (S630) includes: inputting a portion of the N2 total two-dimensional target slice images forming a three-dimensional target volume as an image sequence - the range of the image sequence is based on the hyper parameter T specified; And it may also include continuing to input the next image sequence until all N2 two-dimensional target slice images are input.

상기 3차원 대상 체적을 이루는 2차원 대상 절편 영상의 개수N2는 상기 3차원 훈련 체적을 이루는 2차원 훈련 절편 영상의 개수 N1과 반드시 동일할 필요가 없다. The number N2 of the 2D target slice images forming the 3D target volume does not necessarily need to be the same as the number N1 of the 2D training slice images forming the 3D training volume.

단계(S630)에서 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 SP의 값 만큼 이동한 값이다. 단계(S630)에서 영상 시퀀스의 범위의 이동 및 입력은 복수의 2차원 대상 절편 영상이 모두 분할 모델에 입력될 때까지 계속된다.In step S630, the index of the first 2D slice image of the next image sequence is a value shifted by the value of the hyper parameter S P from the index of the first 2D slice image of the most recently input image sequence. In step S630, movement and input of the range of the image sequence continue until all of the plurality of two-dimensional target slice images are input to the segmentation model.

일 실시예에서, 상기 하이퍼 파라미터 SP은 T 와 동일한 값으로 설정될 수도 있다. 이러한 하이퍼 파라미터 SP에 대해서는 도 5를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다. In one embodiment, the hyperparameter SP may be set to the same value as T. Since these hyperparameters S P are described above with reference to FIG. 5, detailed description will be omitted.

일 실시예에서, 상기 혈관 분할 방법은: 복수의 2차원 대상 절편 영상별 분할 마스크의 적어도 일부에 기초하여 3차원 대상 체적의 적어도 일부의 3차원 모델을 생성하는 단계(S650)를 더 포함할 수도 있다. In one embodiment, the blood vessel segmentation method may further include: generating a 3D model of at least a portion of the 3D target volume based on at least a portion of a segmentation mask for each of the plurality of 2D target slice images (S650). there is.

도 7a 내지 도 7c는, 도 2의 분할 모델을 사용한 3차원 혈관 모델과 상기 비특허문헌 1의 딥러닝 모델을 사용한 3차원 혈관 모델을 도시한다. FIGS. 7A to 7C show a 3D blood vessel model using the segmentation model of FIG. 2 and a 3D blood vessel model using the deep learning model of Non-Patent Document 1.

도 7a 내지 도 7c의 좌측 영상은 입력되는 3차원 대상 영상에 표현된 3차원 대상 체적을 도시한다. 도 7a 내지 도 7c의 가운데 영상은 비특허문헌 1의 3D U-Net 모델을 사용한 3차원 혈관 모델에 의한 분할 결과를 도시한다. 도 7a 내지 도 7c의 우측 영상은 도 2의 분할 모델을 사용하여 생성된 3차원 혈관 모델에 의한 분할 결과를 도시한다. 도 7에서 노란색은 참-양성(true-positive), 빨간색은 거짓-양성(false-positive), 파란색은 거짓-음성(false-negative)을 각각 나타낸다. 도 7에서 괄호의 숫자는 DSC(dice similarity coefficient) 및 IoU(Intersection-over-union)에 대한 평균 값이다. The left images of FIGS. 7A to 7C show the 3D object volume expressed in the input 3D object image. The middle image of FIGS. 7A to 7C shows the segmentation result by a 3D blood vessel model using the 3D U-Net model of Non-Patent Document 1. The right images in FIGS. 7A to 7C show segmentation results by a 3D blood vessel model created using the segmentation model in FIG. 2. In Figure 7, yellow represents true-positive, red represents false-positive, and blue represents false-negative. In Figure 7, the numbers in parentheses are the average values for dice similarity coefficient (DSC) and intersection-over-union (IoU).

도 7a는 뇌 MRA 혈관 레이블을 갖는 3차원 의료 영상을 두 모델에 입력한 결과이다. 도 7b는 복부 CT의 혈관 레이블을 갖는 3차원 의료 영상을 두 모델에 입력한 결과이다. 도 7c는 심장 MRI의 심실벽 레이블을 갖는 3차원 의료 영상을 두 모델에 입력한 결과이다. Figure 7a shows the results of inputting 3D medical images with brain MRA blood vessel labels into two models. Figure 7b shows the results of inputting 3D medical images with blood vessel labels from abdominal CT into two models. Figure 7c shows the result of inputting 3D medical images with ventricular wall labels from cardiac MRI into two models.

도 7에서 노란색의 비율이 높을수록 분할 성능이 더 정확한 모델이다. 분할 성능이 더 정확한 모델이 보다 높은 DSC, IoU 값을 가진다. 도 7a 내지 도 7c에 도시된 바와 같이, 도 2의 분할 모델은 종래의 3D U-Net 모델 보다 더 정확한 3차원 혈관 모델을 생성한다. 도 2의 분할 모델은 공간 특징 및 절편 사이 연결성과 같이 확장된 전역 특징들을 학습 및 예측 동작에 사용함으로써, 혈관 영역 또는 심실벽 영역을 보다 정확하게 예측할 수 있다. In Figure 7, the higher the yellow ratio, the more accurate the model is in segmentation performance. Models with more accurate segmentation performance have higher DSC and IoU values. As shown in FIGS. 7A to 7C, the segmentation model of FIG. 2 generates a more accurate 3D blood vessel model than the conventional 3D U-Net model. The segmentation model in FIG. 2 can more accurately predict the blood vessel region or ventricular wall region by using expanded global features, such as spatial features and connectivity between segments, in learning and prediction operations.

이상에서 설명한 실시예들에 따른 3차원 혈관 분할 장치 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다. According to the embodiments described above The operation of the 3D blood vessel segmentation device and method may be at least partially implemented as a computer program and recorded on a computer-readable recording medium. For example, implemented with a program product comprised of a computer-readable medium containing program code, which can be executed by a processor to perform any or all steps, operations, or processes described.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.The computer may be a computing device, such as a desktop computer, laptop computer, notebook, smart phone, or the like, or any device that may be integrated. A computer is a device that has one or more alternative, special-purpose processors, memory, storage, and networking components (either wireless or wired). The computer may run an operating system such as, for example, Microsoft's Windows-compatible operating system, Apple's OS X or iOS, a Linux distribution, or Google's Android OS.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다. The computer-readable recording medium includes all types of recording and identification devices that store data that can be read by a computer. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage and identification devices. Additionally, computer-readable recording media may be distributed across computer systems connected to a network, and computer-readable codes may be stored and executed in a distributed manner. Additionally, functional programs, codes, and code segments for implementing this embodiment can be easily understood by those skilled in the art to which this embodiment belongs.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.The present invention discussed above has been described with reference to the embodiments shown in the drawings, but these are merely illustrative examples, and those skilled in the art will understand that various modifications and modifications of the embodiments are possible therefrom. However, such modifications should be considered within the technical protection scope of the present invention. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the attached patent claims.

Claims (15)

프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 혈액을 전달하는 신체 구성요소를 분할하는 방법에 있어서,
3차원 훈련 체적을 이루는 복수의 2차원 훈련 절편 영상을 포함한 훈련 데이터 세트를 사용하여, 분할 모델을 학습하는 단계; 및
3차원 대상 체적을 이루는, 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 입력된 2차원 절편 영상 각각에서의 상기 신체 구성요소의 영역을 예측하는 단계를 포함하되,
상기 분할 모델은 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하고,
상기 복수의 베이스라인 모델에는 일 축을 따르는 순서로 분할된 복수의 2차원 대상 절편 영상이 각 베이스라인 모델에 입력되고,
상기 인코더는 공간 특징 및 절편 사이 연결성을 상기 신체 구성요소의 특징으로 추출하고,
상기 디코더는 상기 공간 특징 및 절편 사이 연결성에 기초하여 개별 베이스라인 모델에 입력된 2차원 절편 영상에서의 상기 신체 구성요소의 영역을 예측하도록 구성되며,
상기 공간 특징은 자신의 베이스라인 모델에 입력된 영상에서 추출된 기하학적 특징이고,
상기 절편 사이 연결성은 자신의 베이스라인 모델에 입력된 영상과 상기 자신의 베이스라인 모델과 인접한 복수의 다른 베이스라인 모델에 입력된 복수의 다른 영상 사이의 연속 정보에 기초한 맥락이고,
상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 컨볼루션 레이어를 포함하고,
상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제2 데이터 처리 경로는 인접한 복수의 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성되는 것을 특징으로 하는 방법.
1. A method of segmenting a body component carrying blood, performed by a computing device comprising a processor, comprising:
Learning a segmentation model using a training data set including a plurality of two-dimensional training slice images forming a three-dimensional training volume; and
Applying a plurality of two-dimensional object slice images forming a three-dimensional target volume to a pre-learned segmentation model to predict the area of the body component in each input two-dimensional slice image,
The segmentation model includes a plurality of baseline models that extract features of the body components from the input two-dimensional slice image and predict the area of the body components, and each baseline model includes an encoder and a decoder, respectively, ,
A plurality of two-dimensional target slice images divided in order along one axis are input to each baseline model,
The encoder extracts spatial features and connectivity between segments as features of the body components,
The decoder is configured to predict the area of the body component in a two-dimensional slice image input to an individual baseline model based on the spatial features and connectivity between slices,
The spatial features are geometric features extracted from the image input to its baseline model,
The connectivity between the segments is a context based on continuous information between an image input to its own baseline model and a plurality of other images input to a plurality of other baseline models adjacent to the own baseline model,
The spatial feature is obtained by inputting data processed through a first data processing path into a subnetwork of its baseline model, wherein the first data processing path uses the convolution layer of the encoder in its baseline model. Contains,
The connectivity between the fragments is obtained by inputting data transmitted through a second data processing path into the subnetwork of the own baseline model, and the second data processing path is connected to the subnetwork of a plurality of other adjacent baseline models. A method characterized in that it is formed between an input end and an input end of its baseline model.
제1항에 있어서, 각 베이스라인 모델 내 인코더는 네트워크의 유닛 간의 연결이 순환적인 서브 네트워크를 적어도 하나의 컨볼루션 레이어로서 포함하며,
상기 서브 네트워크는 RNN(Recurrent Neural Network), LSTM(long short-term memory) 및 GRU 중 하나 이상을 포함하는 것을 특징으로 하는 방법.
The method of claim 1, wherein the encoder in each baseline model includes as at least one convolutional layer a subnetwork in which connections between units of the network are circular,
The method characterized in that the sub-network includes one or more of a Recurrent Neural Network (RNN), a long short-term memory (LSTM), and a GRU.
삭제delete 삭제delete 제1항에 있어서,
상기 2차원 절편 영상별 예측 결과에 기초하여 2차원 절편 영상별 분할 마스크를 생성하는 단계; 및
상기 분할 마스크에 기초하여 3차원 상기 신체 구성요소의 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
According to paragraph 1,
generating a segmentation mask for each 2-dimensional slice image based on the prediction result for each 2-dimensional slice image; and
The method further comprising generating a three-dimensional model of the body component based on the segmentation mask.
제1항에 있어서, 상기 분할 모델을 학습하는 단계는,
3차원 훈련 체적을 이루는, N1개의 2차원 훈련 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 분할 모델에 포함된 복수의 베이스라인 모델의 수로 설정된 하이퍼 파라미터T에 기초하여 지정됨; 및
N1개의 2차원 훈련 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함하고,
상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 SL의 값 만큼 이동한 값인 것을 특징으로 하는 방법.
The method of claim 1, wherein learning the segmentation model comprises:
Inputting a portion of all N 1 2D training slice images forming a 3D training volume as an image sequence - the range of the image sequence is based on the hyperparameter T set as the number of a plurality of baseline models included in the segmentation model. designated as; and
Continuing to input the next image sequence until all N 1 2D training slice images are input,
A method characterized in that the index of the first 2D slice image of the next image sequence is a value shifted by the value of the hyperparameter S L from the index of the first 2D slice image of the most recently input image sequence.
제6항에 있어서,
상기 하이퍼 파라미터 SL은 상기 하이퍼 파라미터 T 보다 작은 값으로 설정되는 것을 특징으로 하는 방법.
According to clause 6,
The method characterized in that the hyper parameter S L is set to a value smaller than the hyper parameter T.
제6항에 있어서, 상기 신체 구성요소의 영역을 예측하는 단계는,
상기 3차원 대상 체적을 이루는, N2개의 2차원 대상 절편 영상 전체 중에서 일부를 영상 시퀀스로 입력하는 단계 - 상기 영상 시퀀스의 범위는 상기 하이퍼 파라미터 T에 기초하여 지정됨; 및
N2개의 2차원 대상 절편 영상이 모두 입력될 때까지 다음 영상 시퀀스를 계속 입력하는 단계를 포함하고,
상기 다음 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스는 가장 최근에 입력된 영상 시퀀스의 첫번째 2차원 절편 영상의 인덱스로부터 하이퍼 파라미터 SP의 값 만큼 이동한 값인 것을 특징으로 하는 방법.
The method of claim 6, wherein predicting the area of the body component comprises:
Inputting a portion of all N two two-dimensional object slice images constituting the three-dimensional object volume as an image sequence, wherein the range of the image sequence is designated based on the hyper parameter T; and
Continuing to input the next image sequence until all N two two-dimensional target slice images are input,
A method characterized in that the index of the first 2D slice image of the next image sequence is a value shifted by the value of the hyper parameter S P from the index of the first 2D slice image of the most recently input image sequence.
제8항에 있어서,
상기 하이퍼 파라미터 SP는 상기 하이퍼 파라미터 T와 동일한 값으로 설정된 것을 특징으로 하는 방법.
According to clause 8,
A method wherein the hyperparameter SP is set to the same value as the hyperparameter T.
제1항, 제2항 및 제5항 내지 제9항 중 어느 하나의 항에 따른 방법을 수행하게 하는 명령어를 저장하는 컴퓨터 판독가능 저장매체.
A computer-readable storage medium storing instructions for performing the method according to any one of claims 1, 2, and 5 to 9.
혈액을 전달하는 신체 구성요소를 분할하는 장치에 있어서,
3차원 대상 체적을 이루는 복수의 2차원 대상 절편 영상을 포함한, 3차원 의료 영상을 획득하는 영상 획득부; 및
상기 복수의 2차원 대상 절편 영상을 미리 학습된 분할 모델에 적용하여 각 2차원 대상 절편 영상별 상기 신체 구성요소의 영역을 예측하는 분할 처리부;를 포함하되,
상기 분할 모델은, 각각 입력된 2차원 절편 영상에서 상기 신체 구성요소의 특징을 추출하고 상기 신체 구성요소의 영역을 예측하는 복수의 베이스라인 모델을 포함하고, 각 베이스라인 모델은 인코더 및 디코더를 각각 포함하고,
상기 복수의 베이스라인 모델에는 일 축을 따르는 순서로 분할된 복수의 2차원 대상 절편 영상이 각 베이스라인 모델에 입력되고,
상기 인코더는 공간 특징 및 절편 사이 연결성을 상기 신체 구성요소의 특징으로 추출하고,
상기 디코더는 상기 공간 특징 및 절편 사이 연결성에 기초하여 개별 베이스라인 모델에 입력된 2차원 절편 영상에서의 상기 신체 구성요소의 영역을 예측하도록 구성되며,
상기 공간 특징은 자신의 베이스라인 모델에 입력된 영상에서 추출된 기하학적 특징이고,
상기 절편 사이 연결성은 자신의 베이스라인 모델에 입력된 영상과 상기 자신의 베이스라인 모델과 인접한 복수의 다른 베이스라인 모델에 입력된 복수의 다른 영상 사이의 연속 정보에 기초한 맥락이고,
상기 공간 특징은 제1 데이터 처리 경로를 통해 처리된 데이터가 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제1 데이터 처리 경로는 상기 자신의 베이스라인 모델 내 인코더의 컨볼루션 레이어를 포함하고,
상기 절편 사이 연결성은 제2 데이터 처리 경로를 통해 전달된 데이터가 상기 자신의 베이스라인 모델의 서브 네트워크에 입력되어 획득된 것으로서, 상기 제2 데이터 처리 경로는 인접한 복수의 다른 베이스라인 모델의 서브 네트워크의 입력단과 상기 자신의 베이스라인 모델의 입력단 간에 형성되는 것을 특징으로 하는 장치.
In a device for dividing body components carrying blood,
An image acquisition unit that acquires a 3D medical image including a plurality of 2D target slice images forming a 3D target volume; and
A segmentation processing unit that applies the plurality of two-dimensional target slice images to a pre-learned segmentation model to predict the area of the body component for each two-dimensional target slice image,
The segmentation model includes a plurality of baseline models that extract features of the body component from an input two-dimensional slice image and predict the area of the body component, and each baseline model includes an encoder and a decoder, respectively. Contains,
A plurality of two-dimensional target slice images divided in order along one axis are input to each baseline model,
The encoder extracts spatial features and connectivity between segments as features of the body components,
The decoder is configured to predict the area of the body component in a two-dimensional slice image input to an individual baseline model based on the spatial features and connectivity between slices,
The spatial features are geometric features extracted from the image input to its baseline model,
The connectivity between the segments is a context based on continuous information between an image input to its own baseline model and a plurality of other images input to a plurality of other baseline models adjacent to the own baseline model,
The spatial feature is obtained by inputting data processed through a first data processing path into a subnetwork of its baseline model, wherein the first data processing path uses the convolution layer of the encoder in its baseline model. Contains,
The connectivity between the fragments is obtained by inputting data transmitted through a second data processing path into the subnetwork of the own baseline model, and the second data processing path is connected to the subnetwork of a plurality of other adjacent baseline models. A device characterized in that it is formed between an input end and an input end of its baseline model.
제11항에 있어서, 상기 3차원 의료 영상은,
CT(Computed Tomography) 데이터, MRI(Magnetic Resonance Imaging) 데이터, MRA(Magnetic Resonance Angiography) 데이터, PET(Positron Emission Tomography) 데이터, PET-CT(Positron Emission Tomography-Computed Tomography) 데이터, 또는 PET-MRI(Positron Emission Tomography-Magnetic Resonance Imaging) 데이터인 것을 특징으로 하는 장치.
The method of claim 11, wherein the 3D medical image is:
Computed Tomography (CT) data, Magnetic Resonance Imaging (MRI) data, Magnetic Resonance Angiography (MRA) data, Positron Emission Tomography (PET) data, Positron Emission Tomography-Computed Tomography (PET-CT) data, or Positron Emission Tomography (PET-MRI) data. A device characterized by Emission Tomography-Magnetic Resonance Imaging) data.
제11항에 있어서, 상기 분할 처리부는,
상기 복수의 디코더에 의해, 2차원 대상 절편 영상별 예측 결과에 기초하여 분할 마스크를 생성하도록 더 구성되는 것을 특징으로 하는 장치.
The method of claim 11, wherein the division processing unit,
The device is further configured to generate a segmentation mask based on prediction results for each two-dimensional target slice image by the plurality of decoders.
제13항에 있어서,
상기 2차원 대상 절편 영상별 분할 마스크에 기초하여 3차원 상기 신체 구성요소의 모델을 생성하는 모델 생성부를 더 포함하는 것을 특징으로 하는 장치.
According to clause 13,
The device further comprises a model generator that generates a 3D model of the body component based on the segmentation mask for each 2D target slice image.
제11항에 있어서,
상기 신체 구성요소는 혈관 및 혈액 공급 장기 중 적어도 하나를 포함하며,
상기 혈액 공급 장기는 심실 및 심방 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
According to clause 11,
The body component includes at least one of blood vessels and blood supply organs,
A device wherein the blood supply organ includes at least one of a ventricle and an atrium.
KR1020210051253A 2021-02-24 2021-04-20 Method and device for semgneting body component for conveying fluid KR102639985B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210025118 2021-02-24
KR1020210025118 2021-02-24

Publications (2)

Publication Number Publication Date
KR20220121141A KR20220121141A (en) 2022-08-31
KR102639985B1 true KR102639985B1 (en) 2024-02-27

Family

ID=83061606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051253A KR102639985B1 (en) 2021-02-24 2021-04-20 Method and device for semgneting body component for conveying fluid

Country Status (1)

Country Link
KR (1) KR102639985B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758100A (en) * 2023-08-17 2023-09-15 神州医疗科技股份有限公司 3D medical image segmentation system and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101929412B1 (en) * 2017-02-28 2018-12-14 연세대학교 산학협력단 Image database-based real-time registration method of 2d x-ray image and 3d ct image, and an apparatus thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rudra P K Poudel, "Recurrent Fully Convolutional Neural Networks for Multi-slice MRI Cardiac Segmentation", RAMBO HVSMR 2016 (2017.01.19.)*

Also Published As

Publication number Publication date
KR20220121141A (en) 2022-08-31

Similar Documents

Publication Publication Date Title
Wang et al. Automatic brain tumor segmentation based on cascaded convolutional neural networks with uncertainty estimation
CN109978037B (en) Image processing method, model training method, device and storage medium
CN110475505B (en) Automatic segmentation using full convolution network
CN108022238B (en) Method, computer storage medium, and system for detecting object in 3D image
US8311303B2 (en) Method and system for semantics driven image registration
WO2021244661A1 (en) Method and system for determining blood vessel information in image
US20230038364A1 (en) Method and system for automatically detecting anatomical structures in a medical image
US20070165917A1 (en) Fully automatic vessel tree segmentation
CN116503607B (en) CT image segmentation method and system based on deep learning
KR102639985B1 (en) Method and device for semgneting body component for conveying fluid
CN111968137A (en) Head CT image segmentation method and device, electronic device and storage medium
US10424073B2 (en) Image registration device, method, and program
Ravichandran et al. 3D inception U-Net for aorta segmentation using computed tomography cardiac angiography
CN116348911A (en) Image segmentation method and system
Rezaei et al. Multi-task generative adversarial network for handling imbalanced clinical data
Tang et al. Tumor segmentation from single contrast MR images of human brain
CN115965785A (en) Image segmentation method, device, equipment, program product and medium
Irshad et al. Discrete light sheet microscopic segmentation of left ventricle using morphological tuning and active contours
JP2023131287A (en) Information processing apparatus and learning method
US20230169331A1 (en) Solving multiple tasks simultaneously using capsule neural networks
Zhang et al. Research on brain glioma segmentation algorithm
CN113379770A (en) Nasopharyngeal carcinoma MR image segmentation network construction method, image segmentation method and device
CN113744215A (en) Method and device for extracting center line of tree-shaped lumen structure in three-dimensional tomography image
Chang et al. All Attention U-NET for Semantic Segmentation of Intracranial Hemorrhages In Head CT Images
CN117115187B (en) Carotid artery wall segmentation method, carotid artery wall segmentation device, carotid artery wall segmentation computer device, and carotid artery wall segmentation storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL NUMBER: 2024105000033; TRIAL DECISION FOR CORRECTION REQUESTED 20240430

Effective date: 20240620