WO2022154334A1 - 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체 - Google Patents

딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
WO2022154334A1
WO2022154334A1 PCT/KR2021/020284 KR2021020284W WO2022154334A1 WO 2022154334 A1 WO2022154334 A1 WO 2022154334A1 KR 2021020284 W KR2021020284 W KR 2021020284W WO 2022154334 A1 WO2022154334 A1 WO 2022154334A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pectoralis major
major muscle
coronal
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/020284
Other languages
English (en)
French (fr)
Inventor
양제파
용환석
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Publication of WO2022154334A1 publication Critical patent/WO2022154334A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a technique for performing automatic measurement of the pectoralis major muscle area using a deep learning technique using a chest CT image.
  • the present invention relates to personal basic research (R&D) of the Ministry of Science, ICT and Future Planning (Project No.: 1711112474, Project No.: 2017R1E1A1A01077436, Research Project Name: Artificial intelligence of full-cycle medical images and clinical big data for customized precise targeted treatment of COPD patients Development of phenotype diagnosis and prognosis prediction model through analysis, project management institution: National Research Foundation of Korea, task performing institution: Korea University, research period: 2020.03.01. ⁇ 2021.02.28.) and information communication broadcasting innovation talent of the Ministry of Science and ICT Training (R&D) (Project No.: 1711126325, Project No.: 2020-0-01819-002, Research Project Name: Cultivation of Advanced ICT Talent (Korea University), Project Management Agency: Information and Communication Planning and Evaluation Institute, Project Implementation Agency: Korea University It is derived from research conducted as part of the Industry-University Cooperation Foundation, research period: 2021.01.01. ⁇ 2021.12.31.). On the other hand, there is no property interest of the Korean
  • the pectoralis muscle is a muscle that plays an important role in the movement of the shoulder joint.
  • the pectoralis major helps to flex the arm and facilitates extension of the arm.
  • the pectoralis major also serves as a respiratory muscle, helping to lift the chest and ribs when forced breathing is required, allowing the lungs to expand by inhaling air. Therefore, the size and muscle mass of the pectoralis major inevitably have a large relationship with the respiratory-related values and disease progression, and chronic obstructive pulmonary disease (COPD; Chronic Obstructive Pulmonary Disease) is known to be highly related.
  • COPD chronic obstructive pulmonary disease
  • computed tomography (CT) of the chest is a technique for acquiring a cross-sectional image of the chest, and is widely used as a test method used for chest diagnosis.
  • CT computed tomography
  • the medical community is mainly measuring the size of the pectoralis major muscle using the measurement result in the 2D section corresponding to the position of a specific slice of the CT image.
  • the measurement method in the 2D section has a limitation in that the size of the pectoralis major muscle of the patient is measured differently depending on the posture of the patient or the skill level of the medical staff.
  • An object of the present invention is to provide a deep learning-based automatic pectoralis major muscle measuring apparatus for performing automatic measurement of the pectoralis major muscle region using a deep learning technique using a chest CT image, and a recording medium in which a program for executing the method is recorded.
  • the present invention is to provide a deep learning-based automatic pectoralis major muscle measurement technology that does not change the measurement result of the pectoralis major muscle according to the patient's posture or the clinical judgment of a medical professional, and can increase the measurement accuracy of the pectoralis major region.
  • Deep learning-based automatic pectoralis major muscle measuring apparatus is: A pectoralis major muscle is present from a first coronal image of a first chest computed tomography (CT) image acquired for a subject by a classification artificial intelligence model. a pectoralis major muscle presence region determination unit configured to determine the first horizontal plane images; and a pectoralis major region segmentation unit configured to segment a region of the pectoralis major muscle through region segmentation for extracting features from the first horizontal plane images determined to be present by the divided artificial intelligence model.
  • CT chest computed tomography
  • Deep learning-based automatic pectoralis major muscle measuring apparatus trains the classification artificial intelligence model using the first learning image in which the pectoralis major muscle presence region is labeled on the second coronal image of the second chest CT image
  • Classification artificial intelligence model learning unit configured to and a segmented artificial intelligence model learning unit configured to learn the segmented artificial intelligence model using a second learning image in which the pectoralis major muscle region is labeled on a second horizontal plane image of the second chest CT image.
  • the pectoralis major muscle presence region determination unit Acquires the first coronal plane image subjected to color synthesis from the first chest CT image, and uses the classification artificial intelligence model learned by the classification artificial intelligence model learning unit. and extracting the first horizontal plane images from among a plurality of horizontal plane images of the first chest CT image by predicting a pectoralis major muscle presence region in a first coronal plane image.
  • the pectoralis major muscle presence region determining unit identifies coronal plane positions corresponding to a middle portion based on a stacking order from among the stacked coronal plane images of the first chest CT image; extracting a plurality of grayscale coronal plane images corresponding to the coronal plane positions from among the coronal plane images; synthesizing the plurality of grayscale coronal images into one to obtain a color coronal image; obtaining the first coronal image by matching the color coronal image to a set length; And it may be configured to discriminate the first horizontal plane images by the classification artificial intelligence model from the first coronal plane image.
  • the plurality of grayscale coronal plane images may include second coronal plane images corresponding to 3/8, 4/8, and 5/8 coronal plane positions based on the stacking order of the second coronal plane images. .
  • the pectoralis major region dividing unit generates a pectoralis major muscle prediction image using the divided artificial intelligence model learned by the divided artificial intelligence model learning unit;
  • the region of the pectoralis major muscle may be divided by excluding small regions corresponding to noise in the prediction region of the pectoralis major muscle.
  • the pectoralis major muscle region division unit generates a binarized image having a set pixel value by binarizing the pectoralis major muscle prediction image; dividing the binarized image into a plurality of regions by connecting and grouping adjacent pixels in the binarized image; In addition, it may be configured to calculate the area of each of the plurality of areas, and measure the pectoralis major muscle by excluding the area having an area equal to or less than a reference value.
  • the classification AI model may be implemented by adding a fully connected layer based on the EfficientNet model.
  • the divided artificial intelligence model may include: a contracting pass configured to sequentially and repeatedly perform a first convolution process and a pooling process through a plurality of contracting layers; an expansive pass configured to sequentially repeat the second convolution process and the up-sampling process through a plurality of expanding layers; and a skip connection unit configured to transmit the first feature map extracted from the contracting pass to the explicit pass.
  • the expansive pass may include an attention module applied to each of the plurality of expanding layers.
  • the attention module is configured to: receive the first feature map from the contracting layer of the contracting pass by the skip connection unit; receive a second feature map from a first expanding layer of the expansive pass; performing a third convolution process, a relu activation process, and a sigmoid process based on the first feature map and the second feature map to generate an attention map; And it may be configured to transmit the attention map to a second expanding layer of the aggressive pass.
  • a computer-readable recording medium in which a program for executing a deep learning-based automatic pectoralis major muscle measurement method is recorded.
  • the deep learning-based automatic pectoralis major muscle measurement method is: Determining the first horizontal plane images in which the pectoralis major muscle exists from the first coronal plane image of the first chest computed tomography (CT) image acquired for the object by the classification artificial intelligence model to do; and segmenting a region of the pectoralis major muscle through region segmentation for extracting features from the first horizontal plane images determined to exist in the pectoralis major muscle by the divided artificial intelligence model.
  • CT chest computed tomography
  • the deep-learning-based automatic pectoralis major muscle measurement method is: by the classification artificial intelligence model learning unit, the classification artificial intelligence using the first learning image in which the pectoralis major muscle presence region is labeled on the second coronal image of the second chest CT image training the model; and learning the divided artificial intelligence model using a second training image in which the pectoralis major muscle region is labeled on a second horizontal plane image of the second chest CT image by the divided AI model learning unit.
  • the step of determining the first horizontal plane images includes: acquiring the first coronal plane image subjected to color synthesis from the first chest CT image, and the classification artificial intelligence model learned by the classification artificial intelligence model learning unit and extracting the first horizontal plane images from among a plurality of horizontal plane images of the first chest CT image by predicting a pectoralis major muscle presence region in the first coronal image using
  • the determining of the first horizontal plane images may include: identifying coronal plane positions corresponding to the middle part based on the stacking order among the stacked coronal plane images of the first chest CT image; extracting a plurality of grayscale coronal plane images corresponding to the coronal plane positions from among the coronal plane images; obtaining a color coronal image by synthesizing the plurality of grayscale coronal images into one; obtaining the first coronal image by matching the color coronal image to a set length; and discriminating the first horizontal plane images from the first coronal plane image by the classification artificial intelligence model.
  • the segmenting of the pectoralis major muscle region may include: generating a pectoralis major muscle prediction image using the segmented artificial intelligence model learned by the segmented artificial intelligence model learning unit; and dividing the area of the pectoralis major muscle by excluding minute areas corresponding to noise in the prediction area of the pectoralis major muscle.
  • Segmenting the region of the pectoralis major muscle may include: generating a binarized image having a set pixel value by binarizing the pectoralis major muscle prediction image; dividing the binarized image into a plurality of regions by connecting and grouping adjacent pixels in the binarized image; and calculating the areas of the plurality of areas, respectively, and measuring the pectoralis major muscle by excluding areas having areas equal to or less than a reference value.
  • a deep learning-based automatic pectoralis major muscle measurement apparatus for performing automatic measurement of the pectoralis major muscle area using a deep learning technique using a chest CT image and a recording medium recording a program for executing the method are provided.
  • the embodiment of the present invention it is possible to prevent the measurement result of the pectoralis major from being changed according to the posture of the patient or the clinical judgment of the medical professional, and it is possible to increase the measurement accuracy for the pectoralis major region.
  • FIG. 1 is a block diagram of a deep learning-based automatic pectoralis major muscle measurement apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a deep learning-based automatic pectoralis major muscle measuring unit constituting an apparatus for measuring deep learning-based automatic pectoralis major according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram of a classification artificial intelligence model constituting a deep learning-based automatic pectoralis major muscle measurement apparatus according to an embodiment of the present invention.
  • 4A is a conceptual diagram of a segmented artificial intelligence model constituting a deep learning-based automatic pectoralis major muscle measurement apparatus according to an embodiment of the present invention.
  • 4B is a conceptual diagram of an attention module constituting a deep learning-based automatic pectoralis major muscle measuring apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a deep learning-based automatic pectoralis major muscle measurement method executed by a program recorded on a computer-readable recording medium according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating step S130 of FIG. 5 .
  • FIG. 7 is an exemplary diagram for explaining a process of acquiring a first coronal image according to the embodiment of FIG. 6 .
  • step S160 of FIG. 6 is a flowchart illustrating step S160 of FIG. 6 .
  • 9A and 9B are diagrams illustrating a result of dividing a pectoralis major muscle predicted according to an embodiment of the present invention.
  • 10A to 10D are diagrams showing the results of extracting a horizontal plane image in which the pectoralis major muscle exists based on deep learning according to an embodiment of the present invention.
  • 11A to 11C are diagrams illustrating a result of segmenting a pectoralis major muscle region in a horizontal plane image based on deep learning according to an embodiment of the present invention.
  • ' ⁇ unit, ⁇ module' is a unit that processes at least one function or operation, and may mean, for example, software, FPGA, or hardware component. Functions provided by ' ⁇ unit, ⁇ module' may be performed separately by a plurality of components, or may be integrated with other additional components.
  • the ' ⁇ unit, ⁇ module' in the present specification is not necessarily limited to software or hardware, and may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors.
  • the pectoralis muscle is present from the first coronal image of the first chest computed tomography image (3D chest CT image) acquired for the subject (patient).
  • a deep learning-based classification artificial intelligence model that determines the first horizontal plane images that It includes a segmented AI model.
  • the deep learning-based automatic pectoralis major muscle measuring apparatus detects axial images in which the pectoralis major muscle is present through the coronal image of the 3D ultrasound image, and the horizontal plane in which the pectoralis pectoralis muscle is determined to exist. In the CT image, it is possible to segment the real pectoralis major muscle area.
  • Deep learning-based automatic pectoralis major muscle measuring apparatus does not use only a horizontal plane image among 3D chest CT images, but uses a coronal plane image together with a horizontal plane image of a 3D chest CT image to measure the pectoralis major muscle, 2D It is possible to measure the 3D pectoralis major region, not the pectoralis major.
  • the deep learning-based automatic pectoralis muscle measurement apparatus uses a 3D CT image, but does not directly utilize a 3D volume, and extracts features in the corresponding area by an artificial intelligence model, 2.5 D
  • the 3D area corresponding to the pectoralis major muscle can be extracted by using the patient information.
  • the deep learning-based automatic pectoralis major muscle measurement apparatus based on a plurality of artificial intelligence models (classified artificial intelligence model, segmented artificial intelligence model) learned based on deep learning, can perform automatic measurements.
  • classified artificial intelligence model segmented artificial intelligence model learned based on deep learning
  • the deep learning-based automatic pectoralis major muscle measurement apparatus it is possible to prevent the pectoralis major muscle measurement result from being changed according to the patient's posture, and to prevent the pectoralis pectoralis muscle measurement result from being influenced by the clinical judgment of a medical professional. In addition, it is possible to increase the measurement accuracy for the pectoralis major muscle area.
  • the deep learning-based automatic pectoralis major muscle measurement apparatus 10 includes a user interface unit 20, an input unit 30, a deep learning-based automatic pectoralis major muscle measurement unit 40, and a storage unit ( 50 ), a display unit 60 , and a control unit 70 .
  • the user interface unit 20 may be provided so that a medical professional such as a doctor may input various commands for executing a program for automatic deep learning-based pectoralis major muscle measurement.
  • the user interface unit 20 may include, for example, an input interface such as a keyboard, a mouse, a touchpad, an electronic pen, and a voice recognition unit.
  • the input unit 30 is provided to receive various data necessary for automatic deep-learning-based pectoralis major muscle measurement, for example, a chest computed tomography (CT) image of a patient designated by a medical professional using the user interface unit 20.
  • CT computed tomography
  • the input unit 30 may receive data from the chest CT apparatus or may receive data from the storage unit 50 .
  • the deep-learning-based automatic pectoralis major muscle measurement unit 40 uses a number of artificial intelligence models (classification artificial intelligence model, segmented artificial intelligence model) learned based on deep learning to determine the pectoralis major region or pectoralis major muscle size (area) from the chest CT image of the patient. ), etc., can be automatically measured.
  • artificial intelligence models classification artificial intelligence model, segmented artificial intelligence model
  • the storage unit 50 is a program for learning multiple AI models (classified AI model, segmented AI model) based on the patient's chest CT image, deep learning, and the patient based on the learned multiple AI models. It is possible to store a program that performs the process of automatically measuring the pectoralis major muscle area and size of the pectoralis major muscle.
  • the display unit 60 is a chest CT image of the patient, coronal images of the chest CT image, sagittal images, horizontal plane images, the pectoralis major muscle area predicted from the chest CT image by the deep learning-based automatic pectoralis major muscle measurement unit 40, Information such as the pectoralis major muscle area may be provided to be displayed on the display screen of the medical terminal.
  • the control unit 70 controls various components such as the user interface unit 20, the input unit 30, the deep learning-based automatic pectoralis major muscle measurement unit 40, the storage unit 50, and the display unit 60 to make an artificial intelligence model It may include at least one processor for performing a process of measuring the pectoralis major muscle area or the pectoralis major muscle size from the chest CT image of the patient using the .
  • the deep learning-based automatic pectoralis major muscle measurement unit 40 includes a pectoralis major muscle presence region determination unit 100 , a pectoralis major region segmentation unit 200 , a classification artificial intelligence model learning unit 300 , and a segmented artificial intelligence model learning unit. part 400 may be included.
  • the pectoralis major muscle presence region determining unit 100 determines the pectoralis major muscle from among the axial images of the first chest CT image from the first coronal image of the first chest CT image acquired for the subject (patient). It may include a classification artificial intelligence model 110 for discriminating the existing first horizontal plane images.
  • the pectoralis major muscle region segmentation unit 200 performs segmentation of the pectoralis major muscle in the first horizontal plane images through segmentation for extracting features from the first horizontal plane images in which the pectoralis major muscle is determined to exist among the horizontal plane images of the first chest CT image. It may include a segmented artificial intelligence model 210 that divides a region.
  • the classification artificial intelligence model learning unit 300 and the segmented artificial intelligence model learning unit 400 include a plurality of learning images (eg, a plurality of coronal images and a plurality of 3D chest CT images for learning an artificial intelligence model). of the horizontal plane image) can be used to train the classification AI model 110 and the divided AI model 210 .
  • the classification artificial intelligence model learning unit 300 uses a plurality of first training images in which the pectoralis major muscle presence region (coronary plane positions where the pectoralis major muscle exists) is labeled in the second coronal plane image of the second chest CT image.
  • the classification artificial intelligence model 110 for classification of existing horizontal images may be trained.
  • the divided artificial intelligence model learning unit 400 obtains a plurality of second learning images (horizontal plane images in which a region corresponding to the pectoralis major and a region other than the pectoralis major are distinguished) in which the pectoralis major muscle region is labeled in the second horizontal plane image of the second chest CT image.
  • the divided artificial intelligence model 210 for division of the pectoralis major muscle region in the first horizontal plane can be trained by using the same.
  • the classification AI model 110 may be implemented by adding a Fully Connected Layer 114 based on the EfficientNet model 112 .
  • the EfficientNet model may be implemented based on the "EfficientNet-b6" model.
  • the EfficientNet model can additionally operate AdaptiveAvgPool2d, Dropout, and Linear processes.
  • the Adaptive Average Pool serves to linearly change the shape of the input value.
  • the dropout is to prevent overfitting, and when the coefficient is set to 0.5, it can serve to omit half of the network.
  • the linear process serves to determine the number of output features.
  • 4A is a conceptual diagram of a segmented artificial intelligence model constituting a deep learning-based automatic pectoralis major muscle measurement apparatus according to an embodiment of the present invention.
  • 4B is a conceptual diagram of an attention module constituting a deep learning-based automatic pectoralis major muscle measuring apparatus according to an embodiment of the present invention.
  • the segmented AI model 210 includes a contracting pass 220 that reduces the image size, an explicit pass 230 that increases the image size, and a skip connection unit 240 . may include.
  • the contracting path 220 is a first convolution process and a pooling process (eg, max pooling process, average pooling process, etc.) a plurality of contracting layers (contracting layer) ) can be repeated sequentially.
  • a pooling process eg, max pooling process, average pooling process, etc.
  • the expansive path 230 may sequentially repeat a second convolution process and an up-sampling process through a plurality of expanding layers.
  • the skip connection unit 240 converts the first feature map (convolutional image) extracted from the contracting layer of the contracting pass 220 to the contracting layer and the corresponding explicit path 230 ) to the expanding layer of
  • the aggressive path 230 may include a plurality of attention modules 232 .
  • the attention module 232 may be respectively applied to a plurality of expanding layers of the aggressive path 230 .
  • the divided artificial intelligence model 210 may be implemented as a U-Net model in which the attention module 232 is added to the aggressive path 230 .
  • the attention module 232 receives the first feature map from the contracting layer of the contracting pass 220 by the skip connection unit 240 , and receives the first feature map from the first expanding layer of the explicit pass 230 . 2 You can receive a feature map.
  • the attention module 232 may generate an attention map by performing a third convolution process, a ReLU activation process, and a sigmoid process based on the received first feature map and second feature map. have.
  • Attention module 232 is Convolution -> Batch Normalization / Convolution -> Batch Normalization -> Relu Activation Function (ReLu) -> Convolution -> Batch Normalization -> Sigmoid processing can be performed.
  • ReduceLROnPlateau may be applied to the UNET model as a scheduler for adjusting the learning rate. It can be driven to reduce the learning rate by 50% when no improvement in the number of epochs is seen, so that learning stagnates when metric improvement stops, benefiting from a reduction in the learning rate.
  • the attention map generated by the attention module 232 of the first expanding layer of the aggressive path 230 may be transmitted to the second expanding layer connected to the first expanding layer of the aggressive path 230 . have.
  • the segmentation AI model 2120 may be configured to perform region segmentation processing corresponding to the pectoralis major muscle by increasing the weight of the upper center portion of the image corresponding to the chest region using a custom loss function.
  • the pectoralis major muscle presence region determining unit 100 may acquire a color synthesis-processed first coronal plane image from a first chest CT image of a patient, which is an object of pectoralis major measurement.
  • the first coronal image obtained from the first chest CT image of the patient may be input to the classification artificial intelligence model 110 .
  • the pectoralis major muscle presence region determination unit 100 predicts the pectoralis major muscle presence region in the first coronal image using the classification artificial intelligence model 110 learned by the classification artificial intelligence model learning unit 300 to obtain a first chest CT.
  • the first horizontal plane images may be extracted from among the plurality of horizontal plane images of the image.
  • the pectoralis major muscle presence region determining unit 100 In order to obtain a first coronal image from the first chest CT image, the pectoralis major muscle presence region determining unit 100 first determines the middle based on the stacking order among the stacked coronal images of the first chest CT image acquired for the patient. You can check the coronal plane positions corresponding to the part.
  • the pectoralis major muscle presence region determining unit 100 may extract a plurality of grayscale coronal plane images corresponding to coronal plane positions from among the coronal plane images of the first chest CT image.
  • the plurality of grayscale coronal images extracted from the coronal images of the first chest CT image are 3 corresponding to 3/8, 4/8, and 5/8 coronal plane positions based on the stacking order. It may include coronal images of dogs. However, the coronal plane positions may be set differently according to the size of the CT image.
  • the pectoralis major muscle presence region determining unit 100 corresponds to a plurality of grayscale coronal plane images (eg, 3/8, 4/8, and 5/8 coronal plane positions corresponding to the set coronal plane positions)
  • the three coronal plane images are concatenated to obtain a color coronal plane image by synthesizing them into one so that each can be in charge of RGB color.
  • the pectoralis major muscle presence region determining unit 100 may acquire a first coronal image by matching the color coronal image to a set length. For example, to adjust the height of the coronal image to a set length (eg, 416), if the coronal image is longer than the set length of 416, the lower part is cut, and if it is shorter than the set length of 416, the same arrangement as the bottom row can be added to the lower part to match the set length of 416.
  • a set length eg, 416
  • the pectoralis major muscle presence region determining unit 100 may determine the first horizontal plane images in which the pectoralis major muscle exists among the horizontal plane images of the first chest CT image by the classification artificial intelligence model 110 from the first coronal image.
  • the pectoralis major muscle region segmentation unit 200 generates a pectoralis major muscle prediction image using the segmented artificial intelligence model 210 learned by the segmented artificial intelligence model learning unit 400, and generates small areas corresponding to noise in the pectoralis major muscle prediction area ( The area of the pectoralis major muscle can be divided by excluding small-sized areas).
  • the pectoralis major region dividing unit 200 may generate a binarized image having a set pixel value by binarizing the pectoralis major muscle prediction image output from the divided artificial intelligence model learning unit 400 .
  • the pectoralis major muscle region divider 200 may generate a binarized image by, for example, leaving only pixels having a pixel value of '1' after binarization based on a threshold value.
  • the pectoralis major muscle region divider 200 may divide the binarized image into a plurality of regions (eg, regions having a pixel value of '1') by connecting and grouping adjacent pixels in the binarized image.
  • regions eg, regions having a pixel value of '1'
  • the pectoralis major region dividing unit 200 may perform labeling after connecting and grouping adjacent pixels through, for example, Connected Component With Stats.
  • the pectoralis major muscle region dividing unit 200 calculates the widths of a plurality of regions divided in the binarized image, respectively, and excludes regions having an area equal to or less than a reference value (eg, a reference area corresponding to 10 pixels) of the pectoralis major muscle. can be measured
  • FIG. 5 is a flowchart of a deep learning-based automatic pectoralis major muscle measurement method executed by a program recorded on a computer-readable recording medium according to an embodiment of the present invention.
  • the classification artificial intelligence model learning unit 300 and the segmented artificial intelligence model learning unit 400 classify using the plurality of learning images. It is possible to train the artificial intelligence model 110 and the divided artificial intelligence model 210 (S110, S120).
  • the classification artificial intelligence model learning unit 300 can train the classification artificial intelligence model 110 using a plurality of first learning images in which the pectoralis major muscle presence region is labeled in the second coronal image of the second chest CT image. have.
  • the segmented artificial intelligence model learning unit 400 may train the segmented artificial intelligence model 210 by using a plurality of second learning images in which the pectoralis major muscle region is labeled in the second horizontal plane image of the second chest CT image.
  • the pectoralis major muscle presence region determining unit 100 acquires a first coronal image from a first chest CT image obtained for an object (patient), and uses the classification artificial intelligence model 110 to obtain a first coronal image. From the image, it may be determined whether the pectoralis major muscle is present in the axial images of the first chest CT image (S130 and S140).
  • the pectoralis major region segmentation unit 200 performs segmentation for extracting features from the first horizontal plane images in which the pectoralis major muscle is determined to exist among the horizontal plane images of the first chest CT image by the segmentation artificial intelligence model 210.
  • the pectoralis major muscle prediction image is generated from the horizontal plane image of the 3D chest CT image, and the pectoralis major muscle region is divided by excluding the noise region from the predicted pectoralis major muscle prediction image (S150, S160).
  • FIG. 6 is a flowchart illustrating step S130 of FIG. 5 .
  • 7 is an exemplary diagram for explaining a process of acquiring a first coronal image according to the embodiment of FIG. 6 . 1, 2, and 5 to 7 , in order to obtain a first coronal image from the first chest CT image, the pectoralis major muscle presence region determining unit 100 first performs a first chest CT acquired for a patient.
  • the coronal plane positions corresponding to the middle part based on the stacking order may be identified ( S132 ).
  • the pectoralis major muscle presence region determining unit 100 extracts a plurality of grayscale coronal images 11 , 12 , and 13 corresponding to coronal plane positions from among the coronal plane images of the first chest CT image. can be (S134).
  • the plurality of grayscale coronal images extracted from the coronal images of the first chest CT image are 3 corresponding to 3/8, 4/8, and 5/8 coronal plane positions based on the stacking order.
  • the number of coronal images 11 , 12 , and 13 may be included. Coronal plane positions may be set differently according to the size of the CT image.
  • the pectoralis major muscle presence region determining unit 100 corresponds to a plurality of grayscale coronal plane images (eg, 3/8, 4/8, and 5/8 coronal plane positions corresponding to the set coronal plane positions)
  • the three coronal plane images are concatenated together to obtain a color coronal plane image 14 by synthesizing them into one so that each can be in charge of RGB color (S136).
  • the pectoralis major muscle presence region determining unit 100 may acquire the first coronal image 15 by matching the color coronal image 14 to a set length ( S138 ). For example, in order to adjust the height of the coronal image to a set length, if the coronal image is longer than the set length, the lower part is cut, and if it is shorter than the set length, an arrangement such as the bottom row is added below to match the length.
  • the pectoralis major muscle presence region determining unit 100 may determine the first horizontal plane images in which the pectoralis major muscle exists among the horizontal plane images of the first chest CT image by the classification artificial intelligence model 110 from the first coronal image. .
  • the pectoralis major muscle region segmentation unit 200 generates a pectoralis major muscle prediction image using the segmented artificial intelligence model 210 learned by the segmented artificial intelligence model learning unit 400, and generates small areas corresponding to noise in the pectoralis major muscle prediction area ( The area of the pectoralis major muscle can be divided by excluding small-sized areas).
  • FIG. 8 is a flowchart illustrating step S160 of FIG. 6 .
  • 9A and 9B are diagrams illustrating a result of dividing a pectoralis major muscle predicted according to an embodiment of the present invention. 1, 2, 6, 8, 9A and 9B, the pectoralis major region dividing unit 200 is a pixel set by binarizing the pectoralis major muscle prediction image output from the divided artificial intelligence model learning unit 400. A binarized image having a value may be generated (S162).
  • the pectoralis major muscle region divider 200 may generate a binarized image by, for example, leaving only pixels having a pixel value of '1' after binarization based on a threshold value.
  • the pectoralis major muscle region dividing unit 200 may divide the binarized image into a plurality of regions (eg, regions having a pixel value of '1') by connecting and grouping adjacent pixels in the binarized image (S164). ).
  • the pectoralis major region dividing unit 200 may perform labeling after connecting and grouping adjacent pixels through, for example, Connected Component With Stats.
  • the pectoralis major muscle region dividing unit 200 calculates the widths of a plurality of regions divided in the binarized image, respectively, and excludes regions having an area equal to or less than a reference value (eg, a reference area corresponding to 10 pixels) of the pectoralis major muscle. can be measured (S166).
  • a reference value eg, a reference area corresponding to 10 pixels
  • 10A to 10D are diagrams showing the results of extracting a horizontal plane image in which the pectoralis major muscle exists based on deep learning according to an embodiment of the present invention.
  • 10A is a first coronal image extracted from a 3D chest CT image
  • FIG. 10B is a mask area
  • FIG. 10C is a predicted mask area
  • FIG. Indicates the horizontal plane image slice range.
  • the mask area shown in FIG. 10B represents an area corresponding to horizontal planes in which the pectoralis major muscle exists
  • the prediction mask area shown in FIG. 10C represents an area corresponding to the horizontal planes classified by the classification artificial intelligence model.
  • automatic pectoralis major muscle measurement was performed by a deep learning-based artificial intelligence model to determine a horizontal plane image slice in which pectoralis major muscle exists, and as a result, it was measured to exhibit a high accuracy of about 95%.
  • FIGS. 11A to 11C are diagrams illustrating a result of segmenting a pectoralis major muscle region in a horizontal plane image based on deep learning according to an embodiment of the present invention.
  • 11A is a mask corresponding to the pectoralis major region in the horizontal plane image
  • FIG. 11B is a pectoralis major region predicted by a deep learning-based segmented artificial intelligence model
  • FIG. 11C is the difference between the results of FIG. 11A and the results of FIG. 11B.
  • the pectoralis major muscle area was predicted with a high accuracy of about 90%.
  • the recording medium on which the program for executing the deep learning-based automatic pectoralis major muscle measurement method according to the embodiment of the present invention as described above is recorded a plurality of artificial intelligence models (classification artificial intelligence model, segmentation) learned based on deep learning Based on the artificial intelligence model), automatic measurement of the pectoralis major muscle area can be performed.
  • a plurality of artificial intelligence models classification artificial intelligence model, segmentation learned based on deep learning Based on the artificial intelligence model
  • the present invention it is possible to determine the axial images in which the pectoralis major muscle is present through the coronal image of the 3D ultrasound image, and to divide the area of the pectoralis major muscle in the horizontal plane CT image in which the pectoralis major muscle is determined to exist.
  • the coronal plane image along with the horizontal plane image is used to measure the pectoralis major muscle, thereby measuring the 3D pectoralis major rather than the 2D pectoralis pectoralis muscle.
  • the embodiment of the present invention it is possible to prevent the measurement result of the pectoralis major from being changed according to a change in the posture of the patient or the clinical judgment of a medical professional, and it is possible to increase the measurement accuracy for the pectoralis major region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

흉부 CT 영상을 이용하여 딥러닝 기법을 활용하여 대흉근 영역에 대한 자동 측정을 수행하는 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체가 개시된다. 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는: 분류화 인공지능 모델에 의해, 대상체에 대해 획득된 제1 흉부 전산화 단층촬영(CT) 영상의 제1 관상면 영상으로부터 대흉근이 존재하는 제1 수평면 영상들을 판별하도록 구성되는 대흉근 존재 영역 판별부; 및 분할 인공지능 모델에 의해, 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할을 통해 대흉근의 영역을 분할하도록 구성되는 대흉근 영역 분할부;를 포함한다.

Description

딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체
본 발명은 흉부 CT 영상을 이용하여 딥러닝 기법을 활용하여 대흉근 영역에 대한 자동 측정을 수행하는 기술에 관한 것이다.
본 발명은 과학기술정보통신부의 개인기초연구(R&D)(과제고유번호: 1711112474, 과제번호: 2017R1E1A1A01077436, 연구과제명: COPD 환자의 맞춤형 정밀표적치료를 위한 전주기적 의료영상과 임상 빅데이터의 인공지능 분석을 통한 표현형 진단과 예후 예측 모형 개발, 과제관리기관: 한국연구재단, 과제수행기관: 고려대학교, 연구기간: 2020.03.01.~2021.02.28.) 및 과학기술정보통신부의 정보통신방송혁신인재양성(R&D)(과제고유번호: 1711126325, 과제번호: 2020-0-01819-002, 연구과제명: ICT명품인재양성(고려대학교), 과제관리기관: 정보통신기획평가원, 과제수행기관: 고려대학교산학협력단, 연구기간: 2021.01.01.~2021.12.31.)의 일환으로 수행한 연구로부터 도출된 것이다. 한편, 본 발명의 모든 측면에서 한국 정부의 재산 이익은 없다.
대흉근(pectoralis muscle)은 어깨 관절의 움직임을 담당하는 중요한 역할을 하는 근육이다. 대흉근은 팔을 구부릴 수 있도록 도우며, 팔의 확장을 용이하게 한다. 또한, 대흉근은 강제 호흡이 필요한 경우 가슴과 갈비뼈를 들어올리는 것을 도와 공기를 들이마셔 폐가 팽창하도록 하는 등의 호흡근 역할도 한다. 따라서 대흉근의 크기와 근질은 호흡과 관련된 수치 및 질환 진행도와 필연적으로 큰 관계를 가지고 있으며, 다양한 폐질환의 진행도 및 진척도, 특히 근육 감소량과도 관계가 큰 질환인 만성 폐쇄성 폐질환(COPD; Chronic Obstructive Pulmonary Disease)과 관계가 큰 것으로 알려져 있다.
한편, 흉부 전산화 단층촬영(CT; Computed Tomography)은 흉부의 단면상의 영상을 획득하는 기술로, 흉부 진단에 이용하는 검사법으로 널리 활용되고 있다. 현재 의료계에서는 주로 CT 영상의 특정 슬라이스(slice) 위치에 해당하는 2D 단면에서의 측정 결과를 이용하여 대흉근의 크기를 측정하고 있다. 그러나, 2D 단면에서의 측정 방법은 환자의 자세나 의료진의 숙련도에 따라 환자의 대흉근의 크기가 다르게 측정되는 점에서 한계가 있다.
본 발명은 흉부 CT 영상을 이용하여 딥러닝 기법을 활용하여 대흉근 영역에 대한 자동 측정을 수행하는 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체를 제공하기 위한 것이다.
또한, 본 발명은 환자의 자세나 의료 전문가의 임상적 판단에 따라 대흉근 측정 결과가 변화되지 않으며, 대흉근 영역에 대한 측정 정확도를 높일 수 있는 딥러닝 기반 자동 대흉근 측정 기술을 제공하기 위한 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는: 분류화 인공지능 모델에 의해, 대상체에 대해 획득된 제1 흉부 전산화 단층촬영(CT) 영상의 제1 관상면 영상으로부터 대흉근이 존재하는 제1 수평면 영상들을 판별하도록 구성되는 대흉근 존재 영역 판별부; 및 분할 인공지능 모델에 의해, 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할을 통해 대흉근의 영역을 분할하도록 구성되는 대흉근 영역 분할부;를 포함한다.
본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는: 제2 흉부 CT 영상의 제2 관상면 영상에 대흉근 존재 영역이 라벨링된 제1 학습 영상을 이용하여 상기 분류화 인공지능 모델을 학습시키도록 구성되는 분류화 인공지능 모델 학습부; 및 상기 제2 흉부 CT 영상의 제2 수평면 영상에 대흉근 영역이 라벨링된 제2 학습 영상을 이용하여 상기 분할 인공지능 모델을 학습시키도록 구성되는 분할 인공지능 모델 학습부;를 더 포함할 수 있다.
상기 대흉근 존재 영역 판별부는: 상기 제1 흉부 CT 영상으로부터 컬러 합성 처리된 상기 제1 관상면 영상을 획득하고, 상기 분류화 인공지능 모델 학습부에 의해 학습된 상기 분류화 인공지능 모델을 이용하여 상기 제1 관상면 영상 내 대흉근 존재 영역을 예측하여 상기 제1 흉부 CT 영상의 복수의 수평면 영상들 중 상기 제1 수평면 영상들을 추출하도록 구성될 수 있다.
상기 대흉근 존재 영역 판별부는: 상기 제1 흉부 CT 영상의 적층된 관상면 영상들 중에서 적층 순번을 기준으로 중간 부분에 해당하는 관상면 위치들을 확인하고; 상기 관상면 영상들 중에서 상기 관상면 위치들에 해당하는 복수의 회색조 관상면 영상들을 추출하고; 상기 복수의 회색조 관상면 영상들을 하나로 합성하여 컬러 관상면 영상을 획득하고; 상기 컬러 관상면 영상을 설정된 길이로 맞추어 상기 제1 관상면 영상을 획득하고; 그리고 상기 제1 관상면 영상으로부터 상기 분류화 인공지능 모델에 의해 상기 제1 수평면 영상들을 판별하도록 구성될 수 있다.
상기 복수의 회색조 관상면 영상들은 상기 제2 관상면 영상들의 적층 순번을 기준으로, 3/8, 4/8 및 5/8의 관상면 위치들에 해당하는 제2 관상면 영상들을 포함할 수 있다.
상기 대흉근 영역 분할부는: 상기 분할 인공지능 모델 학습부에 의해 학습된 상기 분할 인공지능 모델을 이용하여 대흉근 예측 영상을 생성하고; 그리고 상기 대흉근 예측 영역에서 노이즈에 해당하는 미소 영역들을 제외하여 상기 대흉근의 영역을 분할하도록 구성될 수 있다.
상기 대흉근 영역 분할부는: 상기 대흉근 예측 영상을 이진화 처리하여 설정된 픽셀값을 가지는 이진화 영상을 생성하고; 상기 이진화 영상에서 인접한 픽셀들을 연결하여 그룹핑하여 상기 이진화 영상을 다수의 영역들로 분할하고; 그리고 상기 다수의 영역들의 넓이를 각각 산출하고, 넓이가 기준값 이하인 영역을 제외하여 대흉근을 측정하도록 구성될 수 있다.
상기 분류화 인공지능 모델은 에피션트넷(EfficientNet) 모델을 기반으로 완전연결층이 추가되어 구현될 수 있다. 상기 분할 인공지능 모델은: 제1 컨볼루션 처리 및 풀링 처리를 복수의 컨트랙팅 레이어를 통해 순차적으로 반복하여 수행하도록 구성되는 컨트랙팅 패스; 제2 컨볼루션 처리 및 업 샘플링 처리를 복수의 익스펜딩 레이어를 통해 순차적으로 반복하여 수행하도록 구성되는 익스펜시브 패스; 및 상기 컨트랙팅 패스에서 추출된 제1 특징 맵을 상기 익스펜시브 패스로 전달하도록 구성되는 스킵 커넥션부;를 포함할 수 있다.
상기 익스펜시브 패스는 상기 복수의 익스펜딩 레이어에 각각 적용되는 어텐션 모듈을 포함할 수 있다. 상기 어텐션 모듈은: 상기 스킵 커넥션부에 의해 상기 컨트랙팅 패스의 컨트랙팅 레이어로부터 상기 제1 특징 맵을 전달받고; 상기 익스펜시브 패스의 제1 익스펜딩 레이어로부터 제2 특징 맵을 전달받고; 상기 제1 특징 맵과 상기 제2 특징 맵을 기반으로 제3 컨볼루션 처리, 렐루 활성화 처리, 및 시그모이드 처리를 수행하여 어텐션 맵을 생성하고; 그리고 상기 어텐션 맵을 상기 익스펜시브 패스의 제2 익스펜딩 레이어로 전달하도록 구성될 수 있다.
본 발명의 실시예에 따르면, 딥러닝 기반 자동 대흉근 측정 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다. 상기 딥러닝 기반 자동 대흉근 측정 방법은: 분류화 인공지능 모델에 의해, 대상체에 대해 획득된 제1 흉부 전산화 단층촬영(CT) 영상의 제1 관상면 영상으로부터 대흉근이 존재하는 제1 수평면 영상들을 판별하는 단계; 및 분할 인공지능 모델에 의해, 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할을 통해 대흉근의 영역을 분할하는 단계;를 포함한다.
상기 딥러닝 기반 자동 대흉근 측정 방법은: 분류화 인공지능 모델 학습부에 의해, 제2 흉부 CT 영상의 제2 관상면 영상에 대흉근 존재 영역이 라벨링된 제1 학습 영상을 이용하여 상기 분류화 인공지능 모델을 학습시키는 단계; 및 분할 인공지능 모델 학습부에 의해, 상기 제2 흉부 CT 영상의 제2 수평면 영상에 대흉근 영역이 라벨링된 제2 학습 영상을 이용하여 상기 분할 인공지능 모델을 학습시키는 단계;를 더 포함할 수 있다.
상기 제1 수평면 영상들을 판별하는 단계는: 상기 제1 흉부 CT 영상으로부터 컬러 합성 처리된 상기 제1 관상면 영상을 획득하고, 상기 분류화 인공지능 모델 학습부에 의해 학습된 상기 분류화 인공지능 모델을 이용하여 상기 제1 관상면 영상 내 대흉근 존재 영역을 예측하여 상기 제1 흉부 CT 영상의 복수의 수평면 영상들 중 상기 제1 수평면 영상들을 추출하는 단계를 포함할 수 있다.
상기 제1 수평면 영상들을 판별하는 단계는: 상기 제1 흉부 CT 영상의 적층된 관상면 영상들 중에서 적층 순번을 기준으로 중간 부분에 해당하는 관상면 위치들을 확인하는 단계; 상기 관상면 영상들 중에서 상기 관상면 위치들에 해당하는 복수의 회색조 관상면 영상들을 추출하는 단계; 상기 복수의 회색조 관상면 영상들을 하나로 합성하여 컬러 관상면 영상을 획득하는 단계; 상기 컬러 관상면 영상을 설정된 길이로 맞추어 상기 제1 관상면 영상을 획득하는 단계; 및 상기 제1 관상면 영상으로부터 상기 분류화 인공지능 모델에 의해 상기 제1 수평면 영상들을 판별하는 단계를 포함할 수 있다.
상기 대흉근의 영역을 분할하는 단계는: 상기 분할 인공지능 모델 학습부에 의해 학습된 상기 분할 인공지능 모델을 이용하여 대흉근 예측 영상을 생성하는 단계; 및 상기 대흉근 예측 영역에서 노이즈에 해당하는 미소 영역들을 제외하여 상기 대흉근의 영역을 분할하는 단계를 포함할 수 있다.
상기 대흉근의 영역을 분할하는 단계는: 상기 대흉근 예측 영상을 이진화 처리하여 설정된 픽셀값을 가지는 이진화 영상을 생성하는 단계; 상기 이진화 영상에서 인접한 픽셀들을 연결하여 그룹핑하여 상기 이진화 영상을 다수의 영역들로 분할하는 단계; 및 상기 다수의 영역들의 넓이를 각각 산출하고, 넓이가 기준값 이하인 영역을 제외하여 대흉근을 측정하는 단계를 포함할 수 있다.
본 발명의 실시예에 의하면, 흉부 CT 영상을 이용하여 딥러닝 기법을 활용하여 대흉근 영역에 대한 자동 측정을 수행하는 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체가 제공된다.
또한, 본 발명의 실시예에 의하면, 환자의 자세나 의료 전문가의 임상적 판단에 따라 대흉근 측정 결과가 변화되는 것을 방지할 수 있으며, 대흉근 영역에 대한 측정 정확도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 딥러닝 기반 자동 대흉근 측정부의 구성도이다.
도 3은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 분류화 인공지능 모델의 개념도이다.
도 4a는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 분할 인공지능 모델의 개념도이다.
도 4b는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 어텐션 모듈의 개념도이다.
도 5는 본 발명의 실시예에 따라 컴퓨터로 판독 가능한 기록매체에 기록된 프로그램에 의해 실행되는 딥러닝 기반 자동 대흉근 측정 방법의 순서도이다.
도 6은 도 5의 단계 S130을 나타낸 순서도이다.
도 7은 도 6의 실시예에 따라 제1 관상면 영상을 획득하는 과정을 설명하기 위한 예시도이다.
도 8은 도 6의 단계 S160을 나타낸 순서도이다.
도 9a 및 도 9b는 본 발명의 실시예에 따라 예측된 대흉근 영역의 분할 결과를 나타낸 도면이다.
도 10a 내지 도 10d는 본 발명의 실시예에 따라 딥러닝 기반으로 대흉근이 존재하는 수평면 영상을 추출한 결과를 나타낸 도면이다.
도 11a 내지 도 11c는 본 발명의 실시예에 따라 딥러닝 기반으로 수평면 영상에서 대흉근 영역을 분할한 결과를 나타낸 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 사용되는 '~부, ~모듈'은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부, ~모듈'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부, ~모듈'은 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.
본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는 대상체(환자)에 대해 획득된 제1 흉부 전산화 단층촬영 영상(3D 흉부 CT 영상)의 제1 관상면 영상으로부터 대흉근(pectoralis muscle)이 존재하는 제1 수평면 영상들을 판별하는 딥러닝 기반의 분류화 인공지능 모델과, 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할을 통해 대흉근의 영역을 분할하는 딥러닝 기반의 분할 인공지능 모델을 포함한다.
본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는 3D 초음파 영상의 관상면(Coronal) 영상을 통해 대흉근이 존재하는 수평면(Axial) 영상들을 판별(detection)하고, 대흉근이 존재한다고 판단된 수평면 CT 영상에서 실제 대흉근의 영역을 분할(segmentation) 할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는 3D 흉부 CT 영상 중 수평면 영상만을 사용하는 것이 아니라, 3D 흉부 CT 영상의 수평면 영상과 함께 관상면 영상을 사용하여 대흉근 측정에 활용함으로써, 2D 대흉근이 아닌 3D 대흉근 영역을 측정할 수 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치는 3D CT 영상을 이용하면서도, 3D 볼륨을 직접적으로 활용하지 않고, 인공지능 모델에 의해 해당 영역에서의 특징을 추출하는 방식으로, 2.5D 환자정보를 활용하여 대흉근에 해당하는 3D 영역을 추출할 수 있다.
상술한 바와 같은 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치에 의하면, 딥러닝 기반으로 학습된 다수의 인공지능 모델(분류화 인공지능 모델, 분할 인공지능 모델)을 기반으로 대흉근 영역에 대한 자동 측정을 수행할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치에 의하면, 환자의 자세에 따라 대흉근 측정 결과가 변화되는 것을 방지하고, 의료 전문가의 임상적 판단에 따라 대흉근 측정 결과가 좌우되는 것을 방지할 수 있으며, 대흉근 영역에 대한 측정 정확도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치(10)는 사용자 인터페이스부(20), 입력부(30), 딥러닝 기반 자동 대흉근 측정부(40), 저장부(50), 표시부(60), 및 제어부(70)를 포함할 수 있다.
사용자 인터페이스부(20)는 의사 등의 의료전문가가 딥러닝 기반의 자동 대흉근 측정을 위한 프로그램을 실행하기 위한 각종 명령을 입력하도록 제공될 수 있다. 사용자 인터페이스부(20)는 예를 들어, 키보드, 마우스, 터치패드, 전자펜, 음성 인식부 등의 입력 인터페이스를 포함할 수 있다.
입력부(30)는 딥러닝 기반의 자동 대흉근 측정을 위해 필요한 각종 데이터, 예를 들어, 의료전문가가 사용자 인터페이스부(20)를 이용하여 지정한 환자의 흉부 전산화 단층촬영(CT) 영상을 입력받도록 제공될 수 있다. 입력부(30)는 흉부 CT 장치로부터 데이터를 전송받거나, 저장부(50)로부터 데이터를 입력받을 수 있다.
딥러닝 기반 자동 대흉근 측정부(40)는 딥러닝 기반으로 학습된 다수의 인공지능 모델(분류화 인공지능 모델, 분할 인공지능 모델)을 이용하여 환자의 흉부 CT 영상으로부터 대흉근 영역이나 대흉근 크기(면적) 등을 자동으로 측정하는 프로세스를 수행할 수 있다.
저장부(50)는 환자의 흉부 CT 영상, 딥러닝 기반으로 다수의 인공지능 모델(분류화 인공지능 모델, 분할 인공지능 모델)을 학습하기 위한 프로그램, 학습된 다수의 인공지능 모델을 기반으로 환자의 대흉근 영역과 대흉근 크기 등을 자동 측정하는 프로세스를 수행하는 프로그램 등을 저장할 수 있다.
표시부(60)는 환자의 흉부 CT 영상, 흉부 CT 영상의 관상면 영상들, 시상면 영상들, 수평면 영상들, 딥러닝 기반 자동 대흉근 측정부(40)에 의해 흉부 CT 영상으로부터 예측된 대흉근 영역, 대흉근 면적 등의 정보를 의료 단말기의 디스플레이 화면을 통해 표시하도록 제공될 수 있다.
제어부(70)는 사용자 인터페이스부(20), 입력부(30), 딥러닝 기반 자동 대흉근 측정부(40), 저장부(50), 및 표시부(60) 등의 각종 구성요소를 제어하여 인공지능 모델을 이용하여 환자의 흉부 CT 영상으로부터 대흉근 영역이나 대흉근 크기 등을 측정하는 프로세스를 수행하는 적어도 하나의 프로세서를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 딥러닝 기반 자동 대흉근 측정부의 구성도이다. 도 2를 참조하면, 딥러닝 기반 자동 대흉근 측정부(40)는 대흉근 존재 영역 판별부(100), 대흉근 영역 분할부(200), 분류화 인공지능 모델 학습부(300) 및 분할 인공지능 모델 학습부(400)를 포함할 수 있다.
대흉근 존재 영역 판별부(100)는 대상체(환자)에 대해 획득된 제1 흉부 CT 영상의 제1 관상면 영상(coronal image)으로부터, 제1 흉부 CT 영상의 수평면 영상들(axial images) 중 대흉근이 존재하는 제1 수평면 영상들을 판별하는 분류화 인공지능 모델(110)을 포함할 수 있다.
대흉근 영역 분할부(200)는 제1 흉부 CT 영상의 수평면 영상들 중 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할(segmentation)을 통해 제1 수평면 영상들에서 대흉근의 영역을 분할하는 분할 인공지능 모델(210)을 포함할 수 있다.
분류화 인공지능 모델 학습부(300)와, 분할 인공지능 모델 학습부(400)는 다수의 학습 영상(예를 들어, 인공지능 모델의 학습을 위한 3D 흉부 CT 영상의 다수의 관상면 영상 및 다수의 수평면 영상)을 이용하여 분류화 인공지능 모델(110)과 분할 인공지능 모델(210)을 학습시킬 수 있다.
분류화 인공지능 모델 학습부(300)는 제2 흉부 CT 영상의 제2 관상면 영상 내에 대흉근 존재 영역(대흉근이 존재하는 관상면 위치들)이 라벨링된 다수의 제1 학습 영상을 이용하여 대흉근이 존재하는 수평면 영상들의 분류(classification)를 위한 분류화 인공지능 모델(110)을 학습시킬 수 있다.
분할 인공지능 모델 학습부(400)는 제2 흉부 CT 영상의 제2 수평면 영상 내에 대흉근 영역이 라벨링된 다수의 제2 학습 영상(대흉근에 해당하는 영역과 대흉근이 아닌 영역이 구별된 수평면 영상)을 이용하여 제1 수평면 내 대흉근 영역의 분할을 위한 분할 인공지능 모델(210)을 학습시킬 수 있다.
도 3은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 분류화 인공지능 모델의 개념도이다. 분류화 인공지능 모델(110)은 에피션트넷(EfficientNet) 모델(112)을 기반으로 완전연결층(Fully Connected Layer)(114)이 추가되어 구현될 수 있다.
실시예에서, 에피션트넷 모델은 "EfficientNet-b6" 모델을 기반으로 구현될 수 있다. 에피션트넷 모델은 알려진 바와 같이, 어댑티브에버리지풀(AdaptiveAvgPool2d), 드롭아웃(Dropout), 리니어(Linear) 프로세스를 추가적으로 동작시킬 수 있다.
에피션트넷 모델에서, 어댑티브에버리지풀은 입력 값의 형태를 리니어하게 바꾸어 주는 역할을 한다. 드롭아웃은 오버피팅(overfitting)을 막기 위한 것으로, 계수를 0.5로 설정할 경우 절반의 네트워크를 생략하는 역할을 할 수 있다. 리니어 프로세스는 출력 피쳐(feature)의 수를 결정하는 역할을 한다.
도 4a는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 분할 인공지능 모델의 개념도이다. 도 4b는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 장치를 구성하는 어텐션 모듈의 개념도이다.
도 4a 및 도 4b를 참조하면, 분할 인공지능 모델(210)은 영상 크기를 줄여나가는 컨트랙팅 패스(220), 영상 크기를 키워나가는 익스펜시브 패스(230), 및 스킵 커넥션부(240)를 포함할 수 있다.
컨트랙팅 패스(contracting path)(220)는 제1 컨볼루션(convolution) 처리 및 풀링(pooling) 처리(예를 들어, 맥스 풀링 처리, 평균 풀링 처리 등)를 복수의 컨트랙팅 레이어(contracting layer)를 통해 순차적으로 반복하여 수행할 수 있다.
익스펜시브 패스(expansive path)(230)는 제2 컨볼루션 처리 및 업 샘플링(up sampling) 처리를 복수의 익스펜딩 레이어(expanding layer)를 통해 순차적으로 반복하여 수행할 수 있다.
스킵 커넥션부(skip connection unit)(240)는 컨트랙팅 패스(220)의 컨트랙팅 레이어에서 추출된 제1 특징 맵(컨볼루션 영상)을 컨트랙팅 레이어와 대응하는 익스펜시브 패스(230)의 익스펜딩 레이어로 전달할 수 있다.
익스펜시브 패스(230)는 복수의 어텐션 모듈(attention module)(232)을 포함할 수 있다. 어텐션 모듈(232)은 익스펜시브 패스(230)의 복수의 익스펜딩 레이어에 각각 적용될 수 있다. 실시예에서, 분할 인공지능 모델(210)은 어텐션 모듈(232)이 익스펜시브 패스(230)에 추가된 유넷(U-Net) 모델로 구현될 수 있다.
어텐션 모듈(232)은 스킵 커넥션부(240)에 의해 컨트랙팅 패스(220)의 컨트랙팅 레이어로부터 제1 특징 맵을 전달받고, 익스펜시브 패스(230)의 제1 익스펜딩 레이어로부터 제2 특징 맵을 전달받을 수 있다.
어텐션 모듈(232)은 전달받은 제1 특징 맵과 제2 특징 맵을 기반으로 제3 컨볼루션 처리, 렐루(ReLU) 활성화 처리, 및 시그모이드(Sigmoid) 처리를 수행하여 어텐션 맵을 생성할 수 있다.
어텐션 모듈(232)은 컨볼루션(Convolution) -> 배치 노멀라이제이션(Batch Normalization)/컨볼루션 -> 배치 노멀라이제이션 -> 렐루 활성화 함수(ReLu) -> 컨볼루션 -> 배치 노멀라이제이션 -> 시그모이드(Sigmoid) 순의 처리를 수행할 수 있다.
또한, 유넷 모델에는 학습률을 조절하기 위한 스케듈러(scheduler)로서, 리듀스엘알온플래튜(ReduceLROnPlateau)가 적용될 수 있다. 매트릭(metric) 개선이 중지된 경우 학습 정체, 학습률 감소에 의해 이익을 얻을 수 있도록, 에폭(epoch) 수에 대한 개선이 보이지 않는 경우 학습률을 50%씩 감소시키도록 구동될 수 있다.
익스펜시브 패스(230)의 제1 익스펜딩 레이어의 어텐션 모듈(232)에 의해 생성된 어텐션 맵은 익스펜시브 패스(230)의 제1 익스펜딩 레이어에 연결된 제2 익스펜딩 레이어로 전달될 수 있다.
분할 인공지능 모델(2120)은 커스텀 손실함수(custom loss function)을 이용하여 흉부 영역에 해당하는 영상 중앙 위쪽 부분의 가중치(weight)를 증가시켜 대흉근에 해당하는 영역분할 처리를 하도록 구성될 수 있다.
실시예에서, 대흉근 존재 영역 판별부(100)는 대흉근 측정의 대상체인 환자의 제1 흉부 CT 영상으로부터 컬러 합성 처리된 제1 관상면 영상을 획득할 수 있다. 환자의 제1 흉부 CT 영상으로부터 획득된 제1 관상면 영상은 분류화 인공지능 모델(110)에 입력될 수 있다.
대흉근 존재 영역 판별부(100)는 분류화 인공지능 모델 학습부(300)에 의해 학습된 분류화 인공지능 모델(110)을 이용하여 제1 관상면 영상 내 대흉근 존재 영역을 예측하여 제1 흉부 CT 영상의 복수의 수평면 영상들 중 제1 수평면 영상들을 추출할 수 있다.
제1 흉부 CT 영상으로부터 제1 관상면 영상을 획득하기 위하여, 대흉근 존재 영역 판별부(100)는 먼저 환자에 대해 획득된 제1 흉부 CT 영상의 적층된 관상면 영상들 중에서 적층 순번을 기준으로 중간 부분에 해당하는 관상면 위치들을 확인할 수 있다.
다음으로, 대흉근 존재 영역 판별부(100)는 제1 흉부 CT 영상의 관상면 영상들 중에서 관상면 위치들에 해당하는 복수의 회색조(grayscale) 관상면 영상들을 추출할 수 있다.
실시예에서, 제1 흉부 CT 영상의 관상면 영상들 중에서 추출되는 복수의 회색조 관상면 영상들은 적층 순번을 기준으로, 3/8, 4/8 및 5/8의 관상면 위치들에 해당하는 3개의 관상면 영상들을 포함할 수 있다. 단, 관상면 위치들은 CT 영상 크기에 따라 다르게 설정될 수도 있다.
다음으로, 대흉근 존재 영역 판별부(100)는 설정된 관상면 위치들에 해당하는 복수의 회색조 관상면 영상들(예를 들어, 3/8, 4/8 및 5/8의 관상면 위치들에 해당하는 3개의 관상면 영상들)을 이어 붙여 각각 RGB 컬러를 담당할 수 있도록 하나로 합성하여 컬러 관상면 영상을 획득할 수 있다.
다음으로, 대흉근 존재 영역 판별부(100)는 컬러 관상면 영상을 설정된 길이로 맞추어 제1 관상면 영상을 획득할 수 있다. 예를 들어, 관상면 영상의 높이를 설정 길이(예를 들어, 416)으로 맞추기 위해, 관상면 영상이 설정 길이인 416 보다 길면 아래 부분을 자르고, 설정 길이인 416 보다 짧으면 가장 아래 행과 같은 배열을 아래 부분에 추가하여 설정 길이인 416으로 맞출 수 있다.
대흉근 존재 영역 판별부(100)는 제1 관상면 영상으로부터 분류화 인공지능 모델(110)에 의해 제1 흉부 CT 영상의 수평면 영상들 중 대흉근이 존재하는 제1 수평면 영상들을 판별할 수 있다.
대흉근 영역 분할부(200)는 분할 인공지능 모델 학습부(400)에 의해 학습된 분할 인공지능 모델(210)을 이용하여 대흉근 예측 영상을 생성하고, 대흉근 예측 영역에서 노이즈에 해당하는 미소 영역들(작은 크기의 영역들)을 제외하여 대흉근의 영역을 분할할 수 있다.
노이즈 제거 과정을 보다 구체적으로 설명하면, 대흉근 영역 분할부(200)는 분할 인공지능 모델 학습부(400)에서 출력되는 대흉근 예측 영상을 이진화 처리하여 설정된 픽셀값을 가지는 이진화 영상을 생성할 수 있다.
대흉근 영역 분할부(200)는 예를 들어, 임계값(threshold)에 기반한 이진화 처리한 후, 픽셀 값이 '1'인 픽셀들만을 남김으로써, 이진화 영상을 생성할 수 있다.
다음으로, 대흉근 영역 분할부(200)는 이진화 영상에서 인접한 픽셀들을 연결하여 그룹핑하여 이진화 영상을 다수의 영역들(예를 들어, 픽셀값 '1'을 가지는 영역들)로 분할할 수 있다.
이때, 대흉근 영역 분할부(200)는 예를 들어, 커넥티드 컴포넌트 위드 스탯(Connected Component With Stats)을 통해 인접한 픽셀들을 연결 및 그룹핑한 후 라벨링을 수행할 수 있다.
다음으로, 대흉근 영역 분할부(200)는 이진화 영상에서 분할된 다수의 영역들의 넓이를 각각 산출하고, 넓이가 기준값(예를 들어, 픽셀 10개에 해당하는 기준 넓이) 이하인 영역을 제외하여 대흉근을 측정할 수 있다.
도 5는 본 발명의 실시예에 따라 컴퓨터로 판독 가능한 기록매체에 기록된 프로그램에 의해 실행되는 딥러닝 기반 자동 대흉근 측정 방법의 순서도이다. 도 1, 도 2 및 도 5를 참조하면, 다수의 학습 영상을 획득되면, 분류화 인공지능 모델 학습부(300)와, 분할 인공지능 모델 학습부(400)는 다수의 학습 영상을 이용하여 분류화 인공지능 모델(110)과 분할 인공지능 모델(210)을 학습시킬 수 있다(S110, S120).
분류화 인공지능 모델 학습부(300)는 제2 흉부 CT 영상의 제2 관상면 영상 내에 대흉근 존재 영역이 라벨링된 다수의 제1 학습 영상을 이용하여 분류화 인공지능 모델(110)을 학습시킬 수 있다.
분할 인공지능 모델 학습부(400)는 제2 흉부 CT 영상의 제2 수평면 영상 내에 대흉근 영역이 라벨링된 다수의 제2 학습 영상을 이용하여 분할 인공지능 모델(210)을 학습시킬 수 있다.
대흉근 존재 영역 판별부(100)는 대상체(환자)에 대해 획득된 제1 흉부 CT 영상으로부터 제1 관상면 영상(coronal image)을 획득하고, 분류화 인공지능 모델(110)에 의해 제1 관상면 영상으로부터 제1 흉부 CT 영상의 수평면 영상들(axial images)에 대흉근이 존재하는지 여부를 판별할 수 있다(S130, S140).
대흉근 영역 분할부(200)는 분할 인공지능 모델(210)에 의해 제1 흉부 CT 영상의 수평면 영상들 중 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할(segmentation)을 통해 3D 흉부 CT 영상의 수평면 영상에서 대흉근 예측 영상을 생성하고, 예측된 대흉근 예측 영상에서 노이즈 영역을 제외하여 대흉근 영역을 분할할 수 있다(S150, S160).
도 6은 도 5의 단계 S130을 나타낸 순서도이다. 도 7은 도 6의 실시예에 따라 제1 관상면 영상을 획득하는 과정을 설명하기 위한 예시도이다. 도 1, 도 2, 도 5 내지 도 7을 참조하면, 제1 흉부 CT 영상으로부터 제1 관상면 영상을 획득하기 위하여, 대흉근 존재 영역 판별부(100)는 먼저 환자에 대해 획득된 제1 흉부 CT 영상의 적층된 관상면 영상들 중에서 적층 순번을 기준으로 중간 부분에 해당하는 관상면 위치들을 확인할 수 있다(S132).
다음으로, 대흉근 존재 영역 판별부(100)는 제1 흉부 CT 영상의 관상면 영상들 중에서 관상면 위치들에 해당하는 복수의 회색조(grayscale) 관상면 영상들(11, 12, 13)을 추출할 수 있다(S134).
실시예에서, 제1 흉부 CT 영상의 관상면 영상들 중에서 추출되는 복수의 회색조 관상면 영상들은 적층 순번을 기준으로, 3/8, 4/8 및 5/8의 관상면 위치들에 해당하는 3개의 관상면 영상들(11, 12, 13)을 포함할 수 있다. 관상면 위치들은 CT 영상 크기에 따라 다르게 설정될 수도 있다.
다음으로, 대흉근 존재 영역 판별부(100)는 설정된 관상면 위치들에 해당하는 복수의 회색조 관상면 영상들(예를 들어, 3/8, 4/8 및 5/8의 관상면 위치들에 해당하는 3개의 관상면 영상들)을 이어 붙여 각각 RGB 컬러를 담당할 수 있도록 하나로 합성하여 컬러 관상면 영상(14)을 획득할 수 있다(S136).
다음으로, 대흉근 존재 영역 판별부(100)는 컬러 관상면 영상(14)을 설정된 길이로 맞추어 제1 관상면 영상(15)을 획득할 수 있다(S138). 예를 들어, 관상면 영상의 높이를 설정 길이로 맞추기 위해, 관상면 영상이 설정 길이 보다 길면 아래 부분을 자르고, 설정 길이 보다 짧으면 가장 아래 행과 같은 배열을 아래에 추가해 길이를 맞출 수 있다.
이후, 대흉근 존재 영역 판별부(100)는 제1 관상면 영상으로부터 분류화 인공지능 모델(110)에 의해 제1 흉부 CT 영상의 수평면 영상들 중 대흉근이 존재하는 제1 수평면 영상들을 판별할 수 있다.
대흉근 영역 분할부(200)는 분할 인공지능 모델 학습부(400)에 의해 학습된 분할 인공지능 모델(210)을 이용하여 대흉근 예측 영상을 생성하고, 대흉근 예측 영역에서 노이즈에 해당하는 미소 영역들(작은 크기의 영역들)을 제외하여 대흉근의 영역을 분할할 수 있다.
도 8은 도 6의 단계 S160을 나타낸 순서도이다. 도 9a 및 도9b는 본 발명의 실시예에 따라 예측된 대흉근 영역의 분할 결과를 나타낸 도면이다. 도 1, 도 2, 도 6, 도 8, 도 9a 및 도 9b를 참조하면, 대흉근 영역 분할부(200)는 분할 인공지능 모델 학습부(400)에서 출력되는 대흉근 예측 영상을 이진화 처리하여 설정된 픽셀값을 가지는 이진화 영상을 생성할 수 있다(S162).
대흉근 영역 분할부(200)는 예를 들어, 임계값(threshold)에 기반한 이진화 처리한 후, 픽셀 값이 '1'인 픽셀들만을 남김으로써, 이진화 영상을 생성할 수 있다.
다음으로, 대흉근 영역 분할부(200)는 이진화 영상에서 인접한 픽셀들을 연결하여 그룹핑하여 이진화 영상을 다수의 영역들(예를 들어, 픽셀값 '1'을 가지는 영역들)로 분할할 수 있다(S164).
이때, 대흉근 영역 분할부(200)는 예를 들어, 커넥티드컴포넌트위드스탯(Connected Component With Stats)을 통해 인접한 픽셀들을 연결 및 그룹핑한 후 라벨링을 수행할 수 있다.
다음으로, 대흉근 영역 분할부(200)는 이진화 영상에서 분할된 다수의 영역들의 넓이를 각각 산출하고, 넓이가 기준값(예를 들어, 픽셀 10개에 해당하는 기준 넓이) 이하인 영역을 제외하여 대흉근을 측정할 수 있다(S166).
도 10a 내지 도 10d는 본 발명의 실시예에 따라 딥러닝 기반으로 대흉근이 존재하는 수평면 영상을 추출한 결과를 나타낸 도면이다. 도 10a는 3D 흉부 CT 영상에서 추출된 제1 관상면 영상, 도 10b는 마스크 영역, 도 10c는 예측 마스크 영역, 도 10d는 대흉근 영역(PM)과 비-대흉근 영역(Non-PM)으로 예측된 수평면 영상 슬라이스 범위를 나타낸다.
도 10b에 도시된 마스크 영역은 대흉근이 존재하는 수평면들에 해당하는 영역을 나타내며, 도 10c에 도시된 예측 마스크 영역은 분류화 인공지능 모델에 의해 분류한 수평면들에 해당하는 영역을 나타낸다.
본 발명의 실시예에 따라 딥러닝 기반의 인공지능 모델에 의해 자동 대흉근 측정을 수행하여 대흉근이 존재하는 수평면 영상 슬라이스를 판별한 결과, 약 95%의 높은 정확도를 나타내는 것으로 측정되었다.
도 11a 내지 도 11c는 본 발명의 실시예에 따라 딥러닝 기반으로 수평면 영상에서 대흉근 영역을 분할한 결과를 나타낸 도면이다. 도 11a는 수평면 영상에서 대흉근 영역에 해당하는 마스크이고, 도 11b는 딥러닝 기반의 분할 인공지능 모델에 의해 예측된 대흉근 영역이고, 도 11c는 도 11a의 결과와 도 11b의 결과 간의 차이이다. 본 발명의 실시예에 따라 딥러닝 기반의 인공지능 모델에 의해 수평면 영상에서 대흉근 영역을 분할한 결과, 약 90%의 높은 정확도로 대흉근 영역을 예측하였다.
상술한 바와 같은 본 발명의 실시예에 따른 딥러닝 기반 자동 대흉근 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체에 의하면, 딥러닝 기반으로 학습된 다수의 인공지능 모델(분류화 인공지능 모델, 분할 인공지능 모델)을 기반으로 대흉근 영역에 대한 자동 측정을 수행할 수 있다.
본 발명의 실시예에 의하면, 3D 초음파 영상의 관상면(Coronal) 영상을 통해 대흉근이 존재하는 수평면(Axial) 영상들을 판별하고, 대흉근이 존재한다고 판단된 수평면 CT 영상에서 실제 대흉근의 영역을 분할할 수 있다.
또한, 본 발명의 실시예에 의하면, 3D CT 영상 중 수평면 영상만을 사용하는 것이 아니라, 수평면 영상과 함께 관상면 영상을 사용하여 대흉근 측정에 활용함으로써, 2D 대흉근이 아닌 3D 대흉근을 측정할 수 있다.
또한, 본 발명의 실시예에 의하면, 3D CT 영상을 이용하면서도, 3D 볼륨을 직접적으로 활용하지 않고, 인공지능 모델에 의해 해당 영역에서의 특징을 추출하여, 2.5D 환자정보를 활용하여 대흉근에 해당하는 3D 영역을 추출할 수 있다.
또한, 본 발명의 실시예에 의하면, 환자의 자세 변화나 의료 전문가의 임상적 판단에 따라 대흉근 측정 결과가 변화되는 것을 방지할 수 있으며, 대흉근 영역에 대한 측정 정확도를 높일 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 분류화 인공지능 모델에 의해, 대상체에 대해 획득된 제1 흉부 전산화 단층촬영(CT) 영상의 제1 관상면 영상으로부터 대흉근이 존재하는 제1 수평면 영상들을 판별하도록 구성되는 대흉근 존재 영역 판별부; 및
    분할 인공지능 모델에 의해, 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할을 통해 대흉근의 영역을 분할하도록 구성되는 대흉근 영역 분할부;를 포함하는, 딥러닝 기반 자동 대흉근 측정 장치.
  2. 제1항에 있어서,
    제2 흉부 CT 영상의 제2 관상면 영상에 대흉근 존재 영역이 라벨링된 제1 학습 영상을 이용하여 상기 분류화 인공지능 모델을 학습시키도록 구성되는 분류화 인공지능 모델 학습부; 및
    상기 제2 흉부 CT 영상의 제2 수평면 영상에 대흉근 영역이 라벨링된 제2 학습 영상을 이용하여 상기 분할 인공지능 모델을 학습시키도록 구성되는 분할 인공지능 모델 학습부;를 더 포함하는, 딥러닝 기반 자동 대흉근 측정 장치.
  3. 제2항에 있어서,
    상기 대흉근 존재 영역 판별부는:
    상기 제1 흉부 CT 영상으로부터 컬러 합성 처리된 상기 제1 관상면 영상을 획득하고, 상기 분류화 인공지능 모델 학습부에 의해 학습된 상기 분류화 인공지능 모델을 이용하여 상기 제1 관상면 영상 내 대흉근 존재 영역을 예측하여 상기 제1 흉부 CT 영상의 복수의 수평면 영상들 중 상기 제1 수평면 영상들을 추출하도록 구성되는, 딥러닝 기반 자동 대흉근 측정 장치.
  4. 제3항에 있어서,
    상기 대흉근 존재 영역 판별부는:
    상기 제1 흉부 CT 영상의 적층된 관상면 영상들 중에서 적층 순번을 기준으로 중간 부분에 해당하는 관상면 위치들을 확인하고;
    상기 관상면 영상들 중에서 상기 관상면 위치들에 해당하는 복수의 회색조 관상면 영상들을 추출하고;
    상기 복수의 회색조 관상면 영상들을 하나로 합성하여 컬러 관상면 영상을 획득하고;
    상기 컬러 관상면 영상을 설정된 길이로 맞추어 상기 제1 관상면 영상을 획득하고; 그리고
    상기 제1 관상면 영상으로부터 상기 분류화 인공지능 모델에 의해 상기 제1 수평면 영상들을 판별하도록 구성되는, 딥러닝 기반 자동 대흉근 측정 장치.
  5. 제4항에 있어서,
    상기 복수의 회색조 관상면 영상들은 상기 제2 관상면 영상들의 적층 순번을 기준으로, 3/8, 4/8 및 5/8의 관상면 위치들에 해당하는 제2 관상면 영상들을 포함하는, 딥러닝 기반 자동 대흉근 측정 장치.
  6. 제2항에 있어서,
    상기 대흉근 영역 분할부는:
    상기 분할 인공지능 모델 학습부에 의해 학습된 상기 분할 인공지능 모델을 이용하여 대흉근 예측 영상을 생성하고; 그리고
    상기 대흉근 예측 영역에서 노이즈에 해당하는 미소 영역들을 제외하여 상기 대흉근의 영역을 분할하도록 구성되는, 딥러닝 기반 자동 대흉근 측정 장치.
  7. 제6항에 있어서,
    상기 대흉근 영역 분할부는:
    상기 대흉근 예측 영상을 이진화 처리하여 설정된 픽셀값을 가지는 이진화 영상을 생성하고;
    상기 이진화 영상에서 인접한 픽셀들을 연결하여 그룹핑하여 상기 이진화 영상을 다수의 영역들로 분할하고; 그리고
    상기 다수의 영역들의 넓이를 각각 산출하고, 넓이가 기준값 이하인 영역을 제외하여 대흉근을 측정하도록 구성되는, 딥러닝 기반 자동 대흉근 측정 장치.
  8. 제1항에 있어서,
    상기 분류화 인공지능 모델은 에피션트넷(EfficientNet) 모델을 기반으로 완전연결층이 추가되어 구현되고,
    상기 분할 인공지능 모델은:
    제1 컨볼루션 처리 및 풀링 처리를 복수의 컨트랙팅 레이어를 통해 순차적으로 반복하여 수행하도록 구성되는 컨트랙팅 패스;
    제2 컨볼루션 처리 및 업 샘플링 처리를 복수의 익스펜딩 레이어를 통해 순차적으로 반복하여 수행하도록 구성되는 익스펜시브 패스; 및
    상기 컨트랙팅 패스에서 추출된 제1 특징 맵을 상기 익스펜시브 패스로 전달하도록 구성되는 스킵 커넥션부;를 포함하고,
    상기 익스펜시브 패스는 상기 복수의 익스펜딩 레이어에 각각 적용되는 어텐션 모듈을 포함하고,
    상기 어텐션 모듈은:
    상기 스킵 커넥션부에 의해 상기 컨트랙팅 패스의 컨트랙팅 레이어로부터 상기 제1 특징 맵을 전달받고;
    상기 익스펜시브 패스의 제1 익스펜딩 레이어로부터 제2 특징 맵을 전달받고;
    상기 제1 특징 맵과 상기 제2 특징 맵을 기반으로 제3 컨볼루션 처리, 렐루 활성화 처리, 및 시그모이드 처리를 수행하여 어텐션 맵을 생성하고; 그리고
    상기 어텐션 맵을 상기 익스펜시브 패스의 제2 익스펜딩 레이어로 전달하도록 구성되는, 딥러닝 기반 자동 대흉근 측정 장치.
  9. 딥러닝 기반 자동 대흉근 측정 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체로서,
    상기 딥러닝 기반 자동 대흉근 측정 방법은:
    분류화 인공지능 모델에 의해, 대상체에 대해 획득된 제1 흉부 전산화 단층촬영(CT) 영상의 제1 관상면 영상으로부터 대흉근이 존재하는 제1 수평면 영상들을 판별하는 단계; 및
    분할 인공지능 모델에 의해, 대흉근이 존재하는 것으로 판별된 제1 수평면 영상들에서 특징들을 추출하는 영역 분할을 통해 대흉근의 영역을 분할하는 단계;를 포함하는, 컴퓨터로 판독 가능한 비일시적 기록 매체.
  10. 제9항에 있어서,
    상기 딥러닝 기반 자동 대흉근 측정 방법은:
    분류화 인공지능 모델 학습부에 의해, 제2 흉부 CT 영상의 제2 관상면 영상에 대흉근 존재 영역이 라벨링된 제1 학습 영상을 이용하여 상기 분류화 인공지능 모델을 학습시키는 단계; 및
    분할 인공지능 모델 학습부에 의해, 상기 제2 흉부 CT 영상의 제2 수평면 영상에 대흉근 영역이 라벨링된 제2 학습 영상을 이용하여 상기 분할 인공지능 모델을 학습시키는 단계;를 더 포함하는, 컴퓨터로 판독 가능한 비일시적 기록 매체.
  11. 제10항에 있어서,
    상기 제1 수평면 영상들을 판별하는 단계는:
    상기 제1 흉부 CT 영상으로부터 컬러 합성 처리된 상기 제1 관상면 영상을 획득하고, 상기 분류화 인공지능 모델 학습부에 의해 학습된 상기 분류화 인공지능 모델을 이용하여 상기 제1 관상면 영상 내 대흉근 존재 영역을 예측하여 상기 제1 흉부 CT 영상의 복수의 수평면 영상들 중 상기 제1 수평면 영상들을 추출하는 단계를 포함하는, 컴퓨터로 판독 가능한 비일시적 기록 매체.
  12. 제11항에 있어서,
    상기 제1 수평면 영상들을 판별하는 단계는:
    상기 제1 흉부 CT 영상의 적층된 관상면 영상들 중에서 적층 순번을 기준으로 중간 부분에 해당하는 관상면 위치들을 확인하는 단계;
    상기 관상면 영상들 중에서 상기 관상면 위치들에 해당하는 복수의 회색조 관상면 영상들을 추출하는 단계;
    상기 복수의 회색조 관상면 영상들을 하나로 합성하여 컬러 관상면 영상을 획득하는 단계;
    상기 컬러 관상면 영상을 설정된 길이로 맞추어 상기 제1 관상면 영상을 획득하는 단계; 및
    상기 제1 관상면 영상으로부터 상기 분류화 인공지능 모델에 의해 상기 제1 수평면 영상들을 판별하는 단계를 포함하는, 컴퓨터로 판독 가능한 비일시적 기록 매체.
  13. 제10항에 있어서,
    상기 대흉근의 영역을 분할하는 단계는:
    상기 분할 인공지능 모델 학습부에 의해 학습된 상기 분할 인공지능 모델을 이용하여 대흉근 예측 영상을 생성하는 단계; 및
    상기 대흉근 예측 영역에서 노이즈에 해당하는 미소 영역들을 제외하여 상기 대흉근의 영역을 분할하는 단계를 포함하는, 컴퓨터로 판독 가능한 비일시적 기록 매체.
  14. 제13항에 있어서,
    상기 대흉근의 영역을 분할하는 단계는:
    상기 대흉근 예측 영상을 이진화 처리하여 설정된 픽셀값을 가지는 이진화 영상을 생성하는 단계;
    상기 이진화 영상에서 인접한 픽셀들을 연결하여 그룹핑하여 상기 이진화 영상을 다수의 영역들로 분할하는 단계; 및
    상기 다수의 영역들의 넓이를 각각 산출하고, 넓이가 기준값 이하인 영역을 제외하여 대흉근을 측정하는 단계를 포함하는, 컴퓨터로 판독 가능한 비일시적 기록 매체.
PCT/KR2021/020284 2021-01-15 2021-12-30 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체 Ceased WO2022154334A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0006189 2021-01-15
KR1020210006189A KR102549694B1 (ko) 2021-01-15 2021-01-15 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
WO2022154334A1 true WO2022154334A1 (ko) 2022-07-21

Family

ID=82448310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020284 Ceased WO2022154334A1 (ko) 2021-01-15 2021-12-30 딥러닝 기반 자동 대흉근 측정 장치 및 그 방법을 실행하기 위한 프로그램이 기록된 기록매체

Country Status (2)

Country Link
KR (1) KR102549694B1 (ko)
WO (1) WO2022154334A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120041468A (ko) * 2010-10-21 2012-05-02 전남대학교산학협력단 간질성 폐질환 검출 시스템 및 그 방법
KR20190053807A (ko) * 2017-11-10 2019-05-20 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 이미징에서의 기계-보조 작업흐름
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
JP2020188872A (ja) * 2019-05-20 2020-11-26 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180020191A (ko) * 2018-02-13 2018-02-27 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
JP7283878B2 (ja) 2018-09-25 2023-05-30 謙一 井上 映像処理装置、映像処理方法、および映像処理プログラム
KR102206621B1 (ko) * 2019-03-11 2021-01-22 가천대학교 산학협력단 딥러닝 알고리즘을 이용한 근감소증 분석 프로그램 및 애플리케이션
CN110956632B (zh) 2020-01-02 2023-04-18 广州柏视医疗科技有限公司 钼靶图像中胸大肌区域自动检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120041468A (ko) * 2010-10-21 2012-05-02 전남대학교산학협력단 간질성 폐질환 검출 시스템 및 그 방법
KR20190053807A (ko) * 2017-11-10 2019-05-20 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 이미징에서의 기계-보조 작업흐름
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
JP2020188872A (ja) * 2019-05-20 2020-11-26 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体

Also Published As

Publication number Publication date
KR102549694B1 (ko) 2023-06-29
KR20220103506A (ko) 2022-07-22

Similar Documents

Publication Publication Date Title
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2014208971A1 (en) Ultrasound image display method and apparatus
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2019132589A1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021010777A1 (ko) 관절염 심각도 정밀 분석 장치 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2021060700A1 (ko) 비디오투시 연하검사 판독 장치 및 방법
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2023008849A1 (ko) 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
WO2021112436A1 (ko) 장 정결도의 자동화 계산 장치 및 방법
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2026049332A1 (ko) 다른 유형의 의료 영상을 생성하여 의료 영상을 분석하는 방법 및 이를 수행하는 전자 장치
WO2023282389A1 (ko) 두경부 영상 이미지를 이용한 지방량 산출 방법 및 이를 위한 장치
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2025018825A1 (ko) 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램
WO2022015043A1 (ko) 신경질환 양방향 모니터링 시스템
WO2025048107A1 (ko) 의료 영상 분할 방법 및 이를 수행하는 장치
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2023090601A1 (ko) 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
WO2024143757A1 (ko) 안와 ct 영상에서 외안근의 비정상 여부를 검출하는 전자장치, 그 방법 및 안와 ct 영상에서 외안근의 비정상 여부를 검출하는 3차원 변이 오토인코더 모델을 학습하는 방법
Dhivyaa et al. Tri-UnityNet: A Multifaceted Ensemble Model for Pneumonia Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919956

Country of ref document: EP

Kind code of ref document: A1