KR20230088538A - 딥러닝 기반 유방 종양 검출 장치 및 방법 - Google Patents

딥러닝 기반 유방 종양 검출 장치 및 방법 Download PDF

Info

Publication number
KR20230088538A
KR20230088538A KR1020210176315A KR20210176315A KR20230088538A KR 20230088538 A KR20230088538 A KR 20230088538A KR 1020210176315 A KR1020210176315 A KR 1020210176315A KR 20210176315 A KR20210176315 A KR 20210176315A KR 20230088538 A KR20230088538 A KR 20230088538A
Authority
KR
South Korea
Prior art keywords
breast
ultrasound image
tumor
deep learning
tumor detection
Prior art date
Application number
KR1020210176315A
Other languages
English (en)
Inventor
박강령
조세운
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020210176315A priority Critical patent/KR20230088538A/ko
Publication of KR20230088538A publication Critical patent/KR20230088538A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 유방 종양 검출 기술에 관한 것으로, 더욱 상세하게는 딥러닝 기반의 유방 종양 검출 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따르면, 본 발명의 실시 예에 따르면, 딥러닝 기반의 분류 모델 및 세분화 모델을 이용하여 초음파 유방 영상에서의 스페클 잡음, 블러 또는 낮은 대비에도 효과적으로 유방 종양 영역을 검출할 수 있다.

Description

딥러닝 기반 유방 종양 검출 장치 및 방법{APPARATUS AND METHOD FOR BREAST CANCER DETECTION BASED ON DEEP LEARNING}
본 발명은 유방 종양 검출 기술에 관한 것으로, 더욱 상세하게는 딥러닝 기반의 유방 종양 검출 장치 및 방법에 관한 것이다.
초음파 이미지를 이용한 세분화 기술은 의료 분야에서 흔히 사용되고 있으며, 최근 다양한 구조의 CNN 모델들을 활용한 세분화 기술 또한 활발히 연구되고 있다.
기존의 초음파 이미지를 이용한 세분화 기술의 경우 초음파 이미지에 포함된 스페클 잡음, 블러, 낮은 대비 및 불분명한 경계선으로 인해 정확도 높은 세분화를 수행할 수 없는 경우가 많으며, 유방 종양의 다양한 크기 및 모양 등으로 인해 초음파 이미지에 포함된 유방 종양 영역을 픽셀 단위로 정확하게 검출하기 어려운 문제점이 있다.
또한, 기존의 딥러닝 기반의 초음파 이미지를 이용한 세분화 방법들은 대부분 단일 네트워크로 유방 종영 영역에 대해 학습시키기 때문에, 유방 종양을 포함하지 않는 입력 이미지에 대해서는 성능이 크게 저하되는 문제점이 있다.
본 발명의 배경기술은 대한민국 등록특허 제10-2072476호에 게시되어 있다.
본 발명은 딥러닝 기반의 분류 모델 및 세분화 모델을 이용하여 초음파 유방 영상에서의 스페클 잡음, 블러 또는 낮은 대비에도 효과적으로 유방 종양 영역을 검출할 수 있는 딥러닝 기반 유방 종양 검출 장치 및 방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 딥러닝 기반 유방 종양 검출 장치가 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치는 초음파 촬영 기기를 통해 취득한 적어도 하나 이상의 유방 초음파 영상을 입력하는 입력부, 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화하는 정규화부, 기학습된 딥러닝 모델을 기반으로 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단하는 종양판단부, 종양으로 판단된 유방 초음파 영상에 대한 세분화를 수행하는 세분화부 및 세분화 수행 결과를 기반으로 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하는 종양검출부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥러닝 기반 유방 종양 검출 방법이 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 방법은 초음파 촬영 기기를 통해 취득한 적어도 하나 이상의 유방 초음파 영상을 입력하는 단계, 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화하는 단계, 기학습된 딥러닝 모델을 기반으로 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단하는 단계, 종양으로 판단된 유방 초음파 영상에 대한 세분화를 수행하는 단계 및 세분화 수행 결과를 기반으로 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 딥러닝 기반의 분류 모델 및 세분화 모델을 이용하여 초음파 유방 영상에서의 스페클 잡음, 블러 또는 낮은 대비에도 효과적으로 유방 종양 영역을 검출할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1 내지 도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치를 설명하는 도면들.
도 9는 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 방법을 설명하는 도면.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치의 유방 종양 유무 판별 성능을 나타내는 도면.
도 12 내지 도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치의 세분화 성능을 나타내는 도면.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1 내지 도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치를 설명하는 도면들이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치(100)는 입력부(110), 정규화부(130), 종양판단부(150), 세분화부(170) 및 종양검출부(190)를 포함한다.
입력부(110)는 초음파 촬영 기기를 통해 취득한 적어도 하나 이상의 유방 초음파 영상을 입력한다.
정규화부(130)는 입력된 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화할 수 있다. 예를 들어, 정규화부(130)는 입력된 유방 초음파 영상을 224×224 픽셀의 유방 초음파 영상으로 리사이징할 수 있다.
종양판단부(150)는 기학습된 딥러닝 모델을 기반으로 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단한다. 구체적으로, 종양판단부(150)는 CNN 기반 신경망인 BTEC-Net 모델을 이용하여 유방 초음파 영상에 대한 이진 분류를 수행한다.
도 2를 참조하면, BTEC-Net은 서브 네트워크인 MSSE-DenseNet121, MSSE-ResNet101 및 FFM 모듈(feature-level fusion module)로 구성된다. MSSE-DenseNet121 및 MSSE-ResNet101는 유방 초음파 영상을 입력으로 하여 각각 특징 벡터를 추출한다. 추출된 두 특징 벡터는 채널 방향으로 결합되어 FC layer(Fully Connected Layer)로 구성된 FFM 모듈에 입력되며, FFM 모듈은 입력된 특징 벡터를 기반으로 유방 초음파 영상에 대한 이진 분류를 수행한다.
도 3을 참조하면, MSSE-DenseNet121은 기학습된 DenseNet121 모델을 기반으로 구성되며, 4개의 dense block으로 이루어진다. MSSE-DenseNet121은 dense block 마지막 층에 각각 SE block과 GAP layer를 연속적으로 연결하며, 1×1×C의 특징 벡터들을 추출한다.
MSSE-DenseNet121에서 dense block1부터 block4까지의 멀티스케일 특징 맵(multi-scale feature maps)들은 SE blocks 및 GAP layers를 거쳐 채널 수가 256, 512 및 1024인 특징 벡터를 출력한다.
이 때, MSSE-ResNet101는 4개의 SE block을 사용하여 특징 맵에 채널 방향의 어텐션(attention) 가중치를 적용한다.
SE block을 거친 4개의 특징 맵은 GAP layer를 통해 압축되고, 채널 방향으로 결합되며, 1024 차원의 FC layer를 거쳐 1024개의 차원으로 축소된다.
MSSE-DenseNet121은 층의 특징 맵을 모두 연결하는 구성을 통해 유방 종양의 특징을 효율적으로 추출할 수 있도록 한다.
도 4를 참조하면, MSSE-ResNet101는 기학습된 ResNet101 모델을 기반으로 구성되며, 4개의 residual blocks의 마지막 층에 각각 SE block과 GAP layer를 연속적으로 연결한다.
여기서, SE block은 입력된 특징 맵의 각 채널에 가중치를 적용하기 위해 사용되며, GAP layer를 거쳐 크기가 1×1×C인 특징 벡터들을 생성한다.
residual block1부터 block4의 멀티스케일 특징 맵(multi-scale feature maps)들은 SE blocks 및 GAP layers를 거쳐 채널 수가 256, 512, 1024 및 2048인 특징 벡터를 출력한다.
각 residual block에서부터 추출한 특징 벡터들은 채널 방향으로 연결되며, 특징 벡터들은 마지막으로 FC layer를 거쳐 1024개의 차원으로 축소된다.
도 5를 참조하면, FFM은 MSSE-DenseNet121 및 MSSE-ResNet101에서 추출한 1024차원의 특징 벡터를 채널 방향으로 결합시킨다. 이 때, FFM은 Feature-level fusion 수행 시, 두 모델 간의 균형을 맞추기 위해 1024차원의 FC layer를 적용하여 특징 벡터의 차원을 동일하게 맞출 수 있다.
결합된 2048 차원의 특징 벡터는 1차원의 FC layer와 Sigmoid layer를 거쳐 이진 분류를 수행한다.
최종적으로, 종양판단부(150)는 이진 분류 수행 결과에 따라 유방 종양 여부를 판단한다. 종양판단부(150)는이진 분류 수행 결과로 normal이 출력될 경우 종양이 포함되지 않은 초음파 영상으로 판단하고, abnormal이 출력될 경우 종양이 포함된 초음파 영상으로 판단한다.
다시 도 1을 참조하면, 세분화부(170)는 종양으로 판단된 유방 초음파 영상에 대한 세분화를 수행한다. 구체적으로, 세분화부(170)는 기학습된 RFS-UNet 모델을 기반으로 종양으로 판단된 유방 초음파 영상에 대한 세분화를 수행한다.
도 6을 참조하면, RFS-UNet는 인코더(encoder) 및 디코더(decoder)로 구성되며, 인코더(encoder) 및 디코더(decoder)는 특징 맵의 크기가 동일한 레이어의 위치에서 스킵 연결(skip connection)의 형태로 연결된다.
여기서, 스킵 연결(skip connection)은 SA 모듈(spatial attention module)을 거쳐 인코더 블록(encoder block)의 특징 맵을 재조정하여 디코더 블록(decoder block)에 전달한다.
SA 모듈은 대상 개체(target object)의 다양한 모양 및 크기 정보에 집중하여 학습하도록 설계된 모듈로, 인코더 블록(encoder block)과 디코더 블록(decoder block)을 연결하여 이전 레이어의 정보를 유지한다.
인코더는 5개의 인코더 블록(encoder block)이 연속적으로 연결되어 있으며, 입력 영상에 대한 고수준의 특징(high-level features)을 추출한다. 여기서, 각각의 인코더 블록(encoder block)은 특징 맵의 채널 수를 두 배로 늘리기 위한 하나의 컨볼루셔널 층(convolutional layer)과, 저수준의 특징(low-level features)을 유지하기 위한 레지듀얼 컨볼루셔널 블록(residual convolutional block)으로 구성된다.
레지듀얼 컨볼루셔널 블록(residual convolutional block)은 RFS 모듈(RFS module)과 연결되며, 이전 레이어의 특징 맵과 출력된 특징 맵에 대해 채널별로 가중치를 학습한다.
5번째 인코더 블록(encoder block)을 제외한 4개의 인코더 블록(encoder block)은 max pooling layer를 통해 특징 맵의 크기를 절반으로 감소시킨다.
디코더는 4개의 디코더 블록(decoder block)으로 구성되며, 압축된 특징 맵 크기를 점차적으로 늘려주는 구조로 이루어진다. 각각의 디코더 블록(decoder block)은 transpose convolutional layer가 포함되어 이전 레이어의 특징 맵의 크기를 두 배로 늘리고 채널 수를 반으로 줄인다. 디코더 블록(decoder block)은 특징 맵의 크기가 동일한 인코더 블록(encoder block)과 연결되며 두 특징 맵은 채널 방향으로 결합된다.
디코더는 마지막 디코더 블록(decoder block)과 연결되어 채널 수를 줄이기 위한 하나의 컨볼루셔널 층(convolutional layer)과, 레지듀얼 컨볼루셔널 블록(residual convolutional block) 및 RFS 모듈을 포함한다.
도 7을 참조하면, SA 모듈은 인코더의 특징 맵과 디코더의 특징 맵을 입력으로 하며 인코더에서 전달받는 특징 맵에 채널별로 가중치를 다시 적용한다. 이러한 방식을 통해, SA 모듈은 네트워크가 스스로 중요한 특징들에 집중하도록 학습한다.
도 8을 참조하면, RFS 모듈은 레지듀얼 블록(residual block)을 거치기 전과 후의 특징 맵을 입력으로 하여 서로 다른 두 특징 맵들간의 중요도를 차원 별로 계산하고, weighted sum 방식을 이용하여 차원이 동일한 특징 맵끼리 더한다. RFS 모듈은 self-attention 방식을 적용하여 각 특징 맵들 중에서 채널 별로 더 중요한 특징들에 대해 학습하게 된다.
다시 도 1을 참조하면, 종양검출부(190)는 RFS-UNet의 세분화 수행 결과를 기반으로 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력한다. 이 때, 종양검출부(190)는 유방 종양 픽셀을 1로, 정상 조직 영역픽셀을 0으로 분류하여 종양 검출 결과 영상을 출력한다. 종양검출부(190)는 종양판단부(150)로부터 Normal 영상으로 분류된 유방 초음파 영상을 수신할 경우, 모든 픽셀 값이 0인 종양 검출 결과 영상을 출력한다.
도 9는 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 방법을 설명하는 도면이다.
도 9를 참조하면, S910에서 딥러닝 기반 유방 종양 검출 장치(100)는 초음파 촬영 기기를 통해 취득한 적어도 하나 이상의 유방 초음파 영상을 입력한다.
S920에서 딥러닝 기반 유방 종양 검출 장치(100)는 입력된 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화할 수 있다. 예를 들어, 딥러닝 기반 유방 종양 검출 장치(100)는 입력된 유방 초음파 영상을 224×224 픽셀의 유방 초음파 영상으로 리사이징할 수 있다.
S930에서 딥러닝 기반 유방 종양 검출 장치(100)는 기학습된 딥러닝 모델을 기반으로 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단한다. 구체적으로, 딥러닝 기반 유방 종양 검출 장치(100)는 CNN 기반 신경망인 BTEC-Net 모델을 이용하여 유방 초음파 영상에 대한 이진 분류를 수행한다.
S940에서 딥러닝 기반 유방 종양 검출 장치(100)는 이진 분류 수행 결과에 따라 유방 종양 여부를 판단한다. 딥러닝 기반 유방 종양 검출 장치(100)는 이진 분류 수행 결과로 normal이 출력될 경우 종양이 포함되지 않은 초음파 영상으로 판단하여 S960으로 이동하고, abnormal이 출력될 경우 종양이 포함된 초음파 영상으로 판단하여 S950으로 이동한다.
S950에서 딥러닝 기반 유방 종양 검출 장치(100)는 세분화부(170)는 종양으로 판단된 유방 초음파 영상에 대한 세분화를 수행한다. 구체적으로, 딥러닝 기반 유방 종양 검출 장치(100)는 기학습된 RFS-UNet 모델을 기반으로 종양으로 판단된 유방 초음파 영상에 대한 세분화를 수행한다.
S960에서 딥러닝 기반 유방 종양 검출 장치(100)는 RFS-UNet의 세분화 수행 결과를 기반으로 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력한다. 딥러닝 기반 유방 종양 검출 장치(100)는 유방 종양 픽셀을 1로, 정상 조직 영역픽셀을 0으로 분류하여 종양 검출 결과 영상을 출력한다. 이 때, 딥러닝 기반 유방 종양 검출 장치(100)는 S940에서 Normal 영상으로 분류된 유방 초음파 영상에 대해 모든 픽셀 값이 0인 종양 검출 결과 영상을 출력한다.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치의 유방 종양 유무 판별 성능을 나타내는 도면이다.
도 10을 참조하면, BTEC-Net 모델이 포함된 기술과, BTEC-Net 모델이 포함되지 않은 기술을 비교하는 ablation study를 수행한 결과, BTEC-Net 모델을 적용한 본 발명이 기존의 모델보다 성능이 우수하며, 최종적으로 결합한 BTEC-Net의 정확도가 가장 높은 것을 확인할 수 있다.
도 11을 참조하면, 기존의 유방 종양 판별 방법과, BTEC-Net를 이용한 본 발명의 유방 종양 유무 분류 성능을 비교한 결과, 기존 유방 종양 판별 모델들에 비해 BTEC-Net를 이용한 본 발명의 유방 종양 분류 정확도가 높은 것을 입증하였다.
도 12 내지 도 18은 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치의 세분화 성능을 나타내는 도면이다.
도 12 내지 도 14를 참조하면, BUSI 데이터셋을 이용하여 ablation study를 수행한 결과, BTEC-Net 및 RFS-Unet 모델을 적용한 본 발명에서 유방 종양 영역이 가장 잘 검출되는 것을 확인할 수 있으며, BTEC-Net 및 RFS-Unet 모델의 픽셀 정확도(Pixel Acc), IoU 및 DC가 가장 높은 것을 확인할 수 있다.
도 15 및 도 16을 참조하면, BUSI 데이터셋에 대해 기존 세분화 방법들과 본 발명에서 제안하는 방법으로 비교 실험을 수행하여 얻은 세분화 종양 검출 결과 영상을 비교한 결과, BTEC-Net 및 RFS-Unet 모델을 적용한 본 발명의 세분화 종양 검출 결과 영상이 원본(ground-truth) 영상과 가장 유사하며, 유방 종양 영역이 가장 잘 검출된 것을 확인할 수 있다. 또한, BUSI 데이터셋에 대해 기존 세분화 방법들과 본 발명에서 제안하는 방법으로 비교 실험을 수행하여 성능을 수치적으로 비교한 결과, 제안하는 방법의 가시적, 수치적 세분화 결과가 가장 우수한 것을 확인할 수 있다.
도 17 및 도 18을 참조하면, UDIAT 데이터셋에 대해 기존 세분화 방법들과 본 발명에서 제안하는 방법으로 비교 실험을 수행하여 얻은 세분화 종양 검출 결과 영상을 비교한 결과, BTEC-Net 및 RFS-Unet 모델을 적용한 본 발명의 세분화 종양 검출 결과 영상이 원본(ground-truth) 영상과 가장 유사하며, 유방 종양 영역이 가장 잘 검출된 것을 확인할 수 있다. 또한, UDIAT 데이터셋에 대해 기존 세분화 방법들과 본 발명에서 제안하는 방법으로 비교 실험을 수행하여 성능을 수치적으로 비교한 결과, 제안하는 방법의 가시적, 수치적 세분화 결과가 가장 우수한 것을 확인할 수 있다.
이를 통해, 본 발명의 일 실시 예에 따른 딥러닝 기반 유방 종양 검출 장치(100)의 성능이 우수함을 확인할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 딥러닝 기반 유방 종양 검출 장치에 있어서,
    초음파 촬영 기기를 통해 취득한 적어도 하나 이상의 유방 초음파 영상을 입력하는 입력부;
    상기 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화하는 정규화부;
    기학습된 딥러닝 모델을 기반으로 상기 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단하는 종양판단부;
    종양으로 판단된 상기 유방 초음파 영상에 대한 세분화를 수행하는 세분화부; 및
    세분화 수행 결과를 기반으로 상기 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하는 종양검출부를 포함하는 딥러닝 기반 유방 종양 검출 장치.
  2. 제1항에 있어서,
    상기 정규화부는
    상기 입력된 유방 초음파 영상을 224×224 픽셀의 유방 초음파 영상으로 리사이징하는 딥러닝 기반 유방 종양 검출 장치.
  3. 제1항에 있어서,
    상기 종양판단부는
    CNN 기반 신경망인 BTEC-Net 모델을 이용하여 상기 유방 초음파 영상에 대한 이진 분류를 수행하는 딥러닝 기반 유방 종양 검출 장치.
  4. 제1항에 있어서,
    상기 세분화부는
    기학습된 RFS-UNet 모델을 기반으로 종양으로 판단된 상기 유방 초음파 영상에 대한 세분화를 수행하는 딥러닝 기반 유방 종양 검출 장치.
  5. 제1항에 있어서,
    상기 종양검출부는
    상기 RFS-UNet의 세분화 수행 결과를 기반으로 상기 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하되, 유방 종양 픽셀을 1로, 정상 조직 영역픽셀을 0으로 분류하여 종양 검출 결과 영상을 출력하는 딥러닝 기반 유방 종양 검출 장치.
  6. 딥러닝 기반 유방 종양 검출 방법에 있어서,
    초음파 촬영 기기를 통해 취득한 적어도 하나 이상의 유방 초음파 영상을 입력하는 단계
    상기 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화하는 단계;
    기학습된 딥러닝 모델을 기반으로 상기 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단하는 단계;
    종양으로 판단된 상기 유방 초음파 영상에 대한 세분화를 수행하는 단계; 및
    세분화 수행 결과를 기반으로 상기 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하는 단계를 포함하는 딥러닝 기반 유방 종양 검출 방법.
  7. 제6항에 있어서,
    상기 유방 초음파 영상을 기설정된 크기로 리사이징하여 정규화하는 단계는 상기 입력된 유방 초음파 영상을 224×224 픽셀의 유방 초음파 영상으로 리사이징하는 딥러닝 기반 유방 종양 검출 방법.
  8. 제6항에 있어서,
    상기 유방 초음파 영상에 대한 이진 분류를 수행하여 유방 종양 여부를 판단하는 단계는
    CNN 기반 신경망인 BTEC-Net 모델을 이용하여 상기 유방 초음파 영상에 대한 이진 분류를 수행하는 딥러닝 기반 유방 종양 검출 방법.
  9. 제6항에 있어서,
    상기 종양으로 판단된 상기 유방 초음파 영상에 대한 세분화를 수행하는 단계는
    기학습된 RFS-UNet 모델을 기반으로 종양으로 판단된 상기 유방 초음파 영상에 대한 세분화를 수행하는 딥러닝 기반 유방 종양 검출 방법.
  10. 제6항에 있어서,
    상기 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하는 단계는
    상기 RFS-UNet의 세분화 수행 결과를 기반으로 상기 유방 초음파 영상과 동일한 크기의 종양 검출 결과 영상을 출력하되, 유방 종양 픽셀을 1로, 정상 조직 영역픽셀을 0으로 분류하여 종양 검출 결과 영상을 출력하는 딥러닝 기반 유방 종양 검출 방법.
  11. 제6항의 딥러닝 기반 유방 종양 검출 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020210176315A 2021-12-10 2021-12-10 딥러닝 기반 유방 종양 검출 장치 및 방법 KR20230088538A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210176315A KR20230088538A (ko) 2021-12-10 2021-12-10 딥러닝 기반 유방 종양 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210176315A KR20230088538A (ko) 2021-12-10 2021-12-10 딥러닝 기반 유방 종양 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230088538A true KR20230088538A (ko) 2023-06-20

Family

ID=86995282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210176315A KR20230088538A (ko) 2021-12-10 2021-12-10 딥러닝 기반 유방 종양 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230088538A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777893A (zh) * 2023-07-05 2023-09-19 脉得智能科技(无锡)有限公司 一种基于乳腺超声横纵切面特征结节的分割与识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777893A (zh) * 2023-07-05 2023-09-19 脉得智能科技(无锡)有限公司 一种基于乳腺超声横纵切面特征结节的分割与识别方法
CN116777893B (zh) * 2023-07-05 2024-05-07 脉得智能科技(无锡)有限公司 一种基于乳腺超声横纵切面特征结节的分割与识别方法

Similar Documents

Publication Publication Date Title
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
US20190295261A1 (en) Method and apparatus with image segmentation
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
Mazaheri et al. A Skip Connection Architecture for Localization of Image Manipulations.
KR20060054540A (ko) 얼굴 인식 방법 및 장치
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US11450087B2 (en) System and method for multimedia analytic processing and display
KR102138809B1 (ko) 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
KR20220063256A (ko) 캐빈 내부 환경의 조절 방법 및 장치
KR102655789B1 (ko) 얼굴 검출 방법 및 장치
KR101932008B1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
Itoh et al. Towards automated colonoscopy diagnosis: binary polyp size estimation via unsupervised depth learning
US11893497B2 (en) Method and apparatus for acquiring feature data from low-bit image
US11194330B1 (en) System and method for audio classification based on unsupervised attribute learning
KR20150096264A (ko) 관심 객체 고속 검출 장치 및 그 방법
Tsai et al. Robust in-plane and out-of-plane face detection algorithm using frontal face detector and symmetry extension
KR20230088538A (ko) 딥러닝 기반 유방 종양 검출 장치 및 방법
KR101491832B1 (ko) 영상 선택 장치 및 방법
Benlamoudi et al. Face spoofing detection using multi-level local phase quantization (ML-LPQ)
Mesquita et al. Object recognition using saliency guided searching
Zhao et al. Combining dynamic texture and structural features for speaker identification
Vasanthselvakumar et al. Automatic detection and classification of chronic kidney diseases using CNN architecture
Mursalin et al. EpNet: A deep neural network for ear detection in 3D point clouds
Sharrma et al. Vision based static hand gesture recognition techniques

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal