KR102613718B1 - 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 - Google Patents
의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 Download PDFInfo
- Publication number
- KR102613718B1 KR102613718B1 KR1020220112649A KR20220112649A KR102613718B1 KR 102613718 B1 KR102613718 B1 KR 102613718B1 KR 1020220112649 A KR1020220112649 A KR 1020220112649A KR 20220112649 A KR20220112649 A KR 20220112649A KR 102613718 B1 KR102613718 B1 KR 102613718B1
- Authority
- KR
- South Korea
- Prior art keywords
- image frame
- image
- neural network
- network model
- expanded
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000002059 diagnostic imaging Methods 0.000 title description 2
- 238000003062 neural network model Methods 0.000 claims abstract description 85
- 238000006073 displacement reaction Methods 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 29
- 238000002604 ultrasonography Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001990 intravenous administration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
본 개시의 일 실시예에 따른 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치가 개시된다. 상기 방법은, 제 1 신경망 모델을 사용하여, 의료 영상에 포함된 제 1 영상 프레임(frame) 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임을 기초로, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 정합하는 단계; 및 상기 정합 결과 및 상기 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵(mask map)을 기초로, 상기 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성하는 단계를 포함할 수 있다.
Description
본 개시는 의료 영상 처리 기술에 관한 것으로, 구체적으로 의료 영상에 존재하는 목표 객체를 추적하는 방법 및 장치에 관한 것이다.
의료 영상은 질병의 진단과 치료를 위해 인체의 여러 가지 장기들의 물리적인 상태를 이해할 수 있게 해주는 데이터이다. 의료 영상 기기들이 지속적으로 개발되어 오면서, 의료 영상은 X선(X-ray) 영상, 컴퓨터 단층 촬영(CT: computed tomography) 영상, 양전자 방출 단층 촬영(PET: positron emission tomography) 영상, 또는 자기 공명 영상(MRI: magnetic resonance imaging) 등으로 다양해지고 있다. 영상 분석 기술 및 인공지능 기술의 발달에 따라, 의료 영상은 질병의 진단을 보조하기 위한 분석 자료로서 다양하게 활용되고 있다. 대표적으로, 의료 영상은 질병의 효과적인 진단을 위해 영상에 촬영된 병변과 같은 객체를 추적하는 병변 탐지 분야에서 활발히 활용되고 있다.
지금까지 병변 탐지 분야에서 다양하게 활용되고 있는 컴퓨터 비전(vision) 영역의 인공지능 기술들은 전통적으로 지도 학습에 기반한다. 지도 학습을 위해서는 라벨(label)이 반드시 필요하므로, 기존 기술들은 전문가가 의료 영상 에서 직접 병변을 확인한 뒤 라벨링 한 데이터를 학습에 사용하고 있다. 그러나, 이와 같이 현재는 라벨은 전문가의 수작업을 통해 일일이 생성될 수 밖에 없기 때문에, 인공지능의 학습 성능을 보장할 수 있을 만큼 충분히 많은 양의 라벨을 확보 하는 것은 현실적으로 많은 어려움이 있다. 특히, 영상의 경우, 모든 프레임 마다 라벨링이 수행되어야 하므로, 라벨링을 위한 시간, 비용 등이 크게 소요된다. 따라서, 의료 영상을 처리하는 인공 신경망의 지도 학습을 위해서는, 라벨을 생성하는 제반 비용이 상당히 요구될 수 밖에 없는 실정이다.
또한, 인공 신경망이 영상을 판독하는 경우, 일반적으로 영상의 모든 프레임에 대해서 정확하게 목표로 하는 객체를 탐지하는 것은 쉬운 일이 아니다. 따라서, 인공 신경망을 통해 의료 영상에 존재하는 병변을 추적할 때, 인공 신경망이 프레임에 따라 병변을 추적하지 못하고 놓치는 경우가 발생할 수 있다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 의료 영상에 대한 오토 라벨링 및 의료 영상의 실시간 판독이 가능하도록 하는 딥러닝 기반의 객체 추적 방법 및 장치를 제공하고자 한다.
다만, 본 개시에서 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재를 근거로 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는, 의료 영상 기반의 객체 추적 방법이 개시된다. 상기 방법은, 제 1 신경망 모델을 사용하여, 의료 영상에 포함된 제 1 영상 프레임(frame) 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임을 기초로, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 정합하는 단계; 및 상기 정합 결과 및 상기 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵(mask map)을 기초로, 상기 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성하는 단계를 포함할 수 있다.
대안적으로, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 정합하는 단계는, 상기 제 1 신경망 모델에 상기 제 1 영상 프레임 및 상기 제 2 영상 프레임을 입력하여, 상기 제 1 영상 프레임을 상기 제 2 영상 프레임에 매칭시키기 위한 변위 벡터를 생성하는 단계를 포함할 수 있다.
대안적으로, 상기 제 2 마스크 맵을 생성하는 단계는, 상기 변위 벡터를 이용하여, 상기 제 1 마스크 맵에 대한 기하학적 변환(transformation)을 수행하는 단계; 및 상기 변위 벡터를 이용하여, 상기 기하학적 변환이 수행된 제 1 마스크 맵에 보간(interpolation)을 수행함으로써, 상기 제 2 마스크 맵을 생성하는 단계를 포함할 수 있다.
대안적으로, 상기 제 1 신경망 모델은, 상기 제 1 신경망 모델의 출력으로 생성되는 변위 벡터를 이용하여 상기 제 1 영상 프레임에 대한 기하학적 변환 및 보간을 수행한 결과가 상기 제 2 영상 프레임과 일치하도록 사전 학습될 수 있다.
대안적으로, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 정합하는 단계는, 상기 제 1 신경망 모델에 상기 제 1 영상 프레임 및 상기 제 2 영상 프레임을 입력하여, 픽셀들의 집합인 패치(patch) 단위의 제 1 정합을 수행하는 단계; 및 상기 제 1 신경망 모델에 상기 제 1 정합을 통해 생성된 제 3 영상 프레임 및 상기 제 2 영상 프레임을 입력하여, 픽셀 단위의 제 2 정합을 수행하는 단계를 포함할 수 있다.
대안적으로, 상기 방법은, 제 2 신경망 모델을 사용하여, 상기 제 1 영상 프레임 및 상기 제 2 영상 프레임 각각의 차원을 확장시키는 단계를 더 포함할 수 있다.
대안적으로, 상기 제 1 영상 프레임 및 상기 제 2 영상 프레임 각각의 차원을 확장시키는 단계는, 상기 제 2 신경망 모델을 사용하여, 상기 제 1 영상 프레임의 각 픽셀에 글로벌(global) 특징과 로컬(local) 특징을 임베딩(embedding) 함으로써, 차원이 확장된 제 1 영상 프레임을 생성하는 단계; 및 상기 제 2 신경망 모델을 사용하여, 상기 제 2 영상 프레임의 각 픽셀에 글로벌 특징과 로컬 특징을 임베딩 함으로써, 차원이 확장된 제 2 영상 프레임을 생성하는 단계를 포함할 수 있다.
대안적으로, 상기 글로벌 특징은, 영상 프레임에 객체가 존재하는지 여부에 대한 정보를 포함할 수 있다. 그리고, 상기 로컬 특징은, 상기 영상 프레임의 특정 픽셀을 인접 픽셀과 조합할 때 나타나는 구조적 패턴에 대한 정보를 포함할 수 있다.
대안적으로, 상기 방법은, 상기 제 2 마스크 맵의 각 픽셀을 임계치와 비교하여, 상기 제 2 마스크 맵을 이진화 하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 의료 영상을 기반으로 객체를 추적하기 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 제 1 신경망 모델을 사용하여, 의료 영상에 포함된 제 1 영상 프레임 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임을 기초로, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 정합하는 동작; 및 상기 정합 결과 및 상기 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵을 기초로, 상기 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성하는 동작을 포함할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 하는 컴퓨팅 장치가 개시된다. 상기 장치는, 적어도 하나의 코어(core)를 포함하는 프로세서; 상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory); 및 의료 영상을 획득하기 위한 네트워크부(network unit)를 포함할 수 있다. 이때, 상기 프로세서는, 제 1 신경망 모델을 사용하여, 상기 의료 영상에 포함된 제 1 영상 프레임 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임을 기초로, 상기 제 1 영상 프레임과 상기 제 2 영상 프레임을 정합하고, 상기 정합 결과 및 상기 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵을 기초로, 상기 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성할 수 있다.
본 개시는 의료 영상에 대한 오토 라벨링 및 의료 영상의 실시간 판독이 정확하고 효율적으로 가능하도록 하는 딥러닝 기반의 객체 추적 방법 및 장치를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 마스크 맵 생성 과정을 나타낸 블록도이다.
도 3은 본 개시의 대안적 실시예에 따른 마스크 맵 생성 과정을 나타낸 블록도이다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 기반의 객체 추적 방법을 나타낸 순서도이다.
도 5는 본 개시의 일 실시예에 따른 초음파 영상에 기반한 마스크 맵 생성 과정을 나타낸 순서도이다.
도 2는 본 개시의 일 실시예에 따른 마스크 맵 생성 과정을 나타낸 블록도이다.
도 3은 본 개시의 대안적 실시예에 따른 마스크 맵 생성 과정을 나타낸 블록도이다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 기반의 객체 추적 방법을 나타낸 순서도이다.
도 5는 본 개시의 일 실시예에 따른 초음파 영상에 기반한 마스크 맵 생성 과정을 나타낸 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는" 을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다" 는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상" 을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제 1 구성요소 혹은 제 2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제 1 구성요소 혹은 제 2 구성요소로 구별될 수도 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)" 는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈" 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈" 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈" 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈" 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
본 개시에서 사용되는 "영상" 이라는 용어는 이산적 이미지 요소들로 구성된 다차원 데이터를 지칭할 수 있다. 다시 말해, "영상"은 사람의 눈으로 볼 수 있는 대상의 디지털 표현물을 지칭하는 용어로 이해될 수 있다. 예를 들어, "영상" 은 2차원 이미지에서 픽셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다. "영상"은 3차원 이미지에서 복셀에 해당하는 요소들로 구성된 다차원 데이터를 지칭할 수 있다.
본 개시에서 사용되는 "프레임(frame)" 이라는 용어는 영상 혹은 영상의 집합을 구성하는 이산적 데이터 요소를 지칭할 수 있다. 예를 들어, "프레임"은 단일 영상에서 순서에 따라 특정 장면을 표현하는 이미지 각각에 대응될 수 있다. 또한, "프레임"은 복수의 영상들이 집합된 영상 시퀀스를 구성하는 영상 각각에 대응될 수도 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다. 그리고, 컴퓨팅 장치(100)는 의료 현장에서 수행되는 의료 행위 전반을 지원하거나 보조하는 의료용 로봇일 수도 있다. 이때, 의료용 로봇은 질병의 진단, 수혈 등을 위한 채혈 혹은 정맥 주사(IV: intravenous) 기능을 포함하는 정맥 천자용 로봇을 포함할 수 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(processor)(110), 메모리(memory)(120), 및 네트워크부(network unit)(130)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(100)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(110)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(110)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(110)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(110)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(110)의 종류는 하나의 예시일 뿐이므로, 프로세서(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
프로세서(110)는 의료 영상에 존재하는 객체를 추적하기 위해, 신경망 모델을 이용하여 의료 영상에 포함된 프레임들에 대한 영상 정합을 수행할 수 있다. 프로세서(110)는 영상 정합 결과를 토대로 의료 영상의 특정 프레임에 존재하는 객체에 대한 마스크 맵(mask map)을 생성할 수 있다. 프로세서(110)는 영상이 재생됨에 따라 노출되는 프레임 순서에 맞춰 프레임 별 마스크 맵을 자동으로 생성함으로써, 각 프레임에 존재하는 객체를 정확히 검출할 수 있다. 이와 같은 프로세서(110)의 프레임 별 객체 검출은 병변 탐지 등을 위한 신경망 모델의 학습에 사용될 라벨을 자동으로 생성하는 오토 라벨링에 활용될 수 있다. 또한, 프로세서(110)의 프레임 별 객체 검출은 의료 영상에 존재하는 목표 객체를 추적한 결과를 토대로 의료용 로봇의 동작을 제어하는 작업 등 의료 영상을 기반으로 수행되는 실시간 후처리 작업에 효과적으로 활용될 수 있다.
프로세서(110)는 영상 정합의 정확도를 높이기 위해서, 영상 정합을 2단계에 거쳐 수행할 수 있다. 예를 들어, 프로세서(110)는 의료 영상에 포함된 프레임들의 영상 정합을 패치(patch) 단위로 수행할 수 있다. 이때, 패치는 프레임을 구성하는 픽셀들의 집합으로 이해될 수 있다. 그리고, 프로세서(110)는 의료 영상에 포함된 프레임들의 영상 정합을 픽셀 단위로 재차 수행할 수 있다. 이와 같은 프로세서(110)의 2단계의 영상 정합은, 신경망 모델이 학습 또는 추론 과정에서 영상 특징을 효과적으로 해석할 수 있도록 함으로써, 정합의 정확도를 향상시킬 수 있다.
프로세서(110)는 영상 정합의 정확도를 높이기 위해서, 영상 정합을 수행하기 이전에 신경망 모델을 이용하여 영상 정합의 대상인 프레임들의 차원을 확장시킬 수 있다. 예를 들어, 프로세서(110)는 신경망 모델을 이용하여, 영상 정합의 대상인 프레임들 각각의 특징을 각 프레임의 픽셀에 임베딩(embedding) 할 수 있다. 프로세서(110)는 임베딩 결과로 N(N은 1보다 큰 자연수)차원을 갖는 프레임들을 생성할 수 있다. 프로세서(110)는 신경망 모델을 이용하여 N차원을 갖는 프레임들에 대한 영상 정합을 수행할 수 있다. 이때, 차원 확장을 위한 신경망 모델과 영상 정합을 위한 신경망 모델을 독립적인 모델로 구별될 수 있다. 이와 같은 프로세서(110)의 차원 확장은, 영상 정합의 대상이 되는 프레임들의 픽셀 각각이 가지는 기본적인 강도(intensity) 값 이외에도 추가적인 다양한 특징을 갖도록 할 수 있다. 따라서, 프로세서(110)의 차원 확장은, 영상 정합을 위한 신경망 모델의 특징 해석에 반영될 정보 조합을 확장시킴으로써, 영상 정합의 정확도를 향상시킬 수 있다.
본 개시의 일 실시예에 따른 메모리(120)는 컴퓨팅 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(120)의 종류는 하나의 예시일 뿐이므로, 메모리(120)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
메모리(120)는 프로세서(110)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(110)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화 하여 관리할 수 있다. 예를 들어, 메모리(120)는 후술할 네트워크부(130)를 통해 획득된 의료 영상을 저장할 수 있다. 메모리(120)는 신경망 모델이 의료 영상을 기초로 학습하도록 동작시키는 프로그램 코드, 신경망 모델이 의료 영상에 대한 특징 해석(혹은 추론)을 수행하도록 동작시키는 프로그램 코드 및 프로그램 코드가 실행됨에 따라 산출된 각종 데이터 등을 저장할 수 있다.
본 개시의 일 실시예에 따른 네트워크부(130)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(130)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(130)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(130)는 의료 영상 저장 전송 시스템, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버, 혹은 의료용 로봇 등과의 통신을 통해, 의료 영상을 수신할 수 있다. 네트워크부(130)는 전술한 시스템, 서버, 혹은 의료용 로봇 등과의 통신을 통해, 프로세서(110)의 연산을 통해 생성된 각종 데이터를 송신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 마스크 맵 생성 과정을 나타낸 블록도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)의 프로세서(110)는 사전 학습된 제 1 신경망 모델(300)을 사용하여, 의료 영상에 포함된 제 1 영상 프레임(11) 및 제 1 영상 프레임(11)과 상이한 제 2 영상 프레임(12)을 기초로, 제 1 영상 프레임(11)과 제 2 영상 프레임(12)을 정합할 수 있다. 이때, 제 2 영상 프레임(12)은 제 1 영상 프레임(11)과 프레임 생성 시점으로 구별될 수 있다. 구체적으로, 프로세서(110)는 제 1 신경망 모델(300)에 제 1 영상 프레임(11)과 제 1 영상 프레임(11)과 인접한 제 2 영상 프레임(12)을 입력하여, 제 1 영상 프레임(11)을 제 2 영상 프레임(12)에 매칭시키기 위한 변위 벡터(13)를 생성할 수 있다. 프로세서(110)는 제 1 신경망 모델(300)의 출력으로 생성된 변위 벡터(13)를 통해 제 1 영상 프레임(11)과 제 2 영상 프레임(12)을 정합할 수 있다. 즉, 본 개시의 정합은 신경망 모델(300)의 출력으로 생성된 변위 벡터(13)를 제 1 영상 프레임(11)에 적용한 결과가 제 2 영상 프레임(12)에 일치되도록 영상 처리를 수행하는 작업으로 이해될 수 있다. 이때, 변위 벡터(13)를 영상 프레임에 적용한다는 것은, 영상 프레임의 픽셀 단위 혹은 패치 단위로 변위 벡터(13)를 이용한 연산을 수행하여 영상 프레임을 변환시키는 것으로 이해될 수 있다.
프로세서(110)는 정합 결과 및 제 1 영상 프레임(11)에 존재하는 객체에 대한 제 1 마스크 맵(14)을 기초로, 제 2 영상 프레임(12)에 존재하는 객체에 대한 제 2 마스크 맵(15)을 생성할 수 있다. 프로세서(110)는 제 1 영상 프레임(11)이 제 2 영상 프레임(12)에 매칭되도록 하는 변위 벡터(13)를 이용하여, 제 1 마스크 맵(14)으로부터 제 2 마스크 맵(15)을 생성할 수 있다. 즉, 프로세서(110)는 영상 정합 결과를 이용하여, 특정 프레임에 존재하는 객체를 판독하기 위한 마스크 맵을 기초로 다른 프레임에 존재하는 객체를 판독하기 위한 마스크 맵을 생성할 수 있다. 구체적으로, 프로세서(110)는 변위 벡터(13)를 이용하여, 제 1 마스크 맵(14)에 대한 기하학적 변환을 수행할 수 있다. 프로세서(110)는 제 1 마스크 맵(14)의 픽셀 단위 혹은 패치 단위로 변위 벡터(13)를 이용하여 기하학적 변환을 수행할 수 있다. 이때, 기하학적 변환은, 영상 프레임에 대한 이동, 회전, 크기 변환, 반사, 왜곡 등을 수행하는 작업으로 이해될 수 있다. 프로세서(110)는 변위 벡터(13)를 이용하여, 기하학적 변환이 수행된 제 1 마스크 맵에 보간을 수행함으로써, 제 2 마스크 맵(15)을 생성할 수 있다. 프로세서(110)는 기하학적 변환이 수행된 제 1 마스크 맵의 픽셀 단위 혹은 패치 단위로 변위 벡터(13)를 이용하여 보간을 수행함으로써, 기하학적 변환이 수행된 제 1 마스크 맵으로부터 제 2 마스크 맵(15)을 생성할 수 있다. 이와 같이 생성된 제 2 마스크 맵(15)은 제 2 영상 프레임(12)과 인접한 다른 영상 프레임의 마스크 맵을 생성할 때 사용될 수 있다.
한편, 제 1 신경망 모델(300)은 제 1 신경망 모델(300)의 출력으로 생성되는 변위 벡터(13)를 이용하여 제 1 영상 프레임(11)에 대한 연산을 수행한 결과가 제 2 영상 프레임(12)과 일치하도록 사전 학습될 수 있다. 제 1 신경망 모델(300)의 출력으로 생성되는 변위 벡터(13)는 제 1 영상 프레임(11)을 제 2 영상 프레임(12)에 매칭하는데 사용되므로, 제 1 신경망 모델(300)은 변위 벡터(13)가 적용된 제 1 영상 프레임(11)이 제 2 영상 프레임(12)에 최대한 가까워지도록 사전 학습될 수 있다. 예를 들어, 제 1 신경망 모델(300)은 변위 벡터(13)를 이용하여 제 1 영상 프레임(11)에 대한 기하학적 변환과 함께 보간을 수행한 결과가 제 2 영상 프레임(12)가 일치하도록 사전 학습될 수 있다. 이러한 사전 학습을 통해 제 1 신경망 모델(300)은 제 1 마스크 맵(14)으로부터 제 2 마스크 맵(15)을 생성하는데 필요한 변위 벡터(13)를 정확하게 생성할 수 있다.
프로세서(110)는 제 2 마스크 맵(15)을 이용한 객체 검출이 원활히 수행될 수 있도록, 제 2 마스크 맵(15)에 대한 후처리를 수행할 수 있다. 구체적으로, 프로세서(110)는 제 2 마스크 맵(15)의 각 픽셀을 임계치와 비교하여 제 2 마스크 맵(15)을 이진화 할 수 있다. 이때, 임계치는 객체가 존재하는 픽셀의 특성을 기준으로 사전 설정된 값일 수 있다. 예를 들어, 프로세서(110)는 제 2 마스크 맵(15)의 각 픽셀을 임계치와 비교하여 임계치 이상인 픽셀의 값을 1로 통일시킬 수 있다. 프로세서(110)는 제 2 마스크 맵(15)의 각 픽셀을 임계치와 비교하여 임계치 이하인 픽셀의 값을 0으로 통일시킬 수 있다. 이러한 이진화를 통해 객체가 존재하는 픽셀을 주변 픽셀 대비 강조할 수 있으므로, 제 2 마스크 맵(15)에서 객체가 존재하는 영역이 두드러지게 표현될 수 있다. 따라서, 이진화 된 제 2 마스크 맵(15)을 이용하면, 제 2 마스크 맵(15)을 이용한 객체 검출이 보다 효율적으로 수행될 수 있다.
도 2를 통해 상술한 본 개시의 영상 정합 및 마스크 맵 생성은, 다음과 같은 현저한 효과를 달성할 수 있다. 예를 들어, 초음파 영상의 분할(segmentation)을 위한 학습 데이터 세트를 구축 시, 본 개시의 영상 정합 및 마스크 생성은 자동 라벨링 기술로 활용될 수 있다. 기존에는 초음파 영상에 라벨을 만들 때, 모든 영상을 따로 라벨링 하는 작업을 수행해야만 했다. 하지만, 본 개시를 통해 생성된 마스크 맵을 이용하면, 하나의 초음파 영상에 존재하는 라벨을 통해 다른 초음파 시퀀스에 대해서는 자동으로 라벨을 생성할 수 있기 때문에, 저렴한 비용으로 라벨을 다량 생산할 수 있다.
또한, 초음파 영상의 분할을 수행할 때, 본 개시의 영상 정합 및 마스크 맵 생성은 결과물의 퀄리티를 높이기 위한 후처리 과정에서 사용될 수 있다. 기존에는 초음파 영상 시퀀스 내의 특정 프레임에서 목표로 하는 객체를 찾지 못하는 경우에는 초음파 영상의 분할에서 좋은 결과를 기대할 수 없었다. 하지만, 본 개시를 통해 생성된 마스크 맵을 이용하면, 특정 프레임에서 목표 객체를 찾지 못한다고 하더라도 이전 프레임에 대한 마스크 맵을 활용하여 특정 프레임에서 목표 객체를 찾아낼 수 있게 된다.
도 3은 본 개시의 대안적 실시예에 따른 마스크 맵 생성 과정을 나타낸 블록도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)의 프로세서(110)는 도 2를 통해 살펴본 영상 정합 과정을 2단계로 거쳐 수행할 수 있다. 또한, 프로세서(110)는 도 2를 통해 살펴본 영상 정합 과정을 이전에 영상 정합의 대상이 되는 영상 프레임들의 차원을 확장시키는 작업을 수행할 수 있다. 본 개시의 2단계 영상 정합 및 차원 확장은 프로세서(110)의 영상 정합의 정확도 향상을 위해 추가적으로 수행될 수 있는 영상 처리 작업으로 이해될 수 있다.
예를 들어, 프로세서(110)는 영상 정합 과정을 코어스(coarse) 정합을 수행하는 A단계 및 미세(fine) 정합을 수행하는 B단계로 구분하여 순차적으로 수행할 수 있다. A단계에서, 프로세서(110)는 제 1 영상 프레임(21) 및 제 2 영상 프레임(22)을 제 2 신경망(400)에 입력하여, 차원 확장된 제 1 영상 프레임(21)에 대응되는 제 1 확장 프레임(23) 및 차원 확장된 제 2 영상 프레임(22)에 대응되는 제 2 확장 프레임(24)을 각각 생성할 수 있다. 구체적으로, 프로세서(110)는 제 2 신경망 모델(400)을 사용하여, 제 1 영상 프레임(21)의 각 픽셀에 글로벌(global) 특징과 로컬(local) 특징을 임베딩 함으로써, 제 1 확장 프레임(23)을 생성할 수 있다. 프로세서(110)는 제 2 신경망 모델(400)을 사용하여, 제 2 영상 프레임(22)의 각 픽셀에 글로벌 특징과 로컬 특징을 임베딩 함으로써, 제 2 확장 프레임(24)을 생성할 수 있다. 이때, 글로벌 특징은 영상 프레임에 객체가 존재하는지 여부에 대한 정보를 포함할 수 있다. 초음파 영상에서 채혈을 위한 객체를 검출한다고 가정하면, 글로벌 특징은 초음파 영상에 정맥, 동맥, 근막, 신경 등이 존재하는지 여부에 대한 정보를 포함할 수 있다. 그리고, 로컬 특징은 영상 프레임의 특정 픽셀을 인접 픽셀과 조합할 때 나타나는 구조적 패턴에 대한 정보를 포함할 수 있다. 프로세서(110)는 제 2 신경망 모델(400)을 통해 영상 프레임(21, 22)들의 글로벌 특징과 로컬 특징을 추출하고 임베딩 하여, 특징들이 임베딩 된 만큼 채널이 확장된 차원을 갖는 프레임들(23, 24)을 생성할 수 있다.
A단계에서, 프로세서(110)는 제 1 신경망 모델(300)을 사용하여, 기본 픽셀 값에 글로벌 특징 및 로컬 특징이 임베딩 된 제 1 확장 프레임(23) 및 제 2 확장 프레임(24)을 기초로, 픽셀들의 집합인 패치 단위의 정합을 수행할 수 있다. 프로세서(110)는 제 1 신경망 모델(300)에 포함된 제 1 서브 모델 제 1 확장 프레임(23) 및 제 2 확장 프레임(24)을 입력하여, 제 1 확장 프레임(23)을 패치 레벨에서 제 2 확장 프레임(24)에 매칭시키는 정합을 수행할 수 있다. 프로세서(110)는 제 1 신경망 모델(300)에 포함된 제 1 서브 모델을 사용한 패치 단위의 코어스 정합을 통해 제 1 확장 프레임(23)을 제 2 확장 프레임(24)에 매칭시키기 위한 제 1 변위 벡터(25)를 생성할 수 있다.
A단계를 통해 패치 단위에서 영상 정합이 수행되고 나면, 프로세서(110)는 B단계의 영상 정합을 수행할 수 있다. B단계에서, 프로세서(110)는 제 1 영상 프레임(21)이 A단계의 영상 정합을 거쳐 생성된 제 3 영상 프레임(31)과 제 2 영상 프레임(22)을 사용하여 A단계의 차원 확장에 대응되는 연산을 수행할 수 있다. 이때, 제 3 영상 프레임(31)은 A단계의 영상 정합 과정에서 제 1 변위 벡터(25)를 제 1 확장 프레임(23)에 적용하여 생성된 영상 프레임에 대응될 수 있다. 즉, 프로세서(110)는 패치 단위의 영상 정합을 통해 생성된 제 3 영상 프레임(31)을 제 2 신경망 모델(400)에 입력하여, 차원 확장된 제 3 영상 프레임(31)에 대응되는 제 3 확장 프레임(32)을 생성할 수 있다. 다만, A단계의 차원 확장은 B단계의 차원 확장의 연장선이므로, 필요에 따라 도 3과 같이 수행될 수도 있고, A단계는 생략되고 B단계만 수행될 수도 있다.
B단계에서, 프로세서(110)는 제 1 신경망 모델(300)을 사용하여, 기본 픽셀 값에 글로벌 특징 및 로컬 특징이 임베딩 된 제 3 확장 프레임(32) 및 제 2 확장 프레임(24)을 기초로, 픽셀 단위의 정합을 수행할 수 있다. 프로세서(110)는 제 1 신경망 모델(300)에 포함된 제 2 서브 모델에 제 3 확장 프레임(32) 및 제 2 확장 프레임(24)을 입력하여, 제 3 확장 프레임(32)을 픽셀 레벨에서 제 2 확장 프레임(24)에 매칭시키는 정합을 수행할 수 있다. 프로세서(110)는 제 1 신경망 모델(300)에 포함된 제 2 서브 모델을 사용한 픽셀 단위의 미세 정합을 통해 제 3 확장 프레임(32)을 제 2 확장 프레임(24)에 매칭시키기 위한 제 2 변위 벡터(25)를 생성할 수 있다.
프로세서(110)는 A단계와 B단계를 거쳐 생성된 제 2 변위 벡터(33)를 사용하여, 제 1 영상 프레임(21)에 존재하는 객체를 검출하기 위한 제 1 마스크 맵(34)으로부터 제 2 영상 프레임(22)에 존재하는 객체를 검출하기 위한 제 2 마스크 맵(35)을 생성할 수 있다. 즉, 프로세서(110)는 제 2 변위 벡터(33)를 이용하여 제 1 마스크 맵(34)에 대한 기하학적 변환 및 보간을 수행하여, 제 2 마스크 맵(35)을 생성할 수 있다. 제 2 마스크 맵(35)의 생성을 위한 연산 과정은 도 2의 설명에 대응되므로, 구체적인 설명은 이하에서 생략하도록 한다.
도 3를 통해 상술한 본 개시의 2단계 영상 정합 및 차원 확장은, 다음과 같은 현저한 효과를 달성할 수 있다. 예를 들어, 본 개시와 같이 영상 정합을 2단계로 구분하지 않고 수행하게 되면, 신경망 모델이 입력 영상에서 글로벌 특징과 로컬 특징을 동시에 추출해야만 하므로, 특징 추출 및 해석 연산의 효율이 떨어질 수 밖에 없다. 그러나, 본 개시와 같이 영상 정합을 코어스 정합과 미세 정합으로 구분되는 2단계로 수행하게 되면, 신경망 모델은 코어스 정합을 통해 영상의 글로벌 특징 추출을 집중적으로 수행할 수 있고, 미세 정합을 통해 영상의 로컬 특징 추출을 집중적으로 수행할 수 있다. 따라서, 본 개시의 2단계 영상 정합은 신경망 모델의 특징 추출 및 해석 과정을 효율적으로 개선하여 영상 정합의 정확도를 향상하는데 기여할 수 있다.
초음파 영상과 같은 그레이 스케일(gray-scale) 영상은 각 픽셀이 강도(intensity) 값 만을 가진다. 따라서, 초음파 영상 정합 시, 신경망 모델이 단순히 소스 영상의 픽셀 값을 조합해서 타겟 영상을 만드는 연산을 수행한다. 그러나, 본 개시와 같이 차원 확장을 영상 정합 이전에 수행하면, 초음파 영상의 각 픽셀이 강도 값 뿐만 아니라 추가적으로 글로벌 특징 및 로컬 특징에 해당하는 많은 정보들을 가지게 되므로, 신경망 모델이 타겟 영상을 만들 때 보다 다양한 정보를 활용할 수 있게 된다. 따라서, 본 개시의 차원 확장은 영상 정합 과정에서 신경망 모델이 영상의 다양한 정보를 활용할 수 있도록 하여 영상 정합의 정확도를 향상하는데 기여할 수 있다.
도 4는 본 개시의 일 실시예에 따른 의료 영상 기반의 객체 추적 방법을 나타낸 순서도이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 제 2 신경망 모델을 사용하여 제 1 영상 프레임 및 제 2 영상 프레임 각각의 차원을 확장시킬 수 있다(S110). 이때, 제 1 영상 프레임은 제 2 영상 프레임의 이전 프레임일 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제 1 영상 프레임을 제 2 신경망 모델에 입력하여 제 1 영상 프레임과 동일한 너비와 높이를 갖되 채널이 확장된 프레임을 생성할 수 있다. 컴퓨팅 장치(100)는 제 2 영상 프레임을 제 2 신경망 모델에 입력하여 제 2 영상 프레임과 동일한 너비와 높이를 갖되 채널이 확장된 프레임을 생성할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 제 2 신경망 모델을 통해 각 영상 프레임의 글로벌 특징과 로컬 특징을 픽셀마다 임베딩 시켜, 차원이 확장된 영상 프레임을 생성할 수 있다. 이때, 제 2 신경망 모델은 자기 지도 학습(self-supervised learning)이 가능한 신경망 구조를 포함하는 모델로, 이미지 처리를 위한 컨볼루셔널(convolutional) 신경망 등을 포함할 수 있다.
컴퓨팅 장치(100)는 제 1 신경망 모델을 사용하여, 차원 확장된 제 1 영상 프레임 및 차원 확장된 제 2 영상 프레임을 정합할 수 있다(S120). 컴퓨팅 장치(100)는 제 1 신경망 모델에 S110 단계를 통해 차원이 확장된 영상 프레임들을 입력하여, 차원 확장된 제 1 영상 프레임을 차원 확장된 제 2 영상 프레임에 매칭시키기 위한 변위 벡터를 생성할 수 있다. 컴퓨팅 장치(100)는 제 1 신경망 모델을 통해 픽셀 별로 글로벌 특징 및 로컬 특징이 임베딩 된 영상 프레임들을 정합하여, 영상 프레임에 존재하는 객체를 검출하기 위한 마스크 맵을 생성하는데 활용되는 변위 벡터를 생성할 수 있다. 이때, 제 1 신경망 모델은 이미지 처리를 위한 컨볼루셔널 신경망 등을 포함할 수 있다.
한편, S120 단계는 패치 단위의 정합을 수행하는 코어스 정합과 픽셀 단위의 정합을 수행하는 미세 정합으로 구분될 수 있다. 예를 들어, S120 단계에서, 컴퓨팅 장치(100)는 제 1 신경망 모델에 포함된 제 1 서브 모델을 사용하여, 차원 확장된 제 1 영상 프레임과 차원 확장된 제 2 영상 프레임을 패치 단위에서 정합할 수 있다. 패치 단위의 정합이 완료되면, 컴퓨팅 장치(100)는 제 1 신경망 모델에 포함된 제 2 서브 모델을 사용하여, 패치 단위 정합이 수행된 제 1 영상 프레임과 차원 확장된 제 2 영상 프레임을 픽셀 단위에서 정합할 수 있다. 이러한 2번의 정합을 통해 영상 정합의 정확도를 향상시켜 마스크 맵을 생성하는데 필요한 변위 벡터를 높은 퀄리티로 생성할 수 있다.
컴퓨팅 장치(100)는 S120 단계의 정합 결과 및 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵을 기초로, 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성할 수 있다(S130). 즉, 컴퓨팅 장치(100)는 제 1 영상 프레임과 제 2 영상 프레임의 정합 결과로 도출된 변위 벡터를 사용하여, 제 1 마스크 맵으로부터 제 2 마스크 맵을 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 변위 벡터를 통해 제 1 마스크 맵을 픽셀 단위로 변환 및 보간하는 연산을 수행함으로써, 제 2 마스크 맵을 생성할 수 있다.
컴퓨팅 장치(100)는 S130 단계를 통해 생성된 제 2 마스크 맵의 각 픽셀을 임계치와 비교하여 제 2 마스크 맵을 이진화 할 수 있다(S140). 제 2 마스크 맵을 이진화 하는 것은 제 2 영상 프레임의 객체 검출을 위한 제 2 마스크 맵에서 객체 특성을 강조하여 객체 검출의 정확도를 높이는 작업으로 이해될 수 있다. 따라서, 임계치는 객체 특성을 나타내는 픽셀 값을 기준으로 사전 설정된 값일 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제 2 마스크 맵의 각 픽셀 값이 임계치 이상인지 이하인지 여부를 판단할 수 있다. 특정 픽셀의 값이 임계치 이상인 것으로 판단된 경우, 컴퓨팅 장치(100)는 해당 픽셀이 객체 특성을 나타내는 픽셀인 것으로 결정하고 픽셀 값을 1로 수정할 수 있다. 특정 픽셀의 값이 임계치 이하인 것으로 판단된 경우, 컴퓨팅 장치(100)는 해당 픽셀이 객체 특성을 나타내지 않는 픽셀인 것으로 결정하고 픽셀 값을 0으로 수정할 수 있다. 이러한 연산 과정을 통해, 컴퓨팅 장치(100)는 제 2 마스크 맵에서 객체가 존재하는 영역의 픽셀 값을 1, 나머지 영역을 0으로 통일시킴으로써, 객체 검출의 정확도를 높일 수 있다.
한편, S110 단계 및 S140 단계는 마스크 맵을 활용한 객체 검출 방법에서 보조적으로 수행될 수 있는 대안적 단계일 수 있다. 따라서, S120 단계는 S110 단계가 선행되지 않더라도 수행될 수 있고, 필요에 따라 S140 단계는 수행되지 않을 수도 있다.
도 5는 본 개시의 일 실시예에 따른 초음파 영상에 기반한 마스크 맵 생성 과정을 나타낸 순서도이다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)가 획득한 초음파 영상 시퀀스 X와 그 중 하나의 영상 Xn과 영상 Xn의 객체 마스크 맵 Mn이 있다고 가정한다. 이때, 시퀀스에 포함된 초음파 영상 중 영상 Xn의 다음 프레임을 나타내는 영상 Xn+1의 객체 마스크 맵 Mn+1을 구하기 위한 연산 과정은 다음과 같이 수행될 수 있다.
도 5를 참조하면, 컴퓨팅 장치(100)는 영상 Xn과 영상 Xn+1을 각각 자기 지도 학습 기반의 신경망 모델에 입력하여 차원을 확장할 수 있다(S210). 예를 들어, 컴퓨팅 장치(100)는 자기 지도 학습 기반의 신경망 모델을 통해 영상 Xn의 각 픽셀에 글로벌 정보와 로컬 정보를 임베딩 시킬 수 있다. 컴퓨팅 장치(100)는 임베딩을 통해 영상 Xn과 같은 너비와 높이를 갖되 임베딩 된 특징 만큼 차원이 확장된 영상 X'n을 생성할 수 있다. 컴퓨팅 장치(100)는 자기 지도 학습 기반의 신경망 모델을 통해 영상 Xn+1의 각 픽셀에 글로벌 정보와 로컬 정보를 임베딩 시킬 수 있다. 컴퓨팅 장치(100)는 임베딩을 통해 영상 Xn+1과 같은 너비와 높이를 갖되 임베딩 된 특징 만큼 차원이 확장된 영상 X'n+1을 생성할 수 있다. 컴퓨팅 장치(100)는 후술할 영상 정합 과정에서 영상 Xn과 영상 Xn+1 대신 영상 X'n과 영상 X'n+1을 사용함으로써, 영상 정합 과정의 정확도를 높일 수 있다.
컴퓨팅 장치(100)는 영상 X'n과 영상 X'n+1을 영상 정합을 위한 신경망 모델에 입력하여 패치 단위의 제 1 영상 정합을 수행할 수 있다(S220). 예를 들어, 컴퓨팅 장치(100)는 영상 X'n과 영상 X'n+1을 영상 정합을 위한 신경망 모델에 입력하여, 영상 X'n을 영상 X'n+1에 패치 레벨로 매칭시키기 위한 변위 벡터 V를 생성할 수 있다. 이때, 신경망 모델은 영상 X'n의 패치를 변위 벡터 V를 이용하여 기하학적으로 변환하고 보간을 수행한 결과를 통해 생성된 영상 Yn이 영상 X'n+1과 같아지도록 사전 학습될 수 있다. 이러한 신경망 모델의 학습 과정은 다음과 같은 [수학식 1]로 표현될 수 있다.
[수학식 1]
T=FΘ(X'n,X'n+1), Yn=T(X'n)
이때, T는 변위 벡터 V를 이용하여 변환 및 보간을 수행하는 연산 과정을 나타낸다. 그리고, F는 신경망 모델, Θ는 신경망의 파라미터를 나타낸다. 만약 S210 단계가 수행되지 않는 경우, 영상 정합을 위한 신경망 모델의 입력은 영상 X'n과 영상 X'n+1 대신 영상 Xn과 영상 Xn+1일 수 있다.
컴퓨팅 장치(100)는 S220 단계를 통해 생성된 영상 Y'n과 영상 X'n+1을 영상 정합을 위한 신경망 모델에 입력하여 픽셀 단위의 제 2 영상 정합을 수행할 수 있다(S230). 예를 들어, 컴퓨팅 장치(100)는 영상 Y'n과 영상 X'n+1을 영상 정합을 위한 신경망 모델에 입력하여, 영상 Y'n을 영상 X'n+1에 픽셀 레벨로 매칭시키기 위한 변위 벡터 V'을 생성할 수 있다. 컴퓨팅 장치(100)는 제 2 영상 정합을 통해 생성된 변위 벡터 V'을 이용하여 영상 Xn의 객체 마스크 맵 Mn으로부터 영상 Xn+1의 객체 마스크 맵 Mn+1을 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 변위 벡터 V'을 통해 객체 마스크 맵 M n을 기하학적으로 변환하고 보간을 수행함으로써, 객체 마스크 맵 Mn+1을 생성할 수 있다. 컴퓨팅 장치(100)는 이와 같이 생성된 객체 마스크 맵 Mn+1을 이용하여 초음파 영상의 오토 라벨링 혹은 초음파 영상의 실시간 후처리와 같은 작업을 효과적으로 수행할 수 있다.
앞서 설명된 본 개시의 다양한 실시예는 추가 실시예와 결합될 수 있고, 상술한 상세한 설명에 비추어 당업자가 이해 가능한 범주에서 변경될 수 있다. 본 개시의 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해되어야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 따라서, 본 개시의 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
Claims (11)
- 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 의료 영상 기반의 객체 추적 방법으로서,
제 2 신경망 모델을 사용하여, 의료 영상에 포함된 제 1 영상 프레임(frame) 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임 각각의 차원을 확장시키는 단계;
제 1 신경망 모델을 사용하여, 상기 차원이 확장된 제 1 영상 프레임과 상기 차원이 확장된 제 2 영상 프레임을 정합하는 단계; 및
상기 정합 결과 및 상기 차원이 확장된 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵(mask map)을 기초로, 상기 차원이 확장된 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성하는 단계;
를 포함하고,
상기 제 1 영상 프레임 및 상기 제 2 영상 프레임 각각의 차원을 확장시키는 단계는,
상기 제 2 신경망 모델을 사용하여, 상기 제 1 영상 프레임의 각 픽셀에 글로벌(global) 특징과 로컬(local) 특징을 임베딩(embedding) 함으로써, 차원이 확장된 제 1 영상 프레임을 생성하는 단계; 및
상기 제 2 신경망 모델을 사용하여, 상기 제 2 영상 프레임의 각 픽셀에 글로벌 특징과 로컬 특징을 임베딩 함으로써, 차원이 확장된 제 2 영상 프레임을 생성하는 단계;
를 포함하는,
방법.
- 제 1 항에 있어서,
상기 차원이 확장된 제 1 영상 프레임과 상기 차원이 확장된 제 2 영상 프레임을 정합하는 단계는,
상기 제 1 신경망 모델에 상기 차원이 확장된 제 1 영상 프레임 및 상기 차원이 확장된 제 2 영상 프레임을 입력하여, 상기 차원이 확장된 제 1 영상 프레임을 상기 차원이 확장된 제 2 영상 프레임에 매칭시키기 위한 변위 벡터를 생성하는 단계;
를 포함하는,
방법.
- 제 2 항에 있어서,
상기 제 2 마스크 맵을 생성하는 단계는,
상기 변위 벡터를 이용하여, 상기 제 1 마스크 맵에 대한 기하학적 변환(transformation)을 수행하는 단계; 및
상기 변위 벡터를 이용하여, 상기 기하학적 변환이 수행된 제 1 마스크 맵에 보간(interpolation)을 수행함으로써, 상기 제 2 마스크 맵을 생성하는 단계;
를 포함하는,
방법.
- 제 1 항에 있어서,
상기 제 1 신경망 모델은,
상기 제 1 신경망 모델의 출력으로 생성되는 변위 벡터를 이용하여 상기 제 1 영상 프레임에 대한 기하학적 변환 및 보간을 수행한 결과가 상기 제 2 영상 프레임과 일치하도록 사전 학습된,
방법.
- 제 1 항에 있어서,
상기 차원이 확장된 제 1 영상 프레임과 상기 차원이 확장된 제 2 영상 프레임을 정합하는 단계는,
상기 제 1 신경망 모델에 상기 차원이 확장된 제 1 영상 프레임 및 상기 차원이 확장된 제 2 영상 프레임을 입력하여, 픽셀들의 집합인 패치(patch) 단위의 제 1 정합을 수행하는 단계; 및
상기 제 1 신경망 모델에 상기 차원이 확장된 제 1 정합을 통해 생성된 제 3 영상 프레임 및 상기 차원이 확장된 제 2 영상 프레임을 입력하여, 픽셀 단위의 제 2 정합을 수행하는 단계;
를 포함하는,
방법.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 글로벌 특징은,
영상 프레임에 객체가 존재하는지 여부에 대한 정보를 포함하고,
상기 로컬 특징은,
상기 영상 프레임의 특정 픽셀을 인접 픽셀과 조합할 때 나타나는 구조적 패턴에 대한 정보를 포함하는,
방법.
- 제 1 항에 있어서,
상기 제 2 마스크 맵의 각 픽셀을 임계치와 비교하여, 상기 제 2 마스크 맵을 이진화 하는 단계;
를 더 포함하는,
방법.
- 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 의료 영상을 기반으로 객체를 추적하기 위한 동작들을 수행하도록 하며,
상기 동작들은,
제 2 신경망 모델을 사용하여, 의료 영상에 포함된 제 1 영상 프레임(frame) 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임 각각의 차원을 확장시키는 동작;
제 1 신경망 모델을 사용하여, 상기 차원이 확장된 제 1 영상 프레임과 상기 차원이 확장된 제 2 영상 프레임을 정합하는 동작; 및
상기 정합 결과 및 상기 차원이 확장된 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵(mask map)을 기초로, 상기 차원이 확장된 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성하는 동작;
을 포함하고,
상기 제 1 영상 프레임 및 상기 제 2 영상 프레임 각각의 차원을 확장시키는 동작은,
상기 제 2 신경망 모델을 사용하여, 상기 제 1 영상 프레임의 각 픽셀에 글로벌(global) 특징과 로컬(local) 특징을 임베딩(embedding) 함으로써, 차원이 확장된 제 1 영상 프레임을 생성하는 동작; 및
상기 제 2 신경망 모델을 사용하여, 상기 제 2 영상 프레임의 각 픽셀에 글로벌 특징과 로컬 특징을 임베딩 함으로써, 차원이 확장된 제 2 영상 프레임을 생성하는 동작;
을 포함하는,
컴퓨터 프로그램.
- 의료 영상을 기반으로 객체를 추적하기 위한 컴퓨팅 장치로서,
적어도 하나의 코어(core)를 포함하는 프로세서;
상기 프로세서에서 실행 가능한 프로그램 코드(code)들을 포함하는 메모리(memory); 및
의료 영상을 획득하기 위한 네트워크부(network unit);
를 포함하고,
상기 프로세서는,
제 2 신경망 모델을 사용하여, 의료 영상에 포함된 제 1 영상 프레임(frame) 및 상기 제 1 영상 프레임과 상이한 제 2 영상 프레임 각각의 차원을 확장시키기 위해, 상기 제 2 신경망 모델을 사용하여, 상기 제 1 영상 프레임의 각 픽셀에 글로벌(global) 특징과 로컬(local) 특징을 임베딩(embedding) 함으로써, 차원이 확장된 제 1 영상 프레임을 생성하고, 상기 제 2 신경망 모델을 사용하여, 상기 제 2 영상 프레임의 각 픽셀에 글로벌 특징과 로컬 특징을 임베딩 함으로써, 차원이 확장된 제 2 영상 프레임을 생성하며,
제 1 신경망 모델을 사용하여, 상기 차원이 확장된 제 1 영상 프레임과 상기 차원이 확장된 제 2 영상 프레임을 정합하고,
상기 정합 결과 및 상기 차원이 확장된 제 1 영상 프레임에 존재하는 객체에 대한 제 1 마스크 맵(mask map)을 기초로, 상기 차원이 확장된 제 2 영상 프레임에 존재하는 객체에 대한 제 2 마스크 맵을 생성하는,
장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220112649A KR102613718B1 (ko) | 2022-09-06 | 2022-09-06 | 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220112649A KR102613718B1 (ko) | 2022-09-06 | 2022-09-06 | 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102613718B1 true KR102613718B1 (ko) | 2023-12-14 |
Family
ID=89166945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220112649A KR102613718B1 (ko) | 2022-09-06 | 2022-09-06 | 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102613718B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160118037A (ko) | 2015-04-01 | 2016-10-11 | 고려대학교 산학협력단 | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 |
| KR20210020618A (ko) * | 2019-08-16 | 2021-02-24 | 서울여자대학교 산학협력단 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 |
-
2022
- 2022-09-06 KR KR1020220112649A patent/KR102613718B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160118037A (ko) | 2015-04-01 | 2016-10-11 | 고려대학교 산학협력단 | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 |
| KR20210020618A (ko) * | 2019-08-16 | 2021-02-24 | 서울여자대학교 산학협력단 | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 |
Non-Patent Citations (3)
| Title |
|---|
| Fausto Milletari 외, V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation, arXiv, 2016.06.15., pp.1-11.* * |
| Wenbin Ge 외, Video Object Segmentation Using Global and Instance Embedding Learning, 2021CPVR, 2021.06.25., pp.16836-16845.* * |
| Yifan Wang 외, Temporal consistent portrait video segmentation, Pattern Recognition, 2021.06.30., Vol.120, No.108143, pp.1-10.* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11379975B2 (en) | Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| CN109690554B (zh) | 用于基于人工智能的医学图像分割的方法和系统 | |
| Saad et al. | Image segmentation for lung region in chest X-ray images using edge detection and morphology | |
| CN111902825A (zh) | 多边形对象标注系统和方法以及训练对象标注系统的方法 | |
| CN113516659A (zh) | 一种基于深度学习的医学影像自动分割方法 | |
| Meng et al. | Regression of instance boundary by aggregated CNN and GCN | |
| Masood et al. | Brain tumor localization and segmentation using mask RCNN. | |
| US10762629B1 (en) | Segmenting medical images | |
| CN113362272A (zh) | 具有不确定性估计的医学图像分割 | |
| KR102606734B1 (ko) | 생체 검출 방법 및 장치 | |
| CN110570394B (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN113658165B (zh) | 杯盘比确定方法、装置、设备及存储介质 | |
| CN109410189B (zh) | 图像分割方法以及图像的相似度计算方法、装置 | |
| WO2023047118A1 (en) | A computer-implemented method of enhancing object detection in a digital image of known underlying structure, and corresponding module, data processing apparatus and computer program | |
| CN113782181A (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
| Liu et al. | A parallelized 4D reconstruction algorithm for vascular structures and motions based on energy optimization | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| Chatterjee et al. | A survey on techniques used in medical imaging processing | |
| CN113724185A (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| KR102613718B1 (ko) | 의료 영상 기반의 객체 추적 방법, 프로그램 및 장치 | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
| Xie et al. | Detect, Grow, Seg: A weakly supervision method for medical image segmentation based on bounding box | |
| Michel et al. | Image transport regression using mixture of experts and discrete Markov random fields | |
| JP2022546303A (ja) | 管状フィーチャのセグメント化 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |