KR102588307B1 - 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법 - Google Patents
임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법 Download PDFInfo
- Publication number
- KR102588307B1 KR102588307B1 KR1020230083668A KR20230083668A KR102588307B1 KR 102588307 B1 KR102588307 B1 KR 102588307B1 KR 1020230083668 A KR1020230083668 A KR 1020230083668A KR 20230083668 A KR20230083668 A KR 20230083668A KR 102588307 B1 KR102588307 B1 KR 102588307B1
- Authority
- KR
- South Korea
- Prior art keywords
- brain
- image
- aligned
- unit
- rigid
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 71
- 238000013473 artificial intelligence Methods 0.000 title description 14
- 230000009466 transformation Effects 0.000 claims abstract description 84
- 210000004556 brain Anatomy 0.000 claims description 302
- 210000004204 blood vessel Anatomy 0.000 claims description 76
- 210000000988 bone and bone Anatomy 0.000 claims description 44
- 230000011218 segmentation Effects 0.000 claims description 39
- 230000011731 head segmentation Effects 0.000 claims description 31
- 210000003484 anatomy Anatomy 0.000 claims description 28
- 210000003625 skull Anatomy 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000012805 post-processing Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000002490 cerebral effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 27
- 238000010968 computed tomography angiography Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 230000002792 vascular Effects 0.000 description 9
- 206010002329 Aneurysm Diseases 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000010521 absorption reaction Methods 0.000 description 5
- 210000001367 artery Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013215 result calculation Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G06T3/0075—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명에 따르면, 각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용할 수 있으며, 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용하고, 각 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역 변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 시각화 할 수 있다.
Description
본 발명은 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법에 관한 것이다. 더욱 상세하게는, 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환해 줄 수 있는 process를 적용하여, 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 장치 및 방법에 관한 것이다.
컴퓨터단층촬영은 이러한 X선으로 인체의 한 단면 주위를 가느다란 X선을 통해 투사하고, 이 X선이 인체를 통과하면서 감소되는 양을 측정하여 이미지로 만든 것이다.
신장과 같은 장기들의 밀도에는 약간씩의 차이가 있기에 X선이 투사된 방향에 따라 흡수되는 정도가 다르게 나타나기 때문에 이 검사를 통해 인체 장기들을 이미지로 볼 수 있다.
컴퓨터단층촬영에도 종류가 많은데, 일반적인 단층촬영인 싱글슬라이스 CT(single slice CT), 헬리컬 CT(Helical CT), 다중슬라이스 CT(Multi-slice CT, MSCT)가 있다. 이는, 한 번의 회전에 하나의 사진을 촬영할 수 있는 컴퓨터단층촬영방식이 싱글슬라이스 CT이다.
헬리컬 CT의 경우, 인체의 주위에서 X선을 나선꼴로 선회시키며 촬영하는 것이고, 기존의 싱글 슬라이스 CT에서는 두 층의 틈새를 찍을 수 없지만, 헬리컬 CT에서는 틈이 없이 촬영되기 때문에 보다 세밀한 영상을 얻을 수 있고, 전신사진을 빠르게 획득할 수 있다는 것이 장점이다.
다중슬라이스 CT의 경우, 빠르게 원추형으로 X선 투영을 실시하고, 한 번의 회전으로 64개의 개별이미지를 촬영할 수 있다.
전자 빔 단층촬영(Electron beam tomography, EBT)은 X선 튜브의 음극과 양극 사이를 이동하는 전자의 경로에 편향 코일을 사용하여 회전하도록 충분한 크기의 X선 튜브를 구성하는 CT의 특정한 형태이다.
컴퓨터단층촬영은, X선 튜브와 탐지기가 서로 연결되어 있으면서 같이 좌우로 이동하고 각도를 움직이며 돌게 되며, X선은 직선으로 방출되고, 공중으로 방출된 레이더용 전자파를 통해 방출된 X선을 원뿔 모양으로 모으게 된다.
이렇게 획득한 데이터를 일련의 단면 영상을 생성하는 단층 재구성 방식을 이용해 데이터를 처리하고, 이 영상의 픽셀(매트릭스의 크기와 시야를 기준으로 한 2차원 단위)은 상대적 광도단위로 표시된다.
일반적으로 딥러닝 모델에서 안정적인 성능을 도출하기 위해서는 학습 데이터 분포와 테스트 데이터 분포 간의 괴리를 최소화하는 것을 목표로 한다.
이를 위해 학습 단계에서는 train 데이터의 다양성을 증강하여 학습하고 test 단계에서는 표준화 및 일반화된 데이터를 추론하게 된다.
CT Image는 촬영자, 제조사, 상황, 담당 부서에 따라 촬영된 Protocol이 크게 달라진다.
같은 환자임에도 Protocol이 다른 경우 촬영된 3차원 영상의 기하학적 패턴이 달라지므로 2D Axial, Coronal, Sagittal 단면에서 보여지는 영상이 다르게 보일 수 있다.
매번 다른 Protocol으로 촬영된 영상은 사람/딥러닝 모델로부터 진단 정확도를 저감하는 요인이 될 수 있다.
즉, 의료 데이터 중 CT Angiography를 촬영하는 일련의 과정은 각 병원의 vendor와 촬영자의 습관에 의해 촬영 각도, 촬영 영역, patient orientation, slice thickness, slice interval 등의 protocol은 상황마다 다르기 때문에 데이터는 기하학적으로 다양한 variance를 가지는 문제점이 있다.
대표적인 예를 들어, HU(Hounsfield Unit) 값이 일정하지 않을 수 있다.
픽셀의 값은 작게는 -1024, 크게는 3071의 값을 가지게 되고, 이를 CT 숫자라고 말하며, CT 숫자는 물질의 선흡수계수, 확대상수, 물의 선흡수계수로 구성된 하나의 식으로, 이 숫자는 고정된 값으로, 뼈는 1000 이상의 값을 가지고, 물은 0, 공기는 -1000의 값을 가지는 등 물질에 따라 어느 값의 CT 숫자를 가지는지 표로 정리되어 있다. 이 숫자는 CT를 상용화한 하운스필드의 이름을 따, HU(Hounsfield Unit)라는 단위를 사용한다.
CT 숫자는 물질의 선흡수계수에서 물의 선흡수계수를 뺀 후, 확대상수를 곱하고 물의 선흡수계수를 나누어 계산할 수 있다. Hounsfield unit (HU) 은 CT 영상을 표현하는 표준화된 형태의 값으로, 표준 온도와 압력에서 물은 0 HU, 공기는 -1000 HU로 정의된 값이다.
그러나 실제 임상에서 촬영된 영상들을 비교해보면, 촬영 장비, 모델, 기온, 압력, 기관별로 설정된 촬영 프로토콜 (주사 에너지 및 방사량 등) 등의 다양한 요소들로 인해 검체의 HU 값이 일정하지 않다는 문제점이 존재한다.
또한, 방사선 피폭(Radiation Exposure) 등을 고려하여 Low-dose CT image를 환자에 적용하는 경우, 촬영 프로토콜에서 설정한 방사선 주사량이 낮게 되고, 이에 따라 CT 영상에 노이즈가 많이 합성되는 문제점 등이 존재한다.
따라서 임의의 RAW CT image가 입력되었을 때 일관된 방향과 크기로 변환해 줄 수 있는 process를 적용함으로써, 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 장치 및 방법에 기술 개발 요구가 대두되고 있다.
본 발명의 목적은 미가공 CT 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법을 사용자에 제공하는 것이다.
구체적으로 본 발명은 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환해 줄 수 있는 process를 적용하여, 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 인공지능 기반 장치 및 방법을 사용자에 제공하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 정보제공방법은, 헤드 분할부가 CT 이미지를 수신하는 제 1 단계; 상기 헤드 분할부가 상기 CT 이미지를 두개골과 뇌를 분리해 줄 수 있는 헤드 분할 네트워크 (Head Segmentation Network)를 통과시켜 상기 두개골의 본 마스크 (Bone Mask), 상기 뇌의 브레인 마스크 (Brain Mask) 및 상기 뇌와 관련된 혈관 마스크 (Vessel Mask)를 예측하는 제 2 단계; 상기 헤드 분할부가 상기 예측된 브레인 마스크와 혈관 마스크를 조합하여, 상기 CT 이미지로부터 상기 뇌 영역만을 포함하는 브레인 이미지를 추출하는 제 3 단계; 강체 정합부가, 복수의 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용하기 위해 특정 표본들의 특성을 융합하여 표준화된 템플릿 (Template) 데이터를 아틀라스부로부터 수신하고, 상기 헤드 분할부로부터 브레인 이미지를 수신하는 제 4 단계; 상기 강체 정합부가 상기 템플릿 데이터와 상기 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득하는 제 5 단계; 상기 강체 정합부가 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 상기 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지를 획득하는 제 6 단계; 비강체 정합부가, 상기 템플릿 데이터의 3차원 볼륨 (Volume)과 상기 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출하는 제 7 단계; 상기 비강체 정합부가 상기 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 상기 제 6 단계보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지를 획득하는 제 8 단계; 신경혈관 분할부가 상기 제 2 정렬 브레인 이미지를 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network)에 통과시켜 상기 제 2 정렬 브레인 이미지로부터 뇌 혈관 지도를 추출하는 제 9 단계; 및 판단부가 상기 뇌 혈관 지도를 기초로 상기 뇌와 관련된 정보를 제공하는 제 10 단계;를 포함할 수 있다.
또한, 상기 제 2 단계는, 상기 CT 이미지에 대해 리사이징 (Resizing) 작업, HU 윈도윙 (Windowing) 작업 및 노말라이징 (Normalizing) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행하는 제 2-1 단계; 상기 전 처리된 CT 이미지가 상기 헤드 분할 네트워크를 통과하는 제 2-2 단계; 상기 헤드 분할 네트워크를 통과한 상기 CT 이미지에 대해 브레인 VOI 크랍 (Brain VOI Crop) 작업 및 특이치 클러스터 (Outlier Cluster) 제거 작업 중 적어도 하나인 후 처리 (Post-processing)를 수행하는 제 2-3 단계; 및 상기 후 처리된 CT 이미지를 기반으로 상기 본 마스크 (Bone Mask), 브레인 마스크 (Brain Mask) 및 혈관 마스크 (Vessel Mask)를 예측하는 제 2-4 단계;를 포함할 수 있다.
또한, 상기 제 2-1 단계에서, 상기 리사이징 (Resizing) 작업은 상기 헤드 분할 네트워크가 요구하는 크기로 영상을 축소 및/또는 확대하는 작업이고, 상기 HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이며, 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, 결정된 레벨 간격으로 HU Level을 [0, 1] 간격으로 맵핑 (mapping) 하는 작업이고, 상기 제 2-3 단계에서, 상기 브레인 VOI 크랍 (Brain VOI Crop) 작업은 상기 브레인에 대한 관심 볼륨 (Volume of Interest) 영역 이외의 영역을 제거한 후 크기를 재조정하는 작업이고, 상기 특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업일 수 있다.
또한, 상기 아틀라스부의 표준화된 템플릿 (Template) 데이터는, 해부학적인 패턴 또는 특성이 보존되도록 상기 특정 표본 데이터를 중앙으로 정렬하여 미리 지정된 수준에 따라 비강체 정합 후 합성해 구성함으로써 생성될 수 있다.
또한, 강체 정합 (Rigid Registration)을 통해 얻은 변환 매개 변수 (Transformation Parameter) 를 바탕으로 한 정합 워핑 (Rigid Warping)은, 이동 (Translation), 회전 (rotation,) 및 스케일 (scale) 변환을 포함하는 선형 변환을 적용하여 상기 브레인 이미지가 찌그러짐 없이 원래 비율이 유지된 채 변형되도록 할 수 있다.
또한, 상기 변형 필드 (Deformation Field)를 바탕으로 한 비정합 워핑 (Non-Rigid Warping)은, 상기 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하여 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 1차 정렬된 브레인 이미지에 세부적인 2차 정렬을 수행하여 상기 실제 뇌에 더 일치하는 형태가 되도록 정렬을 수행할 수 있다.
또한, 상기 제 6 단계에서 상기 본 마스크, 브레인 마스크 및 혈관 마스크에 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 상기 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크가 획득되고, 상기 제 8 단계에서 상기 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크에 상기 변형 필드 (Deformation Field)를 바탕으로 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 적용하여, 제 2 정렬 본 마스크, 브레인 마스크 및 혈관 마스크가 획득되며, 상기 제 10 단계에서 상기 판단부는 상기 뇌 혈관 지도를 기초로 제 2 정렬 본 마스크, 브레인 마스크 및 혈관 마스크 중 적어도 하나를 더 이용하여 상기 정보를 제공할 수 있다.
또한, 상기 제 10 단계 이후, 상기 제 2 정렬 브레인 이미지, 제 2 정렬 본 마스크, 브레인 마스크 및 혈관 마스크는 상기 변형 필드 (Deformation Field)를 역변환 적용하여 미가공 CT 이미지 원본의 공간으로 상기 제 1 정렬 브레인 이미지, 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크로 복원/역변환하는 것이 가능하고, 상기 제 1 정렬 브레인 이미지, 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크는 상기 변환 매개변수 (Transformation Parameter)를 역변환 적용하여 미가공 CT 이미지 원본의 공간으로 상기 브레인 이미지, 상기 본 마스크, 브레인 마스크 및 혈관 마스크를 복원/역변환하는 것이 가능할 수 있다.
또한, 상기 제 9 단계는, 상기 제 2 정렬 브레인 이미지에 대해 HU 윈도윙 (Windowing) 작업, 노말라이징 (Normalizing) 작업 및 패치 샘플링 (Patch Sampling) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행하는 제 9-1 단계; 상기 전 처리된 제 2 정렬 브레인 이미지가 상기 신경혈관 해부학적 분할 네트워크를 통과하는 제 9-2 단계; 상기 신경혈관 해부학적 분할 네트워크를 통과한 상기 제 2 정렬 브레인 이미지에 대해 특이치 클러스터 (Outlier Cluster)를 제거하는 후 처리 (Post-processing)를 수행하는 제 9-3 단계; 및 상기 후 처리된 제 2 정렬 브레인 이미지를 기반으로 상기 뇌 혈관 지도를 추출하는 제 9-4 단계;를 포함할 수 있다.
또한, 상기 제 9-1 단계에서, 상기 HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이며, 상기 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, 결정된 레벨 간격으로 HU Level을 [0, 1] 간격으로 맵핑 (mapping)하는 작업이며, 상기 패치 샘플링 (Patch Sampling) 작업은 GPU 메모리 (Memory) 활용을 위해 상기 3차원 볼륨 (Volume)의 서브 볼륨 (sub-volume)을 패치 (patch)로 구성하여 인풋 데이터 (input data)를 생성하는 작업이고, 상기 제 9-3 단계에서, 상기 특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업일 수 있다.
또한, 상기 제 9 단계에서 상기 뇌 혈관 지도는 동맥의 해부학적 구조를 구분하여 추출되고, 상기 제 10 단계에서 상기 정보는 혈관 구조에 따른 적응증을 구분하는 데이터를 포함할 수 있다.
또한, 상기 혈관 구조에 따른 적응증은 대혈관 폐색 (Large Vessel Occlusion, LVO) 및 동맥류 (Aneurysm)를 포함하고, 상기 제 10 단계에서 상기 정보는, 상기 적응증이 탐지 및/또는 예측된 상기 뇌 혈관 지도 상의 위치 정보 및 거짓양성 (False-Positive)과 관련된 정보를 포함할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 장치는, CT 이미지를 수신하고, 상기 CT 이미지를 두개골과 뇌를 분리해 줄 수 있는 헤드 분할 네트워크 (Head Segmentation Network)를 통과시켜 상기 두개골의 본 마스크 (Bone Mask), 상기 뇌의 브레인 마스크 (Brain Mask) 및 상기 뇌와 관련된 혈관 마스크 (Vessel Mask)를 예측하며, 상기 예측된 브레인 마스크와 혈관 마스크를 조합하여, 상기 CT 이미지로부터 상기 뇌 영역만을 포함하는 브레인 이미지를 추출하는 헤드 분할부; 복수의 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용하기 위해 특정 표본들의 특성을 융합하여 표준화된 템플릿 (Template) 데이터를 아틀라스부로부터 수신하고, 상기 헤드 분할부로부터 브레인 이미지를 수신하며, 상기 템플릿 데이터와 상기 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득하고, 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 상기 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지를 획득하는 강체 정합부; 상기 템플릿 데이터의 3차원 볼륨 (Volume)과 상기 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출하고, 상기 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 상기 강체 정합부의 결과물보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지를 획득하는 비강체 정합부; 상기 제 2 정렬 브레인 이미지를 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network)에 통과시켜 상기 제 2 정렬 브레인 이미지로부터 뇌 혈관 지도를 추출하는 신경혈관 분할부; 및 상기 뇌 혈관 지도를 기초로 상기 뇌와 관련된 정보를 제공하는 판단부;를 포함할 수 있다.
또한, 상기 헤드 분할부는, 상기 CT 이미지에 대해 리사이징 (Resizing) 작업, HU 윈도윙 (Windowing) 작업 및 노말라이징 (Normalizing) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행하고, 상기 전 처리된 CT 이미지가 상기 헤드 분할 네트워크를 통과하도록 하며, 상기 헤드 분할 네트워크를 통과한 상기 CT 이미지에 대해 브레인 VOI 크랍 (Brain VOI Crop) 작업 및 특이치 클러스터 (Outlier Cluster) 제거 작업 중 적어도 하나인 후 처리 (Post-processing)를 수행하고, 상기 후 처리된 CT 이미지를 기반으로 상기 본 마스크 (Bone Mask), 브레인 마스크 (Brain Mask) 및 혈관 마스크 (Vessel Mask)를 예측하며, 상기 리사이징 (Resizing) 작업은 상기 헤드 분할 네트워크가 요구하는 크기로 영상을 축소 및/또는 확대하는 작업이고, 상기 HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이며, 상기 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, HU Level을 결정된 [0, 1] 간격으로 맵핑 (mapping)하는 작업이고, 상기 브레인 VOI 크랍 (Brain VOI Crop) 작업은 상기 브레인에 대한 관심 볼륨 (Volume of Interest) 영역 이외의 영역을 제거한 후 크기를 재조정하는 작업이고, 상기 특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업일 수 있다.
또한, 상기 아틀라스부의 표준화된 템플릿 (Template) 데이터는, 해부학적인 패턴 또는 특성이 보존되도록 상기 특정 표본 데이터를 중앙으로 정렬하여 미리 지정된 수준에 따라 비강체 정합 후 합성해 구성함으로써 생성되고, 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 한 정합 워핑 (Rigid Warping)은, 이동 (Translation), 회전 (rotation,) 및 스케일 (scale) 변환을 포함하는 선형 변환을 적용하여 상기 브레인 이미지가 찌그러짐 없이 원래 비율이 유지된 채 변형되도록 하며, 상기 변형 필드 (Deformation Field)를 바탕으로 한 비정합 워핑 (Non-Rigid Warping)은, 상기 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하여 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 1차 정렬된 브레인 이미지에 세부적인 2차 정렬을 수행하여 상기 실제 뇌에 더 일치하는 형태가 되도록 정렬을 수행할 수 있다.
또한, 상기 본 마스크, 브레인 마스크 및 혈관 마스크도 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 상기 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크가 획득되고, 상기 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크도 상기 변형 필드 (Deformation Field)를 바탕으로 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 적용하여, 제 2 정렬 본 마스크, 브레인 마스크 및 혈관 마스크가 획득되며, 상기 판단부는 상기 뇌 혈관 지도를 기초로 제 2 정렬 본 마스크, 브레인 마스크 및 혈관 마스크 중 적어도 하나를 더 이용하여 상기 정보를 제공하고, 상기 제 2 정렬 브레인 이미지, 제 2 정렬 본 마스크, 브레인 마스크 및 혈관 마스크는 상기 변형 필드 (Deformation Field)를 역변환 적용하여 상기 제 1 정렬 브레인 이미지, 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크를 추출하는 것이 가능하고, 상기 제 1 정렬 브레인 이미지, 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크는 상기 변환 매개변수 (Transformation Parameter)를 역변환 적용하여 미가공 CT 이미지 원본의 공간으로 상기 브레인 이미지, 상기 본 마스크, 브레인 마스크 및 혈관 마스크를 추출할 수 있다.
또한, 상기 신경혈관 분할부는, 상기 제 2 정렬 브레인 이미지에 대해 HU 윈도윙 (Windowing) 작업, 노말라이징 (Normalizing) 작업 및 패치 샘플링 (Patch Sampling) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행하고, 상기 전 처리된 제 2 정렬 브레인 이미지가 상기 신경혈관 해부학적 분할 네트워크를 통과시키며, 상기 신경혈관 해부학적 분할 네트워크를 통과한 상기 제 2 정렬 브레인 이미지에 대해 특이치 클러스터 (Outlier Cluster)를 제거하는 후 처리 (Post-processing)를 수행하고, 상기 후 처리된 제 2 정렬 브레인 이미지를 기반으로 상기 뇌 혈관 지도를 추출하며, 상기 HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이고, 상기 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, HU Level을 결정된 [0, 1] 간격으로 맵핑 (mapping) 하는 작업이며, 상기 패치 샘플링 (Patch Sampling) 작업은 GPU 메모리 (Memory) 활용을 위해 상기 3차원 볼륨 (Volume)의 서브 볼륨 (sub-volume)을 패치 (patch)로 구성하여 인풋 데이터 (input data)를 생성하는 작업이고, 상기 특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업일 수 있다.
물론 모든 작업은 GPU /CPU에서 모두 작업이 가능하고, GPU를 활용하면 CPU보다 통상 10~ 100배 빠른 속도를 얻을 수 있다.
다만, 3D Volume을 전부 GPU 메모리에 할당하기에는 어렵기 때문에 본 발명에서는 sub-volume으로 나누어 input data를 생성하는 것이다. 한편, 장착된 GPU 성능에 따라 전체 volume을 사용할 수도 있다.
또한, 상기 뇌 혈관 지도는 동맥의 해부학적 구조를 구분하여 추출되고, 상기 정보는 혈관 구조에 따른 적응증을 구분하는 데이터를 포함하며, 상기 혈관 구조에 따른 적응증은 대혈관 폐색 (Large Vessel Occlusion, LVO) 및 동맥류 (Aneurysm)를 포함하고, 상기 판단부가 제공하는 상기 정보는, 상기 적응증이 탐지 및/또는 예측된 상기 뇌 혈관 지도 상의 위치 정보 및 거짓양성 (False-Positive)과 관련된 정보를 포함할 수 있다.
본 발명에 따르면, 미가공 CT 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법을 사용자에 제공할 수 있다.
본 발명은 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환해 줄 수 있는 process를 적용하여, 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 인공지능 기반 장치 및 방법을 사용자에 제공할 수 있다.
본 발명은 의료 데이터 중 CT Angiography를 촬영하는 일련의 과정은 각 병원의 vendor와 촬영자의 습관에 의해 촬영 각도, 촬영 영역, patient orientation, slice thickness, slice interval 등의 protocol은 상황마다 다르기 때문에 데이터는 기하학적으로 다양한 variance를 가지는 문제점을 해소할 수 있다.
일반적으로 각 데이터의 Axial 축의 슬라이스를 확인해 볼 경우 각 슬라이스에서 나타나는 해부학적인 패턴과 양상이 매번 다르게 나타나고, 의료데이터를 분석하는 과정에서 다양한 촬영 protocol에 따라 나타나는 데이터 variance는 정확도를 떨어트리는 주요한 원인이 되는데, 본 발명이 제안하는 기하학적 정렬(Registration) 과정은 이런 데이터 variance를 최소화할 수 있다.
또한, 본 발명이 제안하는 방식은 Rigid Registration과 Non-rigid Registration 결과를 모두 제공하며 원본 CTA로의 역 변환 과정 역시 유효하다.
본 발명에 따르면, 각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용할 수 있으며, 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용할 수 있다.
또한, 각 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역 변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 시각화 할 수 있다.
또한, 본 발명에서는 원본 CT 영상에서 뇌의 특정 구획(M1~M6)을 활용하여 구분하는 경우 Non-rigid Registration을 수행한 뒤 해당 공간의 표준 구획(M1~M6) Mask를 적용하여 추출하여 분석할 수 있다. 마찬가지로 원본 CT 공간으로 역 변환하여 원본 CT 영상에 표기해줄 수 있다.
또한, 본 발명에서는 Neurovascular Anatomy, Brain Anatomy 등 각 혈관과 뇌 영역의 해부학적인 정보가 필요할 경우 Non-rigid Registration을 통해 정합한 뒤 특정 영역을 구별할 수 있다. 마찬가지로 원본 CT 공간으로 역 변환하여 원본 CT 영상에서도 표기해줄 수 있다.
또한, 본 발명에서는 Aneurysm, Tumor 등 monitoring이 필요한 경우 동일 환자의 서로 다른 시간대에 촬영한 영상을 Non-rigid Registration을 수행하여 일치시켜 병변의 진행상황을 보여줄 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련하여, 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 장치의 블록구성도의 일례들 도시한 것이다.
도 2는 도 1에서 설명한 헤드 분할부의 블록구성도의 일례를 도시한 것이다.
도 3은 도 1에서 설명한 강체 정합부의 블록구성도의 일례를 도시한 것이다.
도 4는 도 1에서 설명한 비강체 정합부의 블록구성도의 일례를 도시한 것이다.
도 5a 및 도 5b는 Rigid Registration과 Non-Rigid Registration의 적용을 설명하기 위한 도면이다.
도 6a 및 도 6b는 Rigid Registration과 Non-Rigid Registration을 함께 적용하여 가장자리, 혈관, 해부학적 구조 등을 더 안정적으로 일치시킬 수 있는 결과를 설명하는 도면이다.
도 7은 본 발명에 적용되는 아틀라스부의 표준화된 템플릿 (Template) 데이터의 생성 과정을 설명하는 도면이다.
도 8은 도 7에 따른 아틀라스의 생성 결과를 설명하는 도면이다.
도 9는 도 1에서 설명한 3차원 신경혈관 분할부의 블록구성도의 일례를 도시한 것이다.
도 10은 본 발명과 관련하여, 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 방법을 순서도로 나타낸 것이다.
도 11은 도 10에서 설명한 헤드 분할부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 12는 도 10에서 설명한 강체 정합부 및 비강체 정합부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 13은 도 12의 강체 정합부 및 비강체 정합부의 동작을 합하여 처리되는 과정을 시간의 흐름에 따라 표시한 것이다.
도 14는 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 사용하는 일례를 표시한 것이다.
도 15는 도 10에서 설명한 3차원 신경혈관 분할부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 2는 도 1에서 설명한 헤드 분할부의 블록구성도의 일례를 도시한 것이다.
도 3은 도 1에서 설명한 강체 정합부의 블록구성도의 일례를 도시한 것이다.
도 4는 도 1에서 설명한 비강체 정합부의 블록구성도의 일례를 도시한 것이다.
도 5a 및 도 5b는 Rigid Registration과 Non-Rigid Registration의 적용을 설명하기 위한 도면이다.
도 6a 및 도 6b는 Rigid Registration과 Non-Rigid Registration을 함께 적용하여 가장자리, 혈관, 해부학적 구조 등을 더 안정적으로 일치시킬 수 있는 결과를 설명하는 도면이다.
도 7은 본 발명에 적용되는 아틀라스부의 표준화된 템플릿 (Template) 데이터의 생성 과정을 설명하는 도면이다.
도 8은 도 7에 따른 아틀라스의 생성 결과를 설명하는 도면이다.
도 9는 도 1에서 설명한 3차원 신경혈관 분할부의 블록구성도의 일례를 도시한 것이다.
도 10은 본 발명과 관련하여, 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 방법을 순서도로 나타낸 것이다.
도 11은 도 10에서 설명한 헤드 분할부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 12는 도 10에서 설명한 강체 정합부 및 비강체 정합부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 13은 도 12의 강체 정합부 및 비강체 정합부의 동작을 합하여 처리되는 과정을 시간의 흐름에 따라 표시한 것이다.
도 14는 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 사용하는 일례를 표시한 것이다.
도 15는 도 10에서 설명한 3차원 신경혈관 분할부의 동작을 시간의 흐름에 따라 표시한 것이다.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시예에 대해서 설명한다. 또한, 이하에 설명하는 실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
이하 본 발명의 바람직한 실시 예에 따른 인공지능 기반 전처리 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
종래기술의 문제점
딥러닝 모델에서 안정적인 성능을 도출하기 위해서는 학습 데이터 분포와 테스트 데이터 분포 간의 괴리를 최소화해야 하는데, 이를 위해 학습 단계에서는 train 데이터의 다양성을 증강하여 학습하고 test 단계에서는 표준화 및 일반화된 데이터를 추론하게 된다.
CT Image는 촬영자, 제조사, 상황, 담당 부서에 따라 촬영된 Protocol이 크게 달라지는데, 같은 환자임에도 Protocol이 다른 경우 촬영된 3차원 영상의 기하학적 패턴이 달라지므로 2D Axial, Coronal, Sagittal 단면에서 보여지는 영상이 다르게 보일 수 있다.
매번 다른 Protocol으로 촬영된 영상은 사람/딥러닝 모델로부터 진단 정확도를 저감하는 요인이 될 수 있다.
의료 데이터 중 CT Angiography를 촬영하는 일련의 과정은 각 병원의 vendor와 촬영자의 습관에 의해 촬영 각도, 촬영 영역, patient orientation, slice thickness, slice interval 등의 protocol은 상황마다 다르기 때문에 데이터는 기하학적으로 다양한 variance를 가진다.
일반적으로 각 데이터의 Axial 축의 슬라이스를 확인해 볼 경우 각 슬라이스에서 나타나는 해부학적인 패턴과 양상이 매번 다르게 나타난다.
의료데이터를 분석하는 과정에서 다양한 촬영 protocol에 따라 나타나는 데이터 variance는 정확도를 떨어트리는 주요한 원인이 될 수 있다.
따라서 본 명세서에서는 상기 문제를 해소할 수 있도록 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법을 사용자에 제공하고자 한다.
구체적으로 본 발명은 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환해 줄 수 있는 process를 적용하여, 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 인공지능 기반 장치 및 방법을 사용자에 제공하고자 한다.
인공지능 장치
도 1은 본 발명과 관련하여, 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 장치의 블록구성도의 일례들 도시한 것이다.
도 1을 참조하면, 본 발명이 제안하는 인공지능 장치 (1)는 헤드 분할부 (10), 강체 정합부 (20), 비강체 정합부 (30), 아틀라스부 (40), 3차원 신경혈관 분할부 (50), 판단부 (60) 등을 포함할 수 있다.
헤드 분할부 (10)는 CT 이미지를 수신하고, CT 이미지를 두개골과 뇌를 분리해 줄 수 있는 헤드 분할 네트워크 (Head Segmentation Network)를 통과시켜 두개골의 본 마스크 (Bone Mask), 뇌의 브레인 마스크 (Brain Mask) 및 뇌와 관련된 혈관 마스크 (Vessel Mask)를 예측할 수 있다.
또한, 헤드 분할부 (10)는 예측된 브레인 마스크와 혈관 마스크를 조합하여, CT 이미지로부터 뇌 영역만을 포함하는 브레인 이미지를 추출할 수 있다.
다음으로, 아틀라스부 (40)는 복수의 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용하기 위해 특정 표본들의 특성을 융합하여 표준화된 템플릿 (Template) 데이터를 생성하여 강체 정합부 (20)로 전달한다.
여기서 아틀라스부 (40)의 표준화된 템플릿 (Template) 데이터는, 해부학적인 패턴 또는 특성이 보존되도록 상기 특정 표본 데이터를 중앙으로 정렬하여 미리 지정된 수준에 따라 비강체 정합 후 합성해 구성함으로써 생성된다.
또한, 강체 정합부 (20)는 표준화된 템플릿 (Template) 데이터를 아틀라스부 (40)로부터 수신하고, 헤드 분할부 (10)로부터 브레인 이미지를 수신한다.
이후, 강체 정합부 (20)는 템플릿 데이터와 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득한다.
또한, 강체 정합부 (20)는 변환 매개변수 (Transformation Parameter)를 바탕으로 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지를 획득하게 된다.
변환 매개변수 (Transformation Parameter)를 바탕으로 한 정합 워핑 (Rigid Warping)은, 이동 (Translation), 회전 (rotation,) 및 스케일 (scale) 변환을 포함하는 선형 변환을 적용하여 상기 브레인 이미지가 찌그러짐 없이 원래 비율이 유지된 채 변형되도록 한다.
한편, 비강체 정합부 (30)는 템플릿 데이터의 3차원 볼륨 (Volume)과 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출할 수 있다.
또한, 비강체 정합부 (30)는 변형 필드 (Deformation Field)를 바탕으로 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 강체 정합부의 결과물보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지를 획득할 수 있다.
변형 필드 (Deformation Field)를 바탕으로 한 비정합 워핑 (Non-Rigid Warping)은, 상기 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하여 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 1차 정렬된 브레인 이미지에 세부적인 2차 정렬을 수행하여 상기 실제 뇌에 더 일치하는 형태가 되도록 정렬을 수행하게 된다.
이후, 3차원 신경혈관 분할부 (50)는 제 2 정렬 브레인 이미지를 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network)에 통과시켜 제 2 정렬 브레인 이미지로부터 뇌 혈관 지도를 추출할 수 있다.
또한, 판단부 (60)는 뇌 혈관 지도를 기초로 뇌와 관련된 정보를 제공할 수 있다.
여기서 뇌 혈관 지도는 동맥의 해부학적 구조를 구분하여 추출될 수 있다.
또한, 뇌와 관련된 정보는 혈관 구조에 따른 적응증을 구분하는 데이터를 포함할 수 있다.
대표적으로 혈관 구조에 따른 적응증은 대혈관 폐색 (Large Vessel Occlusion, LVO) 및 동맥류 (Aneurysm) 등을 포함한다.
또한, 판단부 (60)가 제공하는 정보는, 적응증이 탐지 및/또는 예측된 뇌 혈관 지도 상의 위치 정보 및 거짓양성 (False-Positive)과 관련된 정보를 포함할 수도 있다.
이하에서는 헤드 분할부 (10), 강체 정합부 (20), 비강체 정합부 (30), 아틀라스부 (40), 3차원 신경혈관 분할부 (50)에 대해 도면을 참조하여 보다 구체적으로 설명한다.
헤드 분할부
도 2는 도 1에서 설명한 헤드 분할부의 블록구성도의 일례를 도시한 것이다.
도 2를 참조하면, 헤드 분할부 (10)는 이미지 수신부 (11), 헤드 전처리부 (12), 사전 학습된 헤드 분할 네트워크부 (13), 헤드 후처리부 (14) 및 예측 결과 산출부 (15)를 포함할 수 있다.
본 발명이 분석하고자 하는 관심 영역은 뇌 (Brain)이고, skull의 두께와 형태는 사람마다 다르므로, 헤드 분할부 (10)를 통해, 두개골과 뇌 영역을 분리해 줄 수 있는 딥러닝 기반 Head Segmentation Network를 통과하여 각각의 Bone, Brain, Vessel Mask를 예측한 뒤 Brain Mask와 Vessel Mask를 조합하여 원본 CT image로부터 온전한 Brain 영역을 추출하는 작업을 수행하게 된다.
먼저, 이미지 수신부 (11)는 외부 장비로부터 CT 이미지를 수신한다.
다음으로, 헤드 전처리부 (12)는 Raw CT image의 3차원 영상을 2D Axial slice로 분할한 뒤 segmentation 하고자 하는 slice의 인접 슬라이스들을 concatenate 하여 input 데이터를 구성하게 된다.
구체적으로 input 데이터는 헤드 전처리부 (12)의 Pre-processing을 거쳐 사전 학습된 헤드 분할 네트워크부 (13)에 입력된다.
헤드 전처리부 (12)는 (1) Resize (2) HU Windowing (3) Normalize 등의 작업을 수행할 수 있다.
(1) 리사이징 (Resizing) 작업은 헤드 분할 네트워크가 요구하는 크기로 영상을 축소 및/또는 확대하는 작업이다.
다음으로. (2) HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이다.
또한, 노말라이징 (Normalizing) 작업은 설정된 하한으로부터 사항까지의 HU Level을 결정하고, HU Level을 결정된 [0, 1] 간격으로 맵핑 (mapping) 하는 작업이다. 대표적으로, HU 윈도윙 (Windowing)의 하한부터 상한의 HU Level을 [0, 1] 간격으로 맵핑 (mapping)하는 방식이 적용될 수 있다.
전 처리된 CT 이미지가 사전 학습된 헤드 분할 네트워크부 (13)를 통과하고, 헤드 분할 네트워크 (13)를 통과한 CT 이미지에 대해, 헤드 후처리부 (14)가 브레인 VOI 크랍 (Brain VOI Crop) 작업 및 특이치 클러스터 (Outlier Cluster) 제거 작업 중 적어도 하나인 후 처리 (Post-processing)를 수행하게 된다.
사전 학습된 헤드 분할 네트워크부 (13)는 관심 영역인 뇌 (brain) 영역을 추출할 수 있도록, 두개골과 뇌 영역에 대해 미리 학습된 딥러닝 기반Segmentation Network이다.
여기서 브레인 VOI 크랍 (Brain VOI Crop) 작업은 브레인에 대한 관심 볼륨 (Volume of Interest) 영역 이외의 영역을 제거한 후 크기를 재조정하는 작업이다.
또한, Outlier Cluster 제거 작업은 3차원 상에서 연결되지 않고 동떨어져 있는 작은 outlier cluster을 제거하는 작업이다.
이후, 예측 결과 산출부 (15)는 후 처리된 CT 이미지를 기반으로 상기 본 마스크 (Bone Mask), 브레인 마스크 (Brain Mask) 및 혈관 마스크 (Vessel Mask)를 예측하게 된다.
즉, 두개골의 본 마스크 (Bone Mask), 뇌의 브레인 마스크 (Brain Mask) 및 뇌와 관련된 혈관 마스크 (Vessel Mask)를 예측하고, 예측된 브레인 마스크와 혈관 마스크를 조합하여, 최초 입력된 CT 이미지로부터 뇌 영역만을 포함하는 브레인 이미지를 추출할 수 있다.
강체 정합부, 비강체 정합부 및 아틀라스부
도 3은 도 1에서 설명한 강체 정합부의 블록구성도의 일례를 도시한 것이다.
도 3을 참조하면, 강체 정합부 (20)는 추출된 뇌 이미지 수신부 (21), 아틀라스부 이미지 수신부 (22), 강체접합 수행부 (23), 강체접합 와핑부 (24)를 포함한다.
선결적으로 아틀라스부 (40)의 표준화된 템플릿 (Template) 데이터는, 해부학적인 패턴 또는 특성이 보존되도록 상기 특정 표본 데이터를 중앙으로 정렬하여 미리 지정된 수준에 따라 비강체 정합 후 합성해 구성함으로써 생성된다.
아틀라스부 이미지 수신부 (22)는 상기 아틀라스부 (40)로부터 표준화된 템플릿 (Template) 데이터를 수신하고, 추출된 뇌 이미지 수신부 (21)는 헤드 분할부 (10)로부터 추출된 뇌 영역만을 포함하는 브레인 이미지를 수신한다.
강체접합 수행부 (23)는 템플릿 데이터와 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득할 수 있다.
이후, 강체접합 와핑부 (24)는 변환 매개변수 (Transformation Parameter)를 바탕으로 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지를 획득할 수 있다.
정리하면, 강체접합 와핑부 (24)는 변환 매개변수 (Transformation Parameter)를 바탕으로 한 정합 워핑 (Rigid Warping)은, 평행이동 (Translation), 회전 (rotation,) 및 스케일 (scale) 변환을 포함하는 선형 변환을 적용하여 상기 브레인 이미지가 찌그러짐 없이 원래 비율이 유지된 채 변형되도록 할 수 있다.
한편, 도 4는 도 1에서 설명한 비강체 정합부의 블록구성도의 일례를 도시한 것이다.
도 4를 참조하면, 비강체 정합부 (30)는 강체 정합 와핑된 뇌 이미지 수신부 (31), 아틀라스부 이미지 수신부 (32), 비상체 정합 수행부 (33) 및 비강체 정합 와핑부 (34)를 포함한다.
먼저, 아틀라스부 이미지 수신부 (32)는 상기 아틀라스부 (40)로부터 표준화된 템플릿 (Template) 데이터를 수신하고, 강체 정합 와핑된 뇌 이미지 수신부 (31)는 강체접합 와핑부 (24)의 결과물인 제 1 정렬 브레인 이미지를 획득한다.
이후, 비상체 정합 수행부 (33)는 템플릿 데이터의 3차원 볼륨 (Volume)과 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출할 수 있다.
또한, 비강체 정합 와핑부 (34)는 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 상기 강체 정합부의 결과물보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지를 획득할 수 있다.
정리하면, 변형 필드 (Deformation Field)를 바탕으로 한 비정합 워핑 (Non-Rigid Warping)은, 상기 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하여 변환 매개변수 (Transformation Parameter)를 바탕으로 1차 정렬된 브레인 이미지에 세부적인 2차 정렬을 수행하여 실제 뇌에 더 일치하는 형태가 되도록 정렬을 수행한다.
따라서 본 발명에서는 각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용함과 동시에 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용한다.
본 발명이 Rigid Registration과 Non-rigid Registration을 함께 이용하는 이유에 대해 구체적으로 설명한다.
도 5a 및 도 5b는 Rigid Registration과 Non-Rigid Registration의 적용을 설명하기 위한 도면이다.
도 5a를 참조하면, Rigid Registration의 목적은 2D/3D 데이터로부터 Affine Matrix를 얻어 내는 것을 목표로 한다.
Translation, rotation, scale 변환 등의 선형적인 변환만 가능하며 이동 대상이 (찌그러짐 없이) 원래 비율이 유지된 채 변형된다.
또한, Non-rigid Registration의 목적은 2D/3D 데이터로부터 픽셀 단위의 이동 벡터 필드(Deformation Field)를 얻어내는 것을 목표로 한다.
픽셀 단위로 어떤 위치로 warping이 수행되어야 할 지가 결정되므로 모든 형태의 변환이 가능하므로, Rigid Registration에 비해 세부적인 일치도를 높일 수 있다.
도 5b의 (a)는 Rigid Registration 변환의 예시를 도시한 것이고, (b)는 Non-rigid Registration 변환의 예시를 도시한 것이다.
단, Non-Rigid Registration 자체는 국소 변형에 특화되어 있어 이동 반경이 큰 변형은 어렵다는 문제점이 있다.
따라서 본 발명에서는 Rigid Registration으로 틀어져 있는 중앙을 맞춘 뒤 세부적인 2차 정렬을 수행할 때 Non-rigid Registration을 활용하는 방식을 적용한다.
대표적으로 Non-rigid Registration을 수행하는 방식은 잘 알려진 딥러닝 기반의 VoxelMorph 를 통해 수행될 수 있다.
해당 방식은 기존 고전적인 Non-rigid Registration 방식에 비해 100배 이상의 빠른 속도와 높은 정확도를 보여줄 수 있다.
도 6a 및 도 6b는 Rigid Registration과 Non-Rigid Registration을 함께 적용하여 가장자리, 혈관, 해부학적 구조 등을 더 안정적으로 일치시킬 수 있는 결과를 설명하는 도면이다.
도 6a 및 도 6b를 참조하면, Original CTA의 경우 두개의 흔들림이 크고 정렬되지 않은 경향성을 볼 수 있다.
또한, Rigid Registration 결과 중앙 정렬되어 Original CTA에 비해서 안정된 결과를 보이지만 뇌의 형태 차이가 있을 경우 약간의 변형이 보이는 것을 확인할 수 있다.
상기 Rigid Registration 결과물에 Non-rigid Registration을 적용한 결과를 확인하면, 대부분 실제 뇌의 컨텐츠와 일치하는 결과를 볼 수 있다.
즉, Rigid Registration만 수행했을 때에 비해, 2가지 방식을 순차적으로 적용하는 경우에는 가장자리, 혈관, 해부학적 구조 등을 더 안정적으로 일치시킬 수 있다.
또한, Rigid Registration과 Non-rigid Registration 방식 적용시 활용되는 Atlas에 대해 설명한다.
도 7은 본 발명에 적용되는 아틀라스부의 표준화된 템플릿 (Template) 데이터의 생성 과정을 설명하는 도면이다.
Medical 분야에서 Atlas (Template)는 특정 표본들의 특성을 융합하여 표준화된 하나의 데이터로 일반적으로 Registration을 통해 다양한 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용된다.
MRI 데이터의 경우 MNI라는 표준화된 Atlas가 존재하지만 CT의 경우 이러한 표준화된 Atlas가 존재하지 않기 때문에 새롭게 생성하는 과정이 필요하다.
도 7을 참조하면, Atlas 생성 방법으로 정상 또는 특정 적응증을 가진 30~50명의 CTA를 표본으로 설정하여 적용될 수 있다.
여기서 Atlas는 해부학적인 패턴 또는 특성이 보존되어야 하므로 초기 각 표본 데이터를 중앙으로 정렬하여 일정 수준 일치하도록 구성할 수 있다.
이후 고전적인 Non-rigid Registration을 수행하여 아주 일치하도록 정합 한 뒤 각 데이터를 잘 융합하여 Atlas를 생성할 수 있다.
본 발명에서는 고전적인 Non-rigid Registration은 시간이 오래 걸리고 성공하기 어렵다는 단점이 있으므로, 딥러닝 기반 생성 모델 (Generative Model)을 활용한다. 해당 딥러닝 모델은 비지도(Unsupervised) 학습을 통해 각각의 비정렬된 CTA를 설명할 수 있는 최적화 된 Non-rigid Template/Atlas를 생성해낼 수 있도록 학습된다.
도 8은 도 7에 따른 아틀라스의 생성 결과를 설명하는 도면이다.
도 8에서 생성된 Atlas는 좌/우 대칭이 될 수 있도록 후처리(Post-process) 되어 Rigid Registration과 Non-rigid Registration 방식에 적용될 수 있다.
제안하는 Atlas, Rigid Registration과 Non-rigid Registration 과정은 전술한 데이터 variance를 최소화할 수 있다는 장점이 있다.
본 발명이 제안하는 방식은 Rigid Registration과 Non-rigid Registration 결과를 모두 제공하며, 원본 CTA로의 역변환 과정 역시 유효할 수 있다.
각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용할 수 있으며, 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용할 수 있다.
또한, 각 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 시각화 할 수도 있다.
본 발명에 적용되는 CT Atlas의 경우 Rigid/Affine 정렬된 정상군 100명의 CTA로부터 딥러닝 기반 생성 모델 (Generative Model)을 학습하여 Non-rigid Template/Atlas를 추출한 뒤 좌/우 대칭을 맞춘 symmetric Template/Atlas를 활용하여 적용될 수 있다.
본 명세서에서 Template과 Atlas는 혼용해서 사용될 수 있고, 2개의 용어가 지칭하는 의미는 동일하다.
또한, 추출된 Brain image는 CT Atlas와 Rigid/Affine Registration을 통해 선형 변환(회전/스케일/이동 등)으로 1차 정렬된 영상을 얻게 되고, 이후, 더 정확한 정합을 위해 Non-Rigid Registration Model을 통해 픽셀/복셀 단위의 Registration을 수행하며, 각 Registration 결과 추출된 Transformation parameter, Deformation Field는 각각의 mask와 CT image를 변환하는데 활용될 수 있다.
3차원 신경혈관 분할부
3차원 신경혈관 분할부 (50)는 정렬된 Brain image로부터 혈관 구조를 추출할 수 있도록 딥러닝 기반 Neurovascular Anatomy Segmentation Network를 통해 뇌 혈관 지도를 추출한다.
이때, Vessel Mask와 달리 Neurovascular Anatomy는 각 동맥의 해부학적 구조를 구분할 수 있고, 판단부 (60)는 추후 Neurovascular Anatomy를 혈관 구조에 따른 적응증을 구분하는데 활용할 수 있다.
도 9는 도 1에서 설명한 3차원 신경혈관 분할부의 블록구성도의 일례를 도시한 것이다.
도 9를 참조하면, 3차원 신경혈관 분할부 (50)는 비강체 정합 와핑된 뇌 이미지 수신부 (51), 분할 전처리부 (52), 사전 학습된 신경혈관 분할 네트워크부 (53), 분할 후처리부 (54) 및 3차원 신경혈관 생성부 (54.5)를 포함할 수 있다.
비강체 정합 와핑된 뇌 이미지 수신부 (51)는 비강체 정합부 (30)로부터 제 2 정렬 브레인 이미지를 수신한다.
이후, 제 2 정렬 브레인 이미지는 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network)를 통과하고, Pre-Processing 된 input data는 상기 Segmentation Network 예측 및 Post-processing을 통해 Neurovascular Anatomy 생성할 수 있게 된다.
분할 전처리부 (52)는 제 2 정렬 브레인 이미지에 대해 HU 윈도윙 (Windowing) 작업, 노말라이징 (Normalizing) 작업 및 패치 샘플링 (Patch Sampling) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행할 수 있다.
HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이다.
또한, 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, HU Level을 결정된 [0, 1] 간격으로 맵핑 (mapping) 하는 작업이다.
또한, 패치 샘플링 (Patch Sampling) 작업은 GPU 메모리 (Memory) 활용을 위해 상기 3차원 볼륨 (Volume)의 서브 볼륨 (sub-volume)을 패치 (patch)로 구성하여 인풋 데이터 (input data)를 생성하는 작업이다.
모든 작업은 GPU /CPU에서 모두 작업이 가능하고, GPU를 활용하면 CPU보다 통상 10~ 100배 빠른 속도를 얻을 수 있다. 다만, 3D Volume을 전부 GPU 메모리에 할당하기에는 어렵기 때문에 sub-volume으로 나누어 input data를 생성한다. 한편, 장착된 GPU 성능에 따라 전체 volume을 사용할 수도 있다.
여기서 전 처리된 제 2 정렬 브레인 이미지가 신경혈관 해부학적 분할 네트워크 (53)를 통과하게 되며, 신경혈관 해부학적 분할 네트워크 (53)를 통과한 제 2 정렬 브레인 이미지에 대해 특이치 클러스터 (Outlier Cluster)를 제거하는 후 처리 (Post-processing)를 분할 후처리부 (54)가 수행한다.
특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업이다.
또한, 3차원 신경혈관 생성부 (54.5)가 후 처리된 제 2 정렬 브레인 이미지를 기반으로 상기 뇌 혈관 지도를 추출하게 된다.
상기 모델에서 추출된 Neurovascular Anatomy는 Large Vessel Occlusion(LVO), Aneurysm 등 혈관 별 적응증을 탐지, 예측한 결과에서 위치를 가시화하거나 False-Positive 예측을 suppress 하는 것에 활용될 수 있다.
즉, 판단부 (60)가 제공하는 정보는, 적응증이 탐지 및/또는 예측된 뇌 혈관 지도 상의 위치 정보 및 거짓양성 (False-Positive)과 관련된 정보를 더 포함할 수 있다.
인공지능 방법
도 10은 본 발명과 관련하여, 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 방법을 순서도로 나타낸 것이다.
전술한 것과 같이, 본 발명이 제안하는 방법은 (1) Raw CT image 의 분할 작업, (2) Registration 작업 및 (3) Neurovascular Anatomy Segmentation 작업으로 구분된다.
(1) Raw CT image 의 분할 작업
우리의 관심 영역은 Brain이며, skull의 두께와 형태는 사람마다 다르다. 따라서 두개골과 뇌 영역을 분리해 줄 수 있는 Head Segmentation Network를 통과하여 각각의 Bone, Brain, Vessel Mask를 예측한 뒤 Brain Mask와 Vessel Mask를 조합하여 원본 CT image로부터 온전한 Brain 영역을 추출한다.
(2) Registration 작업
추출된 Brain image는 CT Atlas와 Rigid/Affine Registration을 통해 선형 변환(회전/스케일/이동 등)으로 1차 정렬된 영상을 얻게 된다. 이후, 더 정확한 정합을 위해 Non-Rigid Registration Model을 통해 픽셀/복셀 단위의 Registration을 수행한다. 각 Registration 결과 추출된 Transformation parameter, Deformation Field는 각각의 mask와 CT image를 변환하는데 활용된다.
(3) Neurovascular Anatomy Segmentation 작업
정렬된 Brain image로부터 혈관 구조를 추출할 수 있도록 Neurovascular Anatomy Segmentation Network를 통해 뇌 혈관 지도를 추출한다. Vessel Mask와 달리 Neurovascular Anatomy는 각 동맥의 해부학적 구조를 구분한다. 추후 Neurovascular Anatomy는 혈관 구조에 따른 적응증을 구분하는데 활용될 수 있다.
도 10을 참조하여, 본 발명에 따른 방법을 보다 구체적으로 설명한다.
도 10을 참조하면, 헤드 분할부 (10)가 CT 이미지를 수신하고, 사전 학습된 헤드 분할 네트워크부 (13)가 CT 이미지를 두개골과 뇌를 분리하게 되고, 두개골의 본 마스크 (Bone Mask, 17), 뇌의 브레인 마스크 (Brain Mask, 18) 및 뇌와 관련된 혈관 마스크 (Vessel Mask, 19)를 예측하게 된다.
또한, 헤드 분할부 (10)가 예측된 브레인 마스크와 혈관 마스크를 조합 (16)하여, CT 이미지로부터 뇌 영역만을 포함하는 브레인 이미지 (K)를 추출하게 된다.
이후, 강체 정합부 (20)가 복수의 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용하기 위해 특정 표본들의 특성을 융합하여 표준화된 템플릿 (Template) 데이터를 아틀라스부 (40)로부터 수신하고, 헤드 분할부 (10)로부터 브레인 이미지 (K)를 수신한다.
강체 정합부 (20)의 강체 정합 수행부 (23) 및 강체정합 와핑부 (24)는 템플릿 데이터와 브레인 이미지 (K) 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter, 26)를 획득할 수 있다.
또한, 강체 정합부 (20)는 변환 매개변수 (Transformation Parameter, 26)를 바탕으로 브레인 이미지 (K)에 정합 워핑 (Rigid Warping, 24)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지 (R)를 획득할 수 있다.
또한, 비강체 정합부 (30)가, 융합하여 표준화된 템플릿 (Template) 데이터를 아틀라스부 (40)로부터 수신하고, 강체 정합부 (20)로부터 제 1 정렬 브레인 이미지 (R)를 수신한다.
이후, 비강체 정합 수행부 (33)는 템플릿 데이터의 3차원 볼륨 (Volume)과 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field, 36)를 추출한다.
또한, 비강체 정합 와핑부 (34)는 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지 (R)에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용 (37, 38)하는 비정합 워핑 (Non-Rigid Warping, 34)을 수행하여, 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지 (N)를 획득하게 된다.
이후, 신경혈관 분할부(50)가 제 2 정렬 브레인 이미지 (N)를 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network, 53)에 통과시켜 제 2 정렬 브레인 이미지로부터 뇌 혈관 지도 (55)를 추출하게 된다.
이후, 판단부 (60)가 뇌 혈관 지도를 기초로 뇌와 관련된 정보를 제공할 수 있다.
한편, 강체 정합부 (20)는 본 마스크 (17), 브레인 마스크 (18) 및 혈관 마스크 (19)에 변환 매개변수 (Transformation Parameter, 26)를 바탕으로 정합 워핑 (Rigid Warping, 24)을 적용하여 선형 변환으로 정렬된 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크를 획득하는 것도 가능하다.
또한, 비강체 정합부 (30)는 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크에 변형 필드 (Deformation Field, 36)를 바탕으로 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping, 34)을 적용하여, 제 2 정렬 본 마스크 (57), 브레인 마스크 (58) 및 혈관 마스크 (59)가 획득될 수 있다.
판단부 (60)는 뇌 혈관 지도 (55)를 기초로 제 2 정렬 본 마스크(57), 브레인 마스크(58) 및 혈관 마스크 (59)중 적어도 하나를 더 이용하여 정보를 제공할 수도 있다.
반대로 상기 제 2 정렬 브레인 이미지 (N), 제 2 정렬 본 마스크(57), 브레인 마스크 (58) 및 혈관 마스크 (59(는 변형 필드 (Deformation Field, 36)를 역변환 적용하여 제 1 정렬 브레인 이미지 (R), 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크를 추출하는 것이 가능하다.
나아가 제 1 정렬 브레인 이미지 (R), 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크는 변환 매개변수 (Transformation Parameter, 26)를 역변환 적용하여 미가공 CT 이미지 원본의 공간으로 브레인 이미지 (K), 본 마스크 (17), 브레인 마스크 (18) 및 혈관 마스크 (19)를 추출하는 것도 가능할 수 있다.
헤드 분할부의 동작
도 11은 도 10에서 설명한 헤드 분할부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 10을 참조하면, 이미지 수신부 (11)는 외부 장비로부터 CT 이미지를 수신한다.
다음으로, 헤드 전처리부 (12)는 Raw CT image의 3차원 영상을 2D Axial slice로 분할한 뒤 segmentation 하고자 하는 slice의 인접 슬라이스들을 concatenate 하여 input 데이터를 구성하게 된다.
구체적으로 input 데이터는 헤드 전처리부 (12)의 Pre-processing을 거쳐 사전 학습된 헤드 분할 네트워크부 (13)에 입력된다.
헤드 전처리부 (12)는 전술한 (1) Resize (2) HU Windowing (3) Normalize 등의 작업을 수행할 수 있다.
전 처리된 CT 이미지가 사전 학습된 헤드 분할 네트워크부 (13)를 통과하고, 헤드 분할 네트워크 (13)를 통과한 CT 이미지에 대해, 헤드 후처리부 (14)가 브레인 VOI 크랍 (Brain VOI Crop) 작업 및 특이치 클러스터 (Outlier Cluster) 제거 작업 중 적어도 하나인 후 처리 (Post-processing)를 수행하게 된다.
이후, 예측 결과 산출부 (15)는 후 처리된 CT 이미지를 기반으로 상기 본 마스크 (Bone Mask, 17), 브레인 마스크 (Brain Mask, 18) 및 혈관 마스크 (Vessel Mask, 19)를 포함하는 정보 (15) 예측하게 된다.
즉, 두개골의 본 마스크 (Bone Mask, 17), 뇌의 브레인 마스크 (Brain Mask, 18) 및 뇌와 관련된 혈관 마스크 (Vessel Mask, 19)를 예측하고, 예측된 브레인 마스크 (18)와 혈관 마스크 (19(를 조합하여, 최초 입력된 CT 이미지로부터 뇌 영역만을 포함하는 브레인 이미지(K)를 추출할 수 있다.
강체 정합부 및 비강체 정합부의 동작
도 12는 도 10에서 설명한 강체 정합부 및 비강체 정합부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 12의 (a)르를 참조하면, 아틀라스부 이미지 수신부 (22)는 상기 아틀라스부 (40)로부터 표준화된 템플릿 (Template) 데이터를 수신하고, 추출된 뇌 이미지 수신부 (21)는 헤드 분할부 (10)로부터 추출된 뇌 영역만을 포함하는 브레인 이미지(K)를 수신한다.
강체접합 수행부 (23)는 템플릿 데이터와 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득할 수 있다.
이후, 강체접합 와핑부 (24)는 변환 매개변수 (Transformation Parameter)를 바탕으로 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지 (R)를 획득할 수 있다.
정리하면, 강체접합 와핑부 (24)는 변환 매개변수 (Transformation Parameter)를 바탕으로 한 정합 워핑 (Rigid Warping)은, 평행이동 (Translation), 회전 (rotation,) 및 스케일 (scale) 변환을 포함하는 선형 변환을 적용하여 상기 브레인 이미지가 찌그러짐 없이 원래 비율이 유지된 채 변형되도록 할 수 있다.
또한, 도 12의 (b)를 참조하면, 아틀라스부 이미지 수신부 (32)는 상기 아틀라스부 (40)로부터 표준화된 템플릿 (Template) 데이터를 수신하고, 강체 정합 와핑된 뇌 이미지 수신부 (31)는 강체접합 와핑부 (24)의 결과물인 제 1 정렬 브레인 이미지 (R)를 획득한다.
이후, 비상체 정합 수행부 (33)는 템플릿 데이터의 3차원 볼륨 (Volume)과 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출할 수 있다.
또한, 비강체 정합 와핑부 (34)는 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 상기 강체 정합부의 결과물보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지 (N)를 획득할 수 있다.
정리하면, 변형 필드 (Deformation Field)를 바탕으로 한 비정합 워핑 (Non-Rigid Warping)은, 상기 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하여 변환 매개변수 (Transformation Parameter)를 바탕으로 1차 정렬된 브레인 이미지 (R)에 세부적인 2차 정렬을 수행하여 실제 뇌에 더 일치하는 형태 (N)가 되도록 정렬을 수행한다.
도 13은 도 12의 강체 정합부 및 비강체 정합부의 동작을 합하여 처리되는 과정을 시간의 흐름에 따라 표시한 것이다.
도 13에 도시된 것과 같이, 본 발명에서는 각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용함과 동시에 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용한다.
본 발명이 Rigid Registration과 Non-rigid Registration을 함께 이용하는 이유는 전술한 것과 같이. Translation, rotation, scale 변환 등의 선형적인 변환만 가능하며 이동 대상이 (찌그러짐 없이) 원래 비율이 유지된 채 변형되는 Rigid Registration 효과와 2D/3D 데이터로부터 픽셀 단위의 이동 벡터 필드(Deformation Field)를 얻어내는 Non-rigid Registration의 효과를 동시에 적용하기 위함이다.
Non-rigid Registration의 경우, 픽셀 단위로 어떤 위치로 warping이 수행되어야 할 지가 결정되므로 모든 형태의 변환이 가능하므로, Rigid Registration에 비해 세부적인 일치도를 높일 수 있다.
도 5b의 (a)는 Rigid Registration 변환의 예시를 도시한 것이고, (b)는 Non-rigid Registration 변환의 예시를 도시한 것이다.
단, Non-Rigid Registration 자체는 국소 변형에 특화되어 있어 이동 반경이 큰 변형은 어렵다는 문제점이 있다.
따라서 본 발명에서는 Rigid Registration으로 틀어져 있는 중앙을 맞춘 뒤 세부적인 2차 정렬을 수행할 때 Non-rigid Registration을 활용하는 방식을 적용한다.
일반적인 Non-rigid Registration 방식은 CPU를 통해 느리게 처리되지만, 딥러닝 기반 방식은 GPU를 활용할 수 있기 때문에 빠르다.
따라서 VoxelMorph라는 네트워크를 통해 Non-rigid Registration을 수행하여 속도적 이점을 얻을 수 있다.
해당 방식은 Non-rigid Registration을 수행하기 위한 네트워크를 생성하기 위한 고전적인 Non-rigid Registration 방식에 비해 100배 이상의 빠른 속도와 높은 정확도를 보여줄 수 있다.
제안하는 Rigid Registration과 Non-rigid Registration 과정은 전술한 데이터 variance를 최소화할 수 있다는 장점이 있다.
도 14는 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 사용하는 일례를 표시한 것이다.
도 14에 도시된 것과 같이, 본 발명이 제안하는 방식은 Rigid Registration과 Non-rigid Registration 결과를 모두 제공하며, 원본 CTA로의 역변환 과정 역시 유효할 수 있다.
각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용할 수 있으며, 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용할 수 있다.
또한, 각 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 시각화 할 수도 있다.
도 14를 참조하면, 제 2 정렬 브레인 이미지 (N), 제 2 정렬 본 마스크(57), 브레인 마스크 (58) 및 혈관 마스크 (59(는 변형 필드 (Deformation Field, 36)를 역변환 적용 (34I)하여 제 1 정렬 브레인 이미지 (R), 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크를 추출하는 것이 가능하다.
나아가 제 1 정렬 브레인 이미지 (R), 제 1 정렬 본 마스크, 브레인 마스크 및 혈관 마스크는 변환 매개변수 (Transformation Parameter, 26)를 역변환 적용 (24I)하여 브레인 이미지 (K), 본 마스크 (17), 브레인 마스크 (18) 및 혈관 마스크 (19)를 추출하는 것도 가능할 수 있다.
3차원 신경혈관 분할부의 동작
도 15는 도 10에서 설명한 3차원 신경혈관 분할부의 동작을 시간의 흐름에 따라 표시한 것이다.
도 15를 참조하면, 비강체 정합 와핑된 뇌 이미지 수신부 (51)는 비강체 정합부 (30)로부터 제 2 정렬 브레인 이미지 (N)를 수신한다.
분할 전처리부 (52)는 제 2 정렬 브레인 이미지 (N)에 대해 HU 윈도윙 (Windowing) 작업, 노말라이징 (Normalizing) 작업 및 패치 샘플링 (Patch Sampling) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행할 수 있다.
여기서 전 처리된 제 2 정렬 브레인 이미지가 신경혈관 해부학적 분할 네트워크 (53)를 통과하게 되며, 신경혈관 해부학적 분할 네트워크 (53)를 통과한 제 2 정렬 브레인 이미지에 대해 특이치 클러스터 (Outlier Cluster)를 제거하는 후 처리 (Post-processing)를 분할 후처리부 (54)가 수행한다.
특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업이다.
또한, 3차원 신경혈관 생성부 (54.5)가 후 처리된 제 2 정렬 브레인 이미지를 기반으로 상기 뇌 혈관 지도 (55)를 추출하게 된다.
상기 모델에서 추출된 Neurovascular Anatomy는 Large Vessel Occlusion(LVO), Aneurysm 등 혈관 별 적응증을 탐지, 예측한 결과에서 위치를 가시화하거나 False-Positive 예측을 suppress 하는 것에 활용될 수 있다.
즉, 판단부 (60)가 제공하는 정보는, 적응증이 탐지 및/또는 예측된 뇌 혈관 지도 상의 위치 정보 및 거짓양성 (False-Positive)과 관련된 정보를 더 포함할 수 있다.
본 발명이 제공하는 효과
본 발명에 따르면, 미가공 CT 이미지가 입력되었을 때, 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법을 사용자에 제공할 수 있다.
본 발명은 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환해 줄 수 있는 process를 적용하여, 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 인공지능 기반 장치 및 방법을 사용자에 제공할 수 있다.
본 발명은 의료 데이터 중 CT Angiography를 촬영하는 일련의 과정은 각 병원의 vendor와 촬영자의 습관에 의해 촬영 각도, 촬영 영역, patient orientation, slice thickness, slice interval 등의 protocol은 상황마다 다르기 때문에 데이터는 기하학적으로 다양한 variance를 가지는 문제점을 해소할 수 있다.
일반적으로 각 데이터의 Axial 축의 슬라이스를 확인해 볼 경우 각 슬라이스에서 나타나는 해부학적인 패턴과 양상이 매번 다르게 나타나고, 의료데이터를 분석하는 과정에서 다양한 촬영 protocol에 따라 나타나는 데이터 variance는 정확도를 떨어트리는 주요한 원인이 되는데, 본 발명이 제안하는 기하학적 정렬(Registration) 과정은 이런 데이터 variance를 최소화할 수 있다.
또한, 본 발명이 제안하는 방식은 Rigid Registration과 Non-rigid Registration 결과를 모두 제공하며 원본 CTA로의 역 변환 과정 역시 유효하다.
본 발명에 따르면, 각 특성에 따라 국소적인 오차에 민감할 경우 선형 변환만 적용하여 중앙 정렬된 Rigid Registration 결과를 활용할 수 있으며, 환자 간의 관심 영역을 공간적으로 일치시키거나 모니터링이 필요한 경우 Non-rigid Registration 결과를 활용할 수 있다.
또한, 각 Rigid/Non-rigid Registration 상에서 분석된 결과는 원본 CTA의 공간으로 역 변환하여 원본 CTA 영상에서 세그먼트 또는 분석 결과를 시각화 할 수 있다.
또한, 본 발명에서는 원본 CT 영상에서 뇌의 특정 구획(M1~M6)을 활용하여 구분하는 경우 Non-rigid Registration을 수행한 뒤 해당 공간의 표준 구획(M1~M6) Mask를 적용하여 추출하여 분석할 수 있다. 마찬가지로 원본 CT 공간으로 역 변환하여 원본 CT 영상에 표기해줄 수 있다.
또한, 본 발명에서는 Neurovascular Anatomy, Brain Anatomy 등 각 혈관과 뇌 영역의 해부학적인 정보가 필요할 경우 Non-rigid Registration을 통해 정합한 뒤 특정 영역을 구별할 수 있다. 마찬가지로 원본 CT 공간으로 역 변환하여 원본 CT 영상에서도 표기해줄 수 있다.
또한, 본 발명에서는 Aneurysm, Tumor 등 monitoring이 필요한 경우 동일 환자의 서로 다른 시간대에 촬영한 영상을 Non-rigid Registration을 수행하여 일치시켜 병변의 진행상황을 보여줄 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어 (firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
Claims (4)
- 헤드 분할부가 CT 이미지를 수신하는 제 1 단계;
상기 헤드 분할부가 상기 CT 이미지를 두개골과 뇌를 분리해 줄 수 있는 헤드 분할 네트워크 (Head Segmentation Network)를 통과시켜 상기 두개골의 본 마스크 (Bone Mask), 상기 뇌의 브레인 마스크 (Brain Mask) 및 상기 뇌와 관련된 혈관 마스크 (Vessel Mask)를 예측하는 제 2 단계;
상기 헤드 분할부가 상기 예측된 브레인 마스크와 혈관 마스크를 조합하여, 상기 CT 이미지로부터 상기 뇌 영역만을 포함하는 브레인 이미지를 추출하는 제 3 단계;
강체 정합부가, 복수의 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용하기 위해 특정 표본들의 특성을 융합하여 표준화된 템플릿 (Template) 데이터를 아틀라스부로부터 수신하고, 상기 헤드 분할부로부터 브레인 이미지를 수신하는 제 4 단계;
상기 강체 정합부가 상기 템플릿 데이터와 상기 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득하는 제 5 단계;
상기 강체 정합부가 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 상기 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지를 획득하는 제 6 단계;
비강체 정합부가, 상기 템플릿 데이터의 3차원 볼륨 (Volume)과 상기 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출하는 제 7 단계;
상기 비강체 정합부가 상기 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 상기 제 6 단계보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지를 획득하는 제 8 단계;
신경혈관 분할부가 상기 제 2 정렬 브레인 이미지를 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network)에 통과시켜 상기 제 2 정렬 브레인 이미지로부터 뇌 혈관 지도를 추출하는 제 9 단계; 및
판단부가 상기 뇌 혈관 지도를 기초로 상기 뇌와 관련된 정보를 제공하는 제 10 단계;를 포함하고,
상기 제 9 단계는,
상기 제 2 정렬 브레인 이미지에 대해 HU 윈도윙 (Windowing) 작업, 노말라이징 (Normalizing) 작업 및 패치 샘플링 (Patch Sampling) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행하는 제 9-1 단계;
상기 전 처리된 제 2 정렬 브레인 이미지가 상기 신경혈관 해부학적 분할 네트워크를 통과하는 제 9-2 단계;
상기 신경혈관 해부학적 분할 네트워크를 통과한 상기 제 2 정렬 브레인 이미지에 대해 특이치 클러스터 (Outlier Cluster)를 제거하는 후 처리 (Post-processing)를 수행하는 제 9-3 단계; 및
상기 후 처리된 제 2 정렬 브레인 이미지를 기반으로 상기 뇌 혈관 지도를 추출하는 제 9-4 단계;를 포함하는 정보제공방법.
- 제 1항에 있어서,
상기 제 9-1 단계에서,
상기 HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이며,
상기 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, 결정된 레벨 간격으로 매핑하는 작업이며,
상기 패치 샘플링 (Patch Sampling) 작업은 GPU 메모리 (Memory) 활용을 위해 상기 3차원 볼륨 (Volume)의 서브 볼륨 (sub-volume)을 패치 (patch)로 구성하여 인풋 데이터 (input data)를 생성하는 작업이고,
상기 제 9-3 단계에서,
상기 특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업인 정보제공방법.
- CT 이미지를 수신하고, 상기 CT 이미지를 두개골과 뇌를 분리해 줄 수 있는 헤드 분할 네트워크 (Head Segmentation Network)를 통과시켜 상기 두개골의 본 마스크 (Bone Mask), 상기 뇌의 브레인 마스크 (Brain Mask) 및 상기 뇌와 관련된 혈관 마스크 (Vessel Mask)를 예측하며, 상기 예측된 브레인 마스크와 혈관 마스크를 조합하여, 상기 CT 이미지로부터 상기 뇌 영역만을 포함하는 브레인 이미지를 추출하는 헤드 분할부;
복수의 데이터를 공통된 공간으로 정렬하기 위한 기준으로 활용하기 위해 특정 표본들의 특성을 융합하여 표준화된 템플릿 (Template) 데이터를 아틀라스부로부터 수신하고, 상기 헤드 분할부로부터 브레인 이미지를 수신하며, 상기 템플릿 데이터와 상기 브레인 이미지 간의 강체 정합 (Rigid Registration) 및 어파인 정합 (Affine Registration)을 수행하여 변환 매개변수 (Transformation Parameter)를 획득하고, 상기 변환 매개변수 (Transformation Parameter)를 바탕으로 상기 브레인 이미지에 정합 워핑 (Rigid Warping)을 적용하여 선형 변환으로 정렬된 제 1 정렬 브레인 이미지를 획득하는 강체 정합부;
상기 템플릿 데이터의 3차원 볼륨 (Volume)과 상기 제 1 정렬 브레인 이미지의 3차원 볼륨을 미리 학습된 비-강체 정합 네트워크 (Non-rigid Registration Network)에 입력하여 3차원 복셀 (voxel) 별 이동 벡터인 변형 필드 (Deformation Field)를 추출하고, 상기 변형 필드 (Deformation Field)를 바탕으로 상기 제 1 정렬 브레인 이미지에 복셀 단위의 그리드 보간(Grid Interpolation)을 적용하는 비정합 워핑 (Non-Rigid Warping)을 수행하여, 상기 강체 정합부의 결과물보다 실제 뇌에 더 정확하게 정합 된 제 2 정렬 브레인 이미지를 획득하는 비강체 정합부;
상기 제 2 정렬 브레인 이미지를 신경혈관 해부학적 분할 네트워크 (Neurovascular Anatomy Segmentation Network)에 통과시켜 상기 제 2 정렬 브레인 이미지로부터 뇌 혈관 지도를 추출하는 신경혈관 분할부; 및
상기 뇌 혈관 지도를 기초로 상기 뇌와 관련된 정보를 제공하는 판단부;를 포함하고,
상기 신경혈관 분할부는,
상기 제 2 정렬 브레인 이미지에 대해 HU 윈도윙 (Windowing) 작업, 노말라이징 (Normalizing) 작업 및 패치 샘플링 (Patch Sampling) 작업 중 적어도 하나인 전 처리 (Pre-processing)를 수행하고.
상기 전 처리된 제 2 정렬 브레인 이미지가 상기 신경혈관 해부학적 분할 네트워크를 통과시키며,
상기 신경혈관 해부학적 분할 네트워크를 통과한 상기 제 2 정렬 브레인 이미지에 대해 특이치 클러스터 (Outlier Cluster)를 제거하는 후 처리 (Post-processing)를 수행하고,
상기 후 처리된 제 2 정렬 브레인 이미지를 기반으로 상기 뇌 혈관 지도를 추출하는 장치.
- 제 3항에 있어서,
상기 HU 윈도윙 (Windowing) 작업은 Hounsfield unit (HU)의 상한 및 하한을 설정하는 작업이고,
상기 노말라이징 (Normalizing) 작업은 상기 설정된 하한으로부터 상기 상한까지의 HU Level을 결정하고, 결정된 레벨 간격으로 매핑하는 작업이며,
상기 패치 샘플링 (Patch Sampling) 작업은 GPU 메모리 (Memory) 활용을 위해 상기 3차원 볼륨 (Volume)의 서브 볼륨 (sub-volume)을 패치 (patch)로 구성하여 인풋 데이터 (input data)를 생성하는 작업이고,
상기 특이치 클러스터 (Outlier Cluster) 제거 작업은, 3차원 상에서 연결되지 않고 동떨어져 있는 특이치 클러스터를 제거하는 작업인 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230083668A KR102588307B1 (ko) | 2023-03-30 | 2023-06-28 | 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230042266A KR102588305B1 (ko) | 2023-03-30 | 2023-03-30 | 미가공 ct 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법 |
| KR1020230083668A KR102588307B1 (ko) | 2023-03-30 | 2023-06-28 | 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230042266A Division KR102588305B1 (ko) | 2023-03-30 | 2023-03-30 | 미가공 ct 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102588307B1 true KR102588307B1 (ko) | 2023-10-19 |
Family
ID=88507528
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230042266A KR102588305B1 (ko) | 2023-03-30 | 2023-03-30 | 미가공 ct 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법 |
| KR1020230083667A KR102588306B1 (ko) | 2023-03-30 | 2023-06-28 | 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 인공지능 기반 장치 및 방법 |
| KR1020230083668A KR102588307B1 (ko) | 2023-03-30 | 2023-06-28 | 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230042266A KR102588305B1 (ko) | 2023-03-30 | 2023-03-30 | 미가공 ct 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법 |
| KR1020230083667A KR102588306B1 (ko) | 2023-03-30 | 2023-06-28 | 환자의 두개골의 크기와 형태, 촬영 방향 등에 따라 생기는 다양성을 최소화할 수 있는 인공지능 기반 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11954873B1 (ko) |
| KR (3) | KR102588305B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140096919A (ko) * | 2013-01-29 | 2014-08-06 | 삼성전자주식회사 | 의료 영상 정합 방법 및 장치 |
| KR20160087784A (ko) * | 2014-02-21 | 2016-07-22 | 삼성전자주식회사 | 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법 |
| KR101754291B1 (ko) | 2017-04-04 | 2017-07-06 | 이현섭 | 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법 |
| KR101992057B1 (ko) | 2018-08-17 | 2019-06-24 | (주)제이엘케이인스펙션 | 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101540254B1 (ko) | 2013-06-24 | 2015-07-30 | 경북대학교 산학협력단 | 당을 감지하는 화학감각수용체를 발현하는 세포를 이용한 바이오 센서 및 이를 포함하는 알츠하이머 진단 기기 |
| KR101860566B1 (ko) | 2016-12-06 | 2018-05-23 | 경희대학교 산학협력단 | 파킨슨병을 진단하기 위한 정보제공방법 |
| KR102068836B1 (ko) | 2018-01-29 | 2020-02-11 | 한림대학교 산학협력단 | 파킨슨병의 진단을 위한 입력 패턴 생성 장치 및 방법 |
| KR102058884B1 (ko) | 2019-04-11 | 2019-12-24 | 주식회사 홍복 | 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 |
| US11263749B1 (en) * | 2021-06-04 | 2022-03-01 | In-Med Prognostics Inc. | Predictive prognosis based on multimodal analysis |
-
2023
- 2023-03-30 KR KR1020230042266A patent/KR102588305B1/ko active IP Right Grant
- 2023-06-28 KR KR1020230083667A patent/KR102588306B1/ko active IP Right Grant
- 2023-06-28 KR KR1020230083668A patent/KR102588307B1/ko active IP Right Grant
- 2023-09-13 US US18/367,804 patent/US11954873B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140096919A (ko) * | 2013-01-29 | 2014-08-06 | 삼성전자주식회사 | 의료 영상 정합 방법 및 장치 |
| KR20160087784A (ko) * | 2014-02-21 | 2016-07-22 | 삼성전자주식회사 | 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법 |
| KR101754291B1 (ko) | 2017-04-04 | 2017-07-06 | 이현섭 | 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법 |
| KR101992057B1 (ko) | 2018-08-17 | 2019-06-24 | (주)제이엘케이인스펙션 | 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| Helen Honga et al., ‘Automatic vessel extraction by patient motion correction and bone removal in brain CT angiography’International Congress Series 128, pp.369~374, 2005.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102588305B1 (ko) | 2023-10-20 |
| KR102588306B1 (ko) | 2023-10-19 |
| US11954873B1 (en) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7118606B2 (ja) | 医用画像処理装置及び医用画像処理プログラム | |
| JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5643304B2 (ja) | 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法 | |
| US7676257B2 (en) | Method and apparatus for segmenting structure in CT angiography | |
| Ko et al. | Computer-aided diagnosis and the evaluation of lung disease | |
| JP2022525198A (ja) | 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク | |
| US8229200B2 (en) | Methods and systems for monitoring tumor burden | |
| KR102410955B1 (ko) | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 | |
| US8923577B2 (en) | Method and system for identifying regions in an image | |
| US20120256920A1 (en) | System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment | |
| US20130243285A1 (en) | Medical image alignment apparatus, method, and program | |
| JP4785371B2 (ja) | 動的制約を用いる多次元構造の抽出方法及びシステム | |
| JP6656910B2 (ja) | 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム | |
| US9351695B2 (en) | Hybrid dual energy imaging and bone suppression processing | |
| JP5048233B2 (ja) | Ｃａｄシステムにおける解剖学的形状の検出のための方法及びシステム | |
| WO2022164374A1 (en) | Automated measurement of morphometric and geometric parameters of large vessels in computed tomography pulmonary angiography | |
| Giv et al. | Lung segmentation using active shape model to detect the disease from chest radiography | |
| Chen et al. | Virtual blood vessels in complex background using stereo x-ray images | |
| KR102588307B1 (ko) | 임의의 raw CT image가 입력되었을 때 일관된 방향과 크기로 변환 가능한 인공지능 기반 장치 및 방법 | |
| JP2012504003A (ja) | コンピュータを用いて実行される障害検出方法及び装置 | |
| WO2015111308A1 (ja) | ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム | |
| JP7492789B1 (ja) | 未加工ＣＴイメージの幾何学的整列および前処理のための人工知能基盤装置および方法｛Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ－ｂａｓｅｄ ｄｅｖｉｃｅｓ ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｇｅｏｍｅｔｒｉｃ ａｌｉｇｎｍｅｎｔ ａｎｄ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｏｆ ｒａｗ ＣＴ ｉｍａｇｅｓ｝ | |
| Wang et al. | A 3D cross-hemisphere neighborhood difference Convnet for chronic stroke lesion segmentation | |
| JP2014161388A (ja) | 画像処理装置、画像処理方法、画像処理装置の制御プログラム、記録媒体 | |
| CN111803111B (zh) | 一种脑部血管显示装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |