KR102505908B1 - 의료 영상 융합 시스템 - Google Patents
의료 영상 융합 시스템 Download PDFInfo
- Publication number
- KR102505908B1 KR102505908B1 KR1020200158831A KR20200158831A KR102505908B1 KR 102505908 B1 KR102505908 B1 KR 102505908B1 KR 1020200158831 A KR1020200158831 A KR 1020200158831A KR 20200158831 A KR20200158831 A KR 20200158831A KR 102505908 B1 KR102505908 B1 KR 102505908B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fusion
- final
- images
- generating
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000014509 gene expression Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 27
- 238000007500 overflow downdraw method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 24
- 230000000694 effects Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011045 prefiltration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 27
- 238000002595 magnetic resonance imaging Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
- G01R33/4812—MR combined with X-ray or computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Pulmonology (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
본 발명은 라플라시안 피라미드와 컨벌루션 표현을 이용한 의료 영상 융합 시스템에 관한 것으로서, 본 발명의 영상 융합 시스템에서의 영상 융합 방법은, 두개의 영상에 대해 각 영상의 영상 분해를 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 단계, 각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 단계, 각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 단계, 및 상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 LP 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 단계를 포함한다.
Description
본 발명은 영상 융합 시스템에 관한 것으로서, 특히, 라플라시안 피라미드 (LP, Laplacian Pyramid)와 컨벌루션 희소 표현(CSR, Convolutional Sparse Representation)을 결합하여 의료 영상 등을 융합하는 영상 융합 시스템에 관한 것이다.
초음파, 컴퓨터 단층 촬영 (CT), X-선, 및 자기 공명 영상 (MRI)과 같은 최근의 영상 기술이 발전함에 따라 다양한 영상이 다양한 의료 실무에 널리 적용되고 있다. 이미징 메커니즘의 다양성으로 인해 이러한 다양한 영상 양식은 서로 다른 유형의 정보를 캡처할 수 있도록 한다. 예를 들어, CT 영상은 뼈 및 임플란트와 같은 조밀한 기관 및 조직에 초점을 맞추는 반면, MRI 영상은 고해상도 연조직 상세 정보를 제공할 수 있다. CT 및 MRI 영상들의 상호 보완 정보는 고해상도로 구조적 정보를 제공할 수 있다. 따라서 CT 및 MRI 영상은 일반적으로 조기 두부와 경부의 암 환자의 종양 진단에 적용된다. 그러나 정확한 진단을 위해 의사는 여러 가지 형태의 영상을 개별적으로 순차 분석해야 하므로 많은 경우 불편을 초래할 수 있다. 의료 영상 융합은 이 문제를 효과적으로 해결하여 융합된 영상을 생성하여 여러 의료 영상에 포함된 상호 보완 정보를 다른 양식으로 통합한다. 의료 영상 융합은 비용이 저렴할뿐만 아니라 의사의 임상 요구에 따라 모든 형태의 영상을 융합할 수 있기 때문에 유연하다. 따라서 의료 영상 분야에서 널리 연구되었고, 최근까지, 다양한 영상 형성 방법이 제안되었다.
일반적인 두 가지 주요 방법은, 공간 도메인 방법과 변환 도메인 방법이다. 공간 도메인 방법은 가중 평균(WA), 강도-채도-포화 (IHS) 및 주요 성분 분석 (PCA)과 같은 공간 도메인에서 픽셀 단위로 소스 영상을 직접 다룬다. 이러한 방법은 간단하고 시간 효율적이지만 다중 모드 의료 영상의 중요한 차이점에 대해서는 많이 고려하지 않아 일부 정보가 손실된다. 변환 도메인 방법은 변환 도메인의 특정 융합 규칙에 의해 얻어진 융합 계수에 대해 대응하는 역변환을 수행하여 최종 융합 영상을 재구성한다. 이미징 메커니즘의 다중 모드 의료 영상의 차이로 인해 대부분의 변환 도메인 방법은 인지하기 좋은 결과를 얻도록 다중 스케일 변환(MST)을 적용한다.
일반적으로, MST 융합 방법은 영상 멀티 스케일 분해, 영상 융합 및 영상 재구성의 3 단계를 포함한다. MST 방법은 Laplacian pyramid(LP), Low-Pass pyramid (RP)의 비율, Wavelet transform (WT), Dual-tree complex wavelet transform (DTCWT), Curvelet transform (CVT), nonsubsampled contourlet transform (NSCT)와 함께 그동안 널리 사용되었다. 그러나 이러한 MST 방법은, 일반적으로 '분산 규칙(variance rule)' 또는 '평균 규칙(averaging rule)'을 적용하여 기본 레이어로 통합하며, 이는 소스 영상에 포함된 정보를 최종 융합 영상으로 완전히 전환할 수 없다. 또한, 이러한 기본 레이어 융합 규칙은 기본 레이어에 포함된 많은 에너지가 손실되기 때문에 융합된 영상의 전체적인 대조비(contrast)를 감소시키는 문제가 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 의사의 질병 진단 및 치료 능력을 향상시킬 수 있도록 의료 영상을 융합하되, LP(Laplacian Pyramid)와 CSR(Convolutional Sparse Representation)을 결합하여 의료 영상 등을 융합함으로써, 소스 영상에 포함된 텍스처(질감) 디테일 정보를 완전히 추출 할 수 있고 최종 융합 영상의 전체 대조비를 유지시킬 수 있는, 영상 융합 시스템을 제공하는 데 있다.
본 발명의 영상 융합 시스템에 따르면, 컴퓨터 단층 촬영 영상 및 자기 공명 영상에 대해 LP 변환이 수행되어 베이스 레이어 및 디테일 레이어를 획득하고, 디테일 레이어는 '최대 절대(max-absolute)' 규칙을 사용하여 융합하며, 베이스 레이어는 소스 영상에 포함된 텍스처(질감)를 유지하도록 CSR 기반 접근 방식으로 융합함으로써, 융합된 베이스 레이어 및 디테일 레이어에 대해 역 LP 변환을 수행함으로써 융합된 영상을 재구성한다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의 일면에 따른 영상 융합 시스템에서의 영상 융합 방법은, 두개의 영상에 대해 각 영상의 영상 분해를 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 영상 변환을 수행하는 단계; 각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 단계; 각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 단계; 및 상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 영상 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 단계를 포함한다.
상기 두개의 영상은 CT 영상과 MRI 영상을 포함한다.
상기 영상 피라미드의 산출에서, 각 영상에 대해 가우샨 커널에 의한 컨볼루션과 다운 샘플링을 이용하여 스케일 레벨별 영상 피라미드를 생성하는 가우샨 피라미드 변환, 및 상기 가우샨 피라미드 변환 결과에 대해 가우샨 커널에 의한 컨볼루션과 업-샘플링을 이용하여 스케일 레벨별 영상 피라미드를 생성하는 LP 변환을 수행한다.
상기 최종 융합 베이스 레이어(FB)를 생성하는 단계는, 각 영상의 서로 대응되는 베이스 레이어에 대해, CSR 코딩 코딩을 통해 제1 영상의 희소 계수 벡터(CC,m)와 제2 영상의 희소 계수 벡터(CM,m)을 산출하는 단계; 각각의 희소 계수 벡터에 대하여 L1 정규화를 통해 각각의 액티비티를 산출하되, 소정의 픽셀 윈도우에서의 제1 액티비티 평균값 및 제2 액티비티 평균값을 각각 산출해, 각각의 픽셀 위치에서 상기 제1 액티비티 평균값과 상기 제2 액티비티 평균값 중 큰쪽에 해당하는 영상 쪽의 희소 계수 벡터를 선택해 융합 희소 표현(CF,M)을 결정하는 단계; 및 상기 융합 희소 표현(CF,M)과, 미리 학습으로 훈련된 사전 필터들의 세트(dm)에 대한, 콘볼루션 동작을 통해, 상기 최종 융합 베이스 레이어(FB)를 생성하는 단계를 포함한다.
상기 CSR 코딩 코딩은, 각각의 희소 계수 벡터가 수학식 
을 만족하도록 수행되고, Cm은 CC,m 또는 CM,m이고, dm은 미리 학습으로 훈련된 사전 필터, IB 는 각 베이스 레이어, λ는 정규화 파라미터이다.
상기 최종 융합 디테일 레이어(FD)를 생성하는 단계에서, 각 영상에서 서로 대응되는 디테일 레이어에 대해, 각 픽셀 위치의 양측 계조값의 절대값 중 큰 값을 선택해 각 픽셀 위치의 계조값으로 결정함으로써, 상기 최종 융합 디테일 레이어(FD)를 생성할 수 있다.
상기 결정된 각 픽셀 위치의 계조값이 인접한 하나 이상의 픽셀의 계조값과 소정의 범위 내의 차이가 되도록 적합성 여부를 검증하여 상기 최종 융합 디테일 레이어(FD)를 출력할 수 있다.
그리고, 본 발명의 다른 일면에 따른 영상 융합 시스템에서의 영상 융합 처리 기능을 수행하기 위한, 컴퓨터가 판독 가능한 코드를 기록한 기록 매체는, 두개의 영상에 대해 각 영상의 영상 분해를 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 영상 변환을 수행하는 기능; 각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 기능; 각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 기능; 및 상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 영상 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 기능을 구현한다.
본 발명에 따른 영상 융합 시스템에 따르면, LP-CSR이라는 LP와 CSR을 결합한 새로운 의료용 영상 융합 방법을 통해, 우수한 융합 성능을 얻을 수 있다. LP 변환은 CT 및 MRI 소스 영상을 멀티 스케일 표현, 즉, 디테일 레이어 및 베이스 레이어로 분해하여 영상의 특징을 추출하고, 베이스 레이어에 포함된 텍스처 디테일 정보를 완전히 보존하기 위해 CSR 기반 접근법으로 베이스 레이어를 융합한다. 디테일 레이어는 널리 사용되는'max-absolute' 규칙에 의해 융합되며, 주변 픽셀의 계조값과 비교로 적합성 여부가 검증될 수 있다. 베이스 레이어는 LP의 최소 스케일 영상이므로 CSR의 계산 부담을 완화할 수 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 영상 융합 시스템에서의 영상 융합 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 영상 융합 시스템에서의 영상 분해에 의한 영상 피라미드 생성 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 영상 융합 시스템에서의 LP 변환에 의한 영상의 분해 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 영상 융합 시스템에서의 베이스 레이어와 디테일 레이어의 영상 융합과 재구성 방법을 설명하기 위한 도면이다.
도 5는 입력 CT 영상(A)과 MRI(B) 영상에 대하여, 본 발명의 영상 융합 방법의 결과(J)와 다른 종래의 영상 융합 방법의 결과들(C~I)에 대한 예시를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 영상 융합 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
도 1은 본 발명의 영상 융합 시스템에서의 영상 융합 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 영상 융합 시스템에서의 영상 분해에 의한 영상 피라미드 생성 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 영상 융합 시스템에서의 LP 변환에 의한 영상의 분해 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 영상 융합 시스템에서의 베이스 레이어와 디테일 레이어의 영상 융합과 재구성 방법을 설명하기 위한 도면이다.
도 5는 입력 CT 영상(A)과 MRI(B) 영상에 대하여, 본 발명의 영상 융합 방법의 결과(J)와 다른 종래의 영상 융합 방법의 결과들(C~I)에 대한 예시를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 영상 융합 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
최근에, 에지 보존 필터가 영상 융합에 성공적으로 사용되었다. Li 등은 영상을 융합하고 향상된 성능을 달성하기 위해 유도 필터 GF(guided filter)를 사용했다. Zhou 등은 가우시안 필터와 양방향 필터를 결합하여 하이브리드 멀티 스케일 분해 (Hybrid-MSD) 융합 방법을 제안했지만 이 융합 방법은 의료 영상에는 적합하지 않다. Jian 등은 다중 모드 의료 영상을 융합하고 롤링 가이던스 필터 RGF(rolling guidance filter)를 적용하여 객관적인 좋은 성능을 획득했다. 그러나, RGF에 의해 얻어진 융합 영상은 많은 잔상을 유발할 수 있다. 최근에 Ma 등은 영상 전사를 최소화 문제로 공식화한 GTF(radient transfer fusion)라고 하는 새로운 영상 융합 방법을 제시했다. 그러나, GTF 방법은 적외선 및 가시적 영상 융합에만 사용할 수 있으며 다른 장면 영상에서는 강건성이 떨어진다. 최근 몇 년간 SR (Sparse Representation)은 영상 분류 및 영상 인식과 같은 영상 처리 작업에 널리 사용되었다. SR은 Yang과 Li의 영상 융합에 처음 도입되었다. 여기서, 원본 영상은 SR 도메인으로 변환되고 희소 벡터로 표현되고, 최대 L1 표준이 융합 규칙으로 선택되며, 최종 융합 영상은 융합 희소 벡터에 역 희소 변환을 구현함으로써 재구성된다. 상기 SR 기반 융합 방법의 단점을 극복하기 위해 Liu 등은 영상을 융합하는 적응형 희소 표현 (ASR) 모델을 제안했다.
특히, ASR 융합 방법은 중복성이 높고 완성된 사전(dictionary)을 최종 융합된 영상을 재구성하기 위한 서브 사전 세트로 대체한다. 텍스처 디테일 정보를 잃어버린 SR 및 ASR 융합 방법에서 로컬 패치 방식의 단점을 극복하기 위해 CSR(convolutional sparse representation)이 영상 융합에 적용된다. 그러나 Liu 등의 연구에서 영상 융합 CSR 기반 방법은 만족스러운 융합 성능을 달성하지 못하며 다중 스케일 변환(MST) 구조를 거의 포함하지 않는다. 또한, CSR 기반 방법의 처리 속도는 대규모 영상 공간에서 수행되는 모든 CSR 작업에 대해 만족스럽지 않은 실정이다.
도 1은 본 발명의 영상 융합 시스템에서의 영상 융합 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 영상 융합 시스템은, 서로 다른 두개의 영상(예, CT 영상과 MRI 영상) 각각에 대한 LP 변환을 이용한 영상 분해를 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하며(S110), 각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어(영상)를 서로 융합하여(CSR 코딩을 이용)하여 최종 융합 베이스 레이어 FB를 생성, 및 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어(영상)을 융합(max-absolute 규칙을 이용)하여 최종 융합 디테일 레이어 FD를 생성하고(S120), 최종 융합 베이스 레이어 FB와 최종 융합 디테일 레이어 FD에 대하여, 위의 LP 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상(510)을 출력한다(S130).
본 발명은 종래의 방법의 단점을 해결하기 위해 최근 영상 융합 문헌에서 영감을 얻은 바, LP-CSR이라는 LP와 CSR을 결합한 새로운 의료용 영상 융합 방법을 제안하게 되었다. 의료 영상 특징을 추출하기 위해, LP 변환은 CT 및 MRI 소스 영상을 다중 스케일 레벨의 영상들, 즉, 디테일 레이어 및 베이스 레이어로 분해하기 위해 적용된다. 베이스 레이어에 포함된 텍스처 디테일 정보를 완전히 보존하기 위해 CSR 기반 접근법으로 베이스 레이어를 융합한다. 기존 SR에서는 융합된 영상은 픽셀 단위의 '중첩-평균화(overlap-averaging)'전략을 사용하여 재구성된 모든 패치를 전체 영상으로 집계하여 텍스처 디테일 정보를 쉽게 잃어 버린다. CSR은 컨볼루션 형태의 SR로 간주될 수 있으며, 이는 로컬 영상 패치가 아닌 전체 영상의 희소 계수를 얻는다. CSR의 융합 결과는 픽셀 단위의 '중복 평균화' 전략 없이 전체 영상에 대해 최적화되므로 텍스처 디테일 정보를 완벽하게 보존할 수 있다. 따라서 본 발명은 기존 SR 보다 우수한 융합 성능을 얻을 수 있다. 또한, 베이스 레이어는 LP의 최소 스케일(가장작은 가로*세로 픽셀수) 레벨의 영상이므로 CSR의 계산 부담을 완화할 수 있다. 디테일 레이어는 널리 사용되는 'max-absolute' 규칙 주변 픽셀의 계조값과 비교로 적합성 여부가 검증된다. 최종적으로, 융합된 영상은 융합된 디테일 및 베이스 레이어에 대해 역 LP 변환을 수행함으로써 재구성될 수 있다.
도 2는 본 발명의 영상 융합 시스템에서의 영상 분해에 의한 영상 피라미드 생성 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 위의 S110 단계에서의 LP 변환을 이용한 영상 분해에 의한 영상 피라미드 생성은, 영상의 고주파 성분을 잃지 않고 유지시키기 위한 과정으로서, 첫번째 단계에서 입력 영상(Iinput)에 대한 가우샨 커널에 의한 컨볼루션(conv)과 다운 샘플링(f↓)을 이용하여 스케일 레벨별(최하위 1st,..,최상위 Kth) 영상 피라미드를 생성하는 GP(Gaussian pyramid, 가우샨 피라미드) 변환, 및 두번째 단계에서 GP 변환 결과에 대해 가우샨 커널에 의한 컨볼루션(conv)과 업-샘플링(f↑)을 이용하여 스케일 레벨별(최하위 1st,..,최상위 Kth) 영상 피라미드를 생성하는 LP(Laplacian Pyramid, 라플라시안 피라미드) 변환을 포함한다.
GP 변환은, [수학식1]과 같이 입력 영상(Iinput)을 최하위 1st 레벨의 레이어(영상) G1로 하고, 최상위 Kth 레벨까지 n=2,..,K(K는 2 이상의 자연수)에 대한 각 레벨의 레이어(영상) Gn을 계산한다. Gn의 계산은, [수학식1]과 같이 하위 레벨의 레이어(Gn-1)에 대하여 가우샨 커널에 의한 컨볼루션(conv)을 수행하되 다운 샘플링(f↓) 처리하여 영상의 스케일(크기)를 1/2로 줄인다(특허출원 KR10-2010-0036388 참조). 예를 들어, 이전 영상 스케일(픽셀 사이즈) m*n은 Gn의 각 레벨에서 0.5m*0.5n으로 축소될 수 있다.
[수학식1]
G1 = Iinput
Gn = f↓(conv(Gn-1))
LP 변환은, [수학식2]와 같이, 최상위 Kth 레벨 레이어(영상)부터 최하위 1st 레벨 레이어(영상)까지 n=1,2,..,K(K는 2 이상의 자연수)에 대한 각 레벨의 레이어(영상) LPn을 계산한다. LPn의 계산은, [수학식2]와 같이 상위 레벨의 레이어(Gn+1)에 대하여 가우샨 커널에 의한 컨볼루션(conv)을 수행하되 업-샘플링(f↑) 처리하여 영상의 스케일(크기)를 2배로 확대(픽셀 사이즈 m*n->2m*2n)시켜 나가는 과정을 포함하여, Gn에서 그 결과의 차이를 차례로 산출한다.
[수학식2]
LPn = Gn - f↑ conv(Gn+1)
도 3은 본 발명의 영상 융합 시스템에서의 LP 변환을 이용한 영상 피라미드의 산출을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 영상 융합 시스템은, 위의 S110 단계에서 LP 변환을 이용한 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드의 산출 수행하되, CT 영상과 MRI 영상에 대하여 각각의 다중 스케일 레벨의 영상들 (IB, ID 1,.., ID i,.., ID K-1) 을 생성한다. 여기서, 최하위 스케일 레벨의 베이스 레이어는 IB, 그외의 다른 스케일 레벨의 디테일 레이어들은 ID i로 표시하였다.
본 발명의 LP 변환을 이용한 영상 분해에 의한 영상 피라미드 생성에 따라, CT 영상에 대한 LP 변환을 이용한 영상 분해에 의한 영상 피라미드 LPC(Iinput, K)는 [수학식3]과 같이 나타낼 수 있고, MRI 영상에 대한 LP 변환을 이용한 영상 분해에 의한 영상 피라미드 LPM(Iinput, K)는 [수학식4]와 같이 나타낼 수 있다.
여기서, IB C, IB M은 CT 영상의 베이스 레이어 및 MRI 영상의 베이스 레이어를 각각 나타낸다. 또한, 디테일 레이어들 IDC i, IDM i 는 CT 영상 및 MRI 영상 각각의 디테일 레이어들을 나타낸다.
[수학식3]
LPC(Iinput, K) = (IB C, IDC 1,.., IDC i,.., IDC K-1)
[수학식4]
LPM(Iinput, K) = (IB M, IDM 1,.., IDM i,.., IDM K-1)
도 4는 본 발명의 영상 융합 시스템에서의 베이스 레이어와 디테일 레이어의 영상 융합과 재구성 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 영상 융합 시스템은 위의 S120 단계에서, 두 영상의 베이스 레이어의 융합과 두 영상의 디테일 레이어의 융합을 수행한다.
이를 위하여, 본 발명의 영상 융합 시스템은, 위의 S110 단계에서 수행된 결과에 따라, 베이스 레이어의 융합을 위하여, 먼저, CT 영상에 대해 스케일 레벨별로 분해된 영상 (IB C, IDC 1,.., IDC i,.., IDC K-1) 중 최상위 스케일 레벨의 CT 영상의 베이스 레이어 IB C(421) 및, 이에 대응되는 MRI 영상에 대해 스케일 레벨별로 분해된 영상 (IB M, IDM 1,.., IDM i,.., IDM K-1) 중 최상위 스케일 레벨의 MRI 영상의 베이스 레이어 IB M(422)를 수신한다.
각 영상에 대해, 다음과 같은 [수학식5]을 만족하도록, 본 발명의 영상 융합 시스템은, CSR 코딩(Wohlberg B, Efficient Algorithms for convolutional sparse representations. IEEE Trans Image Process. 2015;25(1):301-315)을 통해(431, 432), CT 영상과 MRI 영상의 각 픽셀 위치에 대해 CSR 희소 계수 벡터 Cm(CT 영상의 희소 계수 벡터(맵) CC,m, MRI 영상의 희소 계수 벡터(맵) CM,m)를 산출한다(441, 442). 여기서, Cm은 m=1,2,..,M인 해당 차원의 칼럼 벡터이다.
[수학식5]
각 영상의 베이스 레이어의 각 픽셀 위치(x,y) 마다의 m 차원 칼럼 벡터를 나타내는 희소 계수 Cm(CC,m, CM,m)는, [수학식5]를 만족하도록, 미리 학습으로 훈련된 사전(dictionary) 필터들의 세트 dm과 입력되는 각 베이스 레이어 IB(IB C, IB M)의 희소 계수 Cm(CC,m, CM,m)의 콘볼루션 동작(*)을 통해 얻어진다. 여기서, λ는 정규화 파라미터이다. 베이스 레이어들을 융합하기 위한 CSR 코딩 결과는 베이스 레이어들의 텍스쳐 디테일 정보를 유지시킨다.
다음에, 본 발명의 영상 융합 시스템은, 각각의 CSR 희소 계수 벡터 Cm(CC,m, CM,m)에 대하여, L1 정규화(L1 Norm)를 통해 희소 표현 융합 방법에 따른 액티비티(activity)(맵) A(x, y)를 
와 같이 산출하되(C1:M(x,y)은 Cm(x,y)의 m=1,2,..,M인 해당 차원 칼럼 벡터의 원소값들), [수학식6]과 같이 소정의 픽셀윈도우 r을 적용해 평균값 /A(x,y)(CC,m에 대한 /AC(x,y), CM,m에 대한 /AM(x,y))를 산출함으로써, 서로 다른 영상의 융합에 의한 부적합성을 해소할 수 있도록 한다(450). 윈도우 r이 커지면 영상의 융합에 의한 적합도가 떨어지므로 적절한 값이 선택될 수 있다(예, r=3).
[수학식6]
다음에 본 발명의 영상 융합 시스템은, CC,m에 대한 /AC(x,y), CM,m에 대한 /AM(x,y)를 이용하여 [수학식7]과 같이 융합 희소 표현 CF:1:M(x,y)을 산출한다(460). 즉, 각각의 픽셀 위치(x,y)에서, CT 영상의 액티비티 /AC(x,y)와 MRI 영상의 액티비티 /AM(x,y) 중 큰쪽의 희소계수를 선택하는 방법으로 융합 희소 표현 CF:1:M(x,y)의 원소값들을 산출한다. CC,1:M(x,y)은 CC,m(x,y)의 m=1부터 M 차원 칼럼 벡터의 원소값들, CM,1:M(x,y)은 CM,m(x,y)의 m=1부터 M 차원 칼럼 벡터의 원소값들이다.
[수학식7]
본 발명의 영상 융합 시스템은, [수학식8]과 같이, 위의 CF:1:M(x,y)의 원소값들로 이루어지는 융합 희소 표현(CF,M)과, 미리 학습으로 훈련된 사전 필터들의 세트 dm(461)에 대한, 콘볼루션 동작(*)을 통해, 최종 융합 베이스 레이어 FB를 획득한다(470).
[수학식8]
또한, 본 발명의 영상 융합 시스템은, 위의 S110 단계에서 수행된 결과에 따라, 디테일 레이어의 융합을 위하여, CT 영상에 대해 스케일 레벨별로 분해된 영상 (IB C, IDC 1,.., IDC i,.., IDC K-1) 중 디테일 레이어들 IDC i(481), 및 이에 대응되는 MRI 영상에 대해 스케일 레벨별로 분해된 영상 (IB M, IDM 1,.., IDM i,.., IDM K-1) 중 디테일 레이어들 IDM i(482)들을 수신한다.
또한, 본 발명의 영상 융합 시스템은, CT와 MRI 영상 각각의 서로 다른 스케일의 디테일 레이어들 (481, 482) ID i 을 서로 동일한 스케일 레벨을 대응시켜 처리하되, 서로 동일한 스케일 레벨의 디테일 레이어에 대해 'max-absolute' 규칙에 따라, 대응되는 픽셀 위치(x, y)의 양측 계조값의 절대값 중 큰 값을 선택하여(490) 각 픽셀 위치(x, y)의 계조값으로 결정해 최종 융합 디테일 레이어 FD를 출력한다(500).
이때, 본 발명의 영상 융합 시스템은 각 스케일 레벨에서 서로 다른 영상의 융합에 따른 적합성을 검증하기 위하여, 상기 결정된 각 픽셀의 계조값이 각각 주변 픽셀 위치들의 계조값과 비슷한 값을 갖는 지 여부를 확인할 수 있다. 본 발명의 영상 융합 시스템은 적합성 검증 알고리즘에 따라 상기 결정된 각 픽셀의 계조값이 인접한 하나 이상(상하좌우)의 픽셀의 계조값과 소정의 범위 내의 차이라면 해당 스케일 레벨에서의 최종 융합 디테일 레이어들로서 결정하여 출력할 수 있다. 이때 적합하지 않은 경우 사용자 인터페이스를 통해 오류를 표시하여 상기 소정의 범위를 조정하여 수행되도록 할 수 있다.
이와 같은 과정을 거쳐, 위의 S130 단계에서, 본 발명의 영상 융합 시스템은, 상기 최종 융합 베이스 레이어 FB와 최종 융합 디테일 레이어 FD에 대하여, 위의 LP 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상(510)을 출력할 수 있다. 예를 들어, 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 역 LP 변환을 통해 각 레벨의 특징 정보를 반영한 합성 영상이 되도록 영상을 재구성한, 최종 융합 영상을 최종 융합 영상(510)을 출력할 수 있다. 즉, CT 및 MRI 영상들의 상호 보완 정보가 취해진 고해상도 최종 융합 영상(510)을 제공하여, CT 영상에 의한 뼈 및 임플란트와 같은 조밀한 기관 및 조직에 대한 정보, 및 MRI 영상에 의한 연조직에 대한 정보가, 융합된 고해상도 최종 융합 영상(510)을 제공할 수 있다.
도 5는 입력 CT 영상(A)과 MRI(B) 영상에 대하여, 본 발명의 영상 융합 방법의 결과(J)와 다른 종래의 영상 융합 방법의 결과들(C~I)에 대한 예시를 나타낸다.
도 5를 참조하면, 본 발명의 영상 융합 방법의 결과(J)가, CT 영상(A)과 MRI(B) 영상을 융합하여 조밀한 기관 및 조직에 대한 정보, 및 연조직에 대한 정보가 융합된 고해상도 최종 융합 영상을 제공할 수 있음을 확인하였다. 본 발명의 영상 융합 방법의 결과(J)는, 다른 종래의 영상 융합 방법의 결과들(C~I)과 비교하여, 조밀한 기관 및 조직에 대한 정보 및 연조직에 대한 정보를 융합하여 더욱 선명하게 제공할 수 있음을 알 수 있었다.
도 6은 본 발명의 일 실시예에 따른 영상 융합 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
위와 같은 본 발명의 일 실시예에 따른 영상 융합 처리를 위한 영상 융합 시스템은, 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 본 발명의 영상 융합 시스템은 위와 같은 기능/단계/과정들을 수행하기 위한 적어도 하나의 프로세서를 갖는 도 5과 같은 컴퓨팅 시스템(1000) 또는 인터넷 상의 서버 형태로 구현될 수 있다.
컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같이 컴퓨터 등 장치로 판독 가능한 저장/기록 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보(코드)를 판독할 수 있고 저장 매체에 정보(코드)를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상술한 바와 같이, 본 발명에 따른 영상 융합 시스템에 따르면, LP-CSR이라는 LP와 CSR을 결합한 새로운 의료용 영상 융합 방법을 통해, 우수한 융합 성능을 얻을 수 있다. LP 변환은 CT 및 MRI 소스 영상을 멀티 스케일 표현, 즉, 디테일 레이어 및 베이스 레이어로 분해하여 영상의 특징을 추출하고, 베이스 레이어에 포함된 텍스처 디테일 정보를 완전히 보존하기 위해 CSR 기반 접근법으로 베이스 레이어를 융합한다. 디테일 레이어는 널리 사용되는'max-absolute' 규칙에 의해 융합되며, 주변 픽셀의 계조값과 비교로 적합성 여부가 검증될 수 있다. 베이스 레이어는 LP의 최소 스케일 영상이므로 CSR의 계산 부담을 완화할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (14)
- 영상 융합 시스템에서의 영상 융합 방법에 있어서,
두개의 영상에 대해 각 영상의 영상 분해를 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 영상 변환을 수행하는 단계;
각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 단계;
각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 단계; 및
상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 영상 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 단계를 포함하고,
상기 최종 융합 베이스 레이어(FB)를 생성하는 단계는,
각 영상의 서로 대응되는 베이스 레이어에 대해, CSR 코딩 코딩을 통해 제1 영상의 희소 계수 벡터(CC,m)와 제2 영상의 희소 계수 벡터(CM,m)을 산출하는 단계;
각각의 희소 계수 벡터에 대하여 L1 정규화를 통해 각각의 액티비티를 산출하되, 소정의 픽셀 윈도우에서의 제1 액티비티 평균값 및 제2 액티비티 평균값을 각각 산출해, 각각의 픽셀 위치에서 상기 제1 액티비티 평균값과 상기 제2 액티비티 평균값 중 큰쪽에 해당하는 영상 쪽의 희소 계수 벡터를 선택해 융합 희소 표현(CF,M)을 결정하는 단계; 및
상기 융합 희소 표현(CF,M)과, 미리 학습으로 훈련된 사전 필터들의 세트(dm)에 대한, 콘볼루션 동작을 통해, 상기 최종 융합 베이스 레이어(FB)를 생성하는 단계
를 포함하는 영상 융합 방법. - 제1항에 있어서,
상기 두개의 영상은 CT 영상과 MRI 영상을 포함하는 영상 융합 방법. - 제1항에 있어서,
상기 영상 피라미드의 산출에서, 각 영상에 대해 가우샨 커널에 의한 컨볼루션과 다운 샘플링을 이용하여 스케일 레벨별 영상 피라미드를 생성하는 가우샨 피라미드 변환, 및 상기 가우샨 피라미드 변환 결과에 대해 가우샨 커널에 의한 컨볼루션과 업-샘플링을 이용하여 스케일 레벨별 영상 피라미드를 생성하는 LP 변환을 수행하는 영상 융합 방법. - 삭제
- 제1항에 있어서,
상기 CSR 코딩 코딩은, 각각의 희소 계수 벡터가 수학식을 만족하도록 수행되고, Cm은 CC,m 또는 CM,m이고, dm은 미리 학습으로 훈련된 사전 필터, IB 는 각 베이스 레이어, λ는 정규화 파라미터인 영상 융합 방법.
- 영상 융합 시스템에서의 영상 융합 방법에 있어서,
두개의 영상에 대해 각 영상의 영상 분해를 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 영상 변환을 수행하는 단계;
각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 단계;
각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 단계; 및
상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 영상 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 단계를 포함하고,
상기 최종 융합 디테일 레이어(FD)를 생성하는 단계에서, 각 영상에서 서로 대응되는 디테일 레이어에 대해, 각 픽셀 위치의 양측 계조값의 절대값 중 큰 값을 선택해 각 픽셀 위치의 계조값으로 결정함으로써, 상기 최종 융합 디테일 레이어(FD)를 생성하는 영상 융합 방법. - 제6항에 있어서,
상기 결정된 각 픽셀 위치의 계조값이 인접한 하나 이상의 픽셀의 계조값과 소정의 범위 내의 차이가 되도록 적합성 여부를 검증하여 상기 최종 융합 디테일 레이어(FD)를 출력하는 영상 융합 방법. - 영상 융합 시스템에서의 영상 융합 처리 기능을 수행하기 위한, 컴퓨터가 판독 가능한 코드를 기록한 기록 매체에 있어서,
두개의 영상에 대해 각 영상의 영상 분해을 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 영상 변환을 수행하는 기능;
각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 기능;
각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 기능; 및
상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 영상 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 기능을 수행하되,
상기 최종 융합 베이스 레이어(FB)를 생성하는 기능은,
각 영상의 서로 대응되는 베이스 레이어에 대해, CSR 코딩 코딩을 통해 제1 영상의 희소 계수 벡터(CC,m)와 제2 영상의 희소 계수 벡터(CM,m)을 산출하는 기능;
각각의 희소 계수 벡터에 대하여 L1 정규화를 통해 각각의 액티비티를 산출하되, 소정의 픽셀 윈도우에서의 제1 액티비티 평균값 및 제2 액티비티 평균값을 각각 산출해, 각각의 픽셀 위치에서 상기 제1 액티비티 평균값과 상기 제2 액티비티 평균값 중 큰쪽에 해당하는 영상 쪽의 희소 계수 벡터를 선택해 융합 희소 표현(CF,M)을 결정하는 기능; 및
상기 융합 희소 표현(CF,M)과, 미리 학습으로 훈련된 사전 필터들의 세트(dm)에 대한, 콘볼루션 동작을 통해, 상기 최종 융합 베이스 레이어(FB)를 생성하는 기능
을 포함하는 기록 매체. - 제8항에 있어서,
상기 두개의 영상은 CT 영상과 MRI 영상을 포함하는 기록 매체. - 제8항에 있어서,
상기 영상 피라미드를 산출하는 기능에서, 각 영상에 대해 가우샨 커널에 의한 컨볼루션과 다운 샘플링을 이용하여 스케일 레벨별 영상 피라미드를 생성하는 가우샨 피라미드 변환, 및 상기 가우샨 피라미드 변환 결과에 대해 가우샨 커널에 의한 컨볼루션과 업-샘플링을 이용하여 스케일 레벨별 영상 피라미드를 생성하는 LP 변환을 수행하는 기록 매체. - 삭제
- 제8항에 있어서,
상기 CSR 코딩 코딩은, 각각의 희소 계수 벡터가 수학식을 만족하도록 수행되고, Cm은 CC,m 또는 CM,m이고, dm은 미리 학습으로 훈련된 사전 필터, IB 는 각 베이스 레이어,
는 정규화 파라미터인 기록 매체.
- 영상 융합 시스템에서의 영상 융합 처리 기능을 수행하기 위한, 컴퓨터가 판독 가능한 코드를 기록한 기록 매체에 있어서,
두개의 영상에 대해 각 영상의 영상 분해을 통해 다중 스케일 레벨의 영상들을 포함하는 영상 피라미드를 산출하는 영상 변환을 수행하는 기능;
각 영상의 상기 다중 스케일 레벨의 영상들 중 가장 작은 스케일을 갖는 베이스 레이어를 서로 융합하여 최종 융합 베이스 레이어(FB)를 생성하는 기능;
각 영상의 상기 다중 스케일 레벨의 영상들 중 하나 이상의 디테일 레이어를 융합하여 최종 융합 디테일 레이어(FD)를 생성하는 기능; 및
상기 최종 융합 베이스 레이어(FB)와 상기 최종 융합 디테일 레이어(FD)에 대하여, 상기 영상 변환의 역과정을 통해, 영상을 재구성함으로써, 최종 융합 영상을 출력하는 기능을 수행하되,
상기 최종 융합 디테일 레이어(FD)를 생성하는 기능에서, 각 영상에서 서로 대응되는 디테일 레이어에 대해, 각 픽셀 위치의 양측 계조값의 절대값 중 큰 값을 선택해 각 픽셀 위치의 계조값으로 결정함으로써, 상기 최종 융합 디테일 레이어(FD)를 생성하는 기록 매체. - 제13항에 있어서,
상기 결정된 각 픽셀 위치의 계조값이 인접한 하나 이상의 픽셀의 계조값과 소정의 범위 내의 차이가 되도록 적합성 여부를 검증하여 상기 최종 융합 디테일 레이어(FD)를 출력하는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200158831A KR102505908B1 (ko) | 2020-11-24 | 2020-11-24 | 의료 영상 융합 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200158831A KR102505908B1 (ko) | 2020-11-24 | 2020-11-24 | 의료 영상 융합 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220071554A KR20220071554A (ko) | 2022-05-31 |
| KR102505908B1 true KR102505908B1 (ko) | 2023-03-06 |
Family
ID=81786412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200158831A KR102505908B1 (ko) | 2020-11-24 | 2020-11-24 | 의료 영상 융합 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102505908B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993643B (zh) * | 2023-09-27 | 2023-12-12 | 山东建筑大学 | 基于人工智能的无人机摄影测量图像校正方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
| CN111415319A (zh) * | 2020-03-20 | 2020-07-14 | 成科扬 | 一种基于时序网络预测与金字塔融合的视频图像修复方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101837286B1 (ko) * | 2016-08-10 | 2018-03-09 | 한국과학기술원 | 라플라시안 패치 기반 이미지 합성 방법 및 장치 |
| KR102160690B1 (ko) * | 2018-12-27 | 2020-09-29 | 인천대학교 산학협력단 | 다초점 이미지 융합 방법 |
-
2020
- 2020-11-24 KR KR1020200158831A patent/KR102505908B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
| CN111415319A (zh) * | 2020-03-20 | 2020-07-14 | 成科扬 | 一种基于时序网络预测与金字塔融合的视频图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220071554A (ko) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | Computed tomography super-resolution using convolutional neural networks | |
| WO2021077997A1 (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
| Isaac et al. | Super resolution techniques for medical image processing | |
| Mahapatra et al. | Progressive generative adversarial networks for medical image super resolution | |
| US8139891B2 (en) | System and method for structure enhancement and noise reduction in medical images | |
| JP2008511395A (ja) | 一連の画像における動き修正のための方法およびシステム | |
| WO2019097085A1 (en) | Isotropic 3d image reconstruction using 3d patches-based self-similarity learning | |
| CN112837244A (zh) | 用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络 | |
| CN108038840B (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| WO2022086910A1 (en) | Anatomically-informed deep learning on contrast-enhanced cardiac mri | |
| KR102505908B1 (ko) | 의료 영상 융합 시스템 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN113592745B (zh) | 一种基于对抗性域自适应的无监督mri图像复原方法 | |
| CN117769722A (zh) | 用于断层成像的基于生成对抗网络的无损图像压缩模型 | |
| Du et al. | Deep-learning-based metal artefact reduction with unsupervised domain adaptation regularization for practical CT images | |
| CN112419175A (zh) | 一种共享权重的双区域生成对抗网络及其图像生成方法 | |
| CN116894783A (zh) | 基于时变约束的对抗生成网络模型的金属伪影去除方法 | |
| Jiang et al. | Learning a frequency separation network with hybrid convolution and adaptive aggregation for low-dose CT denoising | |
| CN111724452B (zh) | 一种低剂量ct图像重建方法 | |
| Bera et al. | Axial consistent memory GAN with interslice consistency loss for low dose computed tomography image denoising | |
| CN112446840A (zh) | 一种基于深度学习的ct图像黑带伪影消除方法及系统 | |
| You et al. | CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble | |
| Zeyada et al. | Resolving Interferometric SAR Speckle Problem Using Adaptive GAN. | |
| CN111862262B (zh) | 一种图像重建方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |