KR20200025598A - 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 - Google Patents

가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 Download PDF

Info

Publication number
KR20200025598A
KR20200025598A KR1020180103208A KR20180103208A KR20200025598A KR 20200025598 A KR20200025598 A KR 20200025598A KR 1020180103208 A KR1020180103208 A KR 1020180103208A KR 20180103208 A KR20180103208 A KR 20180103208A KR 20200025598 A KR20200025598 A KR 20200025598A
Authority
KR
South Korea
Prior art keywords
layer
final
image
equation
sparse
Prior art date
Application number
KR1020180103208A
Other languages
English (en)
Other versions
KR102142934B1 (ko
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020180103208A priority Critical patent/KR102142934B1/ko
Publication of KR20200025598A publication Critical patent/KR20200025598A/ko
Application granted granted Critical
Publication of KR102142934B1 publication Critical patent/KR102142934B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법은 의상 분해 및 희소 표현을 기반으로 한 의료 영상을 융합하는 방법으로서, 라플라시안 피라미드와 희소 표현의 융합 규칙을 결합하여 저주파수 층을 처리함으로써 복원된 의료 영상의 영상 품질을 개선하는 효과가 있다.

Description

가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법{Apparatus and Method for Fusing Using Weighted Least Squares Filter and Sparse Respresentation}
본 발명은 의료 영상을 융합하는 방법에 관한 것으로서, 특히 영상 분해 및 희소 표현을 기반으로 한 의료 영상을 융합하는 방법으로 라플라시안 피라미드와 희소 표현의 융합 규칙을 결합하여 저주파수 층을 처리함으로써 복원된 의료 영상의 영상 품질을 개선하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법에 관한 것이다.
의료 영상 융합은 임상 진단 및 치료를 위하여 의료 영상의 보완적인 정보를 통합하여 고품질의 영상을 얻을 수 있다.
의료 영상은 의료 진단 기술의 발달과 함께 임상 진단에서 점점 더 중요해지고 있다.
의료 영상은 초음파, X 선, 단일 광자 방출 컴퓨터 단층 촬영(SPECT), 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI) 등과 같은 다양한 의료 장비에서 진단용으로 얻을 수 있다.
최근의 질병은 하나의 종류의 의료 영상만으로 의사가 진단 할 수있는 충분한 정보를 제공 할 수 없으며, 여러 종류의 의료 영상을 결합해야 한다. 의료 영상 융합은 여러 종류의 의료 영상 정보를 결합하여 의사가 정확한 진단을 내릴 수있게 도와준다.
현재의 의료 영상 융합 방법은 공간 도메인에서 영상의 픽셀 포인트를 직접 조작하여 계산이 빠른 장점이 있으나 영상 융합 결과에 항상 공간 왜곡을 가져오며 많은 스펙트럼 정보를 제공할 수 없어서 융합된 영상 품질이 떨어지는 문제점이 있다.
한국 등록특허번호 제10-1883806호
이와 같은 문제점을 해결하기 위하여, 본 발명은 영상 분해 및 희소 표현을 기반으로 한 의료 영상을 융합하는 방법으로 라플라시안 피라미드와 희소 표현의 융합 규칙을 결합하여 저주파수 층을 처리함으로써 복원된 의료 영상의 영상 품질을 개선하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법은,
하나 이상의 입력된 영상을 가중 최소 자승(Weighted Least Squares, WLS) 필터를 이용하여 상기 각각의 입력된 영상을 LF(Low Frequency) 레이어와 HF(High Frequency) 레이어로 각각 분해하는 단계;
상기 각각의 LF 레이어를 희소 표현법(Sparse Representation)을 이용하여 희소 계수 벡터로 각각 구성하고, 이를 융합하여 융합된 최종 LF 레이어를 재구성하는 단계;
상기 각각의 HF 레이어를 최대 절대 융합 규칙(Max Absolute Fusion Rule)을 이용하여 융합시켜 최종 HF 레이어를 재구성하는 단계; 및
상기 최종 LF 레이어와 상기 최종 HF 레이어를 더하여 최종 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치는,
하나 이상의 입력된 영상을 가중 최소 자승(Weighted Least Squares, WLS) 필터를 이용하여 상기 각각의 입력된 영상을 LF(Low Frequency) 레이어와 HF(High Frequency) 레이어로 각각 분해하는 영상 분해부;
상기 각각의 LF 레이어를 희소 표현법(Sparse Representation)을 이용하여 희소 계수 벡터로 각각 구성하고, 이를 융합하여 융합된 최종 LF 레이어를 재구성하는 저주파수 레이어 융합부;
상기 각각의 HF 레이어를 최대 절대 융합 규칙(Max Absolute Fusion Rule)을 이용하여 융합시켜 최종 HF 레이어를 재구성하는 고주파수 레이어 융합부; 및
상기 최종 LF 레이어와 상기 최종 HF 레이어를 더하여 최종 영상을 복원하는 최종 영상 융합부를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 라플라시안 피라미드와 희소 표현의 융합 규칙의 결합으로 저주파수 층을 처리하여 융합된 영상의 가장자리 근처의 영상 품질을 개선함으로써 복원된 의료 영상 전체의 영상 품질을 개선할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 영상 융합 장치의 구성을 개념적으로 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 WLS 필터의 멀티 스케일 분해의 일례를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 WLS 필터의 분해 구조를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 저주파수 레이어 융합부의 내부 구성을 간략하게 나타낸 블록도이다.
도 6은 본 발명의 실시예에 따른 저주파수 레이어 융합부의 구성을 개념적으로 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 영상 융합 장치의 구성을 개념적으로 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 WLS 필터의 멀티 스케일 분해의 일례를 나타낸 도면이다.
본 발명의 실시예에 따른 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치(100)는 영상 분해부(110), 영상 레이어 저장부(120), 저주파수 레이어 융합부(130), 고주파수 레이어 융합부(140) 및 최종 영상 융합부(150)를 포함한다.
영상 분해부(110)는 입력된 영상을 분해하여 서로 다른 스케일로 복수의 특징을 가진 영상을 얻을 수 있다.
영상 분해부(110)는 왜곡 및 후광을 줄이기 위해서 입력 영상 I를 가중 최소 자승(Weighted Least Squares, WLS) 필터를 이용하여 LF(Low Frequency) 레이어와 HF(High Frequency) 레이어로 분해한다.
영상 분해부(110)는 각각의 입력 영상마다 WLS 필터를 이용하여 LF 레이어와 HF 레이어를 각각 분해하여 영상 레이어 저장부(120)에 저장한다.
도 1에 도시된 바와 같이, 영상 분해부(110)는 하나 이상의 입력된 영상을 가중 최소 자승(Weighted Least Squares, WLS) 필터를 이용하여 상기 각각의 입력된 영상을 LF(Low Frequency) 레이어와 HF(High Frequency) 레이어로 각각 분해한다.
좀 더 구체적으로 설명하면, 영상 분해부(110)는 하기의 [수학식 1]과 같이, WLS 필터를 적용하여 k=1부터 K번째까지 부드러운 영상(Smooth Image) Ik을 각각 생성한다.
Figure pat00001
여기서, 부드러운 영상(Smooth Image) Ik은 LF(Low Frequency) 레이어를 나타낸다.
여기서, 차분 영상은 HF(High Frequency) 레이어를 나타낸다.
도 2에 도시된 바와 같이, 영상 분해부(110)는 인접한 두 개의 부드러운 영상을 하기의 [수학식 2]와 같이, k=1부터 K번째까지 차분 영상을 생성한다.
Figure pat00002
가중 최소 자승(WLS) 필터는 비선형, 에지 보존, 평활화 필터로서 다중 스케일의 에지를 보존과 분해를 통해 여러 스케일에서 세부 사항을 효과적으로 캡처할 수 있다.
WLS 필터는 하기의 [수학식 3]를 이용하여 S를 최소로 만드는 필터링된 영상 S를 얻을 수 있으며, 입력 영상 I에 최대한 가까운 부드러운 영상 S를 얻는다.
Figure pat00003
여기서,
Figure pat00004
은 데이터 항(Data Term),
Figure pat00005
은 정규화 항(Regularization Term), WX 및 WY는 수평 및 수직의 평활도 가중치, λ는 두 항 사이의 균형을 맞추는 정규화 매개 변수로 기설정되어 있다.
데이터 항은 필터링된 영상이 입력 영상에 더 가깝게 할 수 있고, 정규화 항 은 입력 영상의 편미분을 최소화하여 평활도를 달성할 수 있다.
[수학식 3]은
Figure pat00006
이 최소로 되는 S 값을 구하는 식이다.
도 3은 λ가 15로 설정된 WLS 필터의 멀티 스케일 분해의 일례를 나타낸 것이다. 도 3의 (a)는 원본 영상이고, 도 3의 (b)는 도 3의 (a)의 부드러운 영상이고, 도 3의 (c)는 도 3의 (b)의 부드러운 영상이고, 도 3의 (d)는 도 3의 (a)와 도 3의 (b)의 차분 영상이고, 도 3의 (e)는 도 3의 (b)와 도 3의 (c)의 차분 영상이다.
도 4는 본 발명의 실시예에 따른 WLS 필터의 분해 구조를 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 저주파수 레이어 융합부의 내부 구성을 간략하게 나타낸 블록도이고, 도 6은 본 발명의 실시예에 따른 저주파수 레이어 융합부의 구성을 개념적으로 나타낸 도면이다.
본 발명의 실시예에 따른 저주파수 레이어 융합부(130)는 라플라시안 피라미드 분해부(131), SLF 레이어 저장부(132), SHF 레이어 저장부(133), 희소 표현부(134), SLF 레이어 구성부(135), SHF 레이어 구성부(136) 및 LF 재구성부(137)를 포함한다.
라플라시안 피라미드 분해부(131)는 라플라시안 피라미드를 이용하여 LF 레이어를 서브 저주파수 레이어(Sub Low Frequency Layer, SLF 레이어)와 서브 고주파수 레이어(Sub High Frequency Layer, SHF 레이어)의 세트로 분해하여 SLF 레이어 저장부(132)와 SHF 레이어 저장부(133)에 각각 저장된다.
도 4에 도시된 바와 같이, 라플라시안 피라미드 분해부(131)는 영상 레이어 저장부(120)로부터 하나 이상의 LF 레이어를 수신하고, 수신한 복수의 LF 레이어를 라플라시안 피라미드를 적용하여 2개의 SLF 레이어(sublowA, sublowB)와, 복수의 SHF 레이어의 세트(
Figure pat00007
)로 분해한다. 여기서, N은 라플라시안 피라미드 분해의 레벨이다.
희소 표현부(134)는 슬라이딩 원도우 기술을 이용하여 2개의 SLF 레이어(sublowA, sublowB)를 왼쪽 위부터 오른쪽 아래까지 S 픽셀의 스텝 길이를 가진
Figure pat00008
크기의 패치로 분해한다. 여기서, 패치는 영상 처리를 위한 최소 단위를 나타낸다.
분해된 패치를 나타내는
Figure pat00009
는 동일한 위치 i를 가진 각각의 sublowA와 sublowB로부터 얻은 패치이다. 여기서, M은 패치들의 총 개수이다.
희소 표현부(134)는 동일한 위치 i에서 분해된 패치(
Figure pat00010
)를 열 벡터(
Figure pat00011
)로 각각 재배열한 후, 하기의 [수학식 4]와 [수학식 5]에 의해 최종 열 벡터(
Figure pat00012
)를 생성한다.
Figure pat00013
Figure pat00014
여기서,
Figure pat00015
는 n×1 열 벡터(column vector)이고, 패치(
Figure pat00016
)의 평균값을 나타낸다.
Figure pat00017
는 고화질 영상 집합의 임의의 샘플에서 고정된 크기의 원도우
Figure pat00018
를 사용하여 샘플링된 패치이다. 여기서, N은 샘플링된 패치의 총 수를 나타낸다.
이어서, 각 패치는 열 벡터로 재배열하고, 각 패치의 강도가 0이 되도록 고유한 평균값을 뺀다. 패치들은 부드러운 패치를 제거하고 에지 정보를 가지기 위해서 강도 분산의 임계값을 설정한다.
희소 표현부(134)는 딕셔너리 훈련부(138)에 연동되어 딕셔너리를 제공받는다.
딕셔너리(Dictionary)는 희소 표현(Sparse Representation)에서 결정적인 역할을 한다.
딕셔너리 훈련부(138)는 다음의 [수학식 6]과 같이 공식화할 수 있다.
Figure pat00019
여기서,
Figure pat00020
는 훈련 패치(Training Patches),
Figure pat00021
는 에러 계수(Tolerance Factor),
Figure pat00022
는 희소 계수(Sparse Cofficients)를 나타낸다.
딕셔너리 훈련부(138)는 최소 자승법을 이용하여
Figure pat00023
를 최소로 하는 D를 계산한다.
희소 표현부(134)는 직교 매칭 추적(Orthogonal Matching Pursuit, OMP) 알고리즘으로 하기의 [수학식 7]과 [수학식 8]을 사용하여 희소 계수 벡터(
Figure pat00024
)를 각각 계산한다.
희소 표현부(134)는 최소 자승법을 이용하여
Figure pat00025
를 최소로 하는
Figure pat00026
를 계산한다. 하기의 [수학식 7]과 [수학식 8]은 딕셔너리(D)를 전술한 [수학식 6]을 이용하여 이미 훈련된 딕셔너리 훈련부(138)를 통해 제공받고, 최종 열 벡터는 전술한 [수학식 4], [수학식 5]를 이용하여 계산된다.
Figure pat00027
Figure pat00028
SLF 레이어 구성부(135)는 희소 표현부(134)에서 계산된 제1 희소 계수 벡터(
Figure pat00029
)와 제2 희소 계수 벡터(
Figure pat00030
)를 희소 계수 벡터의 융합을 위해 max L1 규칙(수학식 9)을 이용하여 최종 희소 계수 벡터를 구한다. 즉, 최종 희소 계수 벡터는 제1 희소 계수 벡터와 제2 희소 계수 벡터의 대소 여부를 비교하여 파라미터가 더 큰 값을 가진 벡터를 선택한다.
Figure pat00031
이어서, SLF 레이어 구성부(135)는 파라미터가 더 큰 값을 가진 최종 희소 계수 벡터를 하기의 [수학식 10]에 대입하여 최종 융합 결과 정보를 계산한다.
Figure pat00032
여기서, D는 딕셔너리(Dictionary)이고, m은 패치의 평균값을 나타내는 벡터이다.
SLF 레이어 구성부(135)는 융합된 LF 레이어 패치(
Figure pat00033
)를 얻기 위해서 모든 패치에 대하여 [수학식 3] 내지 [수학식 10]의 과정을 반복한다.
SLF 레이어 구성부(135)는 각각의 융합된 LF 레이어 패치를
Figure pat00034
사이즈의 패치(
Figure pat00035
)로 재구성한다. 여기서,
Figure pat00036
는 LF 레이어가 융합된 결과를 나타내고, 모든 패치를 원본 패치의 원래 위치에 배치한다.
SHF 레이어 구성부(136)는 SHF 레이어 저장부(133)로부터 복수의 SHF 레이어의 세트(
Figure pat00037
)를 수신하고, 수신한 복수의 SHF 레이어에서 3×3 원도우 크기를 가진 최대 절대 규칙(Max Absolute Rule)을 이용하여 픽셀 간 더 큰 값을 가진 벡터를 선택하여 SHF 레이어를 재구성한다.
LF 재구성부(137)는 SHF 레이어 구성부(136)로부터 수신한 SHF 레이어와 SLF 레이어 구성부(135)로부터 수신한 LF 레이어가 융합된 패치를 역 라플라시안 피라미드를 수행하여 융합된 LF 레이어(LF)로 재구성된다.
고주파수 레이어 융합부(140)는 영상 레이어 저장부(120)로부터 수신한 복수의 HF 레이어를 최대 절대 융합 규칙(Max Absolute Fusion Rule)을 이용하여 융합된 HF 레이어로 재구성한다. 여기서, 최대 절대 융합 규칙은 픽셀 대 픽셀 간의 최대값을 가진 픽셀을 선택하는 규칙이 아니라 3×3 원도우 크기의 면적 기반으로 HF 레이어가 융합된 결과(
Figure pat00038
)가 된다.
최종 영상 융합부(150)는 저주파수 레이어 융합부(130)로부터 융합된 LF 레이어(LF)를 수신하고, 고주파수 레이어 융합부(140)로부터 융합된 HF 레이어를 수신하며, 상기 융합된 LF 레이어(LF)와 상기 융합된 HF 레이어를 더하여 융합된 최종 영상(F)이 복원된다(수학식 11).
Figure pat00039
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 영상 융합 장치 110: 영상 분해부
120: 영상 레이어 저장부 130: 저주파수 레이어 융합부
131: 라플라시안 피라미드 분해부 132: SLF 레이어 저장부
133: SHF 레이어 저장부 134: 희소 표현부
135: SLF 레이어 구성부 136: SHF 레이어 구성부
137: LF 재구성부 138: 딕셔너리 훈련부
140: 고주파수 레이어 융합부 150: 최종 영상 융합부

Claims (12)

  1. 하나 이상의 입력된 영상을 가중 최소 자승(Weighted Least Squares, WLS) 필터를 이용하여 상기 각각의 입력된 영상을 LF(Low Frequency) 레이어와 HF(High Frequency) 레이어로 각각 분해하는 단계;
    상기 각각의 LF 레이어를 희소 표현법(Sparse Representation)을 이용하여 희소 계수 벡터로 각각 구성하고, 이를 융합하여 융합된 최종 LF 레이어를 재구성하는 단계;
    상기 각각의 HF 레이어를 최대 절대 융합 규칙(Max Absolute Fusion Rule)을 이용하여 융합시켜 최종 HF 레이어를 재구성하는 단계; 및
    상기 최종 LF 레이어와 상기 최종 HF 레이어를 더하여 최종 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법.
  2. 제1항에 있어서,
    상기 최종 LF 레이어를 재구성하는 단계는,
    상기 각각의 LF 레이어를 라플라시안 피라미드를 적용하여 2개의 SLF(Sub Low Frequency) 레이어(sublowA, sublowB)와, 복수의 SHF 레이어의 세트(
    Figure pat00040
    )로 분해하는 단계를 더 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법.
  3. 제2항에 있어서,
    상기 2개의 SLF 레이어를 영상 처리를 위한 최소 단위인 일정 크기의 패치로 분해하는 단계; 및
    상기 분해된 패치를 열 벡터로 각각 재배열한 후, 하기의 수학식 1과 수학식 2에 의해 최종 열 벡터(
    Figure pat00041
    )를 생성하는 단계를 더 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법.
    [수학식 1]
    Figure pat00042

    [수학식 2]
    Figure pat00043

    여기서,
    Figure pat00044
    는 n×1 열 벡터(column vector)이고, 패치(
    Figure pat00045
    )의 평균값을 나타냄.
  4. 제3항에 있어서,
    직교 매칭 추적(Orthogonal Matching Pursuit, OMP) 알고리즘으로 하기의 수학식 3과 수학식 4를 사용하여 희소 계수 벡터(
    Figure pat00046
    )를 각각 계산하는 단계를 더 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법.
    [수학식 3]
    Figure pat00047

    [수학식 4]
    Figure pat00048

    여기서, D는 딕셔너리(Dictionary),
    Figure pat00049
    는 에러 계수(Tolerance Factor),
    Figure pat00050
    는 희소 계수(Sparse Cofficients)를 나타냄.
  5. 제4항에 있어서,
    상기 제1 희소 계수 벡터(
    Figure pat00051
    )와 상기 제2 희소 계수 벡터(
    Figure pat00052
    )를 희소 계수 벡터의 융합을 위해 상기 제1 희소 계수 벡터와 상기 제2 희소 계수 벡터의 대소 여부를 비교하는 하기의 수학식 5를 이용하여 파라미터가 더 큰 값을 가진 벡터인 최종 희소 계수 벡터를 구하는 단계;
    상기 최종 희소 계수 벡터를 상기 하기의 수학식 6에 대입하여 최종 융합 결과 정보를 계산하는 단계; 및
    복수의 SHF 레이어의 세트에서 3×3 원도우 크기를 가진 최대 절대 규칙(Max Absolute Rule)을 이용하여 픽셀 간 더 큰 값을 가진 벡터를 선택하여 SHF 레이어를 재구성하는 단계;
    상기 최종 융합 결과 정보와 상기 재구성된 SHF 레이어를 역 라플라시안 피라미드를 수행하여 융합된 LF 레이어(LF)로 재구성하는 단계를 더 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법.
    [수학식 5]
    Figure pat00053

    [수학식 6]
    Figure pat00054
  6. 제5항에 있어서,
    상기 융합된 LF 레이어(LF)와 상기 최종 HF 레이어를 더하여 최종 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 방법.
  7. 하나 이상의 입력된 영상을 가중 최소 자승(Weighted Least Squares, WLS) 필터를 이용하여 상기 각각의 입력된 영상을 LF(Low Frequency) 레이어와 HF(High Frequency) 레이어로 각각 분해하는 영상 분해부;
    상기 각각의 LF 레이어를 희소 표현법(Sparse Representation)을 이용하여 희소 계수 벡터로 각각 구성하고, 이를 융합하여 융합된 최종 LF 레이어를 재구성하는 저주파수 레이어 융합부;
    상기 각각의 HF 레이어를 최대 절대 융합 규칙(Max Absolute Fusion Rule)을 이용하여 융합시켜 최종 HF 레이어를 재구성하는 고주파수 레이어 융합부; 및
    상기 최종 LF 레이어와 상기 최종 HF 레이어를 더하여 최종 영상을 복원하는 최종 영상 융합부를 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치.
  8. 제7항에 있어서,
    상기 저주파수 레이어 융합부는,
    상기 각각의 LF 레이어를 라플라시안 피라미드를 적용하여 2개의 SLF(Sub Low Frequency) 레이어(sublowA, sublowB)와, 복수의 SHF 레이어의 세트(
    Figure pat00055
    )로 분해하여 SLF 레이어 저장부와 SHF 레이어 저장부에 각각 저장하는 라플라시안 피라미드 분해부; 및
    상기 2개의 SLF 레이어를 영상 처리를 위한 최소 단위인 일정 크기의 패치로 분해하고, 상기 분해된 패치를 열 벡터로 각각 재배열한 후, 하기의 수학식 1과 수학식 2에 의해 최종 열 벡터(
    Figure pat00056
    )를 생성하는 희소 표현부를 더 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치.
    [수학식 1]
    Figure pat00057

    [수학식 2]
    Figure pat00058

    여기서,
    Figure pat00059
    는 n×1 열 벡터(column vector)이고, 패치(
    Figure pat00060
    )의 평균값을 나타냄.
  9. 제8항에 있어서,
    상기 희소 표현부는 직교 매칭 추적(Orthogonal Matching Pursuit, OMP) 알고리즘으로 하기의 수학식 3과 수학식 4를 사용하여 희소 계수 벡터(
    Figure pat00061
    )를 각각 계산하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치.
    [수학식 3]
    Figure pat00062

    [수학식 4]
    Figure pat00063

    여기서, D는 딕셔너리(Dictionary),
    Figure pat00064
    는 에러 계수(Tolerance Factor),
    Figure pat00065
    는 희소 계수(Sparse Cofficients)를 나타냄.
  10. 제9항에 있어서,
    상기 상기 제1 희소 계수 벡터(
    Figure pat00066
    )와 상기 제2 희소 계수 벡터(
    Figure pat00067
    )를 희소 계수 벡터의 융합을 위해 상기 제1 희소 계수 벡터와 상기 제2 희소 계수 벡터의 대소 여부를 비교하는 하기의 수학식 5를 이용하여 파라미터가 더 큰 값을 가진 벡터인 최종 희소 계수 벡터를 구하고, 상기 최종 희소 계수 벡터를 상기 하기의 수학식 6에 대입하여 최종 융합 결과 정보를 계산하는 SLF 레이어 구성부;
    상기 복수의 SHF 레이어의 세트에서 3×3 원도우 크기를 가진 최대 절대 규칙(Max Absolute Rule)을 이용하여 픽셀 간 더 큰 값을 가진 벡터를 선택하여 SHF 레이어를 재구성하는 SHF 레이어 구성부; 및
    상기 최종 융합 결과 정보와 상기 재구성된 SHF 레이어를 역 라플라시안 피라미드를 수행하여 융합된 LF 레이어(LF)로 재구성하는 LF 재구성부를 포함하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치.
    [수학식 5]
    Figure pat00068

    [수학식 6]
    Figure pat00069
  11. 제10항에 있어서,
    상기 최종 영상 융합부는 상기 융합된 LF 레이어(LF)와 상기 최종 HF 레이어를 더하여 최종 영상을 복원하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치.
  12. 제7항에 있어서,
    상기 영상 분해부는 상기 WLS 필터를 이용하여 부드러운 영상(Smooth Image)인 상기 LF 레이어를 k=1부터 K번째까지 생성하고, 인접한 두 개의 LF 레이어를 뺀 상기 HF 레이어인 차분 영상을 k=1부터 K번째까지 생성하는 것을 특징으로 하는 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치.
KR1020180103208A 2018-08-31 2018-08-31 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 KR102142934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180103208A KR102142934B1 (ko) 2018-08-31 2018-08-31 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180103208A KR102142934B1 (ko) 2018-08-31 2018-08-31 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200025598A true KR20200025598A (ko) 2020-03-10
KR102142934B1 KR102142934B1 (ko) 2020-08-11

Family

ID=69801164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180103208A KR102142934B1 (ko) 2018-08-31 2018-08-31 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102142934B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129244A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN113487526A (zh) * 2021-06-04 2021-10-08 湖北工业大学 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法
CN113487529A (zh) * 2021-07-12 2021-10-08 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
KR102401585B1 (ko) * 2021-01-14 2022-05-24 인천대학교 산학협력단 다중 영상 융합 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008304A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 색 왜곡 보정 방법 및 장치
WO2018070100A1 (ja) * 2016-10-14 2018-04-19 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置
KR101883806B1 (ko) 2017-04-07 2018-07-31 울산과학기술원 영상 복원 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008304A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 색 왜곡 보정 방법 및 장치
WO2018070100A1 (ja) * 2016-10-14 2018-04-19 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置
KR101883806B1 (ko) 2017-04-07 2018-07-31 울산과학기술원 영상 복원 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yu Liu ET AL:"A general framework for image fusion based on multi-scale transform and sparse representation", Information Fusion, Volume 24, July 2015, Pages 147-164(2015.7.24.) 1부.* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102401585B1 (ko) * 2021-01-14 2022-05-24 인천대학교 산학협력단 다중 영상 융합 장치 및 방법
CN113129244A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN113129244B (zh) * 2021-04-16 2022-10-18 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN113487526A (zh) * 2021-06-04 2021-10-08 湖北工业大学 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法
CN113487526B (zh) * 2021-06-04 2023-08-25 湖北工业大学 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法
CN113487529A (zh) * 2021-07-12 2021-10-08 吉林大学 一种基于Yolo的气象卫星云图目标检测方法

Also Published As

Publication number Publication date
KR102142934B1 (ko) 2020-08-11

Similar Documents

Publication Publication Date Title
KR102142934B1 (ko) 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법
Rai et al. Hybrid adaptive algorithm based on wavelet transform and independent component analysis for denoising of MRI images
Liu et al. Deep learning with noise‐to‐noise training for denoising in SPECT myocardial perfusion imaging
JP2017535353A (ja) 雑音モデルに基づくマルチスケール雑音低減による線量増加のシミュレーション
CN111899188B (zh) 一种神经网络学习的锥束ct噪声估计与抑制方法
CN111340903B (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
Zhang et al. LEARN++: recurrent dual-domain reconstruction network for compressed sensing CT
Xue et al. LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks
Niu et al. Iterative reconstruction for sparse-view x-ray CT using alpha-divergence constrained total generalized variation minimization
Feng et al. Rethinking PET image reconstruction: ultra-low-dose, sinogram and deep learning
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
CN111798535B (zh) Ct图像增强显示方法及计算机可读存储介质
JP2021065707A (ja) 医用画像処理装置、学習済みモデルおよび医用画像処理方法
Wang et al. Limited-angle computed tomography reconstruction using combined FDK-based neural network and U-Net
Yan et al. A multi-modal medical image fusion method in spatial domain
CN116342444A (zh) 一种双通道多模态图像融合方法及融合成像终端机
Khodajou-Chokami et al. PARS-NET: a novel deep learning framework using parallel residual conventional neural networks for sparse-view CT reconstruction
US20240135502A1 (en) Generalizable Image-Based Training Framework for Artificial Intelligence-Based Noise and Artifact Reduction in Medical Images
Yakkundi et al. Convolutional LSTM: A deep learning approach for dynamic MRI reconstruction
US11508048B2 (en) Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image
CN107025634B (zh) 负字典学习
Kumar et al. Edge preservation based CT image denoising using wavelet and curvelet transforms
KR102643601B1 (ko) 가역적 뉴럴 네트워크를 이용한 효율적 비지도 학습 기반 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant