KR102388831B1 - 지능형 다중 초점 영상 융합 장치 및 방법 - Google Patents

지능형 다중 초점 영상 융합 장치 및 방법 Download PDF

Info

Publication number
KR102388831B1
KR102388831B1 KR1020210018151A KR20210018151A KR102388831B1 KR 102388831 B1 KR102388831 B1 KR 102388831B1 KR 1020210018151 A KR1020210018151 A KR 1020210018151A KR 20210018151 A KR20210018151 A KR 20210018151A KR 102388831 B1 KR102388831 B1 KR 102388831B1
Authority
KR
South Korea
Prior art keywords
image
focus
equation
map
patch
Prior art date
Application number
KR1020210018151A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020210018151A priority Critical patent/KR102388831B1/ko
Application granted granted Critical
Publication of KR102388831B1 publication Critical patent/KR102388831B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

지능형 다중 초점 영상 융합 장치 및 방법은 다중 초점 이미지 융합에 캐스케이드 포레스트(Cascade Forest) 모델을 도입하고, 특징 벡터가 사전 훈련된 캐스케이드 포레스트 모델을 기반으로 초점맵을 얻고, 초점맵에 일관성 검사를 사용하여 초기 의사 결정맵을 얻고, 초기 의사 결정맵을 구체화하기 위해 가이드 이미지 필터링을 수행하며, 픽셀 단위 가중치 평균 방법을 통해 결과인 최종 융합 이미지를 생성할 수 있다.

Description

지능형 다중 초점 영상 융합 장치 및 방법{Apparatus and Method for Fusing Intelligent Multi Focus Image}
본 발명은 지능형 다중 초점 영상 융합 장치에 관한 것으로서, 더욱 상세하게는 다중 초점 이미지 융합에 캐스케이드 포레스트(Cascade Forest) 모델을 도입하고, 특징 벡터가 사전 훈련된 캐스케이드 포레스트 모델을 기반으로 초점맵을 얻고, 초점맵에 일관성 검사를 사용하여 초기 의사 결정맵을 얻고, 초기 의사 결정맵을 구체화하기 위해 가이드 이미지 필터링을 수행하며, 픽셀 단위 가중치 평균 방법을 통해 결과인 최종 융합 이미지를 생성하는 지능형 다중 초점 영상 융합 장치 및 방법에 관한 것이다.
영상 융합 기술은 동일한 타겟의 서로 다른 소스 이미지의 정보를 결합하여 타겟 및 장면 정보에 대한 포괄적인 액세스에 더 도움이 된다.
영상 융합 기술은 단일 센서의 결함을 크게 개선하고 결과 영상의 선명도를 향상시킬 수 있다.
영상 융합은 의료용 영상 융합을 포함한 다양한 이미징 시스템에서 널리 사용되고 있다.
영상 융합 장치에서 광학 렌즈의 피사계 심도(DOF)의 한계로 인해 모든 대상이 정확하게 초점을 맞춘 이미지를 직접 얻는 것이 어렵다. 또한, 영상 정보가 부족하면, 소스 영상의 디테일 손실을 피할 수 없으며, 영상 융합의 한계로 인해 우수한 분류 결과를 얻는 것이 불가능하며, 이로 인하여 영상 융합에 심각한 영향을 미칠 수 있다.
한국 등록특허번호 제10-0808610호
이와 같은 문제점을 해결하기 위하여, 본 발명은 다중 초점 이미지 융합에 캐스케이드 포레스트(Cascade Forest) 모델을 도입하고, 특징 벡터가 사전 훈련된 캐스케이드 포레스트 모델을 기반으로 초점맵을 얻고, 초점맵에 일관성 검사를 사용하여 초기 의사 결정맵을 얻고, 초기 의사 결정맵을 구체화하기 위해 가이드 이미지 필터링을 수행하며, 픽셀 단위 가중치 평균 방법을 통해 결과인 최종 융합 이미지를 생성하는 지능형 다중 초점 영상 융합 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 지능형 다중 초점 영상 융합 장치는,
각각 다른 초점 설정을 가진 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 상기 소스 영상을 특정 크기의 영상 패치로 분해하고, 상기 분해한 영상 패치에서 특징 벡터를 추출하고, 상기 추출한 특징 벡터에서 선명한 영상과 흐릿한 영상을 구분하기 위해 캐스케이드 포레스트 모델의 계층별 처리를 통해 예측 결과를 생성하는 케스케이드 포레스트 모델부;
상기 예측 결과를 이용하여 상기 특징 벡터의 모든 픽셀에 대하여 초점 정보와 초점이 맞지 않은 정보를 나타내는 분류 결과를 할당하여 초점맵(Focus Map)을 생성하는 초점맵 생성부;
상기 초점맵 생성부에서 상기 생성한 초점맵의 각 픽셀에서 기설정한 영역 임계값과 비교하여 상기 영역 임계값보다 작으면 0을 1로, 1을 0으로 반전하여 노이즈 영역을 제거하는 일관성 검사를 수행하여 초기 의사 결정맵을 생성하는 일관성 검사부;
상기 초기 의사 결정맵에서 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계에 아티팩트(Artifacts)를 줄이기 위해 가이드 영상 필터링을 수행하여 최종 의사 결정맵을 생성하는 결정맵 생성부; 및
상기 최종 의사 결정맵에 대하여 픽셀 단위 처리를 통해 최종 융합 영상을 생성하는 최종 융합 영상 처리부를 포함한다.
본 발명의 특징에 따른 지능형 다중 초점 영상 융합 방법은,
각각 다른 초점 설정을 가진 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 상기 소스 영상을 특정 크기의 영상 패치로 분해하고, 상기 분해한 영상 패치에서 특징 벡터를 추출하는 단계;
상기 추출한 특징 벡터가 사전 훈련된 캐스케이드 포레스트 모델을 기반으로 상기 분해한 영상 패치의 모든 픽셀에 대하여 초점 정보와 초점이 맞지 않은 정보를 나타내는 분류 결과를 할당하여 초점맵을 생성하는 단계;
상기 생성한 초점맵의 각 픽셀에서 기설정한 영역 임계값과 비교하여 상기 영역 임계값보다 작으면 0을 1로, 1을 0으로 반전하여 노이즈 영역을 제거하는 초기 의사 결정맵을 생성하는 단계; 및
상기 생성한 초기 의사 결정맵에 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계에 아티팩트(Artifacts)를 줄이기 위해 가이드 영상 필터링을 수행하여 최종 의사 결정맵을 생성하는 단계; 및
상기 최종 의사 결정맵에 대하여 픽셀 단위 처리를 통해 최종 융합 영상을 생성하는 단계를 포함한다.
전술한 구성에 의하여, 본 발명은 최종 융합 영상의 선명도를 향상시키고, 융합 된 영상의 경계의 부드러운 가장자리 전환과 더 적은 아티팩트를 달성할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 지능형 다중 초점 영상 융합 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 케스케이드 포레스트의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 케스케이드 포레스트 모델을 기반으로 한 지능형 다중 초점 영상 융합 방법을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 영상 융합 프로세스를 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 지능형 다중 초점 영상 융합 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 케스케이드 포레스트의 구조를 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 케스케이드 포레스트 모델을 기반으로 한 지능형 다중 초점 영상 융합 방법을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 영상 융합 프로세스를 나타낸 도면이다.
본 발명의 실시예에 따른 지능형 다중 초점 영상 융합 장치(100)는 케스케이드 포레스트 모델부(110), 초점맵 생성부(120), 일관성 검사부(130), 결정맵 생성부(140) 및 최종 융합 영상 처리부(150)를 포함한다.
케스케이드 포레스트 모델부(110)는 각각 다른 초점 설정을 가진 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 소스 영상을 특정 크기의 영상 패치로 분해하고, 분해한 영상 패치에서 특징 벡터를 추출한다.
초점맵 생성부(120)는 추출한 특징 벡터가 사전 훈련된 캐스케이드 포레스트 모델을 기반으로 분해한 영상 패치의 모든 픽셀에 대하여 초점 정보와 초점이 맞지 않은 정보를 나타내는 분류 결과를 할당하여 초점맵을 생성한다.
일관성 검사부(130)는 생성한 초점맵의 각 픽셀에서 기설정한 영역 임계값과 비교하여 영역 임계값보다 작으면 0을 1로, 1을 0으로 반전하여 노이즈 영역을 제거하는 초기 의사 결정맵을 생성한다.
결정맵 생성부(140)는 생성한 초기 의사 결정맵에 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계에 아티팩트(Artifacts)를 줄이기 위해 가이드 영상 필터링을 수행하여 최종 의사 결정맵을 생성한다.
최종 융합 영상 처리부(150)는 최종 의사 결정맵에 대하여 픽셀 단위 처리를 통해 최종 융합 영상을 생성한다.
케스케이드 포레스트 모델부(110)에서 적용되는 케스케이드 포레스트 모델에 대한 상세한 설명을 한다.
캐스케이드 포레스트 모델
앙상블 학습 접근법(Ensemble Model)으로서의 캐스케이드 포레스트(Cascade-Forest)는 기본 학습자로 구성된다.
뛰어난 성능의 앙상블 모델을 얻으려면 개별 학습자(기본 학습자라고도 함)가 Good and Different이다. 오류 모호성 분해(Error Ambiguity Decomposition)는 다음의 수학식 1과 같다.
Figure 112021016381916-pat00001
여기서, Error는 앙상블 오류를 나타내고,
Figure 112021016381916-pat00002
은 개인의 평균 오류를 나타내며, I는 개인의 평균 다양성을 나타낸다.
캐스케이드 포레스트는 DNN(Deep Neural Networks)에 필적할 수 있는 강력한 능력을 제공하는 주요 부분 중 하나이다. 계층별 처리, 기능 변환 및 충분한 모델 복잡도는 도 2와 같이, 캐스케이드 포레스트 모델에 대한 가장 중요한 세 가지 아이디어이다.
예측해야 하는 두 개의 클래스가 있다고 가정한다. 네 가지 앙상블 알고리즘이 있다고 한다. 검정색과 파란색은 각각 임의의 포레스트와 완전히 임의의 포레스트이다.
Figure 112021016381916-pat00003
을 입력 특성 벡터로 하고, m은 입력 특성의 차원을 나타낸다.
첫 번째 캐스케이드 계층 이후의 특징들은 수학식 2와 같이, 특징
Figure 112021016381916-pat00004
로
Figure 112021016381916-pat00005
과 연결된다.
Figure 112021016381916-pat00006
여기서,
Figure 112021016381916-pat00007
은 첫 번째 캐스케이드 연산,
Figure 112021016381916-pat00008
는 연결 연산을 의미한다.
Figure 112021016381916-pat00009
은 두 번째 캐스케이드 계층에 대한 입력 특성으로 사용되며, d는 출력 특징들의 차원을 표현한다. 그러면 다음의 수학식 3을 얻을 수 있다.
Figure 112021016381916-pat00010
여기서,
Figure 112021016381916-pat00011
는 두 번째 캐스케이드 작업을 나타낸다. N개의 레이어가 있다고 가정하면, 출력 특성 FN은 다음의 수학식 4에 의해 얻을 수 있다.
Figure 112021016381916-pat00012
여기서,
Figure 112021016381916-pat00013
은 N 캐스케이드 작업을 나타낸다. 마침내 예측값은 수학식 5에 의해 얻을 수 있다.
Figure 112021016381916-pat00014
여기서,
Figure 112021016381916-pat00015
은 평균 연산,
Figure 112021016381916-pat00016
는 최대 연산을 나타낸다. 마지막 예측은 1 또는 0이다.
캐스케이드 구조를 사용하면, 캐스케이드 포레스트가 데이터를 계층별로 처리할 수 있다. 따라서, 첫째, 캐스케이드 포레스트가 표현 학습을 수행할 수 있다.
둘째, 캐스케이드 포레스트는 모델이 데이터 양에 따라 복잡성을 조정할 수 있도록 캐스케이드 레이어 수를 자율적으로 제어 할 수 있다.
작은 데이터라도 cascade-forest 모델은 잘 수행된다. 더 중요한 것은 기능을 연결하여 캐스케이드 포레스트 모델의 기능 변환을 수행하고, 처리를 계속하기 위해 원래 기능을 유지한다는 것이다. 간단히 말해서, 이러한 모델은 "Ensemble of Ensembles"로 간주할 수 있다. 도 2에 제시된 캐스케이드 포레스트 모델은 각 레벨이 고유한 분류 알고리즘의 앙상블이라는 것을 자세히 알 수 있다.
본 발명은 4가지 분류 알고리즘을 적용한다. 각 알고리즘은 클래스 분포에 대한 예측 결과를 생성한다. 예를 들어, 각 기본 분류기에 의해 예측된 다른 클래스의 훈련 샘플의 비율을 계산하여 동일한 분류 알고리즘에서 모든 기본 분류기를 평균하여 클래스 벡터를 얻는다.
Extreme Gradient Boosting(XGBoost)은 분류 및 회귀 트리(CART)에 의해 통합되며, 이는 여러 관련 의사 결정 트리에 의한 앙상블 학습 및 공동 의사 결정을 기반으로 한다.
첫 번째 트리가 최적화되고, 두 번째 트리는 마지막 트리가 최적화될 때까지 최적화된다. 게다가 본 발명은 완전 랜덤 포레스트와 랜덤 포레스트를 활용한다.
랜덤 포레스트는 입력 특성에서 n개의 특성을 후보로 무작위로 선택한 다음 분할을 위한 GINI 값을 계산하여 가장 좋은 특성을 선택한다.
완전 랜덤 포레스트는 입력 특징에도 불구하고 하나의 특징만 무작위로 선택한다.
또한, 분류 작업에는 네거티브 클래스(0)와 포지티브 클래스(1)가 있다. 로지스틱 회귀는 일반적인 2 클래스 분류 모델이다. 앙상블 학습의 다양성을 높이기 위해서는 로지스틱 회귀를 사용한다. 로지스틱 회귀의 목적 함수는 다음의 수학식 6과 수학식 7과 같다.
Figure 112021016381916-pat00017
Figure 112021016381916-pat00018
여기서, k는 입력 샘플의 수,
Figure 112021016381916-pat00019
는 샘플의 레이블, m은 입력 특성의 차원,
Figure 112021016381916-pat00020
는 시그모이드 함수,
Figure 112021016381916-pat00021
는 손실 함수의 정규화, λ는 하이퍼-파라미터이고, x는 입력 특성 벡터,
Figure 112021016381916-pat00022
Figure 112021016381916-pat00023
는 벡터로 모델의 최적화 매개 변수를 나타낸다. 요약하면, 캐스케이드 포레스트에는 앞서 논의한 다양성을 향상시키기 위해 네 가지 유형의 알고리즘이 포함된다. 네 가지 고유한 알고리즘을 결합하면 뛰어난 성능을 얻을 수 있다. 캐스케이드 포레스트의 탁월한 분류 효과가 확인된다.
결정맵 생성부(140)에서 가이드 영상 필터링을 수행하는 가이드 필터를 상세하게 설명한다.
가이드 필터
공간 초점 측정의 이웃 처리로 인해 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계는 일반적으로 정확하지 않다. 특히, 공간 영역에서 이러한 문제는 전환 경계 주변에 바람직하지 않은 아티팩트를 초래한다.
GF는 Edge-reservation의 우수한 특성을 가지고 있으며 다음의 수학식 8과 같이 표현할 수 있다.
Figure 112021016381916-pat00024
여기서, Q는 출력 이미지, I는 가이드 이미지,
Figure 112021016381916-pat00025
는 원도우 중심이 k에 있을 때 선형 함수의 불변 계수, Wk는 크기가 (2w+1) × (2w+1)인 로컬 원도우이다.
P는 Q 필터링 전의 결과라고 가정하면,
Figure 112021016381916-pat00026
이다.
여기서, Ni는 노이즈를 나타낸다. 필터링 결과는 다음의 수학식 9의 최소화와 같다.
Figure 112021016381916-pat00027
수학식 9의 결과값은 하기의 수학식 10 및 수학식 11과 같다.
Figure 112021016381916-pat00028
Figure 112021016381916-pat00029
이러한 수학식 9와 수학식 10에 있어서,
Figure 112021016381916-pat00030
는 각각 로컬 상자
Figure 112021016381916-pat00031
에서 영상 I의 평균과 분산을 나타내고,
Figure 112021016381916-pat00032
는 로컬 상자에 있는 P의 평균이고,
Figure 112021016381916-pat00033
는
Figure 112021016381916-pat00034
에서 픽셀들의 수를 나타낸다. 초기 결정맵 I은 필터링을 위한 가이드 영상으로 사용되고, 이에 따른 최종 결정맵을 얻는다.
다중 초점 영상 융합은 독특한 초점 설정으로 동일한 대상에 대한 소스 영상을 합성한다. 따라서, 소스 영상은 다양한 영상 패치로 구성된 것으로 간주한다.
고품질 융합 결과를 얻으려면 소스 영상의 각 패치를 신중하게 결정해야 한다. 그런 다음 소스 영상을 확인하여 패치를 선명하게 하거나 흐리게 처리하여 초점맵을 얻는다.
결정을 분류 문제로 간주할 수 있다. 특징 추출은 활동 수준 측정에 해당하고 분류는 융합 규칙의 역할로 간주될 수 있다. 분류 작업은 다음의 영상 융합에 중요한 초점 맵을 얻는 것을 의미한다. 명확하고 흐릿한 패치는 상대적인 것으로 알려져 있다. 그 후 소스 영상을 특정 크기의 패치로 분해하고, 영상 패치에서 선명도를 표현할 수 있는 4가지 특징 벡터를 추출한다.
본 발명은 선명한 이미지와 흐린 이미지를 효과적으로 구분할 수 있으므로 캐스케이드 포레스트 모델 학습에 도움이 된다. 본 발명은 표현 학습을 향상시키기 위해 캐스케이드 포레스트의 계층별 처리를 통해 최종 예측 결과를 얻는다. 클래스 레이블 벡터인 최종 예측의 경우 정확도가 매우 중요하다. 더 중요한 것은 캐스케이드 포레스트가 더 정확한 라벨 벡터를 획득할 수 있어 다른 기존 방법보다 경쟁력이 있으며 캐스케이드 포레스트 기반 방법은 고품질 융합 이미지를 생성할 수 있다.
도 3에 도시된 바와 같이, 영상 융합은 (1) Cascade-forest 모델 설계 및 훈련을 수행한다. (2) 예측 결과를 활용하여 초점맵을 얻는다. (3) 일관성 검사를 수행한다. (4) 최종 의사 결정맵을 얻기 위한 가이드 영상 필터링을 수행한다. (5) 픽셀 단위 가중 평균 방법을 통해 최종 융합 영상을 생성한다.
케스케이드 포레스트 모델부(110)는 케스케이드-포레스트 모델 설계 및 학습을 수행한다.
케스케이드 포레스트 모델부(110)는 각각 다른 초점 설정을 가진 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 소스 영상을 특정 크기의 영상 패치로 분해하고, 분해한 영상 패치에서 특징 벡터를 추출하고, 추출한 특징 벡터에서 선명한 영상과 흐릿한 영상을 구분하기 위해 캐스케이드 포레스트 모델의 계층별 처리를 통해 예측 결과를 생성한다.
케스케이드 포레스트 모델부(110)는 두 개의 소스 영상과의 영상 융합을 고려한다. 앞서 언급했듯이 본 발명은 초점맵의 제작을 두 가지 클래스 분류 주제로 간주한다.
케스케이드 포레스트 모델부(110)는 각 훈련 영상에 대해 그레이 스케일 공간으로 변환한다. 그런 다음 가우시안 필터링을 수행하여 흐릿한 영상을 얻는다.
따라서, 케스케이드 포레스트 모델부(110)는 원본 영상에서 첫 번째 레벨의 흐릿한 영상을 얻는다. 상대적으로 흐릿한 영상을 얻으려면 영상에 대해 여러 레벨의 가우시안 영상 필터링을 수행해야 한다.
본 발명은 뚜렷한 흐림 레벨을 가진 영상을 얻기 위해서 5가지 다른 수준의 가우스 영상 필터링을 사용한다.
Gaussian 필터의 표준 편차를 2로 설정하고 원도우의 크기를 7 × 7로 설정했다. 현재 레벨의 블러링된 영상은 이전 레벨 블러링된 영상에서 얻는다. 이후에, 원본 영상과 흐릿한 영상의 특정 단계에 따라 패치로 나눈다. 정보가 적은 일부 영상 패치는 삭제된다(예: 분산이 0보다 작음). 그런 다음 영상 패치에서 적절한 특징 벡터를 추출한다. 영상의 선명도는 영상 품질의 중요한 지표이며 사람들의 주관적인 경험과 일치한다.
케스케이드 포레스트 모델부(110)는 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 가우시안 필터링을 수행하여 흐릿한 영상을 얻으며, 영상의 선명도를 표현하는 가시성(Visibility, VIS), 공간 주파수(Spatial Frequency, SF), 그라디언트 에너지(Energy of Gradient, EOG) 및 분산(Variance, VAR)의 4가지 특징 벡터를 추출한다.
가시성(Fvis)은 패치 픽셀의 강도와 영상 패치의 평균 강도의 차이이며, 강도는 픽셀값을 나타내며, 다음의 수학식 12로 표현한다.
Figure 112021016381916-pat00035
여기서,
Figure 112021016381916-pat00036
은 영상 패치,
Figure 112021016381916-pat00037
은 IM의 평균 강도, IM(j, i)는 해당 위치의 픽셀값, J 및 L은 각각 영상 패치의 행과 열을 나타낸다. SF는 공간에서 영상값의 변화하는 특성을 설명한다. 공간 주파수가 높을수록 영상 패치가 더 선명해지고, 공간 주파수(Fsf)는 하기의 수학식 13, 수학식 14 및 수학식 15로 정의할 수 있다. F는 formula를 의미한다.
Figure 112021016381916-pat00038
Figure 112021016381916-pat00039
Figure 112021016381916-pat00040
여기서, SF는 영상 패치의 행 주파수와 열 주파수를 포함한다. 따라서, RF는 CF가 열 주파수를 표시하는 동안, 행 주파수를 나타낸다. EOG는 영상의 초점 설정을 감지하기 위해 적용되고, EOG를 수학식 16과 같이 표현된다.
Figure 112021016381916-pat00041
그라디언트 에너지가 작을수록 패치가 더 흐려진다. 영상 패치의 그레이 레벨 대비를 측정하기 위한 평가 함수로서 VAR를 다음의 수학식 17과 같이 나타낸다.
Figure 112021016381916-pat00042
여기서,
Figure 112021016381916-pat00043
은 영상 패치의 평균 회색값을 나타낸다.
FVAR은 영상이 선명할수록 함수값이 작아진다. 특징 추출 후 소스 영상의 패치가 모이면, 캐스케이드 포레스트가 수행하는 작업은 패치가 상대적으로 명확한 지 상대적으로 흐릿한 지를 결정하는 것이다.
보다 구체적으로, 각 영상 패치에 대해 Pa 및 Pb는 특징 추출 후의 특징 벡터를 나타낸다. Pa는 소스 영상 A에 속하고, Pb는 소스 영상 B에 속한다. 예를 들어
Figure 112021016381916-pat00044
및
Figure 112021016381916-pat00045
Figure 112021016381916-pat00046
이다.
Pa가 Pb보다 명확하면, 훈련 샘플 {Pa, Pb}는 양성 샘플로서 1로 설정된다.
대조적으로, 훈련 샘플 {Pa, Pb}는 Pb가 Pa보다 선명할 때 음의 샘플로서 0으로 설정된다. 훈련 모델 단계에서 본 발명은 all-in focus(올인 포커스) 및 non-all-in focus(비올 인 포커스)를 포함한 56개의 고품질 원본 영상을 선택한다. 집중하고 있는 유사한 작업으로 ImageNet 데이터 세트(http : // www. image-net.org/)에서 50,000개의 영상을 적용한다.
훈련 데이터의 증가는 모델 훈련의 시간 비용을 증가시키고 모델의 훈련 기술을 복잡하게 만든다. 본 발명은 위의 요소를 고려하여 캐스케이드 포레스트 문제를 잘 해결할 수 있다. 결국 학습 세트는 양성 및 음성 샘플을 포함하는 250,000 개의 샘플로 구성된다.
우수한 기계 학습 모델의 경우 검증 세트는 필수 불가결하며 모델을 조정하는데 가장 효과적인 데이터 세트이다. 이 백서에서는 15개의 고품질 이미지를 검증 세트로 사용하며, 이는 훈련 이미지의 동일한 처리 후 모델에 입력된다.
검증 세트에는 약 50,000개의 양성 샘플과 음성 샘플이 있다. 위에서 언급 한대로 4개의 다른 분류기를 설정했다. 특히, 앙상블 학습 방법으로 세 가지 분류기를 사용한다. XG 부스트, 랜덤 포레스트, 완전 랜덤 포레스트는 모두 10 그루로 설정하면 각 트리가 완전히 자란다. 과적합 위험을 줄이기 위해서 5중 교차 검증을 사용하여 클래스 벡터를 생성한다. 분류의 정확성에 관해서 계단식 레이어 수가 자동으로 결정되어 완성된 모델이 된다.
초점맵 생성부(120)는 예측 결과를 이용하여 상기 특징 벡터의 모든 픽셀에 대하여 초점 정보와 초점이 맞지 않은 정보를 나타내는 분류 결과를 할당하여 초점맵(Focus Map)을 생성한다.
초점맵 생성부(120)는 추출한 특징 벡터가 사전 훈련된 캐스케이드 포레스트 모델을 기반으로 분해한 영상 패치의 모든 픽셀에 대하여 초점 정보와 초점이 맞지 않은 정보를 나타내는 분류 결과를 할당하여 초점맵을 생성한다.
이전 섹션에서 설명한대로 Ia와 Ib는 각각 다른 초점 설정을 가진 두 개의 소스 영상으로 간주된다.
초점맵 생성부(120)는 소스 영상이 컬러 영상일 때 소스 영상이 회색 영상으로 변환된다. Ia 및 Ib를 각각 Ia 및 Ib의 회색 영상으로 정제된다.
그 후, Ia 및 Ib는 16 × 16 영상 패치로 분할된다. 이러한 단계에서 중첩된 영상 패치는 1의 단계 크기를 따른다. 특징 추출 후, Ia 및 Ib의 패치를 그룹화한 다음, 사전 훈련된 캐스케이드 포레스트 모델에 공급하여 집중 및 비 분류 결과를 얻는다. 분류 결과의 레이블은 0 또는 1이다.
초점맵을 얻기 위해서는 해당 패치의 모든 픽셀에 초점 또는 비 초점 정보를 나타내는 분류 결과를 할당한다. 도 4의 (a)는 본 발명에서 얻은 초점맵을 보여준다. 영상 Ia의 패치가 영상 Ib의 패치보다 선명하면 초점맵의 픽셀이 1(흰색)로 설정된다. 반대로, 초점맵의 픽셀은 0(검정)으로 설정된다. 도 4의 (a)에서 볼 수 있듯이 초점이 맞춰진 정보와 초점이 맞지 않은 정보가 정확하게 구분된다.
일관성 검사부(130)는 초점맵 생성부(120)에서 생성한 초점맵의 각 픽셀에서 기설정한 영역 임계값과 비교하여 영역 임계값보다 작으면 0을 1로, 1을 0으로 반전하여 노이즈 영역을 제거하는 일관성 검사를 수행하여 초기 의사 결정맵을 생성한다.
도 4의 (a)는 노이즈 제거 전의 초점맵을 보여준다. 초점맵 D는 일부 잘못 분류된 픽셀로 생성되며 이는 노이즈로 간주 될 수 있다. 이러한 잘못 분류된 픽셀을 복원하고 수정해야 한다. 일관성 검사부(130)는 노이즈 영역을 제거하여 잘못 분류된 픽셀을 뒤집는다. 구체적으로 일관성 검사부(130)는 노이즈 영역이 설정한 영역 임계값(0.01 × h × w)보다 작으면 반전해야 한다(0은 1로, 1은 0으로 변경). 소스 영상에서 h와 w는 각각 높이와 너비를 나타낸다. 초기 결정맵 N은 작은 영역을 제거한 후 도 4의 (b)에 표시된다. 노이즈 영역이 줄어들기 때문에 의사 결정맵이 더 정확해진다.
결정맵 생성부(140)는 의사 결정맵에서 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계에 아티팩트(Artifacts)를 줄이기 위해 가이드 영상 필터링을 수행하여 최종 의사 결정맵을 생성한다.
결정맵 생성부(140)는 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계에서 바람직하지 않은 아티팩트를 줄이기 위해 GF를 사용하여 초기 의사 결정맵 N을 개선한다. GF는 가장자리 예약의 뛰어난 특성을 가지고 있다. 다음의 수학식 18과 같다.
Figure 112021016381916-pat00047
Figure 112021016381916-pat00048
여기서, N은 초기 의사 결정맵, F는 최종 의사 결정맵, A, B는 각각 다른 초점 설정을 가진 두 개의 소스 영상, 가이드필터(·)는 가이드 필터링을 나타낸다. 가이드 영상 필터의 두 매개 변수인 로컬 상자 반경 w 및 정규화 매개 변수 ε은 각각 8과 0.1로 설정된다. 도 4의 (c)는 최종 의사 결정맵 F를 보여준다.
최종 융합 영상 처리부(150)는 최종 의사 결정맵에 대하여 픽셀 단위 처리를 통해 최종 융합 영상을 생성한다.
최종 융합 영상은 도 4의 (d)에 나와 있다. 마지막으로 최종 의사 결정맵 F를 획득하면 픽셀 단위 처리 원리를 통해 최종 융합 영상 C가 획득된다.
Figure 112021016381916-pat00049
여기서, A와 B는 각각 소스 영상 A와, 소스 영상 B를 나타낸다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 지능형 다중 초점 영상 융합 장치
110: 케스케이드 포레스트 모델부
120: 초점맵 생성부
130: 일관성 검사부
140: 결정맵 생성부
150: 최종 융합 영상 처리부

Claims (10)

  1. 각각 다른 초점 설정을 가진 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 상기 소스 영상을 특정 크기의 영상 패치로 분해하고, 상기 분해한 영상 패치에서 특징 벡터를 추출하고, 상기 추출한 특징 벡터에서 선명한 영상과 흐릿한 영상을 구분하기 위해 캐스케이드 포레스트 모델의 계층별 처리를 통해 예측 결과를 생성하는 케스케이드 포레스트 모델부;
    상기 예측 결과를 이용하여 상기 특징 벡터의 모든 픽셀에 대하여 초점 정보와 초점이 맞지 않은 정보를 나타내는 분류 결과를 할당하여 초점맵(Focus Map)을 생성하는 초점맵 생성부;
    상기 초점맵 생성부에서 상기 생성한 초점맵의 각 픽셀에서 기설정한 영역 임계값과 비교하여 상기 영역 임계값보다 작으면 0을 1로, 1을 0으로 반전하여 노이즈 영역을 제거하는 일관성 검사를 수행하여 초기 의사 결정맵을 생성하는 일관성 검사부;
    상기 초기 의사 결정맵에서 초점이 맞춰진 영역과 초점이 맞지 않는 영역 사이의 경계에 아티팩트(Artifacts)를 줄이기 위해 가이드 영상 필터링을 수행하여 최종 의사 결정맵을 생성하는 결정맵 생성부; 및
    상기 최종 의사 결정맵에 대하여 픽셀 단위 처리를 통해 최종 융합 영상을 생성하는 최종 융합 영상 처리부를 포함하는 지능형 다중 초점 영상 융합 장치.
  2. 청구항 1에 있어서,
    상기 케스케이드 포레스트 모델부는 상기 두 개의 소스 영상에 대해 그레이 스케일 공간으로 변환하고, 가우시안 필터링을 수행하여 상기 흐릿한 영상을 얻으며, 영상의 선명도를 표현하는 가시성(Visibility, VIS), 공간 주파수(Spatial Frequency, SF), 그라디언트 에너지(Energy of Gradient, EOG) 및 분산(Variance, VAR)의 4가지 특징 벡터를 추출하는 지능형 다중 초점 영상 융합 장치.
  3. 청구항 2에 있어서,
    상기 가시성(Fvis)은 픽셀의 강도와 영상 패치의 평균 강도의 차이이고, 강도를 픽셀값을 나타내는 다음의 수학식 1에 의해 표현하는 지능형 다중 초점 영상 융합 장치.
    [수학식 1]
    Figure 112021016381916-pat00050

    여기서,
    Figure 112021016381916-pat00051
    은 영상 패치,
    Figure 112021016381916-pat00052
    은 IM의 평균 강도, IM(j, i)는 해당 위치의 픽셀값, F는 formula를 나타내고, J 및 L은 각각 영상 패치의 행과 열을 나타냄.
  4. 청구항 2에 있어서,
    상기 공간 주파수(Fsf)는 높을수록 영상 패치가 더 선명해지고, 하기의 수학식 2, 수학식 3 및 수학식 4로 정의되는 지능형 다중 초점 영상 융합 장치.
    [수학식 3]
    Figure 112021016381916-pat00053

    [수학식 4]
    Figure 112021016381916-pat00054

    [수학식 5]
    Figure 112021016381916-pat00055

    여기서, SF는 영상 패치의 행 주파수와 열 주파수를 포함한다. 따라서, RF는 CF가 열 주파수를 표시하는 동안, 행 주파수를 나타냄.
  5. 청구항 2에 있어서,
    상기 그라디언트 에너지(Feog)는 하기의 수학식 6과 같이 표현되고, 영상의 초점 설정을 감지하기 위해 적용되고, 상기 그라디언트 에너지가 작을수록 패치가 더 흐려지는 지능형 다중 초점 영상 융합 장치.
    [수학식 6]
    Figure 112021016381916-pat00056
  6. 청구항 2에 있어서,
    상기 분산(Fvar)은 다음의 수학식 7과 같이 표현되고, 상기 영상 패치의 그레이 레벨 대비를 측정하기 위한 평가 함수인 지능형 다중 초점 영상 융합 장치.
    [수학식 7]
    Figure 112021016381916-pat00057

    여기서,
    Figure 112021016381916-pat00058
    은 영상 패치의 평균 회색값을 나타냄.
  7. 청구항 1에 있어서,
    상기 일관성 검사부는 상기 초기 의사 결정맵을 하기의 수학식 8과 수학식 9에 의해 표현하는 지능형 다중 초점 영상 융합 장치.
    [수학식 8]
    Figure 112021016381916-pat00059

    [수학식 9]
    Figure 112021016381916-pat00060

    여기서, N은 초기 의사 결정맵, F는 최종 의사 결정맵, A, B는 각각 다른 초점 설정을 가진 두 개의 소스 영상, 가이드필터(·)는 가이드 필터링을 나타낸다. 가이드 영상 필터의 두 매개 변수인 로컬 상자 반경 w 및 정규화 매개 변수 ε은 각각 8과 0.1로 설정함.
  8. 청구항 1에 있어서,
    상기 최종 융합 영상 처리부는 상기 최종 융합 영상을 하기의 수학식 10에 의해 생성하는 지능형 다중 초점 영상 융합 장치.
    [수학식 10]
    Figure 112021016381916-pat00061

    여기서, A와 B는 각각 소스 영상 A와, 소스 영상 B, F는 최종 의사 결정맵임.
  9. 삭제
  10. 삭제
KR1020210018151A 2021-02-09 2021-02-09 지능형 다중 초점 영상 융합 장치 및 방법 KR102388831B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210018151A KR102388831B1 (ko) 2021-02-09 2021-02-09 지능형 다중 초점 영상 융합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210018151A KR102388831B1 (ko) 2021-02-09 2021-02-09 지능형 다중 초점 영상 융합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102388831B1 true KR102388831B1 (ko) 2022-04-21

Family

ID=81437298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210018151A KR102388831B1 (ko) 2021-02-09 2021-02-09 지능형 다중 초점 영상 융합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102388831B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393243A (zh) * 2022-10-28 2022-11-25 北京开运联合信息技术集团股份有限公司 多聚焦图像的融合方法、装置和电子设备
CN116167956A (zh) * 2023-03-28 2023-05-26 无锡学院 基于非对称多层分解的isar与vis图像融合方法
CN116597268A (zh) * 2023-07-17 2023-08-15 中国海洋大学 一种高效的多聚焦图像融合方法及其模型搭建方法
CN117391985A (zh) * 2023-12-11 2024-01-12 安徽数分智能科技有限公司 一种多源数据信息融合处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808610B1 (ko) 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
KR101125765B1 (ko) * 2011-01-24 2012-03-27 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
KR102160690B1 (ko) * 2018-12-27 2020-09-29 인천대학교 산학협력단 다초점 이미지 융합 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808610B1 (ko) 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
KR101125765B1 (ko) * 2011-01-24 2012-03-27 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
KR102160690B1 (ko) * 2018-12-27 2020-09-29 인천대학교 산학협력단 다초점 이미지 융합 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393243A (zh) * 2022-10-28 2022-11-25 北京开运联合信息技术集团股份有限公司 多聚焦图像的融合方法、装置和电子设备
CN116167956A (zh) * 2023-03-28 2023-05-26 无锡学院 基于非对称多层分解的isar与vis图像融合方法
CN116167956B (zh) * 2023-03-28 2023-11-17 无锡学院 基于非对称多层分解的isar与vis图像融合方法
CN116597268A (zh) * 2023-07-17 2023-08-15 中国海洋大学 一种高效的多聚焦图像融合方法及其模型搭建方法
CN116597268B (zh) * 2023-07-17 2023-09-22 中国海洋大学 一种高效的多聚焦图像融合方法及其模型搭建方法
CN117391985A (zh) * 2023-12-11 2024-01-12 安徽数分智能科技有限公司 一种多源数据信息融合处理方法及系统
CN117391985B (zh) * 2023-12-11 2024-02-20 安徽数分智能科技有限公司 一种多源数据信息融合处理方法及系统

Similar Documents

Publication Publication Date Title
KR102388831B1 (ko) 지능형 다중 초점 영상 융합 장치 및 방법
Bhalla et al. A fuzzy convolutional neural network for enhancing multi-focus image fusion
Du et al. Image segmentation-based multi-focus image fusion through multi-scale convolutional neural network
D’Andrès et al. Non-parametric blur map regression for depth of field extension
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
GB2586260A (en) Facial image processing
Remeseiro et al. Statistical comparison of classifiers applied to the interferential tear film lipid layer automatic classification
Veiga et al. Quality evaluation of digital fundus images through combined measures
CN110555820A (zh) 基于卷积神经网络和动态引导滤波的图像融合方法
CN112699885A (zh) 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN113642479B (zh) 人脸图像的评价方法、装置、电子设备及存储介质
Aslantas et al. Multi-focus image fusion based on optimal defocus estimation
Nirmala et al. HoG based Naive Bayes classifier for glaucoma detection
Geng et al. Cervical cytopathology image refocusing via multi-scale attention features and domain normalization
Wu et al. Multi-focus image fusion: Transformer and shallow feature attention matters
CN112508828A (zh) 一种基于稀疏表示和引导滤波的多聚焦图像融合方法
Zhang et al. A spatially constrained deep convolutional neural network for nerve fiber segmentation in corneal confocal microscopic images using inaccurate annotations
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
KR102254198B1 (ko) 다중 초점 이미지 융합 방법
Praveena et al. A neuro fuzzy image fusion using block based feature level method
Hawari et al. The automatic focus segmentation of multi-focus image fusion
Krishna et al. Diabetic Retinopathy Detection and Classification Using LBP and CNN
Wang et al. New insights into multi-focus image fusion: A fusion method based on multi-dictionary linear sparse representation and region fusion model
Mukherjee et al. A min-max based hyperparameter estimation for domain-adapted segmentation of amoeboid cells

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant