KR20220122106A - 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법 - Google Patents

초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법 Download PDF

Info

Publication number
KR20220122106A
KR20220122106A KR1020210026306A KR20210026306A KR20220122106A KR 20220122106 A KR20220122106 A KR 20220122106A KR 1020210026306 A KR1020210026306 A KR 1020210026306A KR 20210026306 A KR20210026306 A KR 20210026306A KR 20220122106 A KR20220122106 A KR 20220122106A
Authority
KR
South Korea
Prior art keywords
image
focus
area
focal
feature point
Prior art date
Application number
KR1020210026306A
Other languages
English (en)
Other versions
KR102599498B1 (ko
Inventor
양세정
이지영
장승현
김기현
이중빈
김성한
Original Assignee
연세대학교 원주산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 원주산학협력단, 포항공과대학교 산학협력단 filed Critical 연세대학교 원주산학협력단
Priority to KR1020210026306A priority Critical patent/KR102599498B1/ko
Publication of KR20220122106A publication Critical patent/KR20220122106A/ko
Application granted granted Critical
Publication of KR102599498B1 publication Critical patent/KR102599498B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법이 개시된다. 본 발명의 현미경 영상 융합 방법은, 주파수 영역 변환을 통해 초점 영역의 정보 및 에지를 강조하기 위하여 강조된 초점 영역을 추출하는 단계와, 초점 영역 확장을 시키며 불필요한 영역을 제거한 후 Guided filter를 적용하여 Guided filter가 적용된 초점 영역을 Final decision map으로 구성하여 pixel-wise weighted-averaging rule을 이용하여 최종 all-in-focus 영상을 결과로 출력하는 단계를 포함하게 구성함으로써, 개변수를 조정할 필요가 없기 때문에 all-in-focus 영상을 필요로 하는 모든 비전문가도 쉽게 영상을 얻을 수 있는 효과가 있다.

Description

초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법{MULTI-FOCUS MICROSCOPIC IMAGE FUSION METHOD USING LOCAL AREA FEATURE EXTRACTION}
본 발명은 현미경 영상 융합 기법에 관한 것으로, 보다 상세하게는 다중 영상 융합 시 발생하는 문제점을 해소하며 깊이 방향으로 스캐닝 촬영된 2장은 물론 3장 이상의 영상을 융합하는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법에 관한 것이다.
최근 스마트폰의 사용이 잦아지면서 현대인들의 90% 이상이 안구건조증을 경험하고 있다. 안구건조증에는 다양한 원인이 있지만 그 중 술잔세포 기능 장애에 대한 연구가 활발히 진행되고 있다. 점막에서 분비 되는 뮤신의 역할이 안구건조증에 영향을 끼칠 수 있으며 이를 정밀하게 진단함으로써 안구건조증 치료 정도를 판단할 수 있다.
기존 술잔세포 평가 방법은 과정이 복잡하고 결막 손상을 일으킬 수 있어 잘 사용되지 않았으나 광학 현미경을 통한 영상 기법으로 술잔세포를 손쉽게 평가할 수 있다. 결막술잔세포는 점액을 만드는 세포로 눈물이 고르게 퍼지도록 한다. 안구건조증 판별을 위해 술잔세포의 상태를 관찰하는 것이 눈의 질병 상태를 이해하고 진단하는데 중요한 역할을 한다.
기존 방법은 안구표면의 상피층을 떼어 결막 표면의 세포 형태와 종류를 파악하였으나 검사로 인한 세포 변성 가능성이 있으며 세포가 겹쳐서 관찰되는 단점이 있다. 이러한 단점을 극복하기 위해 결막술잔세포 영상 촬영을 통해 안구건조증 정밀 진단이 가능한 안과용 광학 현미경을 사용했다.
결막술잔세포를 고속, 고해상도롤 영상화 하기 이해 목시플록사신 기반 형광 현미경 영상법을 활용하였다.
고해상도 영상화를 위한 현미경은 Depth of field (DOF)가 얕기 때문에 초점이 맞지 않는 부분으로 인하여 중요한 정보가 누락되는 문제가 발생한다. 이를 해결하기 위해 깊이 방향으로 스캐닝 촬영하여 각기 다른 초점 영역을 갖는 국소 초점 영상을 획득한 후 결합하여 all-in-focus 영상을 얻을 필요가 있다.
영상 융합은 여러 장의 입력 영상에서 나오는 시각 정보를 하나의 결과 영상에 결합하는 과정이다.
결과 영상은 입력 영상보다 더 정확하고 안정적이며 완전한 정보를 포함하고 있어야 하며 디지털 사진, 의료 진단과 같은 다양한 분야에서 활발한 주제이다.
Multi focus image fusion (MFIF) 기법을 적용하여 결과 영상을 얻을 수 있다. 즉, 서로 다른 포커스 레벨의 정적 장면에서 N개의 영상 세트를 이용하여 focal area가 모두 융합된 결과 영상을 얻는 것이다.
MFIF 기법은 각각 다른 DOF를 갖는 N개의 입력 영상에 작동한다. 각 영상에 대하여 포커스 측정값이 가장 높은 영역을 평가하여 선택한다. 마지막으로, 다른 영상에서 선택된 영역을 퓨전하여 최종 all-in-focus 영상을 얻을 수 있다.
많은 MFIF 알고리즘이 보고되었으며 주로 transform domain과 spatial domain 방법으로 나뉜다.
wavelet transform, contourlet transform과 같이 다른 domain으로 변환된 후 계수를 결합하고 재구성하여 융합된 영상을 생성한다.
하지만 이 방법은 융합 과정에서 일부 정보를 소실할 수 있으며 밝기 또는 색 왜곡을 초래할 수 있다.
Spatial domain은 transform domain과 달리 픽셀 밝기 값을 이용하여 융합되므로 간단하게 구현이 가능하고 많은 정보를 보존할 수 있다.
블록 기반 방법 또는 gradient나 에지와 같은 고주파 정보 기반 방법 등 많은 방법이 보고되었다. 초점 영역 검출에는 좋은 성능을 발휘하지만 계산 효율성이나 노이즈에 약하다는 점이 존재한다.
또한, 주로 2장의 영상 융합에만 작동하도록 설계되어있으며 3장 이상의 영상 융합 시 소실되는 정보량이 많아지거나 매개변수 조절 등의 문제가 있다.
KR 등록특허공보 제10-1662775호(2016.09.28)
이러한 문제점을 해결하기 위한 본 발명은 다중 영상 융합 시 발생하는 문제점을 해소하며 깊이 방향으로 스캐닝 촬영된 2장은 물론 3장 이상의 영상을 융합할 수 있는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법을 제공하는 것을 목적으로 한다.
그리고 본 발명은 초점 영역 추출 및 Guided filter를 이용한 현미경 영상 융합 방법을 제공하는 것을 다른 목적으로 한다.
이러한 과제를 해결하기 위한 본 발명의 두 개 혹은 그 이상의 국소 초점 영상을 이용해 영상을 융합하는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법은, (a)주파수 영역 변환을 통해 초점 영역의 정보 및 에지를 강조하기 위하여 강조된 초점 영역에 Laplacian filter를 적용하고 임계처리를 하여 초점 영역을 추출하는 단계와, (b)초점 영역 확장을 시키며 불필요한 영역을 제거한 후 Guided filter를 적용하여 Guided filter가 적용된 초점 영역을 Final decision map으로 구성하여 pixel-wise weighted-averaging rule을 이용하여 최종 all-in-focus 영상을 결과로 출력하는 단계를 포함하게 구성함으로써 달성될 수 있다.
또한, 상기 (a)단계는 (a-1)현미경을 통해 얻은 국소 초점 영상에 변환을 적용하여 주파수 스펙트럼을 추출 후 처리하여 다시 역푸리에 변환을 적용하여 잡음 제거 및 초점 영역을 검출하는 단계와, (a-2)상기 초점 영역에 에지 검출 방법 중 하나인 Laplacian filter를 적용하여 국소 초점 영상에서 보이는 결막술잔세포를 특징점으로 잡는 단계, (a-3)검출된 mask에서 초점 영역이 아님에도 불구하고 mask로 생성된 영역을 제거하기 위해서 일정 픽셀 이하의 개수를 가지는 영역은 제거하는 단계를 포함할 수 있다.
그리고 상기 (b)단계는 (b-1)영역이 제거된 mask에서 형태학적 연산을 통해 영역 확장을 진행하는 단계와, (b-2)다음으로 Guided filter를 사용하여 넓은 영역을 보존하면서 영상 경계에 가중치를 적용하여 영상 전체 면적의 1/4 크기가 될때 까지 윈도우 크기가 자동으로 커지도록 제어하는 단계, (b-3)상기 단계에서 설정된 mask 영역에 원본 영상을 곱한 후 각 영상의 픽셀 값을 이용하여 하나의 융합된 영상을 얻는 단계를 포함할 수 있다.
따라서, 본 발명의 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법에 의하면, 깊이 방향으로 스캐닝 촬영하여 각기 다른 초점 영역을 갖는 국소 초점 영상을 획득한 후 결합하여 all-in-focus 영상을 얻을 수 있기 때문에 비침습적으로 안구 건조증 진단이 가능하다.
그리고 본 발명의 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법에 의하면, 개변수를 조정할 필요가 없기 때문에 all-in-focus 영상을 필요로 하는 모든 비전문가도 쉽게 영상을 얻을 수 있다는 이점이 있다.
도 1은 본 발명의 일실시예에 의한 영상 융합 방법을 설명하기 위한 흐름도
도 2는 필터를 통해 개선된 결과 영상을 표시한 도면,
도 3은 국소 초점 영상의 초점 영역 검출을 표시한 도면,
도 4는 초점 영역 검출 도면,
도 5는 최종 결정된 map을 표시한 도면,
도 6은 영상 깊이 맵을 표시한 도면,
도 7은 첫번째 현미경 영상을 이용한 융합결과를 나타낸 도면,
도 8은 두번째 현미경 영상을 이용한 융합결과를 나타낸 도면,
도 9는 세번째 현미경 영상을 이용한 융합결과를 나타낸 도면,
도 10은 결막술잔세포 영상을 이용한 융합 결과를 표시한 도면,
도 11은 결막술잔세포 영상을 이용한 융합 결과를 표시한 도면,
도 12는 결막술잔세포 영상을 이용한 융합 결과를 표시한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
명세서 전체에서 각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하, 도면을 참고하여 본 발명의 일실시예에 대하여 설명한다.
도 1은 본 발명의 일실시예에 의한 영상 융합 방법을 설명하기 위한 흐름도로서, 두 개 혹은 그 이상의 국소 초점 영상을 이용해 영상을 융합한다. 첫 째로 주파수 영역 변환을 통해 초점 영역의 정보 및 에지를 강조한다. 강조된 초점 영역에 Laplacian filter를 적용하고 임계처리를 하면 초점 영역 추출이 가능하다. 둘 째로 초점 영역 확장을 시키며 불필요한 영역을 제거한 후 Guided filter를 적용한다. Guided filter가 적용된 초점 영역은 Final decision map이 되며 pixel-wise weighted-averaging rule을 이용하여 최종 all-in-focus 영상을 결과로 출력한다.
Focal area enhancement
먼저 현미경을 통해 얻은 국소 초점 영상은 잡음 제거 및 초점 영역 검출이 필요하다. 원본 영상에 푸리에 변환을 적용하여 주파수 스펙트럼을 추출 후 처리하여 다시 역푸리에 변환을 적용하면 원하는 결과를 얻을 수 있다. Input 영상
Figure pat00001
가 있고 이 영상의 width를
Figure pat00002
, height를
Figure pat00003
라 할 때 푸리에 변환 식은 다음과 같이 수학식 1로 정의된다.
Figure pat00004
여기서
Figure pat00005
는
Figure pat00006
축 방향으로 주파수가
Figure pat00007
,
Figure pat00008
축 방향으로 주파수가
Figure pat00009
인 sinusoidal 주기 함수이며,
Figure pat00010
는 주파수 영역으로 변환된 영상 값이다. 주파수 영역으로 변환된 신호에서 convolution연산은 주파수 성분 사이의 곱셈 연산으로 수행되기 때문에 필터링 연산을 효율적으로 수행할 수 있게 된다.
푸리에 변환을 이용한 필터링 과정은 수학식 2와 같이 요약된다.
Figure pat00011
Figure pat00012
에 적용하여 구현할 수 있는 필터는 다음과 같다. 첫 째로, Low-pass filtering은 낮은 주파수 영역의 정보만 통과시키는 방법이다. 영상에서 잡음을 제거 및 약화하고 blurring하여 에지 등의 세밀한 부분을 부드럽게 만든다. 둘째로, High-pass filtering은 높은 주파수 영역의 정보만 통과시킨다. 영상의 세밀한 부분에 대한 정보를 포함하기 때문에 경계선 검출 분야에 주로 사용한다. 이상적인 Low pass filter와 High pass filter는 수학식 3과 같이 정의된다.
Figure pat00013
수학식 3에서
Figure pat00014
는 필터 중앙 좌표에서
Figure pat00015
좌표까지의 거리를 의미하며 일반적으로 유클리디안 거리를 사용하여 계산된다.
Figure pat00016
는 cutoff frequency라고 부르며 필터에서 차단할 주파수 성분의 양을 결정하는 값이다.
Figure pat00017
에서
Figure pat00018
값이 커지면 더 많은 저주파 성분을 통과시키며
Figure pat00019
값이 작아지면 적은 양의 저주파 성분만을 통과시킨다. 본 발명에서는 가우시안 Low pass filter를 사용하였기 때문에 다음 수학식 4와 같이 정의할 수 있다.
Figure pat00020
Low-pass filter와 High-pass filter를 결합하여 특정 주파수 영역대만 통과시키는 Band-pass filter를 얻을 수 있다.
Figure pat00021
[수학식 3]에서 High-pass filter는 Low-pass filter와 반대되는 것을 볼 수 있다. 따라서 [수학식 5]를 통해 Band-pass filter를 설계할 수 있으며 결과값
Figure pat00022
를 푸리에 역변환 하여 수학식 6과 같이 개선된 영상
Figure pat00023
를 얻을 수 있다.
Figure pat00024
본 발명의 Band-pass filter를 원본 영상에 적용하면 다음과 같다. Low-pass filter를 거쳐 잡음을 제거하고 High-pass filter를 거치면서 영상의 세밀한 부분, 즉 초점 영역의 정보가 강조되는 효과를 얻을 수 있다.
도 2의 필터를 통해 개선된 결과 영상을 보면, (a)는 원본영상이고 (b)는 BPF를 수행한 영상으로, 영상의 세밀한 부분, 즉 초점 영역의 정보가 강조되어 있는 것을 알 수 있다.
3. Focal area decision map
상술한 방법으로 얻은 초점 영역에 에지 검출 방법 중 하나인 Laplacian filter를 적용한다. Laplacian filter는 수학식 7과 같이 2차 미분을 이용하는 방법이다. 1차 미분은 밝기가 급격하게 변화하는 영역뿐 아니라 점진적으로 변화하는 부분까지 민감하게 에지를 검출하는 반면 2차 미분 연산자는 변화하는 영역의 중심에 위치한 에지만을 검출하기 때문에 불필요한 에지가 나타나지 않는다.
Figure pat00025
Laplacian filter가 적용된 영상은 국소 초점 영상에서 보이는 결막술잔세포를 특징점으로 잡는다. Laplacian filter는 주변 밝기와의 차이 값을 이용하여 에지를 추출하는데 이 때 영상 내의 가는 선이나 고립점에 강하게 반응하기 때문에 임계처리를 진행한다. 임계처리가 진행된 영상은 이진화되어 0과 1로만 표현이 된다.[14] 이진화는 영상 내에서 사물 혹은 물체의 특징 검출 및 인식 등의 분야에 사용되는 방법 중 하나이다. 이진화된 영상은 특정 임계값을 기준으로 픽셀 값이 더 높으면 1, 낮으면 0으로 영상을 출력하게 된다. 따라서 앞서 Laplacian filter를 적용한 영상에 적절한 임계처리를 통해 국소 초점 영상에서 초점 영역을 검출할 수 있다.
도 3의 국소 초점 영상의 초점 영역 검출을 표시한 도면을 참고하면, (a)는 도 2의 초점 영역이 강조된 영상이며, (b)는 라플라시안 필터를 이용하여 검출된 초점 영역을 표시한 것이고, (c)는 이진화된 초점 영역을 표시한 것이다.
검출된 mask에서 초점 영역이 아님에도 불구하고 mask로 생성된 영역이 있는 것을 확인할 수 있다. 초점 영역이 아닌 부분을 제거하기 위해서 일정 픽셀 이하의 개수를 가지는 영역은 제거를 하면 더욱 정확한 mask를 얻을 수 있다. 이렇게 얻어진 mask는 형태학적 연산을 통해 영역 확장이 진행된다.
형태학적 연산은 영상의 기하학적 형태를 분석하는 방법으로 크게 erosion과 dilation이 존재한다. 두 방법 모두 structuring element를 기준으로 연결성을 정의하는 방법으로 erosion은 structuring element를 완전히 포함하는 부분만 결과 영상으로 출력하며 dilation의 경우 structuring element의 일부분만 겹치더라도 결과 영상으로 출력한다.
도 4의 초점 영역 검출 도면을 참고하면, (a)는 초기 초점 영역 mask 영상을 (b)는 불필요한 영역이 제거된 영상을 그리고 (c)는 형태학적 연산을 수행하여 확장된 mask 영상을 표시한 것이다.
4. Guided filter
Guided filter란 He, Kaiming, et al에 의해 제안된 방법이다.[16] Guided filter는 bilateral filter와 마찬가지로 가장자리를 보존하는 스무딩 필터이다. 특히 커널의 크기와 강도 범위에 관계없이 빠르며 구배 반전 아티팩트로 인해 방해받지 않으며 강한 가장자리가 흐려지는 ringing effect가 발생하지 않는다.
Figure pat00026
이론적으로 Guided filter는 출력
Figure pat00027
가 픽셀
Figure pat00028
를 중심으로 한 윈도우
Figure pat00029
에서 guidiance image의 선형 변환이라고 가정한다. 여기서
Figure pat00030
은
Figure pat00031
크기의 윈도우를 의미한다.
Figure pat00032
와
Figure pat00033
는
Figure pat00034
의 선형 상관 계수 이며 출력 영상
Figure pat00035
와 입력 영상
Figure pat00036
사이의 제곱 차를 최소화 한다.
Figure pat00037
Figure pat00038
와
Figure pat00039
는 각각 윈도우
Figure pat00040
내에서
Figure pat00041
의 평균과 분산 값을 의미한다.
Figure pat00042
은
Figure pat00043
의 픽셀 개수이며
Figure pat00044
는
Figure pat00045
에서
Figure pat00046
의 평균값을 의미한다. 다음으로 출력 영상은 수학식 3에 따라 계산할 수 있다. 윈도우
Figure pat00047
의 중심
Figure pat00048
가 바뀌면서 결과 영상
Figure pat00049
의 값이 달라지기 때문에 이를 막기 위해
Figure pat00050
와
Figure pat00051
에서 나올 수 있는 모든 값을 평균화하여 결과 영상을 추정한다.
Figure pat00052
윈도우가 슬라이딩 되면서 모든 영상에 적용이 된다. 윈도우 크기가 클수록 filter가 적용되는 영역이 넓어진다. 따라서 넓은 영역을 보존하면서 영상 경계에 가중치를 적용할 수 있으므로 영상 전체 면적의 1/4 크기가 될 때 까지 윈도우 크기가 자동으로 커지도록 알고리즘을 설계하였다. 자동으로 정해진
Figure pat00053
값을 이용하여 전체 영상에 guided filter를 적용한다. Guided filter로 인해 내부 정보를 보존하며 경계에는 가중치 값이 할당된 decision map을 얻을 수 있다.
도 5에 최종 결정된 map이 표시되어 있다.
5. Fused result
Decision map에 원본 영상을 곱한 후 각 영상의 픽셀 값을 이용하여 하나의 융합된 영상을 얻을 수 있다. 각 픽셀에서 max값을 가지는 영상 시퀀스를 선택 후 할당하여 한 장의 all-in-focus 영상을 얻는다. 각 영상 별로 초점이 맞는 영역이 다르며 초점이 맞는 영역일수록 픽셀은 높은 값을 가진다. 또한 겹치는 영역에 대해서는 pixel-wise weighted-averaging rule을 이용한다. Guided filter를 거치면서 mask에 생성된 가중치를 이용하여 영상마다 경계가 두드러지지 않는 자연스러운 연결을 가질 수 있게 된다.
도 6에 영상 깊이 맵이 표시되어 있다.
이러한 현미경 영상 융합 방법에 대한 실험결과에 대하여 설명한다.
기능성 평가를 위해 본 연구에서 제안된 방법을 최근에 소개된 MFIF 방법과 비교한다. Mean shift segmentation DCT focus measure 방법 (Mean shift), Guided filter based 영상 융합 방법 (GFDF), Fstack merging 방법 (Fstack)으로 모두 2장 이상의 영상 융합에 적용이 가능하다.
각 알고리즘 실행 코드는 온라인으로 제공되었으며 평가에 사용되는 dataset도 참조하였다.
도 7은 첫번째 현미경 영상을 이용한 융합결과를 나타낸 도면이고, 도 8은 두번째 현미경 영상을 이용한 융합결과를 나타낸 도면, 그리고 도 9는 세번째 현미경 영상을 이용한 융합결과를 나타낸 도면으로 각 도면에서 (a)는 Mean shift, (b)는 GFDF, (c)는 F-stack 그리고 (d)는 결과 영상이다.
본 발명에서 결막술잔세포 영상은 쥐를 통해 얻었다. 주어진 all-in-focus를 위한 현미경 영상은 촬영된 쥐(subject) 별로 상의하며 총 데이터 셋은 10개이다. 우리의 방법은 2장 이상의 영상 융합에 관한 기존 MFIF 방법과 비교하였다.
도 11 내지 도 13의 결막술잔세포 영상을 이용한 융합 결과를 표시한 도면을 참고하면 (a)는 Mean shift, (b)는 F-stack, (b)는 GFDF 그리고 (c)는 결과 영상이다.
Mean shift 방법의 경우 컬러 영상에만 적용할 수 있다는 특성 때문에 결막술잔세포 영상에는 적용하지 못하였으며 GFDF와 F-stack 방법과 비교하였다. GFDF의 경우 데이터의 양이 많아질수록 융합되는 과정에서 소실되는 정보의 양이 많아지는 것을 볼 수 있다. F-stack은 결막술잔세포 영상 융합 시 탁월한 융합 결과를 보였으나 개체 영상이 변할 때마다 매개변수 값을 조절해가며 융합해야한다는 단점이 있다. 하지만 본 연구에서는 조절해야 하는 매개변수의 값을 자동화함으로써 개체 및 영상의 종류에 상관없이 all-in-focus 영상을 출력할 수 있도록 하였다.
결국 본 발명은 국소 초점 영상을 이용한 all-in-focus 생성 방법에 대한 것으로, 주파수 영역 변환, 특징점 검출, 형태학적 연산, guided filter 사용 등 영상 처리 분야에서 기본이 되는 방법을 사용하였다.
기존의 MFIF 기법과 다르게 매개변수에 자유로우며 2장 혹은 2장 이상의 영상에도 제약 없이 사용할 수 있도록 알고리즘을 설계하였다.
결막술잔세포 영상은 안구건조증 진단을 위해 필요한 영상인 만큼 비전문가도 쉽게 알고리즘에 접근할 수 있어야 한다. 이와 관련, 매개변수를 조정할 필요가 없기 때문에 all-in-focus 영상을 필요로 하는 모든 비전문가도 쉽게 영상을 얻을 수 있다는 이점이 존재한다.
이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.

Claims (3)

  1. 두 개 혹은 그 이상의 국소 초점 영상을 이용해 영상을 융합하는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법에 있어서,
    (a)주파수 영역 변환을 통해 초점 영역의 정보 및 에지를 강조하기 위하여 강조된 초점 영역에 Laplacian filter를 적용하고 임계처리를 하여 초점 영역을 추출하는 단계;
    (b)초점 영역 확장을 시키며 불필요한 영역을 제거한 후 Guided filter를 적용하여 Guided filter가 적용된 초점 영역을 Final decision map으로 구성하여 pixel-wise weighted-averaging rule을 이용하여 최종 all-in-focus 영상을 결과로 출력하는 단계;
    를 포함하는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법.
  2. 청구항 1에 있어서,
    상기 (a)단계는
    (a-1)현미경을 통해 얻은 국소 초점 영상에 변환을 적용하여 주파수 스펙트럼을 추출 후 처리하여 다시 역푸리에 변환을 적용하여 잡음 제거 및 초점 영역을 검출하는 단계;
    (a-2)상기 초점 영역에 에지 검출 방법 중 하나인 Laplacian filter를 적용하여 국소 초점 영상에서 보이는 결막술잔세포를 특징점으로 잡는 단계;
    (a-3)검출된 mask에서 초점 영역이 아님에도 불구하고 mask로 생성된 영역을 제거하기 위해서 일정 픽셀 이하의 개수를 가지는 영역은 제거하는 단계;
    를 포함하는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법.
  3. 청구항 1에 있어서,
    상기 (b)단계는
    (b-1)영역이 제거된 mask에서 형태학적 연산을 통해 영역 확장을 진행하는 단계;
    (b-2)다음으로 Guided filter를 사용하여 넓은 영역을 보존하면서 영상 경계에 가중치를 적용하여 영상 전체 면적의 1/4 크기가 될때 까지 윈도우 크기가 자동으로 커지도록 제어하는 단계;
    (b-3)상기 단계에서 설정된 mask 영역에 원본 영상을 곱한 후 각 영상의 픽셀 값을 이용하여 하나의 융합된 영상을 얻는 단계;
    를 포함하는 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법.



KR1020210026306A 2021-02-26 2021-02-26 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법 KR102599498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210026306A KR102599498B1 (ko) 2021-02-26 2021-02-26 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210026306A KR102599498B1 (ko) 2021-02-26 2021-02-26 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법

Publications (2)

Publication Number Publication Date
KR20220122106A true KR20220122106A (ko) 2022-09-02
KR102599498B1 KR102599498B1 (ko) 2023-11-07

Family

ID=83281198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210026306A KR102599498B1 (ko) 2021-02-26 2021-02-26 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법

Country Status (1)

Country Link
KR (1) KR102599498B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630164A (zh) * 2023-07-21 2023-08-22 中国人民解放军国防科技大学 海量显微图像的实时拼接方法
CN117830125A (zh) * 2024-03-04 2024-04-05 厦门微图软件科技有限公司 一种快速多聚焦融合算法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101662775B1 (ko) 2014-11-26 2016-10-05 박범철 안구건조증 진단 장치 및 이를 이용한 안구건조증 진단 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101662775B1 (ko) 2014-11-26 2016-10-05 박범철 안구건조증 진단 장치 및 이를 이용한 안구건조증 진단 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Huafeng Li ET AL, Multifocus image fusion via fixed window technique of multiscale images and non-local means filtering, Signal Processing, Volume 138, 7 March 2017(2017.03.07.) 1부.* *
Mehmet Sezgin ET AL, Survey over image thresholding techniques and quantitative performance evaluation, Journal of Electronic Imaging 13(1), Jan. 2004(2004.01.31.) 1부.* *
S.K. Nayar ET AL, Shape from focus, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 16, Issue: 8, Aug. 1994(1994.08.31.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630164A (zh) * 2023-07-21 2023-08-22 中国人民解放军国防科技大学 海量显微图像的实时拼接方法
CN116630164B (zh) * 2023-07-21 2023-09-26 中国人民解放军国防科技大学 海量显微图像的实时拼接方法
CN117830125A (zh) * 2024-03-04 2024-04-05 厦门微图软件科技有限公司 一种快速多聚焦融合算法
CN117830125B (zh) * 2024-03-04 2024-06-04 厦门微图软件科技有限公司 一种快速多聚焦融合算法

Also Published As

Publication number Publication date
KR102599498B1 (ko) 2023-11-07

Similar Documents

Publication Publication Date Title
Tai et al. Single image defocus map estimation using local contrast prior
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
JP2004164624A (ja) 低被写界深度画像セグメンテーションの方法及び機器
KR102599498B1 (ko) 초점 영역 특징점 추출을 이용한 현미경 영상 융합 방법
Zhu et al. Restoration for weakly blurred and strongly noisy images
KR102195047B1 (ko) 3d이미지 품질을 향상시키는 방법과 장치
Zhi-guo et al. A wavelet based algorithm for multi-focus micro-image fusion
CN107170002B (zh) 一种图像自动对焦方法和设备
CN109919922B (zh) 一种基于空间域与形态学相结合的硅硅直接键合的质量检测方法
KR101792564B1 (ko) 영상 처리 방법 및 이를 이용한 영상 처리 장치
Wu et al. An improved Richardson-Lucy algorithm for single image deblurring using local extrema filtering
CN112529773A (zh) Qpd图像后处理方法及qpd相机
Sarker et al. Morphological based technique for image segmentation
Nosrati et al. Detection of circular shapes from impulse noisy images using median and laplacian filter and Circular Hough Transform
Gao et al. New edge detection algorithms using alpha weighted quadratic filter
Latha et al. Joint estimation of depth map and focus image in SFF: an optimization framework by sparsity approach
Moreno et al. Evaluation of sharpness measures and proposal of a stop criterion for reverse diffusion in the context of image deblurring
Roosta et al. Multifocus image fusion based on surface area analysis
Jiang et al. Multi-focus red and white blood cell image fusion based on content adaptive blur
Nosrati et al. A method for detection and extraction of circular shapes from noisy images using median filter and CHT
Rahman et al. Noise, edge extraction, and visibility of features
Ali et al. Spatial Stimuli Gradient Based Multifocus Image Fusion Using Multiple Sized Kernels
JP7452677B2 (ja) フォーカス判定装置、虹彩認証装置、フォーカス判定方法、及び、プログラム
CN112581411B (zh) 一种图像去雾的方法及终端
Naidu et al. Efficient case study for image edge gradient based detectors-sobel, robert cross, prewitt and canny

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant