KR102045538B1 - 패치 기반 다중 노출 영상 융합 방법 및 장치 - Google Patents

패치 기반 다중 노출 영상 융합 방법 및 장치 Download PDF

Info

Publication number
KR102045538B1
KR102045538B1 KR1020180062287A KR20180062287A KR102045538B1 KR 102045538 B1 KR102045538 B1 KR 102045538B1 KR 1020180062287 A KR1020180062287 A KR 1020180062287A KR 20180062287 A KR20180062287 A KR 20180062287A KR 102045538 B1 KR102045538 B1 KR 102045538B1
Authority
KR
South Korea
Prior art keywords
image
patch
signal strength
local
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180062287A
Other languages
English (en)
Inventor
정제창
김지환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020180062287A priority Critical patent/KR102045538B1/ko
Application granted granted Critical
Publication of KR102045538B1 publication Critical patent/KR102045538B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T5/004—
    • G06T5/008—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

패치 기반 다중 노출 영상 융합 방법 및 장치가 개시된다. 패치 기반 다중 노출 영상 융합 방법은, 동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계, 획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계, 상기 복수의 색상 패치를 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계, 상기 복수의 성분에 대하여 가중치를 부여하는 단계 및 가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계를 포함한다.

Description

패치 기반 다중 노출 영상 융합 방법 및 장치{METHOD FOR MULTI EXPOSURE IMAGE FUSION BASED ON PATCH AND APPARATUS FOR THE SAME}
본 발명은 패치 기반 다중 노출 영상 융합 방법 및 장치에 관한 것으로, 더욱 상세하게는 서로 다른 노출 수준을 갖는 복수의 입력 영상을 패치를 기반으로 신호 세기, 신호 구조, 평균 밝기를 포함하는 세가지 성분으로 분해하고, 분해된 세가지 성분 중에서 신호 구조에 대해서는 라플라시안을 이용한 언샤프 마스킹 필터를 적용하고, 평균 밝기에 대해서는 감마 변환을 적용하여 융합된 영상을 생성하는 기술에 관한 것이다.
자연의 장면은 종종 매우 넓은 동적 범위(High Dynamic Range)를 갖는 휘도 레벨(luminance level)을 가지는 반면, 일반적인 카메라는 고정된 노출 셋팅값(exposure setting)을 가지고 있어 완전히 자연의 장면 그대로를 촬영하기 어렵다. 여기서 동적 범위(Dynamic Range)란 영상이 나타낼 수 있는 가장 밝은 값과 가장 어두운 밝기 값 사이의 비율을 의미한다.
이처럼, 기존의 일반적인 카메라가 자연 상태의 밝기 단계를 모두 담지 못하는 문제를 해결하기 위하여 다중 노출 영상 융합(Multi-exposure image fusion, MEF) 기술이 제안되었다.
다중 노출 영상 융합 기술은 서로 다른 노출 수준에서 동일한 장면을 촬영한 복수의 영상을 이용하여 좁은 동적 범위(Low Dynamic Range, LDR) 영상을 합성한다. 다중 노출 영상 융합 기술을 이용하면 복수의 영상에서 가장 최적의 영역을 추출하고 연속적으로 연결함으로써 융합된 LDR 영상을 생성할 수 있기 때문에, HDR 영상과 LDR 영상 간의 차이를 줄이는 효율적인 대안이 된다.
한편, 기존의 다중 노출 영상 융합 기술에 따르면, 화소 기반의 MEF 알고리즘으로서 각 화소 별 가중치와 밝기값을 이용해 융합된 영상을 생성한다. 그러나, 이러한 화소 기반의 MEF 알고리즘은 가중치 맵을 생성하는 과정에서 잡음(noise)이 발생할 수 있고, 융합 과정에서 직접 가중치 맵을 적용함에 따른 다양한 영상 왜곡이 발생할 수 있다.
또한, 패치 기반의 MEF 알고리즘에 따르면, 다중 노출 영상을 패치(Patch) 기반의 세 가지 독립적 성분(신호 세기, 신호 구조, 평균 밝기)로 분해하고, 분해된 각 성분에 대한 가중치 맵 적용 후 융합된 영상을 생성한다. 그런데, 기존의 패치 기반의 MEF 알고리즘은 과 노출된 영역에서 물체의 식별이 어렵고 주변 화소에도 영향을 미쳐 전체적인 영상이 블러링(blurring)되는 문제가 있다.
따라서, 기존의 패치 기반 MEF 알고리즘을 개선하여 선명하고 자연스러운 융합 영상을 생성하는 방안이 필요한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 패치 기반 다중 노출 영상 융합 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 패치 기반 다중 노출 영상 융합 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명은, 패치 기반 다중 노출 영상 융합 방법을 제공한다.
여기서 패치 기반 다중 노출 영상 융합 방법은, 동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계, 획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계, 상기 복수의 색상 패치를 각각 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계, 상기 복수의 성분에 대하여 가중치를 부여하는 단계 및 가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 신호 구조에 대하여 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 복수의 성분을 획득하는 단계 이전 또는 이후에, 상기 복수의 영상에 대한 전처리를 수행하여 전체적인 밝기를 나타내는 전역 평균값과 상기 색상 패치에 대한 지역적 밝기를 나타내는 지역 평균값을 획득하는 단계를 더 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 복수의 색상 패치에 대한 신호 세기 중에서 가장 높은 신호 세기를 상기 융합된 패치 영상에 대한 신호 세기로 결정하는 단계를 포함할 수 있다.
여기서 상기 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계는, 상기 색상 패치에서 상기 지역 평균값을 차분시켜 제1 신호 세기를 획득하는 단계, 상기 제1 신호 세기에 대하여 라플라시안 필터링을 수행하고 공간 회선(spatial convolution)을 이용하여 블러링 영상(blurring image)을 획득하는 단계, 상기 제1 신호 세기에서 상기 블러링 영상을 차분시켜 윤곽선이 보존된 영상을 획득하는 단계 및 획득된 영상을 상기 제1 신호 세기와 더하여 선명한 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 선명한 영상을 획득하는 단계 이후에, 상기 선명한 영상을 정규화하여 상기 융합된 패치 영상에 대한 신호 세기를 획득하는 단계를 포함할 수 있다.
여기서 상기 블러링 영상(blurring image)을 획득하는 단계는, 3×3의 크기를 갖고, 중앙 계수값이 -8이고 나머지 계수값이 1인 마스크를 이용하여 상기 제1 신호 세기에 대한 라플라시안 필터링을 수행하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 전역 평균값에 대한 전역 가중치 함수와 상기 지역 평균값에 대한 지역 가중치 함수를 선형 결합하여 구성되는 가중치 함수를 이용하여 상기 평균 밝기에 대한 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 전역 가중치 함수 또는 상기 지역 가중치 함수는, 상기 전역 평균값 또는 상기 지역 평균값을 변수 X로 하여 수학식
Figure 112018053519848-pat00001
(이때, r은 수학식
Figure 112018053519848-pat00002
을 만족함)에 의해 산출될 수 있다.
여기서 상기 가중치 함수는, 상기 전역 가중치 함수와 상기 지역 가중치 함수의 가중치를 동등하게 부여할 수 있다.
여기서 상기 변수 μ는, 상기 전역 평균값과 상기 지역 평균값에 대한 평균값일 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은 패치 기반 다중 노출 영상 융합 장치를 제공한다.
여기서 패치 기반 다중 노출 영상 융합 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
여기서 상기 적어도 하나의 단계는, 동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계, 획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계, 상기 복수의 색상 패치를 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계, 상기 복수의 성분에 대하여 가중치를 부여하는 단계 및 가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 신호 구조에 대하여 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 복수의 성분을 획득하는 단계 이전 또는 이후에, 상기 복수의 영상에 대한 전처리를 수행하여 전체적인 밝기를 나타내는 전역 평균값과 상기 색상 패치에 대한 지역적 밝기를 나타내는 지역 평균값을 획득하는 단계를 더 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 복수의 색상 패치에 대한 신호 세기 중에서 가장 높은 신호 세기를 상기 융합된 패치 영상에 대한 신호 세기로 결정하는 단계를 포함할 수 있다.
여기서 상기 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계는, 상기 색상 패치에서 상기 지역 평균값을 차분시켜 제1 신호 세기를 획득하는 단계, 상기 제1 신호 세기에 대하여 라플라시안 필터링을 수행하고 공간 회선(spatial convolution)을 이용하여 블러링 영상(blurring image)을 획득하는 단계, 상기 제1 신호 세기에서 상기 블러링 영상을 차분시켜 윤곽선이 보존된 영상을 획득하는 단계 및 획득된 영상을 상기 제1 신호 세기와 더하여 선명한 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 선명한 영상을 획득하는 단계 이후에, 상기 선명한 영상을 정규화하여 상기 융합된 패치 영상에 대한 신호 세기를 획득하는 단계를 포함할 수 있다.
여기서 상기 블러링 영상(blurring image)을 획득하는 단계는, 3×3의 크기를 갖고, 중앙 계수값이 -8이고 나머지 계수값이 1인 마스크를 이용하여 상기 제1 신호 세기에 대한 라플라시안 필터링을 수행하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 전역 평균값에 대한 전역 가중치 함수와 상기 지역 평균값에 대한 지역 가중치 함수를 선형 결합하여 구성되는 가중치 함수를 이용하여 상기 평균 밝기에 대한 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 전역 가중치 함수 또는 상기 지역 가중치 함수는, 상기 전역 평균값 또는 상기 지역 평균값을 변수 X로 하여 수학식
Figure 112018053519848-pat00003
(이때, r은 수학식
Figure 112018053519848-pat00004
을 만족함)에 의해 산출될 수 있다.
여기서 상기 가중치 함수는, 상기 전역 가중치 함수와 상기 지역 가중치 함수의 가중치를 동등하게 부여할 수 있다.
여기서 상기 변수 μ는, 상기 전역 평균값과 상기 지역 평균값에 대한 평균값일 수 있다.
상기와 같은 본 발명에 따른 패치 기반 다중 노출 영상 융합 방법 및 장치를 이용할 경우에는 윤곽선이 선명한 융합 영상을 생성할 수 있다.
또한, 과노출 또는 저노출 영역과 같이 밝기값이 한쪽으로 치우쳐진 영상을 교정하여 더욱 부드러운 융합 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 색상 패치를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 신호 구조에 대한 가중치를 부여하는 방법에 대한 블록 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 라플라시안 필터를 설명하기 위한 예시도이다.
도 5 내지 도 10은 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에 따른 화질을 종래의 방법과 비교한 실험결과이다.
도 11은 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에 대한 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 장치에 대한 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
통상적으로 영상은 일련의 정지 영상(Still Image)으로 구성될 수 있으며, 이 정지 영상들은 GOP(Group of Pictures) 단위로 구분될 수 있고, 각 정지 영상을 픽쳐(Picture)라고 지칭할 수 있다. 또한, 영상을 이루는 최소 단위는 화소(Pixel)일 수 있으며, 하나의 화소를 표현하는데 사용되는 비트수를 비트 심도(Bit Depth)라고 한다.
또한, 각 픽쳐는 슬라이스, 타일, 블록 등으로 지칭되는 소정의 영역으로 분할될 수 있다. 또한, 하나의 GOP에 포함된 픽쳐들은 I 픽쳐, P 픽쳐, B 픽쳐로 분류될 수 있다. I 픽쳐는 다른 픽쳐를 참조하지 않고, 자체적으로 부호화/복호화되는 픽쳐를 의미할 수 있으며, P 픽쳐와 B 픽쳐는 다른 픽쳐를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation) 등의 과정을 수행하여 부호화/복호화하는 픽쳐를 의미할 수 있다. 일반적으로 P 픽쳐의 경우 I 픽쳐와 P 픽쳐를 참조 픽쳐로써 이용할 수 있으며, B 픽쳐의 경우 I 픽쳐와 P 픽쳐를 참조 픽쳐를 이용할 수 있다.
본 발명에서 노출(exposure)은 촬상 소자에 감광되는 빛의 양을 의미할 수 있다. 노출은 촬상 소자의 감도와 조리개의 열린 정도, 카메라의 셔터 속도 등에 의해 결정될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에 대한 개념도이다. 도 2는 본 발명의 일 실시예에 따른 색상 패치를 설명하기 위한 예시도이다.
도 1을 참조하면, 패치 기반 다중 노출 영상 융합 방법은 먼저 동일한 장면을 서로 다른 노출 수준으로 촬영한 복수의 영상(image)을 입력 데이터(input data)로 활용하여 전처리(pre-processing) 과정(10)을 거치고, 전처리 과정 이후에 복수의 영상에 따른 색상 패치(color patch)를 3개의 구성요소로 분해할 수 있다. 다음으로 분해된 구성요소에 대하여 가중치 맵을 생성(또는 분해된 구성요소를 가중치를 할당)하는 과정을 거치고(11) 각 구성요소를 다시 결합함으로써, 융합된 영상을 생성할 수 있다.
여기서 전처리 과정(10)은 영상 전체를 대상으로 하는 전역적 처리(Global, 10b)와, 영상의 색상 패치를 대상으로 하는 지역적 처리(Local, 10a)로 구분될 수 있다. 구체적으로, 전역적 처리(Global, 10b)는 노출 수준이 서로 다른 복수의 입력 영상 각각이 갖는 밝기를 평균화 연산하여 전체적인 밝기에 해당하는 전역 평균값(μk)을 획득하는 단계일 수 있다.
또한, 지역적 처리(Local, 10a)는 복수의 영상에서 같은 위치를 대상으로 하여 색상 패치(color patch)를 설정하고, 설정된 색상 패치에 대한 평균 밝기값을 출함으로써, 지역 평균값(lk)을 획득하는 단계일 수 있다. 더 상세하게, 지역 평균값(lk)은 노출 수준이 다른 복수의 입력 영상에 대한 각각의 색상 패치(patch)에 대해 컨볼루션(convolution) 연산을 하고 R, G, B 성분의 밝기값에 대한 평균을 계산함으로써 도출될 수 있다.
한편, 색상 패치를 분해한 3개의 구성 요소로는 신호 세기(Signal strength, 11a) 성분, 신호 구조(Signal structure, 11b) 성분, 평균 밝기(Mean intensity, 11c) 성분일 수 있다. 구체적으로 복수의 영상으로부터 추출한 색상 패치들의 집합은 복수의 영상의 개수를 K라고 하고, 각 영상을 지시하는 인덱스를 k라고 하면, 다음의 수학식 1로 정의할 수 있다.
Figure 112018053519848-pat00005
상기 수학식 1을 참조하면, 복수의 영상에서 추출한 각각의 색상 패치(Xk)는 C·N2 의 차원(dimension)을 가진 열 벡터일 수 있는데, 이때 C는 입력 영상에 대한 색상 채널(color channels)의 수이며, N은 패치의 공간적 크기(예를 들면 NХN 의 픽셀 크기, 이때 N은 11일 수 있음)일 수 있다. 또한, 색상 패치에 따른 열 벡터를 구성하는 원소(entry)는 해당 색상 패치 내에 있는 화소가 갖는 RGB 채널에 따른 세가지 강도값(intensity value) 중 하나가 된다.
도 2를 참조하여 색상 패치를 설명하면, 먼저 입력 영상으로 저노출 영상(Under exposure, 20), 중간 노출 영상(Mean exposure, 21), 과노출 영상(Over exposure, 22)을 사용한다고 할 때, 각 입력 영상에서 동일한 위치를 갖는 NХN 픽셀 크기의 영상 데이터(각각을 패치 또는 색상 패치로 지칭)를 획득할 수 있다. 이때, 획득된 각각의 영상 데이터를 C·N2 의 차원(dimension)을 갖는 열 벡터로 표현하면, 수학식 1에 따른 집합을 획득할 수 있다.
한편, 본 발명에 따른 다중 노출 영상 융합 방법은 이와 같은 색상 패치를 기반으로 하여 융합된 영상(Fused Image)를 생성하며 이때 융합된 영상은 각 색상 패치를 융합하여 획득된 영상 패치들로 구성될 수 있다. 앞에 수학식 1에서 도출한 색상 패치(Xk)를 앞서 설명한 3가지 성분 요소로 분해하면, 다음의 수학식 2와 같이 표현할 수 있다.
Figure 112018053519848-pat00006
수학식 2를 참조하면, 수학식 1의 색상 패치를, 색상 패치에서 패치의 평균값(
Figure 112018053519848-pat00007
)을 제거한 벡터(
Figure 112018053519848-pat00008
) 및 그 벡터의 L2-norm(
Figure 112018053519848-pat00009
)으로 표현한 것을 확인할 수 있다. 이때, 색상 패치에서 패치의 평균값을 제거한 벡터(
Figure 112018053519848-pat00010
)의 L2-norm(
Figure 112018053519848-pat00011
)이 신호 세기(Ck)가 되고, 단위 길이 벡터인
Figure 112018053519848-pat00012
는 신호 구조(Sk)가 되며, 패치의 평균값(
Figure 112018053519848-pat00013
)은 패치의 평균 밝기(lk , 지역 평균값)가 될 수 있다. 따라서, 이하에서는 색상 패치에서 패치의 평균값을 제거한 벡터(
Figure 112018053519848-pat00014
)의 L2-norm(
Figure 112018053519848-pat00015
)은 신호 세기 또는 제1 신호 세기로 지칭될 수도 있다.
수학식 2에 따라, 색상 패치를 신호 세기, 신호 구조, 평균 밝기로 분해하고 나면, 분해된 각 구성요소에 대하여 가중치를 부여하는 가중치 맵을 계산할 수 있다.
그 첫번째 단계로서, 신호 세기(Ck)에 대한 가중치를 부여할 수 있다. 이때, 지역적(local) 패치 구조의 가시성은 신호의 세기와 직접 관련이 있는 지역적 대조(local contrast)에 크게 의존한다. 대조가 클수록 더 높은 가시성을 가지지만, 대조가 과도하게 크면 비현실적인 외형으로 보이게 할 수도 있다. 이때 자연의 장면의 경우 일반적으로 대조가 클수록 더 높은 가시성을 갖게 되므로, 입력 영상이 자연의 장면임을 전제한다면, 대조가 큰 것이 유리하다. 따라서, 융합된 영상 패치에서의 신호 세기(
Figure 112018053519848-pat00016
)는 다음의 수학식 3과 같이 결정될 수 있다.
Figure 112018053519848-pat00017
수학식 3을 참조하면, K개의 입력 영상에 대한 영상 패치에서 분해된 신호 세기(Ck) 중에서 가장 큰 값을 융합된 영상 패치의 신호 세기(
Figure 112018053519848-pat00018
)로 결정할 수 있다.
두번째 단계로서, 각 색상 패치의 신호 구조를 이용하여 융합된 영상 패치의 신호 구조(
Figure 112018053519848-pat00019
)를 결정할 수 있다. 이때, 각 색상 패치의 신호 구조는 벡터 공간상에서 특정 방향을 가리키는 단위 길이 벡터들을 의미할 수 있으며, 융합된 영상 패치의 신호 구조(
Figure 112018053519848-pat00020
)는 다음의 수학식 4와 같이 결정될 수 있다.
Figure 112018053519848-pat00021
수학식 4를 참조하면, 전단에서 융합된 영상 패치의 신호 구조를 크기가 1인 단위 벡터로 정규화하는 수식을 확인할 수 있고, 후단에서는 각 색상 패치의 신호 구조(Sk)가 융합된 영상 패치의 신호 구조에 기여하는 정도를 나타내는 가중치 함수S에 따라 결정되는 수식을 확인할 수 있다. 이때, 가중치 함수(S)는 신호 구조에 대한 기여가 해당 색상 패치의 강도(strength)에 따라 증가된다는 점을 고려할 때, 다음의 수학식 5와 같이 결정할 수 있다.
Figure 112018053519848-pat00022
수학식 5를 참조하면, 가중치 함수(S)는 파라미터가 p인 전력 가중치 함수(power weighting function)인 것을 확인할 수 있고, 이때 파라미터 p는 0보다 크거나 같다.
세번째 단계로서, 융합된 영상 패치에 대한 평균 밝기(
Figure 112018053519848-pat00023
)를 아래의 수학식 6에 따라 결정할 수 있다.
Figure 112018053519848-pat00024
수학식 6을 참조하면, 융합된 영상 패치에 대한 평균 밝기(
Figure 112018053519848-pat00025
)는 각 색상 패치에 대한 지역 평균값(lk)에 대하여 가중치 함수(L)가 부여됨으로써 결정되는 것을 확인할 수 있다. 여기서 가중치 함수(L)는 앞에서 설명한 전역 평균값(μk)과 지역 평균값(lk)을 파라미터로 가지며, 이 두 가지 파라미터를 통해 입력 영상 중에서 과노출된 부분에 대해서는 낮은 가중치를 할당하고 저노출된 부분에 대해서는 높은 가중치를 할당하는 역할을 할 수 있다. 구체적으로 가중치 함수(L)는 다음의 수학식 7과 같이 결정할 수 있다.
Figure 112018053519848-pat00026
수학식 7을 참조하면, 가중치 함수는 2차원 가우시안 프로파일(two dimensional Gaussian Profile)이 적용되며, 이때, σg와 σl 는 전역 평균값(μk)과 지역 평균값(lk)의 차원에 따라 프로파일의 확산을 제어하는 상수이다.
수학식 3 내지 수학식 7에 따라 융합된 영상 패치에 대한 구성요소들이 결정되면, 수학식 2 또는 다음의 수학식 8에 따라 각 구성요소들을 결합함으로써 융합된 영상 패치(
Figure 112018053519848-pat00027
)를 결정할 수 있다.
Figure 112018053519848-pat00028
한편, 수학식 3 내지 수학식 7에 따라 융합된 영상 패치(
Figure 112018053519848-pat00029
)에 대한 구성요소들을 결정하게 되면, 실험을 통해 획득한 결과를 이용하여 각종 파라미터를 설정해야 하고, 2차원 가우시안 프로파일의 특성상 단일 돌출(single peak) 부분이 생성되기 때문에, 영상을 출력하였을 때 분포값이 한쪽으로 치우치게 된다. 따라서, 물체의 윤곽선이 보존되지 않는 결과를 초래하게 되므로 융합된 영상의 과노출 영역에서 물체를 식별하기 어려워진다. 또한 영상이 전체적으로 흐려져 시각적 품질이 저하된 것에서 화질의 손상이 발생할 여지가 있다. 이러한 문제점을 해결하기 위하여 본 발명의 일 실시예에 따르면, 신호 구조와 평균 밝기 성분을 새롭게 수정하여 적용할 수 있다. 이하에서는 신호 구조와 평균 밝기 성분에 대하여 다른 방법으로 가중치 맵을 생성하는 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 신호 구조에 대한 가중치를 부여하는 방법에 대한 블록 다이어그램이다. 도 4는 본 발명의 일 실시예에 따른 라플라시안 필터를 설명하기 위한 예시도이다.
도 3을 참조하면, 수학식 2에서 도출된 신호 세기(
Figure 112018053519848-pat00030
)를 3×3 커널로 이루어진 라플라시안 필터(laplacian filter)를 통과시킨 후 공간 회선(Spatial convolution)을 이용하여 부드럽게 변환함으로써, 블러링(blurring)된 영상(
Figure 112018053519848-pat00031
)을 획득할 수 있다.
이때, 도 4를 참조할 때 라플라시안 필터의 마스크 계수를 확인할 수 있다. 구체적으로 라플라시안 필터는 3Х3 픽셀 크기를 가지는 마스크를 포함하며 이때, 마스크의 중앙에 설정된 계수는 -8이고, 나머지 계수는 1일 수 있다.
여기서 획득된 블러링된 영상을 앞서 수학식 2에서 도출된 신호 세기(
Figure 112018053519848-pat00032
)에서 차분시킴으로써, 영상의 윤곽선이 보존된 영상(
Figure 112018053519848-pat00033
)을 생성할 수 있다. 즉, 영상의 윤곽선이 보존된 영상(
Figure 112018053519848-pat00034
)은 아래의 수학식 9에 따라 획득할 수 있다.
Figure 112018053519848-pat00035
수학식 9에 따라 영상의 윤곽선이 보존된 영상(
Figure 112018053519848-pat00036
)을 생성하면, 생성된 영상(
Figure 112018053519848-pat00037
)과 수학식 2에 따른 신호 세기(
Figure 112018053519848-pat00038
)를 더함으로써 아래의 수학식 10과 같이 선명한 영상(
Figure 112018053519848-pat00039
)을 생성할 수 있다.
Figure 112018053519848-pat00040
수학식 10에 따라 생성된 선명한 영상이 앞선 수학식 5 대신에 가중치 함수로서 수학식 4에 적용되면, 가중치가 부여된 신호 구조(
Figure 112018053519848-pat00041
)를 생성할 수 있다.
여기서 도 3에 따른 블록 다이어그램에 따른 과정을 수행하는 필터를 언샤프 마스킹 필터로 지칭할 수 있다.
한편, 앞에서 설명한 수학식 6에 따라 평균 밝기에 대한 가중치를 부여하는 경우, 사용자가 원하는 융합 영상을 얻기 위해서는 평균 밝기에 대한 파라미터 (σg와 σl)를 직접 설정하는 것이 필요하다. 이때, 이러한 파라미터를 직접 설정하지 않고, 전역 평균값과 지역 평균값에 따라 평균 밝기를 자동으로 결정하는 방법을 사용할 수 있다.
구체적으로, 평균 밝기에 대한 가중치를 부여하는 방법으로 앞에서 설명한 수학식 6 대신에 다음의 수학식 11을 적용할 수 있다.
Figure 112018053519848-pat00042
수학식 11을 참조하면, 기존에 수학식 6에서의 가중치 함수(L) 대신에 새로운 가중치 함수(GGL)가 적용된 것을 확인할 수 있고, 이때, 평균 밝기에 대한 새로운 가중치 함수는 다음의 수학식 12와 같이 정의할 수 있다.
Figure 112018053519848-pat00043
수학식 12를 참조하면, 평균 밝기에 대한 새로운 가중치 함수(GGL)는 전역 평균값(μk)에 대한 가중치함수(GG) 및 지역 평균값(lk)에 대한 가중치 함수(GL)가 0과 1 사이의 값을 갖는 가중치 상수 m에 의해 선형 결합하여 이루어져 있는 것을 확인할 수 있다. 여기서 가중치 상수 m은 사용자에 의해 정의되는 상수로서 m을 작게 할수록 영상이 전체적으로 밝아지며 m이 클수록 전체적으로 어두워지며, 실험적으로 두 가중치 함수의 평균이 되는 0.5가 가중치 상수(m)로 사용될 수 있다.
이때, 전역 평균값(μk)에 대한 가중치함수(GG) 및 지역 평균값(lk)에 대한 가중치 함수(GL)는 모두 아래의 수학식 13과 같이 정의될 수 있다.
Figure 112018053519848-pat00044
수학식 13에서, 변수 x에 각각 전역 평균값(μk)과 지역 평균값(lk)을 대입하면, 전역 평균값(μk)에 대한 가중치함수(GG) 및 지역 평균값(lk)에 대한 가중치 함수(GL)를 결정할 수 있다. 이때, 상기 수학식 13을 감마 변환 함수로 지칭할 수 있고, 가중치 함수에서 전역 평균값 또는 지역 평균값에 대한 감마 변환을 수행하는 변수인 감마값(r)은 아래의 수학식 14와 같이 결정할 수 있다.
Figure 112018053519848-pat00045
수학식 14를 참조하면, 감마값(r)은 0과 1 사이의 변수 μ에 의해 결정될 수 있는데, 이때 변수 μ는 전역 평균값과 지역 평균값에 대한 평균값을 구하여 0과 1사이의 값으로 산출함으로써 결정될 수 있다. 또한, 감마값(r)이 1이면 지수값이 1이 되어 수학식 13에 따른 가중치 함수는 선형적 특성을 갖게 되며, 감마값(r)이 1보다 크면 감마가 압축되어 전체적으로 어두워지고, 감마값이 1보다 작으면, 감마가 보정되어 전체적으로 밝아진다.
도 5 내지 도 10은 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에 따른 화질을 종래의 방법과 비교한 실험결과이다.
본 실험은 Windows 10 64비트 운영체제 Intel® Core™ i5-2500 CPU 3.30GHz의 PC 환경에서 MATLAB R2017a 으로 실험을 진행하였다. 이때, 비교 대상이 되는 기존의 다중 노출 영상 융합 방법으로는 Ma의 알고리즘(K. Ma, and Z. Wang, "Multi-exposure image fusion: A patch-wise approach," IEEE International Conference on Image Processing, pp.1717-1721, 2015.)과 Liu의 알고리즘(Y. Liu, and Z. Wang, "Dense sift for ghost-free multi exposure fusion,"Journal of Visual Communication and Image Representation, vol.31, pp. 208-224, 2015. 4)을 사용하였다. Ma의 알고리즘은 도 5 내지 도 10의 그림 (a)에서 실험결과를 확인할 수 있고, Liu의 알고리즘은 도 5 내지 도 10의 그림 (b)에서 실험결과를 확인할 수 있으며, 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법은 도 5 내지 도 10의 그림 (c)에서 실험결과를 확인할 수 있다. Ma의 알고리즘과 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에서 사용된 패치의 크기는 11 × 11을 사용하였다.
아래 표 1은 기존의 알고리즘와 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법(Proposed algorithm)의 MEF-SSIM을 비교한 실험 결과이다.
Figure 112018053519848-pat00046
본 실험에서는 KitchenWindow, Building, Coffeeshop, Popcorn- Counter, Lighthouse, Cave, BelgiumHouse, OldHouse, Secret- Beach, SantamonicaSunset 및 Landscape 총 11장의 실험영상이 사용되었다. 표 1을 참조하면, 복잡한 알고리즘이 추가됨에 따라 기존의 알고리즘 대비 제안하는 알고리즘의 전체적인 노출 합성 수행 시간이 증가하였으나 주관적 화질 측면에서는 기존 알고리즘에 비해 제안하는 알고리즘이 향상된 것을 알 수 있었다. 제안하는 알고리즘의 성능을 평가하기 위해서 Ma와 Liu가 제안한 알고리즘의 객관적 및 주관적인 화질을 비교하였다. MEF-SSIM은 다중 노출 합성 알고리즘의 객관적인 화질을 평가하기 위해 사용되는 측정 지표이다. 이 측정 지표는 결과 영상의 대비 및 구조 부분에 대해 분석하고 성능을 평가한다. MEF-SSIM의 값이 1에 가까울수록 객관적 화질이 우수함을 나타낸다. 제안한 알고리즘은 Ma가 제안한 알고리즘에 비해 평균적 성능은 약간 낮게 나타났지만, Liu가 제안한 알고리즘에 비해서는 평균적인 성능이 높게 나타났다. MEF-SSIM에서는 대비와 구조 부분을 기준으로 정한 객관적 지표이다. 본 논문에서 제안한 알고리즘은 구조 부분만을 개선하였기 때문에 Ma 보다 일부 실험영상에서 낮은 성능을 나타냈다.
도 5 내지 도 7은 KitchenWindow, Lighthouse 및 Cave 3개의 실험 영상에 대한 노출 합성 영상을 대상으로 주관적인 화질을 평가하기 위해 영상 내 물체 부분을 관심 영역 (Region of Interest: ROI)으로 지정하여 분석한 결과이다.
도 8 내지 도 10은 Building, Garage 및 Popcorn counter 3개의 실험 영상을 대상으로 전체적인 주관적 화질을 비교한 결과이다.
도 5를 참조하면, 그림 (a)에서 Ma 의 알고리즘을 적용한 영상은 영상 내 물체 정보는 보존되지만 벽 부분의 빛이 반사되어 쉐이딩과 같은 아티팩트가 발생하게 된다. 그림 (b)에서 Liu 의 알고리즘을 적용한 영상은 창문 밖 영역의 빛이 과포화 현상이 나타나서 물체의 식별이 어렵지만, 그림 (c)에서 제안하는 알고리즘은 과포화 현상을 방지하여 창 밖의 물체를 자세하게 식별할 수 있을 뿐만 아니라 전체적으로 선명한 이미지를 만들 수 있었다.
도 6을 참조하면, 그림 (a)에서 Ma 의 알고리즘을 적용한 영상은 빛이 번지게 되어 동굴 부분에 음영이 들어가게 된다. 그림 (b)의 Liu 의 알고리즘에서는 빛의 과포화로 인해 나무 와 동굴 안의 윤곽선이 자연스럽지 않은 결과 영상을 획득한 것에 비해 그림 (c)의 제안하는 알고리즘에서는 자연스러운 영상을 기반으로 하여 물체의 윤곽선이 보존된 결과 영상을 확인할 수 있었다.
도 7을 참조하면, 그림 (a)의 Ma 의 알고리즘을 적용한 영상은 전체적인 밝기가 부자연스럽게 나타났다. 그림 (b)의 Liu 의 알고리즘에서는 물체의 윤곽선 부분에 헤일로 열화(Halo artifact) 현상이 발생하였다. 하지만 그림 (c)의 제안하는 알고리즘에서는 전체적인 대비를 높여 헤일로 열화 현상을 제거하였고, 윤곽선 부분을 보존하게 되어 자연스러운 영상을 만들 수 있었다.
도 8을 참조하면, 그림 (a)의 Ma 과 그림 (b)의 Liu 의 알고리즘은 건물 내 불빛이 있는 부분에 빛이 많이 번지고 그로 인해 영상 전체가 뿌옇게 되는 결과를 초래하였다. 그러나 그림 (c)의 제안하는 알고리즘에서는 빛이 번지는 현상을 방지하고 건물의 창이나 벽의 세세한 부분을 보존하여 시각적인 품질을 향상시켰다.
도 9를 참조하면, 그림 (a)의 Ma 와 그림 (b)의 Liu 의 알고리즘은 밝기의 부조화로 인해 영상이 전체적으로 부자연스럽다. 특히 건물 안의 어두운 영역의 빛이 불포화 상태가 되어 물체의 식별이 어려운 결과를 초래하였다. 그러나 그림 (c)의 제안하는 알고리즘에서는 전체적인 영상 밝기를 조절할 뿐만 아니라 건물 안의 윤곽선이 보존됨으로써 불포화 상태가 해결되어 물체를 식별할 수 있는 결과 영상을 얻었다.
도 10을 참조하면, 그림 (a)의 Ma 의 알고리즘은 영상의 대비와 윤곽선이 강조되다 보니 밝기의 부조화가 일어나 시각적 품질이 저하되었다. 그림 (b)의 Liu 의 알고리즘은 빛이 전체적으로 퍼져있어 영상 자체가 밝은 영상을 나타내어 물체 인식이 어렵다는 단점이 있다. 하지만 그림 (c)의 제안하는 알고리즘에서는 전체적인 밝기를 조절하고 대비를 높여 향상된 영상의 품질을 확인하였다.
도 11은 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 방법에 대한 흐름도이다.
도 11을 참조하면, 패치 기반 다중 노출 영상 융합 방법은, 동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계(S100), 획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계(S110), 상기 복수의 색상 패치를 각각 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계(S120), 상기 복수의 성분에 대하여 가중치를 부여하는 단계(S130) 및 가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계(S140)를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계(S130)는, 상기 신호 구조에 대하여 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 복수의 성분을 획득하는 단계(S120) 이전 또는 이후에, 상기 복수의 영상에 대한 전처리를 수행하여 전체적인 밝기를 나타내는 전역 평균값과 상기 색상 패치에 대한 지역적 밝기를 나타내는 지역 평균값을 획득하는 단계를 더 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계(S130)는, 상기 복수의 색상 패치에 대한 신호 세기 중에서 가장 높은 신호 세기를 상기 융합된 패치 영상에 대한 신호 세기로 결정하는 단계를 포함할 수 있다.
여기서 상기 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계는, 상기 색상 패치에서 상기 지역 평균값을 차분시켜 제1 신호 세기를 획득하는 단계, 상기 제1 신호 세기에 대하여 라플라시안 필터링을 수행하고 공간 회선(spatial convolution)을 이용하여 블러링 영상(blurring image)을 획득하는 단계, 상기 제1 신호 세기에서 상기 블러링 영상을 차분시켜 윤곽선이 보존된 영상을 획득하는 단계 및 획득된 영상을 상기 제1 신호 세기와 더하여 선명한 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 선명한 영상을 획득하는 단계 이후에, 상기 선명한 영상을 정규화하여 상기 융합된 패치 영상에 대한 신호 세기를 획득하는 단계를 포함할 수 있다.
여기서 상기 블러링 영상(blurring image)을 획득하는 단계는, 3×3의 크기를 갖고, 중앙 계수값이 -8이고 나머지 계수값이 1인 마스크를 이용하여 상기 제1 신호 세기에 대한 라플라시안 필터링을 수행하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계(S130)는, 상기 전역 평균값에 대한 전역 가중치 함수와 상기 지역 평균값에 대한 지역 가중치 함수를 선형 결합하여 구성되는 가중치 함수를 이용하여 상기 평균 밝기에 대한 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 전역 가중치 함수 또는 상기 지역 가중치 함수는, 상기 전역 평균값 또는 상기 지역 평균값을 변수 X로 하여 수학식
Figure 112018053519848-pat00047
(이때, r은 수학식
Figure 112018053519848-pat00048
을 만족함)에 의해 산출될 수 있다.
여기서 상기 가중치 함수는, 상기 전역 가중치 함수와 상기 지역 가중치 함수의 가중치를 동등하게 부여할 수 있다.
여기서 상기 변수 μ는, 상기 전역 평균값과 상기 지역 평균값에 대한 평균값일 수 있다.
도 12는 본 발명의 일 실시예에 따른 패치 기반 다중 노출 영상 융합 장치에 대한 구성도이다.
도 12를 참조하면, 패치 기반 다중 노출 영상 융합 장치(100)는, 적어도 하나의 프로세서(processor, 110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 패치 기반 다중 노출 영상 융합 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 특징점 기반 움직임 벡터를 이용한 움직임 추정 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 특징점 기반 움직임 벡터를 이용한 움직임 추정 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
여기서 상기 적어도 하나의 단계는, 동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계, 획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계, 상기 복수의 색상 패치를 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계, 상기 복수의 성분에 대하여 가중치를 부여하는 단계 및 가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 신호 구조에 대하여 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 복수의 성분을 획득하는 단계 이전 또는 이후에, 상기 복수의 영상에 대한 전처리를 수행하여 전체적인 밝기를 나타내는 전역 평균값과 상기 색상 패치에 대한 지역적 밝기를 나타내는 지역 평균값을 획득하는 단계를 더 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 복수의 색상 패치에 대한 신호 세기 중에서 가장 높은 신호 세기를 상기 융합된 패치 영상에 대한 신호 세기로 결정하는 단계를 포함할 수 있다.
여기서 상기 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계는, 상기 색상 패치에서 상기 지역 평균값을 차분시켜 제1 신호 세기를 획득하는 단계, 상기 제1 신호 세기에 대하여 라플라시안 필터링을 수행하고 공간 회선(spatial convolution)을 이용하여 블러링 영상(blurring image)을 획득하는 단계, 상기 제1 신호 세기에서 상기 블러링 영상을 차분시켜 윤곽선이 보존된 영상을 획득하는 단계 및 획득된 영상을 상기 제1 신호 세기와 더하여 선명한 영상을 획득하는 단계를 포함할 수 있다.
여기서 상기 선명한 영상을 획득하는 단계 이후에, 상기 선명한 영상을 정규화하여 상기 융합된 패치 영상에 대한 신호 세기를 획득하는 단계를 포함할 수 있다.
여기서 상기 블러링 영상(blurring image)을 획득하는 단계는, 3×3의 크기를 갖고, 중앙 계수값이 -8이고 나머지 계수값이 1인 마스크를 이용하여 상기 제1 신호 세기에 대한 라플라시안 필터링을 수행하는 단계를 포함할 수 있다.
여기서 상기 가중치를 부여하는 단계는, 상기 전역 평균값에 대한 전역 가중치 함수와 상기 지역 평균값에 대한 지역 가중치 함수를 선형 결합하여 구성되는 가중치 함수를 이용하여 상기 평균 밝기에 대한 가중치를 부여하는 단계를 포함할 수 있다.
여기서 상기 전역 가중치 함수 또는 상기 지역 가중치 함수는, 상기 전역 평균값 또는 상기 지역 평균값을 변수 X로 하여 수학식
Figure 112018053519848-pat00049
(이때, r은 수학식
Figure 112018053519848-pat00050
을 만족함)에 의해 산출될 수 있다.
여기서 상기 가중치 함수는, 상기 전역 가중치 함수와 상기 지역 가중치 함수의 가중치를 동등하게 부여할 수 있다.
여기서 상기 변수 μ는, 상기 전역 평균값과 상기 지역 평균값에 대한 평균값일 수 있다.
여기서 패치 기반 다중 노출 영상 융합 장치(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계;
    획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계;
    상기 복수의 색상 패치를 각각 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계;
    상기 복수의 성분에 대하여 가중치를 부여하는 단계; 및
    가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계를 포함하되,
    상기 복수의 성분을 획득하는 단계 이전 또는 이후에,
    상기 복수의 영상에 대한 전처리를 수행하여 전체적인 밝기를 나타내는 전역 평균값과 상기 색상 패치에 대한 지역적 밝기를 나타내는 지역 평균값을 획득하는 단계를 더 포함하고,
    상기 가중치를 부여하는 단계는,
    상기 신호 구조에 대하여 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계; 및
    상기 전역 평균값에 대한 전역 가중치 함수와 상기 지역 평균값에 대한 지역 가중치 함수를 선형 결합하여 구성되는 가중치 함수를 이용하여 상기 평균 밝기에 대한 가중치를 부여하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 방법.
  2. 삭제
  3. 청구항 1에서,
    상기 가중치를 부여하는 단계는,
    상기 복수의 색상 패치에 대한 신호 세기 중에서 가장 높은 신호 세기를 상기 융합된 패치 영상에 대한 신호 세기로 결정하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 방법.
  4. 청구항 1에서,
    상기 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계는,
    상기 색상 패치에서 상기 지역 평균값을 차분시켜 제1 신호 세기를 획득하는 단계;
    상기 제1 신호 세기에 대하여 라플라시안 필터링을 수행하고 공간 회선(spatial convolution)을 이용하여 블러링 영상(blurring image)을 획득하는 단계;
    상기 제1 신호 세기에서 상기 블러링 영상을 차분시켜 윤곽선이 보존된 영상을 획득하는 단계; 및
    획득된 영상을 상기 제1 신호 세기와 더하여 선명한 영상을 획득하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 방법.
  5. 청구항 4에서,
    상기 선명한 영상을 획득하는 단계 이후에,
    상기 선명한 영상을 정규화하여 상기 융합된 패치 영상에 대한 신호 세기를 획득하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 방법.
  6. 청구항 4에서,
    상기 블러링 영상(blurring image)을 획득하는 단계는,
    3×3의 크기를 갖고, 중앙 계수값이 -8이고 나머지 계수값이 1인 마스크를 이용하여 상기 제1 신호 세기에 대한 라플라시안 필터링을 수행하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 방법.
  7. 삭제
  8. 청구항 1에서,
    상기 전역 가중치 함수 또는 상기 지역 가중치 함수는,
    상기 전역 평균값 또는 상기 지역 평균값을 변수 X로 하여 수학식
    Figure 112019084520609-pat00051
    (이때, r은 수학식
    Figure 112019084520609-pat00052
    을 만족함)
    에 의해 산출되는, 패치 기반 다중 노출 영상 융합 방법.
  9. 청구항 1에서,
    상기 가중치 함수는,
    상기 전역 가중치 함수와 상기 지역 가중치 함수의 가중치를 동등하게 부여하는, 패치 기반 다중 노출 영상 융합 방법.
  10. 청구항 8에서,
    상기 변수 μ는,
    상기 전역 평균값과 상기 지역 평균값에 대한 평균값인, 패치 기반 다중 노출 영상 융합 방법.
  11. 적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하는 패치 기반 다중 노출 영상 융합 장치에서,
    상기 적어도 하나의 단계는,
    동일한 장면에 대하여 서로 다른 노출 수준을 갖는 복수의 입력 영상을 획득하는 단계;
    획득된 복수의 영상에서 공간적으로 동일한 곳에 위치한 복수의 색상 패치(color patch)를 획득하는 단계;
    상기 복수의 색상 패치를 분해하여 신호 세기, 신호 구조 및 평균 밝기를 포함하는 복수의 성분을 획득하는 단계;
    상기 복수의 성분에 대하여 가중치를 부여하는 단계; 및
    가중치가 부여된 상기 복수의 성분을 결합하여 융합된 패치 영상을 획득하는 단계를 포함하되,
    상기 복수의 성분을 획득하는 단계 이전 또는 이후에,
    상기 복수의 영상에 대한 전처리를 수행하여 전체적인 밝기를 나타내는 전역 평균값과 상기 색상 패치에 대한 지역적 밝기를 나타내는 지역 평균값을 획득하는 단계를 더 포함하고,
    상기 가중치를 부여하는 단계는,
    상기 신호 구조에 대하여 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계; 및
    상기 전역 평균값에 대한 전역 가중치 함수와 상기 지역 평균값에 대한 지역 가중치 함수를 선형 결합하여 구성되는 가중치 함수를 이용하여 상기 평균 밝기에 대한 가중치를 부여하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 장치.
  12. 삭제
  13. 청구항 11에서,
    상기 가중치를 부여하는 단계는,
    상기 복수의 색상 패치에 대한 신호 세기 중에서 가장 높은 신호 세기를 상기 융합된 패치 영상에 대한 신호 세기로 결정하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 장치.
  14. 청구항 11에서,
    상기 라플라시안을 이용한 언샤프 마스킹 필터를 이용하여 가중치를 부여하는 단계는,
    상기 색상 패치에서 상기 지역 평균값을 차분시켜 제1 신호 세기를 획득하는 단계;
    상기 제1 신호 세기에 대하여 라플라시안 필터링을 수행하고 공간 회선(spatial convolution)을 이용하여 블러링 영상(blurring image)을 획득하는 단계;
    상기 제1 신호 세기에서 상기 블러링 영상을 차분시켜 윤곽선이 보존된 영상을 획득하는 단계; 및
    획득된 영상을 상기 제1 신호 세기와 더하여 선명한 영상을 획득하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 장치.
  15. 청구항 14에서,
    상기 선명한 영상을 획득하는 단계 이후에,
    상기 선명한 영상을 정규화하여 상기 융합된 패치 영상에 대한 신호 세기를 획득하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 장치.
  16. 청구항 14에서,
    상기 블러링 영상(blurring image)을 획득하는 단계는,
    3×3의 크기를 갖고, 중앙 계수값이 -8이고 나머지 계수값이 1인 마스크를 이용하여 상기 제1 신호 세기에 대한 라플라시안 필터링을 수행하는 단계를 포함하는, 패치 기반 다중 노출 영상 융합 장치.
  17. 삭제
  18. 청구항 11에서,
    상기 전역 가중치 함수 또는 상기 지역 가중치 함수는,
    상기 전역 평균값 또는 상기 지역 평균값을 변수 X로 하여 수학식
    Figure 112019084520609-pat00053
    (이때, r은 수학식
    Figure 112019084520609-pat00054
    을 만족함)
    에 의해 산출되는, 패치 기반 다중 노출 영상 융합 장치.
  19. 청구항 11에서,
    상기 가중치 함수는,
    상기 전역 가중치 함수와 상기 지역 가중치 함수의 가중치를 동등하게 부여하는, 패치 기반 다중 노출 영상 융합 장치.
  20. 청구항 18에서,
    상기 변수 μ는,
    상기 전역 평균값과 상기 지역 평균값에 대한 평균값인, 패치 기반 다중 노출 영상 융합 장치.
KR1020180062287A 2018-05-31 2018-05-31 패치 기반 다중 노출 영상 융합 방법 및 장치 Expired - Fee Related KR102045538B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180062287A KR102045538B1 (ko) 2018-05-31 2018-05-31 패치 기반 다중 노출 영상 융합 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180062287A KR102045538B1 (ko) 2018-05-31 2018-05-31 패치 기반 다중 노출 영상 융합 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102045538B1 true KR102045538B1 (ko) 2019-11-15

Family

ID=68578680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180062287A Expired - Fee Related KR102045538B1 (ko) 2018-05-31 2018-05-31 패치 기반 다중 노출 영상 융합 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102045538B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586310A (zh) * 2020-04-30 2020-08-25 中国科学院西安光学精密机械研究所 一种实时高动态成像方法及成像系统
CN112070692A (zh) * 2020-08-26 2020-12-11 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113409247A (zh) * 2021-04-15 2021-09-17 宁波大学 一种多曝光融合图像质量评价方法
CN113781375A (zh) * 2021-09-10 2021-12-10 厦门大学 一种基于多曝光融合的车载视觉增强方法
CN114639133A (zh) * 2020-12-16 2022-06-17 浙江宇视科技有限公司 车牌图像处理方法、装置、电子设备和存储介质
CN115278121A (zh) * 2021-04-30 2022-11-01 北京极感科技有限公司 一种获取高动态范围图像的方法以及装置
US11651472B2 (en) 2020-10-16 2023-05-16 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
KR20230088213A (ko) * 2021-12-10 2023-06-19 고려대학교 산학협력단 딥러닝 분해 기반 다중 노출 영상 융합 방법 및 그 장치
CN117061841A (zh) * 2023-06-12 2023-11-14 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091595A (ja) * 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置
KR20110084025A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
JP2012191360A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 画像合成装置、画像合成方法および画像合成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091595A (ja) * 2009-10-22 2011-05-06 Kyocera Mita Corp 画像処理装置、画像処理方法及び画像形成装置
KR20110084025A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
JP2012191360A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 画像合成装置、画像合成方法および画像合成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kede Ma, ET AL:"Multi-exposure image fusion: A patch-wise approach", 2015 IEEE International Conference on Image Processing (ICIP), 27-30 Sept. 2015(2015.09.27.) 1부.* *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586310B (zh) * 2020-04-30 2021-04-20 中国科学院西安光学精密机械研究所 一种实时高动态成像方法及成像系统
CN111586310A (zh) * 2020-04-30 2020-08-25 中国科学院西安光学精密机械研究所 一种实时高动态成像方法及成像系统
CN112070692A (zh) * 2020-08-26 2020-12-11 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
CN112070692B (zh) * 2020-08-26 2023-10-20 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
US11651472B2 (en) 2020-10-16 2023-05-16 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
CN114639133A (zh) * 2020-12-16 2022-06-17 浙江宇视科技有限公司 车牌图像处理方法、装置、电子设备和存储介质
CN113409247A (zh) * 2021-04-15 2021-09-17 宁波大学 一种多曝光融合图像质量评价方法
CN113409247B (zh) * 2021-04-15 2022-07-15 宁波大学 一种多曝光融合图像质量评价方法
CN113129391B (zh) * 2021-04-27 2023-01-31 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN115278121A (zh) * 2021-04-30 2022-11-01 北京极感科技有限公司 一种获取高动态范围图像的方法以及装置
CN113781375A (zh) * 2021-09-10 2021-12-10 厦门大学 一种基于多曝光融合的车载视觉增强方法
CN113781375B (zh) * 2021-09-10 2023-12-08 厦门大学 一种基于多曝光融合的车载视觉增强方法
KR20230088213A (ko) * 2021-12-10 2023-06-19 고려대학교 산학협력단 딥러닝 분해 기반 다중 노출 영상 융합 방법 및 그 장치
KR102610330B1 (ko) 2021-12-10 2023-12-06 고려대학교 산학협력단 딥러닝 분해 기반 다중 노출 영상 융합 방법 및 그 장치
CN117061841A (zh) * 2023-06-12 2023-11-14 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置

Similar Documents

Publication Publication Date Title
KR102045538B1 (ko) 패치 기반 다중 노출 영상 융합 방법 및 장치
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
US7881554B2 (en) Method for correcting a digital image
US9230304B2 (en) Apparatus and method for enhancing image using color channel
US9311901B2 (en) Variable blend width compositing
Rao et al. A Survey of Video Enhancement Techniques.
CN103854259B (zh) 图像处理设备以及处理图像的方法
US9349170B1 (en) Single image contrast enhancement method using the adaptive wiener filter
US8965141B2 (en) Image filtering based on structural information
Schettini et al. Contrast image correction method
CN113674193B (zh) 图像融合方法、电子设备和存储介质
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
EP2059902B1 (en) Method and apparatus for image enhancement
KR20170031033A (ko) 과노출 정정을 위한 방법, 시스템 및 장치
Lee et al. Image contrast enhancement using classified virtual exposure image fusion
Park et al. Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images
WO2016189901A1 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
US10019645B2 (en) Image processing apparatus and method, and electronic equipment
Zini et al. Back to the future: a night photography rendering ISP without deep learning
CN113963007A (zh) 一种图像处理方法和装置
US20240273679A1 (en) System and method for fusing two or more source images into a target image

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180531

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190619

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191105

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191111

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191111

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230822