KR20210154409A - 모바일 디지털 이미지 확대 필터 장치 및 방법 - Google Patents

모바일 디지털 이미지 확대 필터 장치 및 방법 Download PDF

Info

Publication number
KR20210154409A
KR20210154409A KR1020200071393A KR20200071393A KR20210154409A KR 20210154409 A KR20210154409 A KR 20210154409A KR 1020200071393 A KR1020200071393 A KR 1020200071393A KR 20200071393 A KR20200071393 A KR 20200071393A KR 20210154409 A KR20210154409 A KR 20210154409A
Authority
KR
South Korea
Prior art keywords
filter
image
equation
resolution
low
Prior art date
Application number
KR1020200071393A
Other languages
English (en)
Other versions
KR102362805B1 (ko
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020200071393A priority Critical patent/KR102362805B1/ko
Publication of KR20210154409A publication Critical patent/KR20210154409A/ko
Application granted granted Critical
Publication of KR102362805B1 publication Critical patent/KR102362805B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

모바일 디지털 이미지 확대 필터 장치 및 방법은 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 컬러 필터를 생성하고, 이 중 가장 복원 성능이 좋은 필터를 선택하여 영상 보간을 수행함으로써 다른 영상 필터와 비교하여 탁월한 성능을 제공하고, 시각적으로 최상의 평균 보간 성능을 수행할 수 있는 효과가 있다.

Description

모바일 디지털 이미지 확대 필터 장치 및 방법{Filter Apparatus for Expanding Mobile Digital Image and Method Thereof}
본 발명은 영상 필터 장치에 관한 것으로서, 더욱 상세하게는 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 컬러 필터를 생성하고, 이 중 가장 복원 성능이 좋은 필터를 선택하여 영상 보간을 수행하는 컬러 영상 복원을 위한 모바일 디지털 이미지 확대 필터 장치 및 방법에 관한 것이다.
카메라에는 가시광선 이미지 센서와 적외선 이미지 센서가 모두 장착되어 있다.
이러한 두 가지 유형의 센서는 가시광선 이미지와 적외선 이미지를 각각 캡처할 수 있다.
가시광선 이미지는 풍부한 텍스쳐(Texture) 정보가 포함되어 있으며, 가시광선 이미지 센서는 환경에 영향을 받기 쉽다.
예를 들어, 가시광선 이미지에서 특정 물체가 어둡거나 짙은 안개 상태에서 보이지 않을 수 있다.
반대로 적외선 이미지는 열 복사에 따라 캡처된다. 따라서, 모든 조건에서 24 시간 내 안정적으로 작동될 수 있다.
그러나 적외선 이미지에는 종종 텍스쳐 정보가 부족한 단점이 있다.
현재까지도 CCTV 카메라와 같이, 정밀한 이미지 생성을 해야 하는 분야에서 해상도가 떨어져 객체 검출이 용이하지 않는 문제점이 있다. 이에 따라 다양한 분야(군사, 범인 검거의 경찰 등)에서 부족한 이미지가 생성되어 객체 검출을 하지 못하므로 문제 해결을 하지 못하는 문제점이 계속적으로 발생하고 있다.
한국 등록특허번호 제10-1975186호
이와 같은 문제점을 해결하기 위하여, 본 발명은 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 컬러 필터를 생성하고, 이 중 가장 복원 성능이 좋은 필터를 선택하여 영상 보간을 수행하는 모바일 디지털 이미지 확대 필터 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 모바일 디지털 이미지 확대 필터 장치는,
원본 영상인 저해상도 영상을 입력받는 영상 입력부;
상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 필터 생성부;
상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 필터 결정부; 및
상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 영상 복원부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 모바일 디지털 이미지 확대 필터 방법은,
영상 입력부는 원본 영상인 저해상도 영상을 입력받는 단계;
필터 생성부는 상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 단계;
필터 결정부는 상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 단계; 및
영상 복원부는 상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 다른 영상 필터와 비교하여 탁월한 성능을 제공하고, 시각적으로 최상의 평균 보간 성능을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 컬러 영상 복원을 위한 영상 복원 장치의 구성을 간략하게 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 최소 제곱 회귀의 훈련 절차(A)와 디모자이킹 절차(B)를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 4개의 훈련 필터(
Figure pat00001
)의 주파수 응답을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 4개의 훈련 필터(
Figure pat00002
)의 필터 계수를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 서로 다른 크기의 필터 간의 주파수 응답의 차이를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 컬러 영상과 휘도 영상의 LC 데이터 시트를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 7가지 보간 방법에 대한 PSNR 결과를 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 모바일 디지털 이미지 확대 필터 장치의 구성을 간략하게 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 최소 제곱 회귀의 훈련 절차(A)와 디모자이킹 절차(B)를 나타낸 도면이다.
본 발명의 실시예에 따른 모바일 디지털 이미지 확대 필터 장치(100)는 영상 입력부(110), 필터 생성부(120), 필터 결정부(130), 영상 복원부(140) 및 영상 출력부(150)를 포함한다.
영상 입력부(110)는 원본 영상인 저해상도 영상을 입력받는다.
필터 생성부(120)는 영상 입력부(110)로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성한다.
필터 결정부(130)는 필터 생성부(120)로부터 생성된 복수의 컬러 필터 중에서 최적의 복원 성능을 가진 필터를 결정한다.
영상 복원부(140)는 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터에 적용하여 복원 영상을 생성한다.
영상 출력부(150)는 영상 복원부(140)에서 생성된 복원 영상을 출력한다.
최소 제곱 회귀 모형(Least Squares Regression Model)은 파라미터의 선형 결합을 포함할 때, 선형 모델이다.
최소 제곱 회귀 모형의 기본 형태는 수학식 1과 같다.
Figure pat00003
여기서,
Figure pat00004
는 정규 유클리드 규범(Normal Eucclidean norm)이고,
Figure pat00005
는 X의 전치라고 설명된다. 이러한 문제는 C가 독립 컬럼(Independent Column)이고,
Figure pat00006
가 뒤집을 수 없다라는 특이한 답을 가진다.
d는 원본 영상이고, C는 구하고자 하는 필터 계수이며, x는 원본 영상을 강제로 저해상도로 만든 영상이다. 즉, x1, d1와, x2, d2 등을 다수 사용한다.
수학식 1은 저해상도 영상 x에 C를 내적했을 때 결과가 Cx가 되며, 이것이 d와 일치하도록 하는 것이 목표이다.
수학식 1의 min의 의미는 Cx와 d를 최대한 같게 만들어 차분치 값을 0에 근접하게 만드는 것이다.
본 발명은 저해상도 영상을 가지고 있다고 할 때, C를 내적해서 최적의 영상을 만들 수 있다.
Figure pat00007
수학식 2는 Cx-d를 0에 근접하게 만든 후, 하기의 수학식 3과 같이 재배열할 수 있다. ▽은 Cx-d가 0인 아닌 경우 차분치를 의미한다. Cx-d를 0이 되는 것이 가장 이상적인 경우이다.
Figure pat00008
이러한 정규식(수학식 3)은
Figure pat00009
가 뒤집을 수 없기 때문에 x에 대한 특이한 답을 갖는다. 그러면, 최소 제곱 추정치(
Figure pat00010
)가 수학식 4에 의해 계산된다는 것을 알 수 있다.
영상 입력부(110)는 Column Matrix C와 d라는 저해상도 입력 영상을 입력받고, 필터 생성부(120), 필터 결정부(130), 영상 복원부(140)는 이러한 2개의 입력값을 이용하고, 영상 출력부(150)는 최소 제곱 추정치(
Figure pat00011
)이라는 고해상도 출력 영상을 만든다.
Column Matrix C는 본 발명의 훈련(Training)을 통해 얻어지고, d는 사용자의 입력하는 입력 영상이다.
다시 말해, 최소 제곱 추정치(
Figure pat00012
)는 복원된 출력 결과 영상이다.
Figure pat00013
이러한 수학식 4는 디모자이킹(Demosaicking)에 적용할 수 있다. 최소 제곱 방법은 원본 영상과 복원 영상 간의 차이를 최소화하는 것이다.
필터 계수는 훈련 과정에서 최소 제곱 방법에 의해 계산된다.
3개의 영상인 원본 영상(imo), 저해상도 CFA 영상(imCFA), 복원 영상(imR)를 고려할 때, 저해상도 CFA 이미지가 다른 이미지들보다 작으며, 하나의 색상 채널만 있다.
그런 다음, 각 픽셀은 세 가지 색상구성 요소 중 하나로부터 나오고, 이후에 결과 이미지(imR)는 하기의 수학식 5에 의해 계산된다.
Figure pat00014
여기서,
Figure pat00015
는 훈련 과정에서 획득한 필터이다. 다음으로, 필터는 하기의 수학식 6에 의해 계산된다.
필터 생성부(120)는 하기의 수학식 6의 원본 영상과 복원 영상 간의 차이를 계산하는 비용 함수를 이용하여 컬러 필터를 생성한다.
Figure pat00016
여기서, h는 익명의 후보 필터이고, 매개 변수(
Figure pat00017
)는 imO와 imR 간의 차이를 계산하는 비용 함수이다.
최소 제곱 추정치(
Figure pat00018
)는 수학식 6에 의해 생성되는 컬러 필터를 계산하는데 상기 최소 제곱 추정치를 이용할 수 있다.
Figure pat00019
Figure pat00020
본 발명은 5×5 훈련 필터, 7×7 훈련 필터, 9×9 훈련 필터, 11×11 훈련 필터에 의해 훈련 과정을 수행한다. 필터의 크기가 클수록 이미지 품질이 좋아지고, 복잡성이 높아진다.
도 3의 (A), (B), (C), (D)는 4개의 훈련 필터(
Figure pat00021
)의 주파수 응답을 나타내고, 도 4는 4개의 훈련 필터(
Figure pat00022
)의 필터 계수를 나타낸다.
도 5의 (A)는
Figure pat00023
의 주파수 응답을 보여주고, 도 5의 (B-D)는
Figure pat00024
와
Figure pat00025
사이에 주파수 응답 차이를 보여준다.
도 3과 도 5를 표시하기 위하여 MATLAB 명령어
Figure pat00026
을 사용한다.
Figure pat00027
는 2차원 공간 필터이고, F는 2차원에 해당하는 주파수 도메인 필터이다. 파라미터 r과 c는 각각 행 번호와 열 번호이다.
예를 들어, r=5, c=5 일 때,
Figure pat00028
가 얻어진다. 일반적으로 공간 영역에서의 필터링은 주파수 영역에서의 필터링보다 적은 계산을 필요로 한다.
그러나 필터 크기가 증가로 곱셈과 덧셈의 증가로 인하여 주파수 영역에서의 필터링이 더 효율적이 된다.
주파수 응답은 자극에 반응하는 결과 이미지의 스펙트럼의 측정 가능한 용량이며, 시스템 활동을 설명하는데 사용된다.
입력 영상과 비교하여 주파수 함수로서 영상의 크기와 위상의 두 가지 측정이 있다. 도 3의 (A)는
Figure pat00029
의 주파수 응답을 보여준다.
모든 필터의 크기(
Figure pat00030
)는 (u,v)=(0,0)일 때 4.0이다. 이는 필터가 주어진 컬러 필터 어레이 이미지보다 4배 더 밝은 결과 이미지를 반환함을 의미한다.
그러나 (u,v)≠(0,0)인 경우, 각 필터에서 주파수 응답이 다르다. 예를 들어,
Figure pat00031
의 주파수 응답에는
Figure pat00032
의 주파수 응답보다 저주파 정보가 많은 반면, 고주파수 정보가 적게 포함되어 있다.
또한,
Figure pat00033
의 주파수 응답에는 모든 훈련 필터들의 상세 내용이 있음을 알 수 있다. 이는 더 큰 필터를 사용한 훈련이 상세한 주파수 응답을 조사할 수 있음을 의미한다.
실험은 다른 방법의 성능을 평가하기 위해서 수행하였다. 피크 신호 대 잡음비(peak signal-to-noise ratio, PSNR)는 보간 접근법의 성능을 평가하기 위해 중요성을 두고 이용한다.
각 접근법의 PSNR을 평가하기 위해 LC 데이터 세트에서 선택된 25개의 이미지를 사용한다. 이러한 영상은 도 6에 도시된 바와 같이, 720×540의 해상도를 갖는다.
도 6의 (A)는 컬러 영상을 나타내고, 도 9의 (B)는 휘도 영상을 나타낸다. 벤치마크 방법은 각 이미지의 휘도 채널에서 테스트된다.
서로 다른 필터 크기를 가진 본 발명은 NN(Nearest Neighbor), BI(Bilinear), BC(Bicubic) 방법과 비교한다.
PSNR 메트릭(Metric)은 복원 이미지의 품질을 계산할 수 있다. PSNR과 MSE 공식은 하기의 수학식 9와 수학식 10과 같다.
Figure pat00034
Figure pat00035
여기서, 매개 변수 R과 C는 이미지의 행 및 열 크기이고, 매개 변수 P는 피크 강도값 255이다.
매개 변수 imO와 imR는 원본 이미지 및 복원 이미지이며, 매개 변수 r과 c는 행 및 열 방향의 픽셀 위치이다.
다음의 표 1은 휘도 채널에 대한 다양한 방법의 PSNR 값을 보여준다.
표 1은 NN 방법, BI 방법, BC 방법, 5×5 사이즈 필터, 7×7 사이즈 필터, 9×9 사이즈 필터, 11×11 사이즈 필터의 PSNR 결과이다. 즉, 필터 사이즈가 크면 대부분 결과가 좋아짐을 나타낸다.
Figure pat00036
그레이 채널만 조사한 이유는 YCbCr의 휘도 정보가 인간 시각 시스템에 가장 중요한 채널이기 때문이다. PSNR이 가장 높은 숫자는 굵게 표시된다.
표 1에서 두 번째로 높은 PSNR을 가진 숫자는 italic으로 표시된다. 표 1에서는 더 큰 필터가 더 나은 성능을 제공함을 알 수 있다. 물론, 일반적으로 필터 사이즈가 커지면 성능이 좋고, 계산량이 늘어나지만, 경우에 따라서 필터 사이즈가 작은데 오히려 성능이 좋은 경우도 있다.
예를 들어,
Figure pat00037
의 평균 PSNR 결과는 29.8018로 가장 좋은 필터이고, 그 다음으로 29.7783을 가진
Figure pat00038
이다.
최상의 필터와 나머지 필터의 차이는
Figure pat00039
이다.
Figure pat00040
필터는 대부분의 영상에서 최상의 성능을 보였지만, 일부 영상(#3, #6, #8, #16, #17, #19, #22, #23, #24)에서
Figure pat00041
이 더 나은 성능을 보여준다.
Figure pat00042
는 모든 영상에 대해서 최상의 성능을 보였고, 평균 성능 측면에서
Figure pat00043
는
Figure pat00044
보다 성능이 뛰어났다.
본 발명의 영상 복원 방법은 테스트된 방법 중 최고의 평균 PSNR 성능을 보였으며, 도 7에서 7가지 보간 방법에 대한 PSNR 결과를 보여주었다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 모바일 디지털 이미지 확대 필터 장치
110: 영상 입력부
120: 필터 생성부
130: 필터 결정부
140: 영상 복원부
150: 영상 출력부

Claims (9)

  1. 원본 영상인 저해상도 영상을 입력받는 영상 입력부;
    상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 필터 생성부;
    상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 필터 결정부; 및
    상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 영상 복원부를 포함하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
  2. 제1항에 있어서,
    상기 필터 생성부는 하기의 수학식 1의 상기 원본 영상과 상기 복원 영상 간의 차이를 계산하는 비용 함수를 이용하여 상기 컬러 필터를 생성하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
    [수학식 1]
    Figure pat00045

    여기서, h는 익명의 후보 필터이고, 매개 변수(
    Figure pat00046
    )는 imO와 imR 간의 차이를 계산하는 비용 함수임.
  3. 제2항에 있어서,
    상기 영상 복원부는 상기 생성한 컬러 필터를 저해상도 컬러 필터 어레이(imCFA)에 적용하여 상기 복원 영상(imR)을 생성하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
    [수학식 2]
    Figure pat00047

    여기서,
    Figure pat00048
    는 훈련 과정에서 획득한 필터임.
  4. 제1항에 있어서,
    상기 필터 생성부는 필터 크기가 5×5 필터, 7×7 필터, 9×9 필터, 11×11 필터의 4개의 필터(
    Figure pat00049
    )를 생성하고, 상기 필터 결정부는 상기 크기가 다른 4개의 필터 중에서 피크 신호 대 잡음비(peak signal-to-noise ratio)가 가장 높은 필터를 상기 복원 영상을 생성하는 필터로 결정하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
  5. 제1항에 있어서,
    상기 필터 생성부는 최소 제곱 회귀 모형인 하기의 수학식 3과 수학식 4의 해를 계산하고, 하기의 수학식 4를 Cx-d를 0으로 근접하게 만들어 재배열하면 하기의 수학식 5와 같이 표현되고, 최소 제곱 추정치(
    Figure pat00050
    )를 하기의 수학식 6에 의해 계산하며, 하기의 수학식 7에 의해 생성되는 상기 컬러 필터를 계산하는데 상기 최소 제곱 추정치를 이용하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 장치.
    [수학식 3]
    Figure pat00051

    여기서,
    Figure pat00052
    는 정규 유클리드 규범(Normal Eucclidean norm),
    Figure pat00053
    는 X의 전치, d는 원본 영상, C는 구하고자 하는 필터 계수, x는 원본 영상을 강제로 저해상도로 만든 영상
    [수학식 4]
    Figure pat00054

    여기서, ▽은 Cx-d가 0인 아닌 경우 차분치임.
    [수학식 5]
    Figure pat00055

    [수학식 6]
    Figure pat00056

    [수학식 7]
    Figure pat00057

    여기서, h는 익명의 후보 필터이고, 매개 변수(
    Figure pat00058
    )는 imO와 imR 간의 차이를 계산하는 비용 함수임.
  6. 영상 입력부는 원본 영상인 저해상도 영상을 입력받는 단계;
    필터 생성부는 상기 영상 입력부로부터 입력된 저해상도 영상을 최소 제곱 회귀 모형(Least Squares Regression Model)을 이용하여 하나 이상의 컬러 필터를 생성하는 단계;
    필터 결정부는 상기 필터 생성부로부터 생성된 복수의 컬러 필터 중에서 복원 성능을 기초로 하나의 필터를 결정하는 단계; 및
    영상 복원부는 상기 저해상도 영상로부터 생성된 저해상도 컬러 필터 어레이(imCFA)를 상기 결정된 필터로 영상 보간하여 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
  7. 제6항에 있어서,
    상기 컬러 필터를 생성하는 단계는,
    상기 필터 생성부는 하기의 수학식 1의 상기 원본 영상과 상기 복원 영상 간의 차이를 계산하는 비용 함수를 이용하여 상기 컬러 필터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
    [수학식 1]
    Figure pat00059

    여기서, h는 익명의 후보 필터이고, 매개 변수(
    Figure pat00060
    )는 imO와 imR 간의 차이를 계산하는 비용 함수임.
  8. 제7항에 있어서,
    상기 복원 영상을 생성하는 단계는,
    상기 복원 영상부는 상기 생성한 컬러 필터를 저해상도 컬러 필터 어레이(imCFA)에 적용하여 상기 복원 영상(imR)을 생성하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
    [수학식 2]
    Figure pat00061

    여기서,
    Figure pat00062
    는 훈련 과정에서 획득한 필터임.
  9. 제6항에 있어서,
    상기 필터 생성부는 필터 크기가 5×5 필터, 7×7 필터, 9×9 필터, 11×11 필터의 4개의 필터(
    Figure pat00063
    )를 생성하고, 상기 필터 결정부는 상기 크기가 다른 4개의 필터 중에서 피크 신호 대 잡음비(peak signal-to-noise ratio)가 가장 높은 필터를 상기 복원 영상을 생성하는 필터로 결정하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디지털 이미지 확대 필터 방법.
KR1020200071393A 2020-06-12 2020-06-12 모바일 디지털 이미지 확대 필터 장치 및 방법 KR102362805B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200071393A KR102362805B1 (ko) 2020-06-12 2020-06-12 모바일 디지털 이미지 확대 필터 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071393A KR102362805B1 (ko) 2020-06-12 2020-06-12 모바일 디지털 이미지 확대 필터 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210154409A true KR20210154409A (ko) 2021-12-21
KR102362805B1 KR102362805B1 (ko) 2022-02-11

Family

ID=79165322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071393A KR102362805B1 (ko) 2020-06-12 2020-06-12 모바일 디지털 이미지 확대 필터 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102362805B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049079A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
KR20160082199A (ko) * 2014-12-31 2016-07-08 인천대학교 산학협력단 컬러 필터 어레이 성능 검증 방법
KR101692748B1 (ko) * 2015-03-24 2017-01-04 인천대학교 산학협력단 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
KR101882739B1 (ko) * 2017-07-18 2018-07-27 인천대학교 산학협력단 패턴을 이용한 영상 해상도 변환 장치 및 방법
KR101975186B1 (ko) 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110049079A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
KR20160082199A (ko) * 2014-12-31 2016-07-08 인천대학교 산학협력단 컬러 필터 어레이 성능 검증 방법
KR101692748B1 (ko) * 2015-03-24 2017-01-04 인천대학교 산학협력단 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
KR101882739B1 (ko) * 2017-07-18 2018-07-27 인천대학교 산학협력단 패턴을 이용한 영상 해상도 변환 장치 및 방법
KR101975186B1 (ko) 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법

Also Published As

Publication number Publication date
KR102362805B1 (ko) 2022-02-11

Similar Documents

Publication Publication Date Title
Gunturk et al. Demosaicking: color filter array interpolation
Chang et al. Effective use of spatial and spectral correlations for color filter array demosaicking
EP0640232B1 (en) Method for fusing images and apparatus therefor
US7515747B2 (en) Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
Khashabi et al. Joint demosaicing and denoising via learned nonparametric random fields
JP4385282B2 (ja) 画像処理装置および画像処理方法
US6978050B2 (en) Electronic image color plane reconstruction
Li et al. Color filter array demosaicking using high-order interpolation techniques with a weighted median filter for sharp color edge preservation
KR101633397B1 (ko) 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템
Fang et al. Novel 2-D MMSE subpixel-based image down-sampling
EP2584782A1 (en) Image processing device, image processing method, and program
Condat A new color filter array with optimal properties for noiseless and noisy color image acquisition
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
Simpkins et al. An introduction to super-resolution imaging
De Lavarène et al. Practical implementation of LMMSE demosaicing using luminance and chrominance spaces
KR102362805B1 (ko) 모바일 디지털 이미지 확대 필터 장치 및 방법
JP2004519156A (ja) 画像検知器の出力信号用の輪郭フィルタ
Prakash et al. Color image demosaicing using sparse based radial basis function network
Sung et al. Color filter array demosaicking by using subband synthesis scheme
Rathi et al. A New Generic Progressive Approach based on Spectral Difference for Single-sensor Multispectral Imaging System.
Sadaka et al. Efficient perceptual attentive super-resolution
Alleysson et al. Frequency selection demosaicking: A review and a look ahead
Zhang et al. Joint denoising and demosaicking of noisy cfa images based on inter-color correlation
US20050031222A1 (en) Filter kernel generation by treating algorithms as block-shift invariant
US20230169750A1 (en) Method of and System for Capturing Color Images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant