KR101907451B1

KR101907451B1 - 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법

Info

Publication number: KR101907451B1
Application number: KR1020170062492A
Authority: KR
Inventors: 전광길
Original assignee: 인천대학교 산학협력단
Priority date: 2017-05-19
Filing date: 2017-05-19
Publication date: 2018-10-12

Abstract

본 발명은 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법에 관한 것이다.
또한, 본 발명에 따르면, 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향의 가중치와 방향 가중치를 사용하여 재구성 녹색 픽셀을 생성하는 재구성부; 패치 거리를 이용하는 고급 비국부 평균 필터를 사용하여 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향의 가중치를 산출하는 가중치 생성부; 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향의 방향 추정치를 산출하는 추정치 생성부; 및 원신호간의 색상차인 원신호 색상차와 원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하여 정제 녹색 픽셀을 생성하는 정제부를 포함하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법을 제공한다.

Description

베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법{Filter based high resolution color image restoration and image quality enhancement apparatus and method}

본 발명은 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법에 관한 것이다.

지난 수십 년 동안 디지털 이미징 장치가 널리 보급되었으며 특히 디지털 카메라, 휴대 전화 및 감시 장치[18]에 널리 사용되고 있다.

디지털 카메라가 컬러 이미지를 얻을 때마다 모든 단일 픽셀에는 빨강(R), 녹색(G) 및 파랑(B)의 색상 채널에 해당하는 세 개의 값이 있어야 한다.

비용 문제 때문에 대부분의 디지털 카메라는 각 색상 채널에 대해 빔 분리기를 사용할 수 없고 센서 배열만 사용한다[9].

센서가 단색 장치라고 가정하면, 일반적인 디지털 카메라는 3 개의 센서를 사용하여 컬러 채널 정보를 얻는다. 이 센서는 카메라의 각 픽셀이 하나의 색상 구성 요소만 얻는 데 도움이 되는 색상 필터 배열(CFA:Color Filter Array)을 가지고 있다. 3 채널 풀 컬러 이미지를 채우려면 디모자이킹(demosaicking)이라고 하는 색상 보간 방법을 사용해야 한다.

도 1은 가장 보편적인 색상 필터 배열(CFA)인 베이어(Bayer) 색상 필터 배열(CFA) 패턴을 보여준다. 이 패턴은 녹색 성분의 주파수 응답이 인간 시각 시스템(HVS:human visual system)의 휘도 응답에 가깝다는 사실을 반영하여 적색(또는 청색) 정보에 비해 두 배나 많은 녹색 정보를 포함한다.

색상 필터 배열(CFA)의 각 픽셀에 단 하나의 색상 구성 요소가 있는 경우 다른 두 부족한 색상 구성 요소는 인접 픽셀에서 복원되어야 한다.

색상 디모자이킹에 대한 문헌은 광범위하다. 초기 방법 중 하나는 ACPI (adaptive color plane interpolation)이며, 이는 에지 감지 보간 기법을 사용한다 [10]. 이 방법은 3 개의 예측 인자를 사용하고, 하나의 예측 인자는 적색 또는 청색 채널에 대한 라플라스 2 차항 및 녹색 채널에 대한 구배항으로 구성된 에지 분류기를 사용하여 선택된다.

ACPI 기반의 몇 가지 고급 방법이 다음과 같이 제안되었다. 효과적인 색상 보간법(ECI:effective color interpolation)[21]은 녹색과 적색/청색 채널 사이의 색상 채널 차이를 사용하여 누락된 색상값을 디모자이킹한다.

ECI의 개념에 기초하여, 가중치를 결정하기 위해 픽셀 차이를 채택하는 ECI 의 향상된 버전(EECI: enhanced version of ECI)이 제안되었다. 적응형 균질성 방법(adaptive homogeneity-directed method)은 CIELAB 공간에서 색상 균질성을 이용하여 개발되었으며, 적응 필터링 기법(adaptive filtering method)이 CFA 색 보간에 적용되었다 [16].

선행기술문헌 [6]에서, 색차(VCD: variance of color difference) 기반의 디모자이킹 방법의 분산이 제안되었으며, 이는 프로세스 동안 신뢰성 있는 에지를 검출한다.

누락된 녹색 값은 텍스처 및 평면 영역의 두 가지 클래스로 분류된다.

픽셀이 텍스처 영역인지 또는 평면 영역인지를 추론하기 위해 저자는 N × N 윈도우에서 기울기(gradiation) 변화를 계산한다. 유사하게, 방향 필터링과 사후 결정(DFPD: the directional filtering and a posteriori decision) 방법은 수평 및 수직 방향 모두에서 N × N 윈도우의 기울기의 합을 사용한다[19].

선행기술문헌[7]에서 저자들은 DFPD와 EECI를 결합하여 방향 필터링과 가중 방법을 사용하여 색상 디모자이킹 방법을 개발했다. 저자는 테일러 계열 가중치 중앙 필터(Taylor series weighted median)를 사용하여 예측자를 선택함으로써 고차 보간법(HOI : high-order interpolation)을 제안했다.

선행기술문헌[24]에서 서브 밴드 상관 관계에 기반을 둔 효과적인 디모자이 킹 방법이 제안되었다. 이 방법은 이산 웨이브릿 변환(discrete wavelet transform)을 사용하여 에지 픽셀의 특성을 식별한다.

에지 속성 방법에 기반한 효과적인 디모자이킹은 ECI 방법 [3]에서 고정 가중치를 사용했다. 선행기술문헌[22,23]에서, 저자는 에지 강도 필터와 멀티 스케일 기울기를 각각 이용하여 보간법을 제시했다. 선행기술문헌 [14]에서 저자들은 기하학적 이중성과 확장된 방향 차별화를 이용하는 디모자이킹 방법을 제시했다. 몇 가지 방법이 주파수 영역에서 개발되었다.

예를 들어, 디모자이킹을 위한 정규화 접근법은 주파수를 사용하여 휘도 채널을 평가하고 공간 적응 정규화 [20]를 산출한다. 선행기술문헌[8,12,15]에서 저자들은 최소 제곱 전략을 사용하여 루마 - 크로마 디멀티플렉싱 알고리즘과 최적의 필터를 소개한다. 선행기술문헌 [4,5,13,25]에서 저자들은 에지 방향 보간법 기반의 디모자이킹 방법을 연구했다.

1. A. Buades, B. Coll, J.-M. Morel, A non-local algorithm for image denoising, in IEEE CVPR (June 2005), pp. 60-65 2. L. Chang,Y.-P.Tam,Effective use of spatial and spectral correlations for color filter array demosaicking. IEEE Trans. Consum. Electron. 50(1), 355-365 (2004) 3. W.-J. Chen, P.-Y. Chang, Effective demosaicking algorithm based on edge property for color filter arrays. Digit. Signal Process. 22(1), 163-169 (2012) 4. X. Chen, G. Jeon, J. Jeong, Voting-based directional interpolation method and its application to still color image demosaicking. IEEE Trans. Circuits Syst. Video Technol. 24(2), 255-262 (2014) 5. X. Chen, G. Jeon, J. Jeong, L. He, Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking. IEEE Trans. Circuits Syst. Video Technol. 25(8), 1271-1282 (2015) 6. K.-H. Chung, Y.-H. Chan, Color demosaicing using variance of color differences. IEEE Trans. Image Process. 15(10), 2944-2955 (2006) 7. Z. Dengwen, X. Xiaoliu, D. Weiming, Colour demosaicking with directional filtering and weighting. IET Image Process. 6(8), 1084-1092 (2012) 8. E. Dubois, Frequency-domain methods for demosaicking of bayer-sampled color images. IEEE Signal Process. Lett. 12(12), 847-850 (2005) 9. B.K. Gunturk, J. Glotzbach, Y. Altunbask, R.W. Schafer, R.M. Mersereau, Demosaicing: color filter array interpolation. IEEE Signal Process. Mag. 22(1), 44-54 (2005) 10. J.F. Hamilton, J.E. Adams, Adaptive color plane interpolation in single sensor color electronic camera. U.S. Patent 5, 629-734 (1997) 11. K. Hirakawa, T.W. Parks, Adaptive homogeneity-directed demosaicing algorithm. IEEE Trans. Image Process. 14(3), 360-369 (2005) 12. G. Jeon, E. Dubois, Demosaicking of noisy Bayer-sampled color images with least-squares lumachroma demultiplexing and noise level estimation. IEEE Trans. Image Process. 22(1), 146-156 (2013) 13. J. Kim, G. Jeon, J. Jeong, Taylor series and adaptive fusion strategy for Bayer demosaicking. Digit. Signal Process. 35, 53-63 (2014) 14. J. Kim, G. Jeon, J. Jeong, Demosaicking using geometric duality and dilated directional differentiation. Opt. Commun. 324, 194-201 (2014) 15. B. Leung, G. Jeon, E. Dubois, Least-squares luma-chroma demultiplexing algorithm for bayer demosaicking. IEEE Trans. Image Process. 20(7), 1885-1894 (2011) 16. N.X. Lian, L. Chang, Y.P. Tan, V. Zagorodnov, Adaptive filtering for color filter array demosaicking. IEEE Trans. Image Process. 16(10), 2515-2525 (2007) 17. J.S.J. Li, S. Randhawa,Color filter array demosaicking using high-order interpolation techniqueswith a weighted median filter for sharp color edge preservation. IEEE Trans. Image Process. 18(9), 1946-1957(2009) 18. R. Lukac, K.N. Plataniotis, D. Hatzinakos, Color image zooming on the Bayer pattern. IEEE Trans. Circuits Syst. Video Technol. 15(11), 1475-1492 (2005) 19. D. Menon, S. Andriani, G. Calvagno, Demosaicing with directional filtering and a posteriori decision. IEEE Trans. Image Process. 16(1), 132-141 (2007) 20. D. Menon, G. Calvagno, Regularization approaches to demosaicking. IEEE Trans. Image Process. 18(10), 2209-2220 (2009) 21. S.-C. Pei, I.-K. Tam, Effective color interpolation in CCD color filter arrays using signal correlation. IEEE Trans. Circuits Syst. Video Technol. 13(6), 503-513 (2003) 22. I. Pekkucuksen, Y. Altunbasak, Edge strength filter based color filter array interpolation. IEEE Trans. Image Process. 21(1), 393-397 (2012) 23. I. Pekkucuksen, Y. Altunbasak, Multiscale gradients-based color filter array interpolation. IEEE Trans. Image Process. 22(1), 157-165 (2013) 24. C.-Y. Su,W.-C.Kao, Effective demosaicing using subband correlation. IEEE Trans. Consum. Electron. 55(1), 199-204 (2009) 25. L.Wang, G. Jeon, Bayer pattern CFA demosaicking based on multi-directional weighted interpolation and guided filter. IEEE Signal Process. Lett. 22(11), 2083-2087 (2015) 26. L. Zhang, X.Wu,A.Buades, X. Li,Color demosaicking by local directional interpolation and non-local adaptive thresholding. J. Electron. Imaging 20(2), 023016 (2011) 27. L. Zhang, L. Zhang, X. Mou, D. Zhang, FSIM: a feature similarity index for image quality assessment. IEEE Trans. Image Process. 8(8), 2378-2386 (2011) 28. X. Zhang, B.A. Wandell, A spatial extension of CIELAB for digital color image reproduction. J. Soc. Inf. Displ. 5(1), 61-67 (1997)

본 발명에서는 가중치를 결정하기 위해 비국부 평균(NLM:nonlocal mean) 필터[1]를 공간 위치 거리와 결합하여 사용하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법을 제공하는 데 있다.

본 발명에서는 가중치를 결정하기 위해 비국부 평균(NLM:nonlocal mean) 필터[1]를 공간 위치 거리와 결합하여 사용하는 고급 비국부 평균 필터 기반 디모자이킹 (demosaicking) 방법을 제안한다.

이 방법은 2 개의 포인트- 와이즈(point-wise) 필터, 즉 인접 필터와 야로슬라브스키(Yaroslavsky) 인접 필터로부터 영감을 얻었다.

비국부 평균(NLM: nonlocal mean) 필터는 누락된 색상 픽셀의 이웃과 유사한 가우스 이웃을 갖는 영역에서 주어진 컬러 픽셀의 가중 평균인 패치 간의 유사성을 고려하여 누락된 컬러 픽셀을 추정한다.

비국부 원리는 유사한 이웃이 이미지의 어느 곳에서나 발생할 수 있으며 원본 이미지를 복원하는 데 기여할 수 있다는 사실을 이용한다.

더욱이, 패치 거리는 이미지 복원에서 또 다른 중요한 문제이다. 장거리의 경우 비슷한 거리를 발견할 확률이 짧은 거리의 경우보다 낮기 때문이다.

그 위에, 전체 이미지에서 유사한 이웃을 찾는 것은 계산상으로 고가이다. 따라서 패치 유사도와 거리의 조합으로 가중치를 설정한다.

새로운 가중치는 패치 간격으로 인해 자동 임계값으로 작용한다. 이는 지수 곡선의 급격한 감소로 이웃 또는 패치 거리의 차이가 클 때 0으로 접근하기 때문이다.

본 발명에서는 공간적 근거 거리와 주변 유사도를 고려한 고급 비 국부 평균 필터를 이용한 적응 디모자이킹 알고리즘을 제안하였다.

비국부 평균 필터의 개념으로 적응 가중치를 도입하고 공간적 지역 거리를 고려하여 가중치를 수정했다.

더 정확한 가중치를 얻으려면, 픽셀 유사성 대신 패치 유사성을 고려했다. 계산 복잡성을 줄이고 최적의 가중치 선택 기준을 얻기 위해 가중치를 제어하기 위해 공간 지역 거리를 도입했다.

제안된 방법은 기존 방법에 비해 CPSNR, S-CIELAB,△E *, FSIM의 관점에서 객관적이고 주관적인 성능이 뛰어나다.

비교 복잡도와 관련하여, 제안된 방법은 대부분의 종래 방법보다 처리 시간이 짧았다.

도 1은 일반적인 7 × 7 베이어 패턴 CFA를 보여준다.
도 2는 크기 (2m + 1) × (2m + 1)의 패치 영역을 나타내는 도면이다.
도 3은 크기 (2t + 1) × (2t + 1)의 x 및 y를 중심으로 하는 정사각형 이웃을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법의 흐름도이다.
도 6은 서쪽, 동쪽, 북쪽, 남쪽, 대각선 및 반 대각선 방향에서 6 개의 가중치의 계산을 포함하는 예를 도시한다.
도 7은 McM 데이터베이스로부터 얻은 18가지 이미지를 나타내는 도면이다.
도 8은 Zahra 데이터베이스로부터 얻은 25가지 이미지를 나타내는 도면이다.
도 9 및 도 10은 인접 영역 (N_x)의 크기에 관련된 패치 영역 (S_x 및 t)의 크기와 관련된 상이한 크기의 m에 대한 디 모자이크 처리된 이미지의 평균 CPSNR을 도시한다.
도 11은 정제 파라미터 k에 대한 디모자이킹 처리된 이미지의 평균 CPSNR을 나타낸다.
도 12, 13, 14 및 15는 필터링 매개 변수 h, ρ, λ 및 h_rb의 교정을 보여준다.
도 16,도 17,도 18 및 도 19는 지각된 이미지 # 03, # 16, # 10 및 # 11의 확대 된 부분을 도시한다.
도 20은 생성된 이미지에 대한 7 가지 방법의 테스트 결과를 나타낸다.

이제 다양한 양상들이 도면을 참조하여 설명된다. 다음의 설명에서, 설명의 목적으로, 하나 이상의 양상들에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그러나 이러한 측면이 이러한 구체적인 세부 사항 없이도 실행될 수 있음은 자명할 수 있다.

먼저, 인접 필터(NF)는 유사한 그레이 레벨 값을 갖는 이웃 픽셀의 평균값을 취하여 픽셀을 복원한다.

유사도를 평가하기 위해 가우시안 커널(Gaussian kernel)을 사용하여 인접 필터(NF)는 다음과 같이 2D 연속 형식으로 작성할 수 있다.

(수학식1)

여기서

는 정규화 인수, Ω∈ R²는 개방적이고 한정된 집합이며, h는 필터링 매개 변수이다.

f(x)는 알려지지 않은 누락된 픽셀이다. 따라서 본 발명에서 LA를 사용하여 f(x)를 전처리하며 이후 모든 f(x)는 이 기준을 따른다.

이것은 전체 이미지의 픽셀이 x에서 누락된 픽셀을 추정하는 데 사용되므로 완전히 비국부 필터이다.

야로슬라브스키 인접 필터 (YNF)는 중심 x 및 반경 ρ를 갖는 구(sphere)인 공간 이웃 B_ρ(x)에 속하는 유사한 그레이 레벨 값을 갖는 픽셀을 평균화하며, 다음과 같이 기재될 수 있다.

(수학식 2)

여기서 x∈ Ω일 때,

는 정규화 인수이다. 수학식 2에서 YNF는 그레이 레벨과 공간 거리가 가까운 픽셀 값의 평균을 취한다는 것을 알 수 있다. 그러면 수학식 2는 아래와 같이 다시 작성될 수 있다.

(수학식 3)

여기에서, ρ는 필터링 매개변수이다.

한편, 비국부 평균 필터(NLM:nonlocal mean)는 Buades et al.[1]에서 소개되었으며, 신호 처리 영역에서 많은 관심을 받았다. 인접 필터(NF)와 야로슬라브스키 인접 필터(YNF)는 모두 점별(point-wise) 방법이며 주요 기하학적 구성과 대규모 구조물의 재구성을 목표로 한다.

그러나 미세한 구조, 세부 사항 및 질감을 보존할 수는 없다. 인접 필터(NF)의 연장인 비국부 평균 필터(NLM)는 이러한 면에서 획기적인 개선이다. 비국부 평균 필터(NLM)는 점별(point-wise) 유사성만 고려하기보다는 패치와 비슷한 유사성을 사용한다.

예를 들어, y 주위의 윈도우가 x 주위의 윈도우와 비슷하게 보이면 y의 픽셀은 x의 픽셀과 비슷하다고 가정한다.

모자이킹 이미지를 f = {f (x) | x∈I}라고 하면(여기에서, I는 모자이킹 이미지의 좌표 집합이다), 모자이킹 이미지 f에 비국부 평균 필터(NLM)를 적용한다.

(수학식 4)

S_x는 크기 (2m + 1) × (2m + 1)의 패치 영역이며, m은 패키 영역 크기이다. w_NLM (x, y)는 다음과 같이 정의된 가중치 함수이다.

(수학식 5)

여기서 N_x 및 N_y는 크기 (2t + 1) × (2t + 1)의 x 및 y를 중심으로 하는 정사각형 이웃이며, t는 정사각형 이웃의 크기이다.

v (N_x) = {f(x) | x∈N_x}와 v(N_y)={f(y)|y∈N_y}는 이웃 N_x와 N_y의 픽셀로 구성된 명암 그레이 레벨 벡터이고, h는 필터링 매개 변수이다.

그러면 x와 y에서 두 픽셀 간의 유사도는 명암 그레이 레벨 벡터 v (N_x)와 v (N_y) 사이의 유사성에 따라 달라진다.

대부분의 종래의 방법은 에지 방향만을 고려하지만 공간 위치 거리를 무시하므로 성능이 떨어진다.

패치 거리가 가까울수록 두 패치가 비슷한 구조를 가질 확률이 더 크기 때문에 거리는 이미지 재구성에서 중요한 역할을 한다. 즉, 공간 위치 거리는 필수적인 개념이다.

본 발명에서는 위에서 설명한 바와 같이 패치 거리를 고려하여 보다 나은 성능을 얻기 위해 고급 비국부 평균 필터(ANLM)를 제안한다.

고급 비국부 평균 필터(ANLM)에서 또 다른 개념인 패치 거리 d(N_x, N_y) = | x-y |를 소개하고,다음과 같이 가중치 함수 w_ANLM (x, y)를 재설계한다.

(수학식 6)

여기서 ρ 및 h는 필터링 매개변수이다. 그런 다음 w_ANLM (x, y)을 ANLM 필터에 적용한다. 여기서 N_x 및 N_y는 크기 (2t + 1) × (2t + 1)의 x 및 y를 중심으로 하는 정사각형 이웃이다.

v (N_x) = {f(x) | x∈N_x}와 v(N_y)={f(y)|y∈N_y}는 이웃 N_x와 N_y의 픽셀로 구성된 명암 그레이 레벨 벡터이다.

모자이킹 이미지를 f = {f (x) | x∈I}라고 하면(여기에서, I는 모자이킹 이미지의 좌표 집합이다), 모자이킹 이미지 f에 고급 비국부 평균 필터(ANLM)를 적용한 결과값 f_ANLM(x)는 다음과 같다.

(수학식 7)

NLM에서 검색 영역은 전처리 된 전체 이미지이다. 따라서 NLM은 높은 계산 부담을 지니고 있다. 그러나 디모자이킹은 실시간 응용 프로그램이며 효율성은 중요한 문제이다.

따라서 고급 비국부 평균 필터에서는 계산 부담을 줄여야한다. 패치 거리 d (N_x, N_y)는 정수이며, 주어진 픽셀 y와 누락된 픽셀 x 사이의 거리가 증가할 때 증가한다.

패치 거리 d(N_x, N_y)가 일정한 값보다 큰 경우에,

는 거의 0에 가깝다. 즉, w_ANLM (x, y)의 가중치는 큰 패치 거리에서 작다. 따라서, 누락된 픽셀 x로부터 멀리 떨어져 있는 픽셀들을 무시할 수 있다. 그런 다음 NLM에서와 같이 전체 이미지 대신 제한된 검색 영역에서 유사한 이웃을 검색하므로 계산 복잡성이 크게 감소한다. 이런 식으로 NLM의 높은 효율성과 바람직한 특성을 유지할 수 있다.

도 4는 본 발명의 일 실시예에 따른 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치의 구성도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치는 추정치 생성부(100), 가중치 생성부(110), 재구성부(120) 및 정제부(130)를 포함하며, 상기 정제부(130)는 원신호 색상차 산출기(131), 재구성 색상차 산출기(132) 및 정제 픽셀 생성기(133)를 포함한다.

도 5는 본 발명의 일 실시예에 따른 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법의 흐름도이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법은 추정치 생성 단계(S100), 가중치 생성 단계(S110), 재구성 녹색 픽셀 생성 단계(S120) 및 정제 녹색 픽셀 생성 단계(S130)를 포함하며, 상기 정제 녹색 픽셀 생성 단계(S130)는 원신호 색상차 산출 단계(S131), 재구성 색상차 산출 단계(S132) 및 정제 픽셀 생성 단계(S133)를 포함한다.

도 1은 일반적인 7 × 7 베이어 패턴 CFA를 보여준다. 도 1에서, 주어진 G 컬러 픽셀의 수는 R / B 컬러 픽셀의 수의 두 배이다. 디모자이킹 알고리즘의 기본 아이디어는 먼저 G 색상 채널을 재구성 한 다음 추정된 G 채널을 사용하여 R / B 채널을 예측하는 것이다.

도 1에서 누락된 G 색상 픽셀은 북쪽(N), 남쪽 (S), 서쪽 (W) 및 동쪽 (E) 방향의 4 개의 알려진 G 색상 픽셀로 둘러싸여 있음을 알 수 있다. 대부분의 기존 디모자이킹 알고리즘은 이러한 네 가지 방향을 사용하여 누락된 G 색상 픽셀을 재구성한다.

이러한 방법은 수평 및 수직 가장자리를 따라 잘 수행되지만 다른 방향의 가장자리에는 명백한 왜곡이 있다.

본 발명의 재구성부(120)는 재구성 녹색 픽셀 생성 단계(S120)를 수행하는데, 여기에서는 N, S, W, E, 대각선 (PD) 및 반 대각선 (AD) 방향에서 6 가지 예측을 제공하여 주어진 R 및 B 색상 픽셀을 모두 다른 방향으로 사용하여 다음과 같이 누락된 G 색상 픽셀을 추정하여 재구성 녹색 픽셀

를 생성한다.

(수학식 8)

여기에서, ω_N(x), ω_S(x), ω_E(x), ω_W(x), ω_PD(x) 및 ω_AD(x)는 각각 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향의 가중치이다.

그리고, G_N(x),G_S(x),G_E(x),G_W(x),G_PD(x) 및 G_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 방향 추정치이다.

이를 위하여, 가중치 생성부(110)는 가중치 생성 단계(S110)를 수행하는데, 도 6은 서쪽, 동쪽, 북쪽, 남쪽, 대각선 및 반 대각선 방향에서 6 개의 가중치의 계산을 포함하는 예를 도시한다.

픽셀 유사성 대신에 근사 유사성에 기초한 가중치를 설계한다. 즉, 위치 y 주변의 국부 영역이 x 주위의 국부 영역과 비슷하게 보이면 y의 구성 요소는 x의 구성 요소와 유사하고 더 큰 가중치가 y의 구성 요소에 지정되어야 함을 의미한다.

더 가까이 있는 경로가 멀리 있는 경로와 비슷한 구조를 가질 확률이 높기 때문에 더 가까운 경로는 먼 거리보다 더 짧은 거리에서 더 큰 가중치를 할당해야한다. 이 논의를 토대로 다음과 같이 NLM이 생성한 가중치 대신 ANLM이 생성한 가중치를 사용한다.

(수학식 9)

Φ∈ {N, S, E, W, PD, AD}이고, ρ 및 h는 필터링 매개변수이며, N_x 및 N_y는 크기 (2t + 1) × (2t + 1)의 x 및 y를 중심으로 하는 정사각형 이웃이며, t는 정사각형 이웃 크기이며, v (N_x) = {f(x) | x∈N_x}와 v(N_y)={f(y)|y∈N_y}는 이웃 N_x와 N_y의 픽셀로 구성된 명암 그레이 레벨 벡터이고, d(N_x, N_y)는 패치 거리이며, Ω_x ^Φ가 아래와 같이 결정되며, m은 패치 영역 크기이다.

먼저, 알려진 적색 픽셀에서 누락된 녹색 픽셀을 재구성하고 알려진 파란색 픽셀에서 동일한 절차를 적용한다.

이를 위하여 추정치 생성부(100)는 추정치 생성 단계(S100)를 수행해야 하며, 수학식 8에서 6방향의 방향 추정치가 다음과 같이 주어진다.

(수학식 10)

x에서의 누락된 컬러 픽셀과 y에서의 주어진 컬러 픽셀 간의 근사 유사성은 세기 컬러 채널 벡터 간의 패치 차이에 의존한다.

기존의 디모자이킹 알고리즘은 단순히 픽셀 유사성을 논의하고 공간적 거리가 성능에 미치는 영향을 무시한다.

따라서 이웃 유사도와 공간 위치 거리를 고려하여 성능 향상을 위해 ANLMD를 제안한다. ANLMD에서 수학식 9에서 공간적 위치 거리 d(Cx, Cy) = | x - y |를 소개한다.

녹색 채널이 수학식 8을 통해 채워지면 녹색 채널을 수학식 11로 더 세분화 할 수 있다.

이를 위하여, 정제부(130)는 정제 녹색 픽셀 생성 단계(S130)를 수행하는데, 이를 위해 정제 픽셀 생성기(133)는 정제 녹색 픽셀 생성 단계(S133)를 아래 수학식 11을 통하여 수행한다,

(수학식 11)

여기에서, 북쪽, 남쪽, 동쪽 및 서쪽 방향의 색상 차이는

,

및

로 표시되며, 원신호 색상 차 산출기(131)는 아래 수학식 12를 사용하여 원신호 색상차 산출 단계(S131)을 수행한다.

(수학식 12)

다음으로, 재구성 색상차 산출기(132)는 재구성된 G 픽셀을 사용하여 재구성 색상차

,

및

는 아래 수학식 13을 사용하여 산출하는 재구성 색상차 산출 단계(S132)를 수행한다.

(수학식 13)

수학식 11에서의 가중 함수는 w (τ) = 1 / τ이다. 수학식 11을 사용하여 G 색상 픽셀 값을 수정한다.

위에서 녹색 평면을 완전히 얻었으므로 파랑 / 빨강 또는 녹색 위치에 빨강 / 파랑 픽셀을 채운다.

R / B 컬러 채널의 재구성에서 컬러 채널 간의 강한 상관 관계 때문에 복원 된 G 컬러 채널을 사용한다.

주어진 파란색 위치에서 누락된 빨간색 픽셀을 재구성하려면 수학식 14를 사용해야 한다.

(수학식 14)

여기서, Ψ (x) 및 ω (x) 방향은 각각 수학식 (15)와 (16)에 의해 결정된다.

(수학식 15)

(수학식 16)

C^G _x and C^G _y는 다음과 같이 산출된다.

파라미터

및

는 강도 녹색 레벨 벡터이며, 이웃하는 C^G _x 및 C^G _y의 녹색 컬러 픽셀로 구성된다.

이제는 적색 / 청색 픽셀을 재구성하기 위해 NLM을 적용하여 가중치를 설계한다. 주어진 G 픽셀에서 누락된 적색 / 청색 픽셀에 대해 수학식 (17)과 수학식 (18)을 적용한다.

(수학식 17)

(수학식 18)

여기에서, λ는 가중치 파라미터이다.

이 섹션에서는 자세한 성능 비교를 제공한다. 시뮬레이션은 McM 컬렉션[26]의 모자이크 이미지에서 수행되며, 도 7에서 알 수 있는 바와 같이 이는 디모자이킹(demosaicking) 목적으로 널리 사용되며 아래에서 설명된다.

McM 데이터베이스에는 채색된 영역을 구분하는 포화된 색과 가장자리가 많이 있다. 각 색상 채널의 강도를 나타내기 위해 8 비트 정수 값을 사용한다.

시뮬레이션은 기존 방법과 비교하여 제안된 방법의 우수성을 평가하기 위해 MPEG 데이터 세트의 500 × 500 크기 표준 테스트 이미지에 대해 수행된다.

AFD [16], VCD [6], HOI [17], ESF [22], MSG [23], 그리고 GD [14] 등 6 가지 방법이 벤치 마크로 선정되었다.

시각적 성능 외에도 CPSNR, S-CIELAB△E ^*및 FSIM의 관점에서 방법의 객관적인 성능을 평가했습니다.

시뮬레이션은 Intel Core 2 Duo CPU E8500 @ 3.16GHz에서 수행되었습니다

관심의 중심 파라미터는 G 컬러 채널의 재구성에 관련된 필터링 파라미터 h 및 ρ이고, 패치 영역의 크기 m, 이웃 Nx의 크기와 관련된 S_x,t, G 컬러 채널의 재구성에 관련된 k, 가중 파라미터 λ 및 R / B 픽셀의 재구성에 관련된 h_rb를 포함한다.

테스트 데이터 세트로서 도 8에 나와있는 Zahra를 사용했다. 각 실험에서, h = 100, h_rb = 50, ρ = 1, k = 0.5, λ = 50, m = 1 및 t = 1을 사용하여 나머지 매개 변수를 일정하게 유지하면서 하나의 매개 변수를 변경한다.

도 9 및 도 10은 인접 영역 (N_x)의 크기에 관련된 패치 영역 (S_x 및 t)의 크기와 관련된 상이한 크기의 m에 대한 디 모자이크 처리 된 이미지의 평균 CPSNR을 도시한다.

1에서 30 사이의 m을 설정하고 1과 10 사이의 m을 설정한다. 도 7에 도시된 바와 같이, 작은 패치 영역은 더 정확하고 유사한 패치를 찾는 데 더 유용하다. m이 30에 도달했더라도 PSNR은 약간 변경되었고 그 차이는 0.1dB보다 작았다. 그러나, m이 증가함에 따라, 계산 복잡도는 10 배 이상으로 엄청나게 증가했다. 복잡성 문제를 고려하여, 작은 탐색 창, m = 1을 선택했다. 도 10은 패치 영역 크기의 영향을 보여준다. 패치 영역의 크기가 커짐에 따라 CPSNR이 감소한다는 것은 명백하다.

도 11은 정제 파라미터 k에 대한 디모자이킹 처리된 이미지의 평균 CPSNR을 나타내며, k를 0.0 내지 1.0으로 설정한다. 매개 변수 k는 녹색 색상 재구성의 미세 조정을 제어한다. 도 9에서 k = 0.6을 선택한다.

도 12, 13, 14 및 15는 필터링 매개 변수 h, ρ, λ 및 h_rb의 교정을 보여준다. 파라미터 h는 1 내지 200이고, 파라미터 ρ는 1 내지 30이고, 파라미터 λ 및 h_rb는 1 내지 100이다.

도 12, 13, 14에서 h는 G 색상 평면의 재구성에 영향을 주며 λ와 h_rb는 R / B 채널 재구성에서 매우 중요한 역할을 한다.

더욱이, 상이한 매개 변수는 CPSNR에서 매우 큰 차이를 산출한다. 매개 변수 h, λ 및 h_rb가 클 때, 서로 다른 이웃들은 유사 중량; 대조적으로, 그들이 아주 작으면, 무게는 아주 과민하다.

ρ가 매우 클 때 패치 거리는 가중치에 영향을 미치지 않는다. 따라서, 단순히 ρ를 작은 범위로 제한한다.

도 12, 13, 14, 15에서 h = 120, h_rb = 69, ρ = 23 및 λ = 50이 가장 좋은 CPSNR임을 알 수 있다.

여기에서 먼저 각 컬러 평면(빨강, 초록 및 파랑)의 CPSNR로 측정한 객관적인 성능을 비교한다.

표 1은 제시된 방법의 CPSNR 결과를 다른 벤치 마크 방법과 비교한 것이다. AFD, VCD, HOI, ESF, MSG 및 GD의 6 가지 방법을 벤치 마크로 선택했다.

(표 1)

표 1에서 볼 수 있듯이, 본 발명의 방법은 최상의 평균 CPSNR을 보여준다.

본 발명의 방법의 이득은 모든 벤치 마크에서 0.8dB보다 높다. 예를 들어, 0.835 (AFD), 1.384 (VCD), 0.809 (HOI), 1.941 (ESF), 1.052 (MSG) 및 1.001 (GD)와 같은 다른 방법의 이득이 있다.

본 발명의 알고리즘은 패치 유사성(포인트 유사성이 아님)으로 인해 인접한 상관 관계를 나타내어 누락된 색상 픽셀과 가장 유사한 픽셀을 검색하거나보다 정확하게 비슷한 픽셀을 추출한다.

단순히 포인트 유사성을 사용한다. 또한, 더 가까운 색의 픽셀은 다음과 같은 가정을 기반으로 계산 복잡도를 줄이기 위해 패치 거리를 도입한다. 누락된 색상 픽셀과 유사할 확률이 높다.

본 발명의 방법은 기존 방법(표 2 참조)에 비해 CPU 시간 측면에서 두 번째로 빠르다.

(표 2)

AFD는 CPU 시간이 가장 적지만 CPSNR은 제안 된 알고리즘보다 훨씬 낮다. 제안된 방법은 평균 CPU 시간을 97.7 %, 98.5 %, 89.8 %, 95.2 %, 5.8 % 줄였다. VCD, HOI, ESF, MSG 및 GD와 각각 연결된다.

본 발명의 방법과 벤치 마크 사이의 시각적 성능의 비교를 제시한다.

도 16,도 17, 도 18 및 도 19는 다른 기존의 방법과 비교하여 시각적인 비교의 관점에서 이미지의 결과 및 주관적 성능을 나타낸다. 에일리어싱은 신호 세부 사항의 손실과 고주파 구성 요소의 불량한 재구성으로 인해 이미지 가장자리 근처에서도 발생한다. 따라서 이미지 재구성을 평가할 때 이미지 가장자리의 품질을 고려해야 한다.

도 16,도 17,도 18 및 도 19는 지각된 이미지 # 03, # 16, # 10 및 # 11의 확대 된 부분을 도시하며, 제안된 알고리즘이 에지 및 텍스처 이미지 세부 사항의 에일리어싱을 덜 일으킨다는 것을 알 수 있다.

도 16은 McM 이미지 # 03의 결과를 보여준다. 결과는 AFD, VCD, HOI, ESF, MSG 및 GD 방법이 이미지 세부 사항을 흐리게 처리하고 구조적 내용과 미세 가장자리를 제거함을 나타낸다. 비록 GD 방법이 디테일 보존 특성을 향상시켰지만, 대응하는 출력 이미지는 다양한 컬러 아티팩트를 보여 주지만, 결과를 원래 이미지와 비교할 때 쉽게 나타난다.

대조적으로, 본 발명의 방법은 엣지 세부 사항을 보존하고 많은 색상 보간 아티팩트를 삭제한다. 도 17은 꽃과 나무의 높은 빈도를 보여준다. 기존의 방법은 꽃의 줄기와 가장자리를 복원하는 데는 효과가 없다. 특히, 재구성된 우상 영역은 연결이 끊어지고 색이 희미해진다.

대조적으로, 제안된 방법은 이미지를 비교적 양호하게 복원하고 복원된 꽃 부분은 다른 방법으로 얻어진 결과보다 선명하다.

도 18에서 볼 수 있듯이 보라색 고추와 당근 가장자리에서 이미지의 디테일이 왜곡되며, 제안된 방법은 다른 방법과 비교하여 이러한 시각적 품질을 향상시킨다.

도 19는 녹색 줄기와 붉은 고추는 다른 방법들에서 명백한 톱니 모양의 아티팩트를 산출하지만, 제안된 알고리즘은 녹색 잎의 경계 복원에 있어서 보다 우수한 성능을 나타낸다.

도 16, 17, 18 및 도 19에 도시된 모든 이미지로부터. 제안된 방법이 주관적인 성능면에서 다른 모든 벤치 마크보다 우수한 것으로 결론 지을 수 있다.

시각적 성능의 결과를 수치로 나타 내기 위해 S-CIELAB △E ^* 메트릭 [27]을 사용한다.

S-CIELAB △E ^*는 CIELAB △E ^*의 공간적 형태이며 거리를 결정하기 위해 HVS를 고려하는 가장 잘 사용되는 측정 기준 중 하나이다. 원본의 S-CIELAB △E^* 표현과 복원된 이미지의 McM 데이터 세트를 사용한 S-CIELAB △E ^* 측정의 관점에서, 제시된 방법은 표 3에 표시된 바와 같이 0.2113, 0.3238, 0.1559, 0.4697, 0.2057, 0.2379의 인자를 갖는 다른 모든 벤치 마크 (AFD, VCD, HOI, ESF, MSG 및 GD)보다 평균적으로 높은 성능을 나타낸다.

(표 3)

제안된 프레임 워크의 성능을 더 자세히 조사하기 위해 FSIM 인덱스라는 세 번째 메트릭을 사용했다[28]. 1.0의 FSIM 인덱스 값은 좋은 결과를 나타내는 반면 작은 FSIM 값은 나쁜 이미지 품질을 나타낸다. 표 4는 다양한 디모자이킹 방법에 대한 McM 데이터 세트의 수치적인 FSIM 결과를 보여준다.

(표 4)

표 4는 제안된 방법이 평균 0.00055, 0.00078, 0.00038, 0.0012, 0.00053 및 0.00055의 다른 모든 방법 (AFD, VCD, HOI, ESF, MSG, GD)보다 월등히 우수하다는 것을 보여준다.

고주파 이미지의 시각적 성능을 비교하기 위해 인위적으로 생성 된 컬러 방사형 해상도 차트를 채택했다.

도 20과 같이 생성된 이미지에 대해 7 가지 방법을 테스트했다. 제안된 방법은 고주파수 영역에서 최상의 화질을 제공하며, HOI 방법은 최상의 화질을 제공한다.

비국부 평균 필터의 개념으로 적응 가중치를 도입하고 공간적 지역 거리를 고려하여 가중치를 수정했다. 더 정확한 가중치를 얻으려면, 픽셀 유사성 대신 패치 유사성을 고려했다. 계산 복잡성을 줄이고 최적의 가중치 선택 기준을 얻기 위해 가중치를 제어하기 위해 공간 지역 거리를 도입했다. 제안된 방법은 기존 방법에 비해 CPSNR, S-CIELAB,△E *, FSIM의 관점에서 객관적이고 주관적인 성능이 뛰어나다. 비교 복잡도와 관련하여, 제안된 방법은 대부분의 종래 방법보다 처리 시간이 짧았다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 추정치 생성부 110 : 가중치 생성부
120 : 재구성부 130 : 정제부
131 : 원신호 색상차 산출기 132 : 재구성 색상차 산출기
133 : 정제 픽셀 생성기

Claims

패치 거리를 이용하는 고급 비국부 평균 필터를 사용하여 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 가중치를 산출하는 가중치 생성부;
북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 추정치를 산출하는 추정치 생성부;
상기 각각의 가중치와 상기 각각의 추정치를 사용하여 재구성 녹색 픽셀을 생성하는 재구성부; 및
원신호간의 색상차인 원신호 색상차와 원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하여 정제 녹색 픽셀을 생성하는 정제부를 포함하고,
상기 가중치 생성부는 아래 수학식 9를 이용하여 가중치를 산출하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치.
(수학식 9)

Φ∈ {N, S, E, W, PD, AD}이며, ω_N(x),ω_S(x),ω_E(x),ω_W(x),ω_PD(x) 및 ω_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 가중치이며, ρ 및 h는 필터링 매개변수이며, N_x 및 N_y는 크기 (2t + 1) × (2t + 1)의 x 및 y를 중심으로 하는 정사각형 이웃이며, t는 정사각형 이웃 크기이며, v (N_x)와 v(N_y)는 이웃 N_x와 N_y의 픽셀로 구성된 명암 그레이 레벨 벡터이고, d(N_x, N_y)는 패치 거리이며, Ω_x ^N, Ω_x ^S, Ω_x ^E, Ω_x ^W, Ω_x ^PD,Ω_x ^AD는 다음과 같이 결정되고, m은 패키 영역 크기임.
청구항 1항에 있어서,
상기 재구성부는 다음 수학식 8을 사용하여 재구성 녹색 픽셀
를 생성하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치.

(수학식 8)

여기에서, ω_N(x),ω_S(x),ω_E(x),ω_W(x),ω_PD(x) 및 ω_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 가중치이며, G_N(x),G_S(x),G_E(x),G_W(x),G_PD(x) 및 G_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 방향 추정치임.
삭제
패치 거리를 이용하는 고급 비국부 평균 필터를 사용하여 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 가중치를 산출하는 가중치 생성부;
북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 추정치를 산출하는 추정치 생성부;
상기 각각의 가중치와 상기 각각의 추정치를 사용하여 재구성 녹색 픽셀을 생성하는 재구성부; 및
원신호간의 색상차인 원신호 색상차와 원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하여 정제 녹색 픽셀을 생성하는 정제부를 포함하고,
상기 추정치 생성부는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 방향 추정치인 G_N(x),G_S(x),G_E(x),G_W(x),G_PD(x) 및 G_AD(x)를 아래 수학식을 사용하여 산출하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치.

여기에서, i, j는 재구성 녹색 픽셀을 구하고자하는 좌표이며, R(i,j)는 (i, j)의 적색 픽셀값이고, G(i,j)는 (i, j)의 녹색 픽셀값이며, B(i,j)는 (i, j)의 파랑 픽셀값임.
청구항 1항에 있어서,
상기 정제부는
원신호간의 색상차인 원신호 색상차를 산출하는 원신호 색상차 산출기;
원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하는 재구성 색상차 산출기; 및
상기 원신호 색상차와 재구성 색상차를 이용하여 정제 픽셀 신호를 산출하는 정제 픽셀 생성기를 포함하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치.
(A) 가중치 생성부가 패치 거리를 이용하는 고급 비국부 평균 필터를 사용하여 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 가중치를 산출하는 단계;
(B) 추정치 생성부가 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 추정치를 산출하는 단계;
(C) 재구성부가 상기 각각의 가중치와 상기 각각의 방향 가중치를 사용하여 재구성 녹색 픽셀을 생성하는 단계; 및
(D) 정제부가 원신호간의 색상차인 원신호 색상차와 원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하여 정제 녹색 픽셀을 생성하는 단계를 포함하고,
상기 (A) 단계의 상기 가중치 생성부는 아래 수학식 9를 이용하여 가중치를 산출하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법.
(수학식 9)

Φ∈ {N, S, E, W, PD, AD}이며, ω_N(x),ω_S(x),ω_E(x),ω_W(x),ω_PD(x) 및 ω_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 가중치이며, ρ 및 h는 필터링 매개변수이며, N_x 및 N_y는 크기 (2t + 1) × (2t + 1)의 x 및 y를 중심으로 하는 정사각형 이웃이며, t는 정사각형 이웃 크기이며, v (N_x)와 v(N_y)는 이웃 N_x와 N_y의 픽셀로 구성된 명암 그레이 레벨 벡터이고, d(N_x, N_y)는 패치 거리이며, Ω_x ^N, Ω_x ^S, Ω_x ^E, Ω_x ^W, Ω_x ^PD,Ω_x ^AD는 다음과 같이 결정되고, m은 패키 영역 크기임.
삭제
(A) 가중치 생성부가 패치 거리를 이용하는 고급 비국부 평균 필터를 사용하여 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 가중치를 산출하는 단계;
(B) 추정치 생성부가 북쪽, 남쪽, 동쪽, 서쪽, 대각선 방향 및 반 대각선 방향 각각의 추정치를 산출하는 단계;
(C) 재구성부가 상기 각각의 가중치와 상기 각각의 방향 가중치를 사용하여 재구성 녹색 픽셀을 생성하는 단계; 및
(D) 정제부가 원신호간의 색상차인 원신호 색상차와 원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하여 정제 녹색 픽셀을 생성하는 단계를 포함하고,
상기 (B) 단계의 상기 추정치 생성부는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 방향 추정치인 G_N(x),G_S(x),G_E(x),G_W(x),G_PD(x) 및 G_AD(x)를 아래 수학식을 사용하여 산출하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법.

여기에서, i, j는 재구성 녹색 픽셀을 구하고자하는 좌표이며, R(i,j)는 (i, j)의 적색 픽셀값이고, G(i,j)는 (i, j)의 녹색 픽셀값이며, B(i,j)는 (i, j)의 파랑 픽셀값임.
청구항 6항에 있어서,
상기 (C) 단계에서 상기 재구성부는 다음 수학식 8을 사용하여 재구성 녹색 픽셀
를 생성하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법.

(수학식 8)

여기에서, ω_N(x),ω_S(x),ω_E(x),ω_W(x),ω_PD(x) 및 ω_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 가중치이며, G_N(x),G_S(x),G_E(x),G_W(x),G_PD(x) 및 G_AD(x)는 각각 북쪽(N), 남쪽(S), 동쪽(E), 서쪽(W), 대각선(PD) 방향 및 반 대각선(AD) 방향의 방향 추정치임.
청구항 6항에 있어서,
상기 (D) 단계는
(D-1) 정제부가 원신호간의 색상차인 원신호 색상차를 산출하는 단계;
(D-2) 정제부가 원신호와 재구성 녹색 픽셀의 색상차인 재구성 색상차를 산출하는 단계; 및
(D-3) 정체부가 상기 원신호 색상차와 재구성 색상차를 이용하여 정제 픽셀 신호를 산출하는 단계를 포함하는 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 방법.